Journal of Lie Theory Volume 9 (1999) 157–191 C ◯1999 Heldermann Verlag

Désintégration des représentations monomiales des groupes de Lie nilpotents

A. Baklouti et J. Ludwig

Communicated by J. Faraut

Abstract. Let G be a connected and simply connected nilpotent Lie group, let H be a closed connected subgroup of G and let χ be a unitary character of H. We construct explicitly a smooth intertwining operator between the monomial representation π=ind_{H}^{G}χ of G and its decomposition into irreducibles. In particuliar, we present a new disintegration of L^{2}(G).

0. Introduction

Soit G un groupe de Lie nilpotent connexe et simplement connexe d’algèbre de Lie 𝔤. On considère la représentation monomiale τ = Ind_{H}^{G}χ induite par un caractère unitaire χ d’un sous-groupe analytique H de G. En fait 𝔥 étant la sous-algèbre de Lie correspondant à H, χ s’ecrit sous la forme χ(exp X) = e^{i⟨f,X⟩} (X ∈ 𝔥) avec f ∈ 𝔤^{⋆}. D’aprés Corwin, Greenleaf [3] et Lipsman [17], la désintégration de τ en irréductibles s’obtient comme suit,

τ ≃ ∫_{(f+𝔥^{⊥})/H}^{⊕} π_{l}dl̇  (0.1)

dl̇ étant une certaine mesure naturelle sur l’espace (f + 𝔥^{⊥})/H des H− orbites. D’autre part suivant encore les travaux de Corwin, Greenleaf, Grélaud [7] et Lipsman [17], la désintégration centrale de τ s’écrit aussi

τ ≃ ∫ ⊕ ; Ĝ m(π)πdμ(π)  (0.2)

où μ dénote une mesure finie équivalente à l’image par l’application de Kirillov θ : 𝔤^{⋆} ⟶ Ĝ de la mesure de Lebesgue sur f + 𝔥^{⊥} et m(π) désigne le nombre de H−orbites incluses dans l’intersection de (f + 𝔥^{⊥}) avec l’orbite coadjointe Ω(π) de π. (C’est aussi le nombre des composantes connexes dans (f + 𝔥^{⊥}) ∩ Ω(π) lorsque ce nombre est fini).

ISSN 0949–5932 / $2.50 ^{_{C} ◯} Heldermann Verlag

L’un des problèmes les plus importants dans la théorie de la désintégration des représentations des groupes est de connaître explicitement un opérateur qui entrelace τ et sa décomposition en représentations irréductibles. La réponse à cette question peut aider à trouver la solution de plusieurs problèmes importants, par exemple l’étude de la résolubilité des opérateurs différentiels invariants sur l’espace homogène G/H, ou encore le problème de la réciprocité de Frobénius des vecteurs généralisés semi-invariants dont Hidénori Fujiwara a trouvé une solution partielle ([8], [9] et [10]).

Dans [18] et [19] Ronald. L. Lipsman a établi un opérateur d’entrelacement pour la représentation quasi-régulière dans le cas où les multiplicités sont finies. Dans [11] Gérard Grélaud remarquait que la formule de Plancherel sur les groupes de Lie nilpotents connexes simplement connexes permet d’obtenir explicitement un opérateur d’entrelacement entre la représentation induite et sa décomposition centrale lorsque 𝔥 est un idéal de 𝔤.

Récemment, L. Corwin et F. P. Greenleaf ont construit un opérateur d’entrelacement afin de prouver que l’algèbre des opérateurs différentiels sur G/H, G−invariant et qui permutent à la translation à gauche, est isomorphe à l’algèbre des fonctions polynômiales H−invariantes sur f + 𝔥^{⊥} et ceci sous les conditions suivantes:

(i) m_{π} < ∞ pour π générique dans Spectre (τ).

(ii) 𝔤 contient une sous-algèbre 𝔟 qui polarise tous les éléments génériques de Γ_{f} = f + 𝔥^{⊥} et qui est normalisée par 𝔥 (cf. [4]). La nouveauté dans ce travail par rapport aux cas déjà connus, c’est

l’obtention d’un tel opérateur d’entrelacement dans le cas général, en d’autre termes nous construisons dans ce papier un opérateur d’entrelacement entre Ind_{H}^{G}χ_{f} et sa décomposition en irréductibles (0.1) lorsque H est un sous-groupe fermé connexe quelconque d’un groupe de Lie nilpotent connexe simplement connexe. Nous espérons que nos résultats pourront se généraliser à d’autres classes de groupes résolubles.

Le papier se compose de quatre sections. Dans la première et la deuxième nous généralisons les résultats de Corwin, Greenleaf et Grélaud [7], Lipsman [17] sur la désintégration des représentations monomiales, nous déterminons des sousespaces affines

𝒱^{R,ℬ} = { ∑_{i=1}^{r} R_{i}(T)f_{i}; T ∈ ℝ^{k}}

de f + 𝔥^{⊥}, ainsi qu’une mesure dλ = dλ^{R,ℬ} sur 𝒱^{R,ℬ} telle que

Ind_{H}^{G}χ_{f} ≃ ∫_{𝒱^{R,ℬ}}^{⊕} π_{ϕ}dλ^{R,ℬ} (ϕ).

Ici R désigne une famille {R_{1}, …, R_{r}} de certaines fonctions affines définies sur ℝ^{k}, où k ∈ N I que nous préciserons dans 2.4.2, et ℬ^{⋆} = {f_{r}, ⋯, f_{1}} la base duale d’une base de Malcev ℬ relative à 𝔥.

Dans la troisième section nous construisons un opérateur d’entrelacement unitaire explicite et nous donnerons son inverse. Nous construisons cet opérateur U de la façon suivante. Nous partons d’une suite de Jordan-Hölder 𝒞 de 𝔤, nous en déduisons une base de Malcev ℬ relative à 𝔥, nous prenons une famille R = {R_{1}, ⋯, R_{r}} de fonctions affines et nous obtenons notre espace de désintégration 𝒱^{R,ℬ} avec la mesure Lebesgue dλ. La base ℬ nous définit une mesure invariante sur G/H, donc la norme sur l’espace H_{τ} de τ. Dans le paragraphe 3.1 nous déterminons un ouvert de Zariski 𝒱_{0} de 𝒱^{R,ℬ} , pour chaque ϕ ∈ 𝒱_{0} une polarisation 𝔟(ϕ) en ϕ, une base de Malcev 𝒳(ϕ) de 𝔟(ϕ), une base de Malcev 𝒴(ϕ) de 𝔟(ϕ) relative à 𝔥∩𝔟(ϕ) et une base de Malcev 𝒰 de 𝔥 relative à 𝔥 ∩ 𝔟(ϕ). Toutes ces bases varient de façon continue en ϕ ∈ 𝒱_{0} et elles nous fixent des mesures invariantes d_{G,B(ϕ)} sur G/B(ϕ), où B(ϕ) = exp(𝔟(ϕ)), donc la norme sur l’espace H_{ϕ} de la représentation irréductible π_{ϕ} = Ind_{B(ϕ)}^{G}χ_{ϕ}, d_{B(ϕ),B(ϕ)∩H} sur B(ϕ)/B(ϕ) ∩ H, et d_{H,H∩B(ϕ)} sur H/B(ϕ) ∩ H. Ceci nous permet de définir l’espace

H = ∫_{𝒱^{R,ℬ}}^{⊕} H_{ϕ}dλ(ϕ)

de la désintégration de τ. Nous associons maintenant à chaque fonction de Schwartz ξ contenu dans H_{τ} et à chaque ϕ ∈ 𝒱_{0} le vecteur C^{∞}

T_{B(ϕ),H}ξ(g) = ∫_{B(ϕ)/B(ϕ)∩H} ξ(gb)χ_{ϕ}(b)d_{B(ϕ),B(ϕ)∩H}(b), g ∈ G

de H_{ϕ}. Nous montrerons dans 3.3 que

∫_{𝒱_{0}} ∥T_{B(ϕ),H}ξ∥_{H_{ϕ}}^{2}dϕ = ∥ξ∥_{H_{τ}}^{2}

et que nous obtenons de cette façon un opérateur d’entrelacement isométrique qui transforme τ en une intégrale des π_{ϕ} sur 𝒱_{0} et dans 3.4 que cet opérateur est inversible.

Dans la quatrième section, nous examinons des exemples et nous décrivons une nouvelle désintégration (lisse) de L^{2}(G).

1. Généralités

1.1 Notations et rappels. Soit G un groupe de Lie nilpotent connexe et simplement connexe d’algèbre de Lie 𝔤. En notant exp l’application exponentielle, nous écrirons G = exp 𝔤. Soient V, W des espaces vectoriels réels de dimension finie tels que W ⊂ V . Nous notons V^{⋆} l’espace vectoriel dual de V et W^{⊥}, l’orthogonal de W dans V^{⋆}. Si u_{1}, …, u_{p}, (p ∈ N I ) désigne des vecteurs linéairement indépendants de V , on note vect(u_{1}, …, u_{p}) le sous-espace vectoriel de V engendré par ces vecteurs, et nous disons que la base {u_{1}, …, u_{p}} engendre cet espace. Etant donné l ∈ 𝔤^{⋆} et X ∈ 𝔤, nous notons ⟨l, X⟩ l’image de X par l. Le noyau de la forme bilinéaire B_{l} définie par

B_{l}(X, Y) = ⟨l, [X, Y]⟩

se note 𝔤(l) : 𝔤(l) = {X ∈ 𝔤 ; B_{l}(X, Y) = 0 pour tout Y ∈ 𝔤}. Le plus grand idéal contenu dans 𝔤(l) sera noté 𝔞(l). Manifestement

𝔞(l) = ⋂_{ϕ∈G·l} 𝔤(ϕ).  (1.1.1)

Nous disons qu’une sous-algèbre de 𝔤 est subordonnée à l si elle est totalement isotrope pour B_{l}. Nous notons S(l, 𝔤) l’ensemble de telles sous-algèbres et M(l, 𝔤) celui des sous-algèbres qui sont en même temps des sous-espaces totalement isotropes maximaux. Un élément de M(l, 𝔤) sera appelé polarisation (réelle) au point l. Soit 𝔥 ∈ S(l, 𝔤). Donnons-nous le caractère χ_{l} du sousgroupe analytique H = exp 𝔥 correspondant à l par,

χ_{l}(exp X) = e^{−i⟨l,X⟩}

quel que soit X ∈ 𝔥 .

1.2. Nous construisons la représentation induite τ = ρ(l, 𝔥, G) = Ind_{H}^{G}χ_{l} de G. Par définition même d’une représentation induite, τ se réalise par translations à gauche dans l’espace de Hilbert H_{τ} des fonctions ξ sur G vérifiant

ξ(gh) = χ_{l}(h^{−1})ξ(g)  (1.2.1)

quels que soient g dans G et h dans H, et de carré intégrable sur G/H pour la mesure G− invariante. Cet espace sera noté L^{2}(G/H, l). Une telle représentation sera aussi appelée monomiale.

Soit K̂ : 𝔤^{⋆}/G ⟶ Ĝ la bijection de Kirillov. Pour π ∈ Ĝ, nous noterons Ω(π) l’orbite correspondante Ω(π) = K̂^{−1}(π). Nous munissons 𝔤^{⋆}/G et Ĝ de leurs structures topologiques et boréliennes habituelles. Il est bien connu que K̂ est un isomorphisme borélien, même un homéomorphisme, de 𝔤^{⋆}/G sur Ĝ (cf.

[2] et [15]). Nous confondrons parfois les classes d’équivalence dans Ĝ avec leurs représentantes, et la relation d’équivalence entre deux représentations π_{1}, π_{2} se notera π_{1} ≃ π_{2} .

1.3. Soit V un espace vectoriel réel de dimension finie et ρ : G ⟶ End(V) une action unipotente de G sur V . Nous désignons par

(0) = V_{n} ⊂ V_{n−1} ⊂ … ⊂ V_{1} ⊂ V_{0} = V

une suite de Jordan-Hölder pour G et ℒ = {v_{1}, …, v_{n}} une base de Jordan-Hölder associée (v_{j} ∈ V_{j−1} \ V_{j}). Si v ∈ V , nous écrivons ρ(x)v = x · v pour tout x ∈ G et X · v = \frac{d}{dt}\{ρ(exp(tX)) · v\}|_{t=0} pour tout X ∈ 𝔤.

L’ensemble indice e^{ℒ} (v) = {i_{1} < … < i_{d}} d’un élément v dans V relatif à ℒ est l’ensemble suivant de {1, …, n}:

i ∈ e^{ℒ} (v) ⇔ ∃ X ∈ 𝔤 : X · v ∈ V_{i−1} \ V_{i}.

L’entier d, i.e. le cardinal de e^{ℒ} (v) est bien sûr la dimension de la G−orbite Ω de v et ne varie pas si v parcourt Ω.

Soit W un sous-espace G-invariant de V . Nous disons qu’une orbite Ω de G dans V est saturée par W, si Ω + W = Ω. Fixons d dans ℕ. Pour un sous-ensemble e de {1, …, n} avec cardinal de e = d nous notons V_{e} la partie V qui contient tous les éléments v telles que e^{ℒ} (v) = e. Il existe une relation d’ordre sur l’ensemble des ensembles indice de longueur d, et pour chaque e il existe un polynôme P_{e} tels que

V_{e} = { v ∈ V; P_{e}(v) ≠ 0, P_{e′}(v) = 0, pour tout e′ > e }.

La partie V_{d} de V qui contient tous les éléments v telle que la dimension des G− orbites soit d, est la réunion disjointe des V_{e}.

Pukanszky a montré dans [21] qu’il existe un système de n fonctions réelles {p_{1}^{ℒ} , …, p_{n}^{ℒ} } sur ℝ^{d} × V_{e} avec les propriétés suivantes:

a) Pour v ∈ V_{e} fixée, p_{i}^{ℒ} (z, v) est une fonction polynômiale en z = (z_{1}, …, z_{d}) et les coefficients sont des fonctions G−invariantes sur V_{e}, i ∈ {1, …, n};

b) p_{i}^{ℒ} (z, v) = z_{k} pour i = i_{k} ∈ e, v ∈ V_{e};

c) Si 1 ≤ i ≤ n, i_{k} ≤ i < i_{k+1} alors p_{i}^{ℒ} (z, v) ne dépend que de z_{1}, …, z_{k};

d) Pour tout v ∈ V_{e} nous avons

ρ(G)v = { p^{ℒ} (z, v) = ∑_{i=1}^{n} p_{i}^{ℒ} (z, v)v_{i} : z ∈ ℝ^{d}}.

Prenons par exemple V = 𝔤^{⋆} et l’action coadjointe. Soit 𝒟^{⋆} = {l_{1}, …, l_{n}} une base de Jordan-Hölder de 𝔤^{⋆} et soit 𝒟 = {X_{1}, …, X_{n}} la base duale dans 𝔤 , i.e.

⟨l_{i}, X_{j}⟩ = δ_{i,j}; 1 ≤ i, j ≤ n.

Nous notons pour tout j ∈ {1, …, n}, 𝔤_{j} = vect(X_{1}, …, X_{j}); l’ensemble indice

e^{𝒟^{⋆}} (l) = {i_{1} < … < i_{d}}

d’un élément l dans 𝔤^{⋆} relatif à 𝒟^{⋆} est aussi l’ensemble suivant de {1, …, n}:

i ∈ e^{𝒟^{⋆}} (l) ⇔ 𝔤(l) + 𝔤_{i−1}⊂_{≠} 𝔤(l) + 𝔤_{i}.

1.4. Soit maintenant ϕ dans 𝔤^{⋆}. Nous pouvons obtenir une polarisation au point ϕ par la méthode suivante de M. Vergne [23].

Soit {0} = 𝔞^{n+1} ⊂ 𝔞^{n} ⊂ … ⊂ 𝔞^{1} = 𝔤 une chaîne d’idéaux de 𝔤 tels que dim 𝔞^{j} = j; soit ϕ_{j} = ϕ|𝔞^{j}. Alors 𝔟(ϕ) = ∑_{j=1}^{n} 𝔞^{j}(ϕ_{j}) est un élément de M(ϕ, 𝔤).

2. Désintégration des représentations monomiales.

2.1 Choix des mesures. Comme plus haut soit 𝔥 ∈ S(f, 𝔤) et χ_{f} le caractère du sous-groupe analytique H = exp 𝔥 correspondant à 𝔥 défini par, quel que soit X ∈ 𝔥 , χ_{f}(exp X) = e^{−i⟨f,X⟩}. Nous fixons maintenant une mesure de Haar dx sur G. Soit B = exp 𝔟 un sous-groupe fermé connexe de G et soit {Y_{1}, Y_{2}, …, Y_{k}} une base de Jordan-Hölder de 𝔟. Alors l’application

ψ : ℝ^{k} ⟶ B, (t_{1}, …, t_{k}) ⟶ exp t_{1}Y_{1} ⋯ exp t_{k}Y_{k}

est un difféomorphisme. Nous choisissons une mesure db sur B de la manière suivante: Pour toute fonction C^{∞} à support compact η dans B,

∫_{B} η(b)d(b) = ∫_{ℝ_{k}} η(exp(t_{1}Y_{1}) ⋯ exp(t_{k}Y_{k}))dt_{1} ⋯ dt_{k}.

Cette mesure est invariante à gauche, donc une mesure de Haar. D’autre part si nous choisissons une base de Malcev {X_{1}, ⋯, X_{d}} de 𝔤 relative à 𝔟, c.à d.

𝔤 = ℝX_{1} ⊕ ⋯ ⊕ ℝX_{d} ⊕ 𝔟 et ∑_{k=j}^{d} ℝX_{k} + 𝔟

est une sous-algèbre de 𝔤 pour tout j, alors la mesure d_{G,B} sur G/B définie pour toute fonction continue à support compact ã sur G/B par

∫_{G/B} ã(g)d_{G,B}(g) = ∫_{ℝ_{d}} ã(exp(t_{1}X_{1}) ⋯ exp(t_{d}X_{d}))dt_{1} ⋯ dt_{d},

est aussi invariante à gauche. En normalisant un des vecteurs X_{j}, nous avons que

∫_{G} q(g)dg = ∫_{G/B} ( ∫_{B} q(xb)db)d_{G,B}(x)

pour toute fonction continue à support compact q sur G. Nous choisirons toujours les mesures invariantes d_{G,B} sur les espaces quotients G/B de telle sorte que cette identité soit vraie.

Rappelons maintenant un résultat dû à Lion [16]. Soient 𝔟_{1}, 𝔟_{2} deux polarisations au point ϕ ∈ 𝔤^{⋆}, et B_{1}, B_{2} les deux sous-groupes associés. Nous notons

S(G/B_{i}, ϕ) = H_{Ind_{B_{i}}^{G} χ_{ϕ}}^{∞}, i ∈ {1, 2},

l’ensemble des vecteurs C^{∞} des espaces des représentations Ind_{B_{i}}^{G}χ_{ϕ}, i ∈ {1, 2},

qui sont en fait isomorphes tous les deux à l’espace de Schwartz de ℝ^{codim 𝔟^{i}}. Dans toute la suite nous noterons π_{ϕ,B} la représentation Ind_{B}^{G}χ_{ϕ}.

Si d_{B_{2},B_{2}∩B_{1}} est une mesure sur B_{2}/B_{2} ∩ B_{1} invariante à gauche pour B_{2} , alors pour toute fonction k̃ de S(G/B_{1}, ϕ) l’intégrale

T_{B_{2},B_{1}} k̃(g) = ∫_{B_{2}/B_{2}∩B_{1}} k̃(gb)χ_{ϕ}(b)d_{B_{2},B_{2}∩B_{1}}(b)

definie pour tout g ∈ G est absolument convergente et définit un isomorphisme de S(G/B_{1}, ϕ) sur S(G/B_{2}, ϕ) qui se prolonge par continuité en un opérateur d’entrelacement entre π_{ϕ,B_{1}} et π_{ϕ,B_{2}} , et si les mesures sur les espaces homogènes G/B_{1} et G/B_{2} sont convenablement normalisées, T_{B_{2},B_{1}} est une isométrie. Pour tous ces détails voir [16], page 164.

Revenons maintenant à τ = Ind_{H}^{G}χ_{f}. Nous notons H_{τ}, respectivement H_{τ}^{∞}, l’espace de la représentation τ, respectivement l’espace des vecteurs C^{∞} de cette représentation. Soit {X_{1}, ⋯, X_{r}} une base de Malcev de 𝔤 relative à 𝔥. Il est bien connu que l’application

E : ℝ^{r} ↦ G/H; E(t_{1}, ⋯, t_{r}) = exp(t_{1}X_{1}) ⋯ exp(t_{r}X_{r}) · H

est un difféomorphisme de ℝ^{r} sur G/H.

Nous notons par S(G/H, f) l’espace de Schwartz de la représentation τ i.e l’espace des fonctions ξ qui sont C^{∞} sur G, vérifiant la relation (1.2.1) et telle que ξ ∘ E soit une fonction de Schwartz ordinaire sur ℝ^{r} pour une et donc pour toute base de Malcev relative à 𝔥. L’espace de Fréchet S(G/H, f) est évidemment isomorphe à l’espace de Fréchet S(G/H). De la même manière, nous définissons les espaces C^{∞}(G/H, f) des fonctions C^{∞} et C_{c}^{∞}(G/H, f) des fonctions C^{∞} à support compact modulo H vérifiant (1.2.1).

Par abus de langage nous appellerons polarisation la sous-algèbre et aussi le sous-groupe associé. Soit ϕ ∈ Γ_{f} et B(ϕ) = exp 𝔟(ϕ) une polarisation en ϕ. Nous remarquons que l’intégrale

T_{B(ϕ),H}ξ(g) = ∫_{B(ϕ)/B(ϕ)∩H} ξ(gu)χ_{ϕ}(u)d_{B(ϕ),B(ϕ)∩H}(u)

existe pour toute fonction de Schwartz ξ dans S(G/H, f) et g dans G et définit une fonction C^{∞} sur G qui vérifie la relation de covariance (1.2.1) pour B(ϕ) et le caractère χ_{ϕ}. La fonction T_{B(ϕ),H}ξ est en fait un élément de H_{ϕ}^{∞}, c’est à dire un vecteur C^{∞} de la représentation induite π_{ϕ,B(ϕ)} . Le lemme suivant peut être prouvé par les méthodes utilisées par Corwin et Greenleaf dans ([5], Example 2.3).

Lemme 2.2. Soit ϕ ∈ Γ_{f} et B = exp 𝔟 une polarisation en ϕ. Alors l’application

T_{B,H} : S(G/H, f) ⟶ S(G/B, ϕ),
T_{B,H}ξ(x) = ∫_{B/B∩H} f(xb)χ_{ϕ}(b)d_{B,B∩H}(b); x ∈ G,

est linéaire, continue et surjective.

2.3. Comme plus haut nous notons Γ_{f} = f + 𝔥^{⊥}. Soit 𝒜 une suite d’idéaux de 𝔤 vérifiant

(0) = 𝔞^{n+1} ⊂ 𝔞^{n} ⊂ … ⊂ 𝔞^{1} = 𝔤

et soit 𝒞 = {Z_{1}, …, Z_{n}} une base de Jordan-Hölder de 𝔤 extraite de 𝒜, c.à.d Z_{j} ∈ 𝔞^{j} \ 𝔞^{j+1} et 𝔞^{j} = vect(Z_{j}, …, Z_{n}). Nous tirons de 𝒜 une suite de Malcev {𝔤_{j}} et une base de Malcev ℬ = {B_{1}, ⋯, B_{r}} de 𝔤 relative à 𝔥 de la façon suivante. Regardons les sous-algèbres 𝔥_{j} = 𝔞^{j} + 𝔥, j = 1, …, n, de 𝔤. Soit n ≥ j_{1} > … > j_{r} ≥ 1 les indices tels que 𝔥_{j} ≠ 𝔥_{j+1} . Nous posons B_{i} = Z_{j_{i}}, et nous obtenons ℬ = {B_{1}, ⋯, B_{r}}. Nous prenons ensuite 𝔤_{k} = 𝔥 ⊕ vect(B_{1}, …, B_{k}), k = 1, …, r et nous avons

𝔥 = 𝔤_{0} ⊂ 𝔤_{1} ⊂ … ⊂ 𝔤_{r} = 𝔤.

Nous dirons que la base de Malcev ℬ relative à 𝔥 est associée à 𝒜. Nous utiliserons ℬ pour déterminer une mesure G-invariante sur G/H, donc pour fixer la norme sur l’espace de l’induite Ind_{H}^{G}χ_{f}. En prenant la base duale ℬ^{⋆} = {f_{1}, …, f_{r}} de ℬ, nous obtenons une base de Jordan-Hölder de 𝔥^{⊥} pour l’action de H.

Remarquons enfin qu’à partir d’une base 𝒞 = {Z_{1}, …, Z_{n}} de Jordan-Hölder de 𝔤, on peut construire une chaîne d’idéaux 𝒜 = (𝔞_{j})_{j=1}^{n+1} en posant 𝔞^{j} = vect(Z_{j}, …, Z_{n}), j = 1, …, n et 𝔞^{n+1} = {0}.

2.4.1. Nous gardons toutes nos notations. Soit G_{j} = exp(𝔤_{j}), j = 1, …, r et {B_{0}, …, B_{−p}} une base de 𝔥. Nous considérons pour tout j = 1, …, r et tout ϕ ∈ Γ_{f}, ϕ_{j} = ϕ_{|𝔤_{j}}. Nous posons

d_{j}(ϕ) = dim (G_{j} · ϕ_{j}) = rang ((⟨ϕ, [B_{i}, B_{i′}]⟩)_{−p≤i,i′≤j})

et

d_{j} = max_{ϕ∈Γ_{f}} d_{j}(ϕ), d_{0} = 0.

Notons que ces dimensions ne dépendent que des sous-algèbres 𝔤_{i} qui eux mêmes ne dépendent que des idéaux de 𝒜. Le choix des vecteurs B_{i} ne joue donc aucun rôle sur ces dimensions. Nous posons

I^{H,𝒞} = I^{H} = {j ∈ {1, …, r}; d_{j} > d_{j−1}}
= { j ∈ {1, …, r}; presque toutes les G_{j}–orbites dans Γ_{f}^{j} = Γ_{f}_{|𝔤_{j}}
sont saturées par rapportà 𝔤_{j−1}^{⊥} ⊂ 𝔤_{j}^{⋆}}.

Finalement soit

L^{H,𝒞} = L^{H} = {1, …, r} \ I^{H} = {j ∈ {1, …, r}, d_{j} = d_{j−1}}
= { j ∈ {1, …, r}; presque aucune G_{j} − orbite dans Γ_{f}^{j} = Γ_{f}_{|𝔤_{j}}
n’est saturée par rapportà 𝔤_{j−1}^{⊥}}.

Nous notons L^{H} = {i_{1} < … < i_{k}}. Nous dirons qu’un élément ϕ ∈ Γ_{f} est en position générale, si

d_{j}(ϕ) = d_{j}, ∀j ∈ {1, …, r}.

Les éléments en position générale forment un ouvert de Zariski dans Γ_{f}.

2.4.2. Nous allons désintégrer la représentation Ind_{H}^{G}χ_{f} sur certains sousespaces affines 𝒱^{R,ℬ} de Γ_{f} qui ont la forme suivante. Soit R = {R_{1}, …, R_{r}} une famille de fonctions affines définies sur ℝ^{k}, où k dénote le cardinal de L^{H} satisfaisant:

i_{1} ) Pour j ∈ I^{H}, R_{j}(t_{1}, …, t_{k}) ne dépend que de t_{1}, ⋯, t_{j′}, où i_{j′} ≤ j <

i_{j′+1} .
i_{2} ) Pour tout i_{j} ∈ L^{H}, R_{i_{j}}(t_{1}, …, t_{k}) = t_{j}.

Nous posons alors

𝒱^{R,ℬ} = f + { R(T); T = (t_{1}, ⋯, t_{k}) ∈ ℝ^{k} } ⊂ Γ_{f},  (2.4.3)

où R(T) = ∑_{i=1}^{r} R_{i}(T)f_{i}. Nous prenons sur 𝒱^{R,ℬ} la mesure de Lebesgue dT que nous noterons dλ = dλ^{R,ℬ} .

Un sous-espace affine 𝒱 de Γ_{f} sera appelé 𝒞−admissible, s’il existe une base de Malcev ℬ relative à 𝔥 associée à 𝒜 (où 𝒜 est la chaîne d’idéaux associée à 𝒞) et une famille de fonctions R = {R_{1}, …, R_{r}} vérifiant les propriétés i_{1} et i_{2} tels que 𝒱 soit de la forme 𝒱^{R,ℬ} . Nous disons que 𝒱 est en position générale, si 𝒱 contient des éléments de Γ_{f} en position générale.

Proposition 2.5. Soit 𝒜 une chaîne d’idéaux de 𝔤 comme dans (2.3) et ℬ est une base de Malcev relative à 𝔥 associée à 𝒜. L’espace affine 𝒱^{R,ℬ} défini comme dans (2.4.3) est en position générale dans Γ_{f}, c.à d. pour chaque ϕ ∈ Γ_{f} en position générale, il existe g ∈ G, tel que Ad^{⋆}(g)ϕ soit en position générale dans Γ_{f} et contenu dans 𝒱^{R,ℬ} .

Démonstration. Soit ϕ = ϕ^{0} et T^{0} = 0. Montrons par récurrence sur j = 0, …, r, qu’il existe ϕ^{j} ∈ Γ_{f} ∩ G · ϕ en position générale et un T^{j} = (t_{1}^{j}, …, t_{k}^{j}) ∈ ℝ^{k}, tels que

ϕ^{j}(B_{i}) = R_{i}(T^{j}) + f(B_{i}), i = 1, …, j

où ℬ = {B_{1}, ⋯, B_{r}}. Supposons ϕ^{j} et T^{j} trouvés et regardons l’indice j + 1. Si j + 1 ∈ I^{H}, alors l’orbite de ϕ_{|𝔤_{j+1}}^{j} dans 𝔤_{j+1}^{⋆} est saturée par rapport à

𝔤_{j}^{⊥}, comme ϕ^{j} est en position générale, il existe donc u ∈ G_{j} tel que pour ϕ^{j+1} = Ad^{⋆}(u)ϕ^{j}, nous ayons que

ϕ_{|𝔤_{j}}^{j} = ϕ_{|𝔤_{j}}^{j+1} et ϕ^{j+1}(B_{j+1}) = R_{j+1}(T^{j}) + f(B_{j+1}).

Alors ϕ^{j+1} ∈ Γ_{f}. Montrons que ϕ^{j+1} est en position générale, c’est à dire qu’il faut montrer que

dimG_{p}(ϕ^{j+1})_{|𝔤_{p}} = d_{p}, p = 1, ⋯, r.

Si p ≤ j −1, alors ϕ_{|𝔤_{p}}^{j+1} = ϕ_{|𝔤_{p}}^{j} et puisque ϕ^{j} est en position générale nous avons bien le résultat.

Si p ≥ j, alors comme u ∈ G_{p}, G_{p}(ϕ^{j+1})_{|𝔤_{p}} = G_{p}(Ad^{⋆}(u)ϕ^{j})_{|𝔤_{p}} = G_{p}(ϕ^{j})_{|𝔤_{p}} et donc dimG_{p}(ϕ^{j+1})_{|𝔤_{p}} = d_{p}. Nous posons encore T^{j+1} = T^{j}.

Si j + 1 ∈ L^{H}, alors j + 1 = i_{j′} pour un certain j′ et R_{j+1}(T^{j}) = t_{j′}^{j}. Nous prenons ϕ^{j+1} = ϕ^{j} et nous remplacons T^{j} par

\begin{matrix}T^{j+1} \\ = (t_{1}^{j+1} = t_{1}^{j}, …, t_{j′−1}^{j+1} = t_{j′−1}^{j}, t_{j′}^{j+1} = ϕ^{j}(B_{j+1}) + f(B_{j+1}), t_{j′+1}^{j+1} = t_{j′+1}^{j}, …). \end{matrix}

2.6. Nous serons souvent amenés à faire des changements de base du type

Z′_{j} = Z_{j} + ∑_{k>j} c_{j,k}Z_{k}, j = 1, ⋯, n.  (2.6.1)

Alors la base de Malcev {B_{1}, ⋯, B_{r}} est changée en {B′_{1}, …, B′_{r}}, où

B′_{j} = B_{j} + ∑_{i<j} a_{i,j}B_{i} + U_{j} , j = 1, …, r,

avec certains U_{j} ∈ 𝔥. De même un élément ϕ = ∑_{i=1}^{r} ϕ_{i}f_{i} + f ∈ Γ_{f} s’écrit dans la

nouvelle base ℬ′ comme ϕ = ∑_{i=1}^{r} ϕ′_{i}f′_{i} + f, où ϕ′_{i} = ϕ_{i} + ∑_{i>j} a_{j,i}ϕ_{j}. Soit R = {R_{1}, ⋯, R_{r}} une famille de fonctions comme dans 2.4.1. Pour i_{j} ∈ L^{H}, T ∈ ℝ^{k}, posons

t_{j} + ∑_{i<i_{j}}^{r} a_{i,i_{j}}R_{i}(T) = ⟨R(T), B′_{i_{j}}⟩ = t′_{j}.

Ainsi t′_{j} = t_{j} + A_{j}(t_{1}, ⋯, t_{j−1}) où A_{j} est affine et ainsi

t_{j} = t′_{j} + A′_{j}(t′_{1}, ⋯, t′_{j−1}),

avec A′_{j} affine. Si nous posons pour i_{j} ∈ L^{H} et pour j ∈ I^{H}

R′_{i_{j}}(T′) = t′_{j}, R′_{j}(T′) = ⟨R(A′(T′)), B′_{j})⟩, T′ ∈ ℝ^{k}

où A′(T′) = (t′_{1} +A′_{1}, ⋯, t′_{k} +A′_{k}(t′_{1}, ⋯, t′_{k−1})), alors nous trouvons une nouvelle famille de fonctions affines R′ vérifiant i_{1} et i_{2} , telle que pour la base ℬ′ les espaces 𝒱^{R,ℬ} et 𝒱^{R′,ℬ′} coïncident de même que les mesures dλ^{R,ℬ} et dλ^{R′,ℬ′} .

Théorème 2.7. Soit G un groupe de Lie nilpotent connexe simplement connexe d’algèbre de Lie 𝔤, soit f ∈ 𝔤^{⋆} et soit 𝔥 une sous-algèbre de 𝔤 subordonnée à f, H = exp 𝔥 étant le sous-groupe fermé connexe de G associé à 𝔥, τ la représentation monomiale induite à partir du caractère unitaire χ_{f} de H. Soit ℬ = {B_{1}, …, B_{r}} une base de Malcev de 𝔤 relative à 𝔥, 𝒱^{R,ℬ} ⊂ Γ_{f} étant le sous-espace affine décrit en 2.4.2 et dλ^{R,ℬ} sa mesure. Alors la désintégration de τ en irréductibles s’écrit :

Ind_{H}^{G}χ_{f} ≃ ∫_{𝒱^{R,ℬ}}^{⊕} π_{ϕ}dλ^{R,ℬ} (ϕ).

Démonstration. Remarquons que la décomposition usuelle canonique s’effectue sur l’espace de base Γ_{f}/H. Dans le cas des multiplicités infinies nous avons que dim(𝒱^{R,ℬ} ) < dim(Γ_{f}/H), alors que nous avons l’égalité de ces deux dimensions dans le cas des multiplicités finies.

Nous faisons une récurrence sur la dimension de 𝔤. Le sous-espace

𝔤_{0} = vect(𝔥, B_{1}, ⋯, B_{r−1})

est un idéal de codimension 1 de 𝔤 et ℬ_{0} = {B_{1}, …, B_{r−1}} est une base de Malcev de 𝔤_{0} relative à 𝔥. Soit R_{0} = {R_{1}, …, R_{r−1}} et f_{0} = f_{|𝔤_{0}} . Nous désignons par 𝒱^{R_{0},ℬ_{0}} la partie de Γ_{f_{0}} obtenue par le procédé décrit en 2.4 relativement à 𝔤_{0}, ℬ_{0} et R_{0} . En fait 𝒱^{R_{0},ℬ_{0}} est la restriction de 𝒱^{R,ℬ} à 𝔤_{0} . Soit encore dλ^{R_{0},ℬ_{0}} la mesure de Lebesgue sur 𝒱^{R_{0},ℬ_{0}} .

Nous savons que Ind_{H}^{G}χ_{f} = Ind_{G_{0}}^{G}Ind_{H}^{G_{0}}χ_{f} où G_{0} = exp(𝔤_{0}), et en utilisant l’hypothèse de récurrence sur G_{0} nous obtenons

Ind_{H}^{G}χ_{f} ≃ ∫_{𝒱^{R_{0},ℬ_{0}}}^{⊕} Ind_{G_{0}}^{G}π_{ϕ_{0}}dλ^{R_{0},ℬ_{0}} (ϕ_{0}),

il nous faut donc étudier les deux cas suivants:

(1) r ∈ I^{H}, c.à d. les G− orbites sont presque toutes saturées par rapport à 𝔤_{0}^{⊥}, donc pour presque tout ϕ ∈ 𝒱^{R,ℬ} , (en vertue de la proposition 2.5), pour ϕ_{0} = ϕ_{|𝔤_{0}} , π_{ϕ} = Ind_{G_{0}}^{G}π_{ϕ_{0}} est irréductible. En plus, vu la forme de R_{r}, l’application ϕ → ϕ_{0} = ϕ_{|𝔤_{0}} est un isomorphisme d’espace affine qui respecte les mesures dλ^{R,ℬ} et dλ^{R_{0},ℬ_{0}} . Ainsi

Ind_{H}^{G}χ_{f} ≃ ∫_{𝒱^{R_{0},ℬ_{0}}}^{⊕} Ind_{G_{0}}^{G}π_{ϕ_{0}}dλ^{R_{0},ℬ_{0}} (ϕ_{0}) ≃ ∫_{𝒱^{R,ℬ}}^{⊕} π_{ϕ}dλ^{R,ℬ} (ϕ).

(2) r ∈ L^{H}, c.à d. les G− orbites génériques ne sont pas saturées par rapport à 𝔤_{0}^{⊥}. Choisissons pour chaque ϕ_{0} ∈ Γ_{f_{0}} , l’extension ϕ_{0}^{1} ∈ Γ_{f} définie par ϕ_{0}^{1}(B_{r}) = 0. Nous avons alors que

𝒱^{R,ℬ} = {ϕ_{0}^{1} + sB_{r}^{⋆}, s ∈ ℝ, ϕ_{0} ∈ 𝒱^{R_{0},ℬ_{0}} } ≃ 𝒱^{R_{0},ℬ_{0}} × ℝ,

donc la mesure dλ^{R,ℬ} est exactement dλ^{R_{0},ℬ_{0}} ⊗ ds, où ds est la mesure de Lebesgue sur ℝ. D’autre part, nous avons pour ϕ_{0} en position générale dans Γ_{f_{0}} que

Ind_{G_{0}}^{G}π_{ϕ_{0}} ≃ ∫_{ℝ}^{⊕} π_{ϕ_{0}+αB_{r}^{⋆}}dα.

Il en résulte que

Ind_{H}^{G}χ_{f} ≃ ∫_{𝒱^{R_{0},ℬ_{0}}}^{⊕} (∫_{ℝ}^{⊕} π_{ϕ_{0}+αB_{r}^{⋆}}dα)dλ^{R_{0},ℬ_{0}} (ϕ_{0}) = ∫_{𝒱^{R,ℬ}}^{⊕} π_{ϕ}dλ^{R,ℬ} (ϕ)

ce qui achève la démonstration.

3. Construction de l’opérateur d’entrelacement 3.1 Construction de polarisations et de bases de Malcev

Nous spécifions maintenant une chaîne 𝒜 d’idéaux de 𝔤. La particularité provient du fait que si 𝒞 = {Z_{1}, ⋯, Z_{n}} est la base de Jordan-Hölder de 𝔤 extraite de 𝒜 comme dans 2.3, alors 𝒞 contient une base de Jordan-Hölder

𝒟 = {V_{1} = Z_{l_{1}}, ⋯, V_{n−r} = Z_{l_{n−r}}}

de 𝔥. Nous construisons la base de Malcev ℬ = {B_{1}, …, B_{r}} de 𝔤 relative à𝔥 comme en 2.3.

La base 𝒞 nous donne les ensembles indice I^{H} et L^{H} et nous choisissons aussi une famille R = {R_{1}, ⋯, R_{r}} de fonctions affines réelles sur ℝ^{k} ayant les propriétés définies en 2.4.2 pour L^{H}. Soit 𝒱 = 𝒱^{R,ℬ} .

En outre, la base ℬ nous fournit une mesure G-invariante d_{G,H} sur G/H suivant le procédé décrit en 2.1, ce qui permet de fixer la norme

∥ξ∥_{L^{2}(G/H,f)} = ( ∫_{G/H} |ξ(g)|^{2}d_{G,H}(g))^{1/2}

des éléments de l’espace H_{τ} = L^{2}(G/H, f) de τ.

Nous allons construire maintenant un ouvert de Zariski 𝒱_{0} de 𝒱^{R,ℬ} sur lequel tous les objects suivants seront bien définis. Pour ϕ ∈ 𝒱_{0} , nous allons construire une polarisation 𝔟(ϕ) en ϕ,

une base de Malcev 𝒳(ϕ) = {X_{1}(ϕ), …, X_{l}(ϕ)}

de 𝔤 relative à 𝔟(ϕ)

une base de Jordan-Hölder 𝒟(ϕ) = {V_{1}(ϕ), ⋯, V_{q}(ϕ)}

de 𝔥 ∩ 𝔟(ϕ)

une base de Malcev 𝒴(ϕ) = {Y_{1}(ϕ), ⋯, Y_{m}(ϕ)}

de 𝔟(ϕ) relative à 𝔥 ∩ 𝔟(ϕ) et enfin une base 𝒰(ϕ) = {U_{1}(ϕ), ⋯, U_{p}(ϕ)} de 𝔥 relative à 𝔥∩𝔟(ϕ). où les nombres l, m, p ne dépendent pas de ϕ ∈ 𝒱_{0} . En outre tous les vecteurs X_{j}(ϕ), V_{j}(ϕ), Y_{j}(ϕ) et U_{j}(ϕ) varient de façon rationnelle et C^{∞} avec ϕ ∈ 𝒱_{0} . En particulier les dénominateurs de ces expressions ne s’annulent pas sur 𝒱_{0} .

Les vecteurs X_{j}(ϕ) vont définir la mesure G-invariante sur G/B(ϕ), donc la norme de l’espace de π_{ϕ}, les Y_{j}(ϕ) la mesure B(ϕ)-invariante sur B(ϕ)/H ∩ B(ϕ), donc l’opérateur d’entrelacement infinitésimal T_{B(ϕ),H} et les vecteurs U_{j}(ϕ) la mesure sur H/H ∩ B(ϕ). Avec ces données nous pourrons écrire dans 3.3 l’opérateur d’entrelacement cherché et dans 3.4 son inverse.

Tous les objects que nous venons de citer vont être construits étape par étape. Nous commençons par s = 0 et nous définissons nos bases à cette étape initiale. Nous informons le lecteur que nous serons obligés de définir encore d’autres sous-algèbres, certains indices et des ouverts de Zariski suppléméntaires de 𝒱 qui dépendent de ϕ et qui vont nous permettre de construire nos bases.

Nous allons introduire dans 3.1.0 tous nos outils à l’étape s = 0. Ensuite nous indiquons dans 3.1.s la situation dans une étape intermédiaire s ∈ {0, …, dim(𝔤)}. Dans 3.1.s + 1 nous allons expliquer en détail les techniques de passage d’un état s à l’état suivant s + 1 et nous exhibons tous les nouveaux objects construits.

Nous montrons à la fin que cette procédure s’arrête en un certain état s_{0} ∈ {0, …, dim(𝔤)}, et les bases trouvées à cette étape sont également les bases désirées. Remarquons enfin que nos constructions ne dépendent que de 𝒞, f et 𝔥.

3.1.0. Procéderons par récurrence sur s ∈ {0, …, dim(𝔤)} en commençant avec s = 0. Posons

𝒞^{0} = 𝒞, 𝒱_{0,0} = 𝒱
𝒳^{0}(ϕ) = 𝒴^{0}(ϕ) = 𝒰^{0}(ϕ) = Ø, 𝒟^{0}(ϕ) = 𝒟,
𝔨^{0}(ϕ) = (0), 𝔥^{0}(ϕ) = 𝔥, i_{0} = 0, j_{0} = n et 𝔤^{0}(ϕ) = 𝔤,
I^{0} = I^{H,𝒞} , R^{0} = R, r_{0} = r, k_{0} = k, n_{0} = dim(𝔤).

3.1.s. Nous supposons maintenant trouvés pour s ∈ {0, …, n = dim(𝔤)} une partie ouverte de Zariski 𝒱_{0,s} de 𝒱, pour tout ϕ ∈ 𝒱_{0,s} une sous-algèbre 𝔤^{s}(ϕ) de 𝔤 dimension n_{s} vérifiant

ad^{∗}(𝔤^{s}(ϕ)) · ϕ ⊃ (𝔤^{s}(ϕ))^{⊥},

des indices i_{s} ≤ j_{s} dans {0, ⋯, n_{s}}, et une base de Jordan-Hölder de 𝔤^{s}(ϕ) que nous notons 𝒞^{s}(ϕ) = {Z_{1}^{s}(ϕ), ⋯, Z_{n_{s}}^{s}(ϕ)} .

Soit ϕ_{s} = ϕ_{|𝔤^{s}(ϕ)} ∈ 𝔤^{s}(ϕ)^{⋆}. Nous avons l’idéal

𝔨^{s}(ϕ) = ∑_{j=j_{s}+1}^{n_{s}} ℝZ_{j}^{s}(ϕ)

de 𝔤^{s}(ϕ) contenu dans 𝔞(ϕ_{s}) où 𝔞(ϕ_{s}) est la sous-algèbre définie comme dans (1.1.1), une sous-algèbre 𝔥^{s}(ϕ) de 𝔤^{s}(ϕ) subordonnée à ϕ contenue dans 𝔤^{s}(ϕ). En plus nous disposons d’une base de Jordan-Hölder

𝒟^{s}(ϕ) = {V_{1}^{s}(ϕ), ⋯, V_{q_{s}}^{s}(ϕ)}

de 𝔥 ∩ 𝔤^{s}(ϕ) contenue dans 𝒞^{s}(ϕ), d’une base de Malcev

𝒳^{s}(ϕ) = {X_{1}^{s}(ϕ), ⋯, X_{l_{s}}^{s}(ϕ)}

de 𝔤 relative à 𝔤^{s}(ϕ), d’une base de Malcev

𝒴^{s}(ϕ) = {Y_{1}^{s}(ϕ), ⋯, Y_{m_{s}}^{s}(ϕ)}

de 𝔥^{s}(ϕ) relative à 𝔥^{s}(ϕ) ∩ 𝔥 et contenue aussi dans 𝒞^{s}(ϕ) et enfin d’une base de Malcev 𝒰^{s}(ϕ) = {U_{1}^{s}(ϕ), ⋯, U_{p_{s}}^{s}(ϕ)} de 𝔥 relative à 𝔥 ∩ 𝔤^{s}(ϕ) où q_{s}, l_{s}, m_{s}, p_{s} ne dépendent pas de ϕ. Finalement nous disposons d’un ensemble indice I^{s} ⊂ {1, ⋯, r_{s}} où r_{s} = dim (𝔤^{s}(ϕ)/𝔥^{s}(ϕ)) tel que pour tout ϕ ∈ 𝒱_{0,s}

I^{H^{s}(ϕ),𝒞^{s}(ϕ)} = I^{s}.

Nous posons encore L^{s} = {1, ⋯, r_{s}}\I^{s}. Nous avons en outre pour tout ϕ ∈ 𝒱_{0,s} une famille R^{s}(ϕ) = {R_{1}^{s}(ϕ), ⋯, R_{r_{s}}^{s}(ϕ)} de fonctions affines définies sur ℝ^{k_{s}} vérifiant les conditions i_{1}, i_{2} de 2.4.2 relativement à I^{s} et L^{s} , telles que tous les coefficients des fonctions R_{α}^{s}(ϕ), α ∈ {1, ⋯, r_{s}}, soient des fonctions rationnelles dont les dénominateurs ne s’annullent pas sur 𝒱_{0,s}. Nous supposons en outre que tous les vecteurs

W (ϕ) = Z_{i}^{s}(ϕ) ou X_{i}^{s}(ϕ) ou Y_{i}^{s}(ϕ) ou U_{i}^{s}(ϕ)

et cetera obtenus par nos procédés s’écrivent comme des expressions rationelles non singulières en ϕ ∈ 𝒱_{0,s}, c. à d. sont décrits par des applications vectorielles polynomiales W′(ϕ) définies sur 𝒱 divisés par des polynômes scalaires sur 𝒱, qui ne s’annulent pas sur 𝒱_{0,s}.

3.1. s+1. Supposons d’abord que la partie

𝒱′_{0,s} = {ϕ ∈ 𝒱_{0,s}; ⟨ϕ, [𝔤^{s}(ϕ), 𝔤^{s}(ϕ)]⟩ ≠ (0)} = Ø.

La sous-algèbre 𝔤^{s}(ϕ) est alors subordonnée à ϕ pour tout ϕ ∈ 𝒱_{0,s} et est donc nécessairement une polarisation en ϕ comme

(𝔤^{s}(ϕ))^{⊥} ⊂ ad^{∗}(𝔤^{s}(ϕ)) · ϕ ⊂ (𝔤^{s}(ϕ))^{⊥}.

Posons 𝔟(ϕ) = 𝔤^{s}(ϕ). Comme il sera mentionné plus tard, il a été démontré dans [20], que 𝔟(ϕ) est la polarisation de Vergne associée à la base de départ 𝒞. Nous arrétons notre construction en posant 𝒟(ϕ) = 𝒟^{s}(ϕ), 𝒳(ϕ) = 𝒳^{s}(ϕ), 𝒰(ϕ) = 𝒰^{s}(ϕ), 𝒴(ϕ) = 𝒴^{s}(ϕ) et 𝒱_{0} = 𝒱_{0,s}. Nous pouvons donc supposer dans tout le reste de la construction que 𝒱′_{0,s} ≠ Ø. Cas 1: Le premier cas arrive si

𝔨^{s+1}(ϕ) = ∑_{j>j_{s+1}} ℝZ_{j}^{s}(ϕ) ⊄ 𝔥^{s}(ϕ)

pour un ϕ ∈ 𝒱_{0,s+1,1} . Rappelons que ℬ^{⋆} = {f_{1}, ⋯, f_{r}} est la base duale de la base de Malcev ℬ relative à 𝔥. Soit u = h_{s+1} le plus grand indice tel que Z_{h_{s+1}}^{s}(ϕ) ∉ 𝔥^{s}(ϕ). Nous considérons la matrice M(ϕ) = (a_{i,j}(ϕ)) où

a_{i,j}(ϕ) = ⟨f_{i}, Y_{j}^{′s}(ϕ)⟩, i = 1, ⋯, r; j = 1, ⋯, m_{s}

et la matrice M_{u}(ϕ) obtenue en ajoutant à la matrice M(ϕ) la colonne

a_{i,u}(ϕ) = ⟨f_{i}, Z_{u}^{′s}(ϕ)⟩, i = 1, ⋯, r.

Soit d(ϕ) = rang M(ϕ) et d_{u}(ϕ) = rang M_{u}(ϕ) et soient

𝒱_{0,s+1} = {ϕ ∈ 𝒱_{0,s}; d(ϕ) < d_{u}} = {ϕ ∈ 𝒱_{0,s}; Z_{h_{s+1}}^{s}(ϕ) ∉ 𝔥^{s}(ϕ)}.

Alors, il est clair que 𝒱_{0,s+1} est un ouvert de Zariski de 𝒱_{0,s}. Nous posons

𝔤^{s+1}(ϕ) = 𝔤^{s}(ϕ), 𝒞^{s+1}(ϕ) = 𝒞^{s}(ϕ), 𝔥^{s+1}(ϕ) = 𝔥^{s}(ϕ) + ℝZ_{h_{s+1}}^{s}(ϕ), ϕ ∈ 𝒱_{0,s+1}.

Il est clair que (𝔤^{s+1}(ϕ))^{⊥} ⊂ ad^{∗}(𝔤^{s+1}(ϕ)) · ϕ. Comme un élément X de 𝔤 est dans 𝔥, si et seulement si ⟨f_{i}, X⟩ = 0 pour tout i, comme les Y_{j}^{s}(ϕ) forment une base de 𝔥^{s}(ϕ) modulo 𝔥^{s}(ϕ) ∩ 𝔥 alors

𝔥^{s+1}(ϕ) = vect {Z_{h_{s+1}}^{s}, Y_{j}^{s}(ϕ), j = 1, ⋯, m_{s}} + 𝔥 ∩ 𝔥^{s}(ϕ),

et nous voyons que {Z_{h_{s+1}}^{s}(ϕ)} ∪ 𝒴^{s}(ϕ) nous donne une base de Malcev 𝒴^{s+1}(ϕ) de 𝔥^{s+1}(ϕ) relative à 𝔥^{s+1}(ϕ) ∩ 𝔥. Posons k_{s+1} = k_{s} − 1. La dimension r_{s+1} de 𝔤^{s+1}(ϕ)/𝔥^{s+1}(ϕ) est égale à r_{s} − 1 et pour ϕ ∈ 𝒱_{0,s+1} , T′ ∈ ℝ^{k_{s+1}} , soit

\begin{aligned}R^{s+1}(ϕ)(T′) & = \{R_{1}^{s+1}(ϕ)(T′), ⋯, R_{r_{s+1}}^{s+1}(ϕ)(T′)\} \\ & = \{R_{2}^{s}(ϕ)(ϕ(Z_{h_{s+1}}^{s}(ϕ)), T′), ⋯, R_{r_{s}}^{s}(ϕ)(ϕ(Z_{h_{s+1}}^{s}(ϕ)), T′)\}. \end{aligned}

Nous voyons que la famille R^{s+1}(ϕ) vérifie alors les propriétés i_{1}, i_{2} de 2.4.2 pour 𝔥^{s+1}(ϕ) et 𝒞^{s+1}(ϕ). Nous posons 𝒟^{s+1}(ϕ) = 𝒟^{s}(ϕ) ∪ {Z_{h_{s+1}}^{s}(ϕ)}. Nous laissons tous les autres objets inchangés. Ceci termine le premier cas.

Ainsi, nous pouvons supposer dans tout le reste de la construction que 𝔥^{s}(ϕ) ⊃ 𝔨^{s+1}(ϕ) pour tout ϕ ∈ 𝒱_{0,s}. Soit pour ϕ ∈ 𝒱′_{0,s},

j_{s+1}(ϕ) = max{j; Z_{j}^{s}(ϕ) ∉ 𝔞(ϕ_{s})} = max{j; ⟨ϕ, [Z_{j}^{s}(ϕ), 𝔤^{s}(ϕ)]⟩ ≠ 0}

et soit j_{s+1} = max_{ϕ∈𝒱′_{0,s}} j_{s+1}(ϕ). Posons Y_{s+1}(ϕ) = Z_{j_{s+1}}^{s}(ϕ), ϕ ∈ 𝒱′_{0,s}. La partie

𝒱_{0,s+1,1} = {ϕ ∈ 𝒱′_{0,s}; j_{s+1}(ϕ) = j_{s+1}}

est aussi un ouvert de Zariski, car

𝒱_{0,s+1,1} = {ϕ ∈ 𝒱_{0,s}; ⟨ϕ, [𝔤^{s}(ϕ), Y′_{s+1}(ϕ)]⟩ ≠ 0}.

Soit de même

i_{s+1}(ϕ) = max{i; ⟨ϕ, [Z_{i}^{s}(ϕ), Y_{s+1}(ϕ)]⟩ ≠ 0}, ϕ ∈ 𝒱_{0,s+1,1}

et soit

i_{s+1} = max_{ϕ∈𝒱_{0,s+1,1}} i_{s+1}(ϕ).

Posons

X_{s+1}(ϕ) = Z_{i_{s+1}}^{s}(ϕ), ϕ ∈ 𝒱_{0,s+1,1}

et

\begin{aligned}𝒱_{0,s+1,2} & = \{ϕ ∈ 𝒱_{0,s+1,1}; i_{s+1}(ϕ) = i_{s+1}\} \\ & = \{ϕ ∈ 𝒱_{0,s+1,1}; ⟨ϕ, [X′_{s+1}(ϕ), Y′_{s+1}(ϕ)]⟩ ≠ 0\} \end{aligned}

et donc 𝒱_{0,s+1,2} est aussi un ouvert de Zariski dans 𝒱. Soit

𝔤^{s+1,1}(ϕ) = {W ∈ 𝔤^{s}(ϕ); ⟨ϕ, [W, Y_{s+1}(ϕ)]⟩ = 0}, ϕ ∈ 𝒱_{0,s+1,2}.

Nous obtenons ainsi un idéal de codimension 1 dans 𝔤^{s}(ϕ). Soit ϕ_{s+1} = ϕ_{|𝔤^{s+1,1}(ϕ)}.

Pour déterminer nos autres objets à l’ordre s + 1 nous devons distinguer deux nouveaux cas. Cas 2: Ce cas arrive lorsque 𝔥^{s}(ϕ) ⊂ 𝔤^{s+1,1}(ϕ) pour tout ϕ ∈ 𝒱_{0,s+1,2} . Alors nous posons

𝔥^{s+1}(ϕ) = 𝔥^{s}(ϕ), 𝔤^{s+1}(ϕ) = 𝔤_{1}^{s+1}(ϕ).

Ici aussi, nous vérifions que (𝔤^{s+1}(ϕ))^{⊥} ⊂ ad^{∗}(𝔤^{s+1}(ϕ)) · ϕ comme Y_{s+1}(ϕ) ∈ 𝔤^{s+1}(ϕ). Nous pouvons aussi poser

𝒟^{s+1}(ϕ) = 𝒟^{s}(ϕ), 𝒴^{s+1}(ϕ) = 𝒴^{s}(ϕ), 𝒰^{s+1}(ϕ) = 𝒰^{s}(ϕ).

Nous changeons maintenant 𝒞^{s}(ϕ) en remplaçant le vecteur Z_{i}^{s}(ϕ) par

Z_{i}^{s}(ϕ) − \frac{⟨ϕ, [Z_{i}^{s}(ϕ), Y_{s+1}(ϕ)]⟩}{⟨ϕ, [X_{s+1}(ϕ), Y_{s+1}(ϕ)]⟩}X_{s+1}(ϕ), i = 1, ⋯, i_{s+1} − 1, ϕ ∈ 𝒱_{0,s+1,2}.

Nous pouvons donc supposer que Z_{i}^{s}(ϕ) ∈ 𝔤^{s+1,1}(ϕ) pour tout i < i_{s+1} . Nous obtenons alors pour tout ϕ ∈ 𝒱_{0,s+1,2} une nouvelle famille de fonctions R^{s}(ϕ) d’après le procédé 2.6.

Nous remplaçons la base 𝒞^{s}(ϕ) par la base

\begin{aligned}_{1}𝒞^{s}(ϕ) & = \{X_{s+1}(ϕ), Z_{1}^{s}(ϕ), ⋯, Z_{i_{s}−1}^{s}(ϕ), Z_{i_{s}+1}^{s}, ⋯, Z_{n_{s}}^{s}(ϕ)\} \\ & = \{_{1}Z_{1}^{s}(ϕ), ⋯,_{1}Z_{n_{s}}^{s}\}. \end{aligned}

Soit {B_{j}^{s}(ϕ), j = 1, …, r_{s}} la base de Malcev de 𝔤^{s}(ϕ) relative à 𝔥^{s}(ϕ) associée à 𝒞^{s}(ϕ) et α est tel que B_{α}^{s}(ϕ) = X_{s+1}(ϕ).

Lemme 3.1.1. Pour tout ϕ ∈ 𝒱_{0,s+1,2} et s, l’ensemble indice I^{s} est remplacé par

1I^{s} = I^{H^{s}(ϕ),_{1}𝒞^{s}(ϕ)} = {i ∈ I^{s}, i < α} ∪ {i; α ≤ i < r, i + 1 ∈ I^{s}} ∪ {r}.

Démonstration. Soit ϕ ∈ 𝒱_{0,s+1,2} . Rappelons que i est dans I^{s} si et seulement s’il existe U = U(ϕ) ∈ 𝔤_{i}^{s}(ϕ) = vect {B_{i}^{s}(ϕ), ⋯, B_{1}^{s}(ϕ), 𝔥^{s}(ϕ)}, tel que

⟨U · ϕ, B_{i}^{s}(ϕ)⟩ = 1; ⟨U · ϕ, B_{j}^{s}(ϕ)⟩ = 0, j = i − 1, ⋯, 1; ⟨U · ϕ, 𝔥^{s}(ϕ)⟩ = (0)

et que i ∉ I^{s}, si et seulement s’il existe U ∈ 𝔤_{i}^{s}(ϕ) \ 𝔤_{i+1}^{s}(ϕ), tel que U soit un élément du stabilisateur de ϕ_{i} = ϕ_{|𝔤_{i}^{s}(ϕ)} . Ainsi nous voyons que pour i < α, il est évident que i ∈ I^{s} si et seulement si i ∈ _{1}I^{s}.

Baklouti-Ludwig 173

Supposons maintenant que i ≥ α et que i ∈ _{1}I^{s}, alors il existe un U ∈ 1𝔤_{i}^{s}(ϕ) qui est l’espace vect{B_{i+1}^{s}(ϕ), ⋯, B_{α+1}^{s}(ϕ), B_{α−1}^{s}(ϕ), ⋯, B_{1}^{s}(ϕ), 𝔥^{s}(ϕ)}, tel que ⟨U ·ϕ, B_{i+1}^{s}(ϕ)⟩ = 1; ⟨U ·ϕ, B_{j}^{s}(ϕ)⟩ = 0, j = i, ⋯, 1, j ≠ α; ⟨U ·ϕ, 𝔥^{s}(ϕ)⟩ = (0). Donc pour t = ⟨U · ϕ, X_{s+1}(ϕ)⟩, l’élément

V = U − \frac{t}{⟨ϕ, [Y_{s+1}(ϕ), X_{s+1}(ϕ)]⟩}Y_{s+1}(ϕ) ∈ _{1}𝔤_{i}^{s}(ϕ)

vérifie

⟨V · ϕ, B_{i+1}^{s}(ϕ)⟩ = 1; ⟨U · ϕ, B_{j}^{s}(ϕ)⟩ = 0, j = i, ⋯, 1; ⟨U · ϕ, 𝔥^{s}(ϕ)⟩ = (0). et donc i + 1 ∈ I^{s}.

Si i + 1 ∈ I^{s}, alors il existe U ∈ 𝔤_{i+1}^{s}(ϕ) tel que ⟨U ·ϕ, B_{i+1}^{s}(ϕ)⟩ = 1; ⟨U ·ϕ, B_{j}^{s}(ϕ)⟩ = 0, j = i, ⋯, 1, j ≠ α; ⟨U ·ϕ, 𝔥^{s}(ϕ)⟩ = (0). En particulier ⟨U · ϕ, Y_{s+1}(ϕ)⟩ = 0 et ainsi U ∈ 𝔤_{i+1}^{s}(ϕ) ∩ 𝔤^{s+1}(ϕ) = _{1}𝔤_{i+1}^{s}(ϕ) et donc i ∈ _{1}I^{s}. Il est évident que r ∈ _{1}I^{s} et α ∈ I^{s}. Ce qui achève la preuve.

Nous obtenons la base de Jordan-Hölder

𝒞^{s+1}(ϕ) = {Z_{1}^{s+1}(ϕ) = _{1}Z_{2}^{s}(ϕ), ⋯, Z_{n_{s}−1}^{s+1}(ϕ) = _{1}Z_{n_{s}}^{s}(ϕ)}

de 𝔤^{s+1,1}(ϕ). Posons k_{s+1} = k_{s}. La dimension r_{s+1} de

𝔤^{s+1,1}(ϕ)/𝔥^{s+1}(ϕ) = 𝔤^{s+1}(ϕ)/𝔥^{s+1}(ϕ)

est égale à r_{s} − 1 et pour ϕ ∈ 𝒱_{0,s+1,2} , T′ ∈ ℝ^{k_{s+1}} , soit

\begin{aligned}R^{s+1}(ϕ)(T′) & = \{R_{1}^{s+1}(ϕ)(T′), ⋯, R_{r_{s+1}}^{s+1}(ϕ)(T′)\} \\ & = \{R_{1}^{s}(ϕ)(T′), ⋯, R_{α−1}^{s}(ϕ)(T′), R_{α+1}^{s}(ϕ)(T′), ⋯, R_{r_{s}}^{s}(ϕ)(T′)\}. \end{aligned}

Nous voyons alors que la famille R^{s+1}(ϕ) vérifie les propriétés i_{1}, i_{2} de 2.4.2 pour 𝔥^{s+1}(ϕ) et 𝒞^{s+1}(ϕ). Nous pouvons prendre pour 𝒳^{s+1}(ϕ) l’ensemble

𝒳^{s+1}(ϕ) = 𝒳^{s}(ϕ) ∪ {X_{s+1}(ϕ)}

et 𝒱_{0,s+1} = 𝒱_{0,s+1,2}. Ceci termine le deuxième cas. Cas 3: Dans ce cas, nous supposons qu’il existe au moins un ϕ_{0} ∈ 𝒱_{0,s+1,2} tel que

𝔥^{s}(ϕ_{0}) ⊄ 𝔤^{s+1,1}(ϕ_{0}).

Soit

𝒱′_{0,s+1,2} = {ϕ ∈ 𝒱_{0,s+1,2}; ⟨ϕ, [𝔥^{s}(ϕ), Y_{s+1}(ϕ)]⟩ ≠ 0},

et pour ϕ ∈ 𝒱′_{0,s+1,2}

i^{s+1}(ϕ) = max_{i}{Z_{i}^{s}(ϕ) ∉ 𝔤^{s+1,1}(ϕ), Z_{i}^{s}(ϕ) ∈ 𝔥}, i^{s+1} = max_{ϕ∈𝒱′_{0,s+1,2}} {i^{s+1}(ϕ)}

et

𝒱_{0,s+1,3} = {ϕ ∈ 𝒱′_{0,s+1,2}; ⟨ϕ, [Z_{i^{s+1}}^{′s}(ϕ), Y′_{s+1}(ϕ)]⟩ ≠ 0}.

Alors 𝒱_{0,s+1,3} est un ouvert de Zariski non vide de 𝒱′_{0,s+1,2} .

Pour ϕ ∈ 𝒱_{0,s+1,3} , nous posons

𝔥^{s+1}(ϕ) = 𝔥^{s}(ϕ) ∩ 𝔤^{s+1,1}(ϕ) + ℝY_{s+1}(ϕ), 𝔤^{s+1}(ϕ) = 𝔤^{s}(ϕ).

Il n’est pas difficile de voir que 𝔥^{s+1}(ϕ) ⊂ 𝔤^{s+1,1}(ϕ) pour tout ϕ et Y_{s+1}(ϕ) ∉ 𝔥^{s}(ϕ) comme 𝔥^{s}(ϕ) est subordonnée à ϕ. De même, (𝔤^{s+1}(ϕ))^{⊥} ⊂ ad^{∗}(𝔤^{s+1}(ϕ))· ϕ. La base de Malcev 𝒴^{s+1}(ϕ) de 𝔥^{s+1}(ϕ) relative à 𝔥^{s+1}(ϕ)∩𝔥 est donc donnée par

𝒴^{s+1}(ϕ) = 𝒴^{s}(ϕ) ∪ {Y_{s+1}(ϕ)}.

Nous posons en outre r_{s+1} = r_{s}, k_{s+1} = k_{s}. Nous devons distinguer deux cas, suivant que

i^{s+1} = i_{s+1} (cas a) ou que i^{s+1} < i_{s+1} (cas b).

Dans le cas a) X_{s+1}(ϕ) ∈ 𝔥, dans le cas b) X_{s+1}(ϕ) ∉ 𝔥 et Z_{i^{s+1}}^{s}(ϕ) = V_{k^{s+1}}^{s}(ϕ) ∈ 𝔥^{s}(ϕ) pour un certain k^{s+1} . Le cas a): Nous changeons d’abord dans ce cas 𝒞^{s}(ϕ) en remplaçant le vecteur Z_{i}^{s}(ϕ) par

Z_{i}^{s}(ϕ) − \frac{⟨ϕ, [Z_{i}^{s}(ϕ), Y_{s+1}(ϕ)]⟩}{⟨ϕ, [X_{s+1}(ϕ), Y_{s+1}(ϕ)]⟩}X_{s+1}(ϕ), i = 1, ⋯, i_{s+1} − 1, ϕ ∈ 𝒱_{0,s+1,3}.

Nous pouvons donc supposer que Z_{i}^{s}(ϕ) ∈ 𝔤^{s+1,1}(ϕ) pour tout i < i_{s+1} . Nous prenons comme avant {B_{j}^{s}(ϕ), j = 1, …, r_{s}} la base de Malcev de 𝔤^{s}(ϕ) relative à 𝔥^{s}(ϕ) associée à 𝒞^{s}(ϕ) et {_{1}B_{j}^{s}(ϕ), j = 1, …, r_{s}} la base de Malcev de 𝔤^{s}(ϕ) relative à 𝔥^{s+1}(ϕ) associée à 𝒞^{s}(ϕ). Soit α ∈ {1, ⋯, r_{s}}, tel que X_{s+1}(ϕ) = 1B_{α}^{s}(ϕ) pour tout ϕ. Nous voyons facilement que B_{1}^{s}(ϕ) = Y_{s+1}(ϕ), _{1}B_{j}^{s}(ϕ) = B_{j+1}^{s}(ϕ) pour j < α et _{1}B_{j}^{s}(ϕ) = B_{j}^{s}(ϕ) pour j > α.

Lemme 3.1.2. Pour tout ϕ ∈ 𝒱_{0,s+1,3} et s, l’ensemble I^{s} est changé en

I^{H^{s+1}(ϕ),𝒞^{s}(ϕ)} = I^{s+1} = {i; i + 1 ∈ I^{s}, 1 < i < α} ∪ {α} ∪ {i ∈ I^{s}, i > α}.

et fournit les indices pour tout ϕ relative à 𝔤^{s}(ϕ)/𝔥^{s+1}(ϕ).

Démonstration. Soit ϕ ∈ 𝒱_{0,s+1,3} . Pour i < α, il est évident que i ∈ I^{s} si et seulement si i ∈ I^{s+1} .

Prenons maintenant i > α. Si nous prenons i ∈ I^{s+1} , alors il existe U ∈ 𝔤_{i}^{s}(ϕ) qui est l’espace vect {B_{i+1}^{s}(ϕ), ⋯, B_{2}^{s}(ϕ), 𝔥^{s+1}(ϕ)}, tel que

⟨U · ϕ, B_{i+1}^{s}(ϕ)⟩ = 0; ⟨U · ϕ, B_{j}^{s}(ϕ)⟩ = 0, j = i, ⋯, 2; ⟨U · ϕ, 𝔥^{s+1}(ϕ)⟩ = (0).

Baklouti-Ludwig 175

Soit t = ⟨ϕ, [X_{s+1}(ϕ), U]⟩. Soit V = U + \frac{t}{⟨ϕ,[Y_{s+1}(ϕ),X_{s+1}(ϕ)]⟩}Y_{s+1}(ϕ) ∈ 𝔤_{i+1}^{s}(ϕ). Alors

⟨U · ϕ, B_{i+1}^{s}(ϕ)⟩ = 0; ⟨U · ϕ, B_{j}^{s}(ϕ)⟩ = 0, j = i, ⋯, 1; ⟨U · ϕ, 𝔥^{s}(ϕ)⟩ = (0), et i + 1 ∈ I^{s}. Si i + 1 ∈ I^{s}, alors il existe U ∈ 𝔤_{i+1}^{s}(ϕ) tel que

⟨U · ϕ, B_{i+1}^{s}(ϕ)⟩ = 1; ⟨U · ϕ, B_{j}^{s}(ϕ)⟩ = 0, j = i, ⋯, 1; ⟨U · ϕ, 𝔥^{s}(ϕ)⟩ = (0). Alors en particulier U ∈ 𝔤_{i}^{s+1}(ϕ) et ⟨U · ϕ, B_{i+1}^{s}(ϕ)⟩ = 1; ⟨U · ϕ, B_{j}^{s}(ϕ)⟩ = 0, j = i, ⋯, 2; ⟨U · ϕ, 𝔥^{s+1}(ϕ)⟩ = (0). Donc i ∈ I^{s}. Il est évident que 1 ∈ I^{s} et α ∈ I^{s+1} . Ce qui achève la preuve.

Si nous posons

\begin{aligned}R^{s+1}(ϕ) & = \{R_{1}^{s+1}(ϕ), ⋯, R_{r_{s+1}}^{s+1}(ϕ)\} \\ & = \{R_{2}^{s}(ϕ), ⋯, R_{α}^{s}(ϕ), ϕ(X_{s+1}(ϕ)), R_{α+1}^{s}(ϕ), ⋯, R_{r_{s}}(ϕ)\}, \end{aligned}

alors la nouvelle famille R^{s+1}(ϕ), ϕ ∈ 𝒱_{0,s+1,3} , vérifie les conditions i_{1}, i_{2} pour I^{s+1} et L^{s+1} = {1, …, r_{s+1}} \ I^{s+1} . Nous obtenons la base de de Jordan-Hölder

𝒞^{s+1}(ϕ) = 𝒞^{s}(ϕ)

de 𝔤^{s}(ϕ) et la base de Jordan-Hölder 𝒟^{s+1}(ϕ) de 𝔥 ∩ 𝔤^{s+1,1}(ϕ) de la façon suivante: 𝒟^{s+1}(ϕ) = {Z_{j}^{s+1}(ϕ) ∈ 𝒞^{s+1}(ϕ) tels que Z_{j}^{s+1}(ϕ) ∈ 𝔥} = 𝒟^{s}(ϕ) \ {X_{s+1}(ϕ)}.

Nous prenons

\begin{aligned}𝒳^{s+1}(ϕ) & = 𝒳^{s}(ϕ) ∪ \{(⟨ϕ, [X_{s+1}(ϕ), Y_{s+1}(ϕ)]⟩)^{−1}X_{s+1}(ϕ)\}, \\ 𝒰^{s+1}(ϕ) & = 𝒰^{s}(ϕ) ∪ \{(⟨ϕ, [X_{s+1}(ϕ), Y_{s+1}(ϕ)]⟩)^{−1}X_{s+1}(ϕ)\}, \\ 𝒱_{0,s+1} & = 𝒱_{0,s+1,3}. \end{aligned}

Le cas b): Nous allons démontrer que nous pouvons changer la base de Jordan-Hölder C^{s}(ϕ) par une nouvelle base _{1}C^{s}(ϕ), telle que nous nous retrouvions dans le cas a) précédent. Pour cela, posons d’abord V_{s+1}(ϕ) = Z_{i^{s+1}}^{s}(ϕ) ∈ 𝔥 et nous cherchons α ∈ {1, ⋯, r_{s}} tel que comme précédemment X_{s+1}(ϕ) = B_{α}^{s}(ϕ), ϕ ∈ 𝒱_{0,s+1,3} . Nous remplaçons Z_{i}^{s}(ϕ) par

Z_{i}^{s}(ϕ) − \frac{⟨ϕ, [Z_{i}^{s}(ϕ), Y_{s+1}(ϕ)]⟩}{⟨ϕ, [X_{s+1}(ϕ), Y_{s+1}(ϕ)]⟩}X_{s+1}(ϕ), i = i^{s+1} + 1, ⋯, i_{s+1} − 1.

Déterminons aussi l’indice i_{α+1} ∈ {1, ⋯, i_{s+1} − 1} tel que B_{α+1}^{s}(ϕ) = Z_{i_{α+1}}^{s}(ϕ). Nous allons distinguer différents cas:

Le cas b-1: Nous supposons dans ce cas que i_{α+1} < i^{s+1} . C’est à dire que les Z_{j}^{s}(ϕ), i_{α+1} < j < i_{s+1} sont contenus dans 𝔥^{s}(ϕ). La base de Jordan-Hölder définie par

1C^{s}(ϕ) = {Z_{1}^{s}(ϕ), ⋯, Z_{i^{s+1}−1}^{s}(ϕ), X̃_{s+1}(ϕ), V_{s+1}(ϕ), Z_{i^{s+1}+1}^{s}(ϕ), ⋯, Z_{n_{s}}^{s}(ϕ)}

où X̃_{s+1}(ϕ) = X_{s+1}(ϕ) − \frac{⟨ϕ, [X_{s+1}(ϕ), Y_{s+1}(ϕ)]⟩}{⟨ϕ, [V_{s+1}(ϕ), Y_{s+1}(ϕ)]⟩}V_{s+1}(ϕ) est bien une base de

Jordan-Hölder de 𝔤. Nous pouvons remplacer C^{s}(ϕ) par _{1}C^{s}(ϕ) et nous sommes dans le cas a). Le cas b-2: Nous supposons dans ce cas que i_{α+1} > i^{s+1} . Etant donné que nous pouvons permuter les vecteurs Z_{j}^{s}(ϕ) de 𝔥^{s}(ϕ) et pour lesquels i^{s+1} < j < i_{s+1} avec Z_{i_{s+1}}(ϕ), nous pouvons supposer que i_{α+1} = i_{s+1} − 1. Dans ce qui suit nous allons voir que nous pouvons alors changer les vecteurs Z_{i_{s+1}} et Z_{i_{s+1}−1} . Cela va entrainer des changements pour les R_{j}^{s}(ϕ), j ∈ {α, α + 1}. Pour cela nous allons traiter encore les 4 sous-cas de b-2 que nous notons b-2-1) – b-2-4). Le cas b-2-1: Nous supposons dans ce cas que α ∈ I^{s} et α + 1 ∈ I^{s}, alors

R_{α}^{s}(ϕ)(T) = R_{α}^{s}(ϕ)(t_{1}, ⋯, t_{j}) et R_{α+1}^{s}(ϕ)(T) = R_{α+1}^{s}(ϕ)(t_{1}, ⋯, t_{j})

pour un certain j. Ainsi nous voyons que nous pouvons échanger B_{α}^{s}(ϕ) et B_{α+1}^{s}(ϕ). En outre, il n’est pas difficile de voir que α et α + 1 sont aussi dans I^{s}. Le cas b-2-2: Nous supposons dans ce cas que α ∈ I^{s} et α + 1 ∈ L^{s}, alors

R_{α}^{s}(ϕ)(T) = R_{α}^{s}(ϕ)(t_{1}, ⋯, t_{j}) et R_{α+1}^{s}(ϕ)(T) = t_{j+1},

pour un certain j. Ainsi nous voyons que nous pouvons échanger B_{α}^{s}(ϕ) et B_{α+1}^{s}(ϕ) ce qui nous donne α ∈ L^{s} et α + 1 ∈ I^{s}. Ainsi R_{α}^{s}(ϕ) sera transformé en R_{α}^{s+1}(ϕ) et R_{α}^{s+1}(ϕ) en R_{α}^{s}(ϕ). Le cas b-2-3: Supposons maintenant que α ∈ L^{s} et α + 1 ∈ L^{s}. Alors nous pouvons échanger Z_{i_{s+1}}^{s}(ϕ) avec Z_{i_{s+1}−1}^{s}(ϕ), ce qui va échanger B_{α}^{s}(ϕ) avec B_{α+1}^{s}(ϕ) et R_{α}^{s}(ϕ) avec R_{α+1}^{s}(ϕ) et reciproquement. Le cas b-2-4: Supposons maintenant que α ∈ L^{s} et α + 1 ∈ I^{s}. Ecrivons

R_{α+1}^{s}(ϕ)(T) = c_{α+1,j}^{s}(ϕ)t_{j} + (R_{α+1}^{s})′(ϕ)(t_{1}, ⋯, t_{j−1}), R_{α}^{s}(ϕ)(T) = t_{j}

pour un certain j et une certaine fonction rationnelle c_{α+1,j}^{s}(ϕ) en ϕ. Si c_{α+1,j}^{s}(ϕ) est identiquement nulle, nous pouvons échanger X_{s+1}(ϕ) avec Z_{i_{α+1}}^{s}(ϕ) et nous continuons la procédure. Sinon, soit

𝒱_{0,s+1,4} = {ϕ ∈ 𝒱_{0,s+1,3}; numérateur de c_{α+1,j}^{s}(ϕ) ≠ 0}.

Nous remplaçons le vecteur Z_{i_{α+1}}^{s}(ϕ) par le vecteur X_{s+1}(ϕ) et le vecteur X_{s+1}(ϕ) par le vecteur Z_{i_{α+1}}^{s}(ϕ) − c_{α+1,j}^{s}(ϕ)X_{s+1}(ϕ), qui devient le nouveau vecteur X_{s+1}(ϕ). Cependant, R_{α}^{s}(ϕ) est changé en R_{α+1}^{s}(ϕ) − c_{α+1,j}^{s}(ϕ)R_{α}^{s}(ϕ) qui ne dépend plus de t_{j} et R_{α+1}^{s}(ϕ) en R_{α}^{s}(ϕ). Alors le nouveau ensemble indice I^{s} contient α et α + 1 ∈ L^{s}. Nous sommes ainsi dans la situation b.2.2.

Ceci termine l’étude de ces différents cas. Posons encore 𝒱_{0,s+1} = 𝒱_{0,s+1,4}. Nous avons terminé le passage de s à s + 1.

Definition 3.2. (Dans toute la suite, nous gardons les mêmes notations que dans 1.4, 2.4 et 3.1.) Nous notons C(𝒱_{0}, L^{2})_{2} l’ensemble des applications

ψ : 𝒱_{0} ⟶ ⋃_{ϕ∈𝒱_{0}} L^{2}(G/B(ϕ), ϕ),

telles que les fonctions (ϕ, g) ↦ ψ(ϕ, g) = ψ(ϕ)(g) soient continues sur 𝒱_{0} × G, telles que ψ(ϕ) ∈ L^{2}(G/B(ϕ), ϕ) pour tout ϕ ∈ 𝒱_{0} et qui vérifient

∥ψ∥_{2}^{2} = ∫_{𝒱^{R,ℬ}} ∥ψ(ϕ)∥_{L^{2}(G/B(ϕ),ϕ)}^{2}dλ^{R,ℬ} (ϕ) < ∞.

Nous définissons

H_{τ_{I}} = ∫_{𝒱^{R,ℬ}}^{⊕} L^{2}(G/B(ϕ), ϕ)dλ^{R,ℬ} (ϕ)

comme étant le complété de C(𝒱_{0}, L^{2})_{2} pour la norme ∥ ∥_{2}.

Nous définissons de la même manière le sous-espace espace C_{c}^{∞}(𝒱_{0}, C_{c}) de C(𝒱_{0}, L^{2})_{2} de toutes les applications ψ telles que la fonction (ϕ, g) ↦ ψ(ϕ, g) soit en plus C^{∞} sur 𝒱_{0} × G, et la fonction définie sur 𝒱_{0} × ℝ^{l} par

(ϕ, t_{1}, …, t_{l}) ↦ ψ(ϕ, exp(t_{1}X_{1}(ϕ)) ⋯ exp(t_{l}X_{l}(ϕ)) )

est C^{∞} à support compact, où 𝒳(ϕ) = {X_{1}(ϕ), ⋯, X_{l}(ϕ)} désigne la base de Malcev décrite en 3.

Il est clair que C_{c}^{∞}(𝒱_{0}, C_{c}) est dense de H_{τ_{I}}.

Théorème 3.3. Soit G un groupe de Lie nilpotent connexe simplement connexe d’algèbre de Lie 𝔤. Soit f ∈ 𝔤^{⋆} et soit 𝔥 une sous-algèbre de 𝔤 subordonnée à f, H = exp(𝔥) étant le sous-groupe fermé connexe de G associé à 𝔥. Soit τ la représentation monomiale induite de H à partir du caractère unitaire χ_{f}. Soit ℬ la base de Malcev de 𝔤 relative à 𝔥 construite en 2.3, et 𝒱^{R,ℬ} ⊂ Γ_{f} le sous-espace affine décrit en 2.4 et dλ^{R,ℬ} sa mesure. Soit 𝒱_{0} l’ouvert de Zariski de 𝒱^{R,ℬ} construit en 3.1 et ϕ ⟶ B(ϕ) le choix continu de polarisations en ϕ ∈ 𝒱_{0} décrit encore dans 3.1. Alors nous avons que

τ ≃ τ_{I} = ∫_{𝒱^{R,ℬ}}^{⊕} π_{ϕ,B(ϕ)}dλ^{R,ℬ} (ϕ).  (3.3.1)

L’opérateur U défini pour tout ξ ∈ S(G/H, f) par :

U(ξ)(ϕ) = T_{B(ϕ),H}ξ

est un opérateur linéaire isométrique à valeurs dans H_{τ_{I}} qui se prolonge sur L^{2}(G/H, f) en un opérateur d’entrelacement isométrique de (3.3.1), lorsque les mesures sur G/B(ϕ) et sur B(ϕ)/B(ϕ) ∩ H sont normalisées comme dans 3.1.

Démonstration. Nous gardons toutes les notations introduites dans 3.1. L’assertion (3.3.1) était l’objet du théorème 2.7. Il est clair que l’opérateur U du théorème entrelace formellement τ et l’intégrale τ_{I}. En outre, pour tout ξ ∈ S(G/H, f), ϕ ∈ 𝒱_{0} et g ∈ G, la fonction

U(ξ)(ϕ)(g) = T_{B(ϕ),H}ξ(g) =

= ∫_{ℝ_{m}} ξ(g·exp(t_{1}Y_{1}(ϕ)) ⋯ exp(t_{m}Y_{m}(ϕ)))e^{−i(t_{1}ϕ(Y_{1}(ϕ))+···+t_{m}ϕ(Y_{m}(ϕ)))}dt_{1} ⋯ dt_{m}

est manifestement continue sur 𝒱_{0} × G. D’autre part, pour tout ϕ ∈ 𝒱_{0}, ξ ∈ S(G/H, f), nous savons d’après 2.2, que U(ξ)(ϕ) ∈ S(G/B(ϕ), ϕ).

Si tous les éléments de Γ_{f} sont des caractères de 𝔤, alors 𝒱^{R,ℬ} = Γ_{f}, 𝔟(ϕ) = 𝔤 pour tout ϕ, 𝔥 contient [𝔤, 𝔤] et donc est un idéal de 𝔤 et 𝒴 = ℬ. Ainsi U est simplement une transformation de Fourier partielle et tout est évident dans ce cas.

Nous raisonnons maintenant par récurrence sur dim (G) + dim (G/H) et nous allons prouver que U est une isométrie sur S(G/H, f), ce qui va nous conduire au fait que U est à valeurs dans C(𝒱_{0}, L^{2})_{2} .

Nous pouvons supposer qu’il existe j_{1} dans {1, …, n} tel que Z_{j_{1}} = Y n’appartienne pas à 𝔞(ϕ) pour tout ϕ dans 𝒱_{0} et Z_{k} appartient à 𝔞(ϕ) pour tout k > j_{1} . Nous allons étudier les cas possibles suivants: Cas 1: Il existe h > j_{1} , tel que Z_{i} ∈ 𝔥 pour tout i > h et T = Z_{h} ∉ 𝔥. Soit 𝔥^{1} = 𝔥 ⊕ ℝT. Alors d’après la construction de ℬ, nous avons que T = B_{1} et donc 1 ∈ L^{H}. Ainsi nous avons que Γ_{f} = ⋃_{t∈ℝ} Γ_{f_{t}} où f_{t} = f + tT^{⋆}, et

Γ_{f_{t}} = f_{t} + 𝔥^{1}^{⊥} = {ϕ ∈ Γ_{f}|⟨ϕ, T ⟩ = ⟨f, T ⟩ + t}.

Soit ℬ′ = {B_{2}, ⋯, B_{r}} la base de Malcev de 𝔤 relative à 𝔥^{1} et soit pour tout i ∈ {2, …, r}

tR_{i}(t_{2}, …, t_{k}) = R_{i}(t, t_{2}, …, t_{k}).

Nous constatons que 𝒱^{_{t}R,ℬ′} est 𝒞−admissible pour presque tout t ∈ ℝ, et vu que R_{1}(t, t_{2}, …, t_{k}) = t, nous avons que

𝒱^{R,ℬ} = ⋃_{t∈ℝ} 𝒱^{_{t}R,ℬ′} ,  (3.3.2)

et dλ^{R,ℬ} = ∫_{ℝ} dλ^{_{t}R,ℬ′} dt. En outre, prouvons que 𝒱_{0} = ⋃_{t∈ℝ_{0}} 𝒱_{0}^{t}, où ℝ_{0} =

{t ∈ ℝ, 𝒱_{0}^{t} ≠ Ø} et 𝒱_{0}^{t} est l’ouvert de Zariski de 𝒱^{_{t}R,ℬ′} défini comme dans 3.1. Pour cela, il suffit de vérifier que pour t ∈ ℝ_{0}

𝒱_{0}^{t} = 𝒱_{0} ∩ 𝒱^{_{t}R,ℬ′} .

En effet, rappelons que 𝒱_{0} = {ϕ ∈ 𝒱^{R,ℬ} : Q(ϕ) ≠ 0} pour un certain polynôme Q déterminé dans la récurrence ci-dessus. Suivant le raisonnement de récurrence que nous avons fait en (3.1), nous pouvons voir que

𝒱_{0}^{t} = {ϕ_{t} ∈ 𝒱^{_{t}R,ℬ′} : Q(ϕ_{t}) ≠ 0}

avec le même polynôme Q tenant compte du fait que la passage dans cette récurrence de s = 0 à s = 1, le nouveau polynôme qui apparait dans la description de 𝒱_{0,1} est la constante 1. Ainsi pour avoir le résultat, remarquons que l’ensemble

{t ∈ ℝ : 𝒱_{0}^{t} = Ø} = {t ∈ ℝ, T′ ↦ Q(tB_{1}^{∗} + ∑_{j=2}^{r} R_{j}(t, T′)B_{j}^{∗}) = 0 pour tout T′}

est fini et donc négligeable dans ℝ. Ainsi, pour presque tout t ∈ ℝ, 𝒱_{0}^{t} ≠ Ø.

Nous allons vérifier maintenant que pour ϕ ∈ 𝒱_{0} , toutes nos constructions: les polarisations 𝔟(ϕ), les bases 𝒳, 𝒰 faites à partir de 𝔥 ou de 𝔥^{1} sont identiques. En effet, rappelons que l’état (s = 0) est défini par les donnés (𝔤, 𝔥, ϕ), pour la construction de 𝔟(ϕ) et des bases 𝒳, 𝒰 nous avons passé à l’état (s = 1) qui est défini par les donnés (𝔤, 𝔥^{1}, ϕ). Nous passons ensuite aux états suivants jusqu’à l’état final (s = s_{0}). Il est clair maintenant qu’en partant de (s = 0) ou de (s = 1), le résultat final sera évidemment le même. En outre, Nous avons que 𝒟′ = 𝒟 ∪ {T }, où 𝒟′ est la base de Jordan-Hölder de 𝔥^{1} qui est incluse dans 𝒞. Quant à 𝒴′ qui est la base de Malcev de 𝔟(ϕ) relative à 𝔥^{1} ∩ 𝔟(ϕ), on l’obtient de la manière suivante: le vecteur T est dans 𝒴 et nous avons que 𝒴′ = 𝒴 \ {T }.

Nous appliquons l’hypothèse de récurrence à tous les couples (𝔥^{1}, f_{t}); t ∈ ℝ_{0} . Remarquons encore pour ϕ = ϕ_{t} ∈ 𝒱_{0}^{t}, t ∈ ℝ_{0} que

U(ξ)(ϕ) = T_{B(ϕ),H}ξ = T_{B(ϕ_{t}),H^{1}}ξ^{t} = U_{t}(ξ^{t})(ϕ_{t}),  (3.3.3)

où

ξ^{t}(u) = ∫_{ℝ} ξ(u exp(λT))e^{−itλ}dλ.  (3.3.4)

L’hypothèse de récurrence nous dit que pour tout t ∈ ℝ_{0} , nous avons que

U_{t} : S(G/H^{1}, f_{t}) ⟶ ∫_{𝒱^{_{t}R,ℬ′}}^{⊕} L^{2}(G/B(ϕ_{t}), ϕ_{t})dλ^{_{t}R,ℬ′} (ϕ_{t})  (3.3.5)

est une isométrie. Or pour ξ ∈ S(G/H, f), ξ^{t} définit un élément de S(G/H^{1}, f_{t}). Il en résulte d’après le théorème de Plancherel que

∥ξ∥_{L^{2}(G/H,f)}^{2} = ∫_{ℝ} ∥ξ^{t}∥_{L^{2}(G/H^{1},f_{t})}^{2}dt ( l’hypothèse de récurrence)
= ∫_{ℝ} ∥U_{t}(ξ^{t})∥_{2}^{2}dt
= ∫_{ℝ} ∫_{𝒱 ^{_{t}R,ℬ′}} ∥T_{B(ϕ_{t}),H^{1}}ξ∥_{L^{2}(G/B(ϕ_{t}),ϕ_{t})}^{2}dλ^{_{t}R,ℬ′} (ϕ_{t})dt
= ∫_{𝒱^{R,ℬ}} ∥T_{B(ϕ),H}ξ∥_{L^{2}(G/B(ϕ),ϕ)}^{2}dλ^{R,ℬ} (ϕ).

Nous pouvons donc supposer maintenant que Z_{j_{1}+1}, …, Z_{n} ∈ 𝔥. Nous appliquons les constructions faites dans 3.1.s + 1 avec s = 0 pour les cas 2 et 3. Pour ϕ ∈ Γ_{f}, nous posons

𝔤_{1}^{1}(ϕ) = {T ∈ 𝔤 tel que ⟨ϕ, [Y, T]⟩ = 0}.

Alors 𝔤_{1}^{1}(ϕ) est un idéal de codimension 1 dans 𝔤, et il est égale à 𝔤_{1}^{1}(ψ) pour tout ψ ∈ Γ_{f}. Nous le notons dans toute la suite 𝔤^{1} . Notons en plus que si Y = Y_{1} ∈ 𝔥 alors 𝔥 ⊂ 𝔤^{1} . Nous devons donc distinguer les deux cas de cette construction. Cas 2: 𝔥 ⊂ 𝔤^{1} et Z_{j_{1}+1}, …, Z_{n} ∈ 𝔥. Remarquons que nous pouvons supposer d’après 3.1 qu’il existe i_{1} ∈ {1, …, r}, tel que X = X_{1} = Z_{i_{1}} ∉ 𝔤^{1} . Nous changeons maintenant d’après 3.1, 𝒞 en remplaçant le vecteur Z_{i} par

Z_{i} − \frac{⟨ϕ, [Z_{i}, Y]⟩}{⟨ϕ, [X, Y]⟩}X, i = 1, ⋯, i_{1} − 1, ϕ ∈ 𝒱_{0}.

Ceci change les objets ℬ et R, mais ces objets gardent leurs propriétés de rationalité d’après 2.6 et nous pouvons donc supposer que Z_{i} ∈ 𝔤^{1} pour tout i ≠ i_{1} . Nous remplaçons la base 𝒞 par la base

1𝒞 = {X, Z_{1}, ⋯, Z_{i_{1}−1}, Z_{i_{1}+1}, ⋯, Z_{n}} = {_{1}Z_{1}, ⋯,_{1}Z_{n}}.

Nous obtenons la base de Jordan-Hölder

𝒞^{1} = {Z_{1}^{1} = _{1}Z_{2}, ⋯, Z_{n−1}^{1} = _{1}Z_{n}}

de 𝔤^{1} .

Soit α ∈ {1, ⋯, r} tel que X = B_{α}. La base de Jordan-Hölder _{1}𝒞 nous définit suivant notre procédé d’extraction la nouvelle base de Malcev

1ℬ = {_{1}B_{1} = B_{1}, …,_{1}B_{α−1} = B_{α−1},_{1}B_{α} = B_{α+1}, …_{1}B_{r−1} = B_{r},_{1}B_{r} = X}

de 𝔤 relative à 𝔥. Alors la base de Malcev ℬ^{1} de 𝔤^{1} relative à 𝔥 associée à 𝒞^{1} est donnée par ℬ^{1} = {_{1}B_{1}, …,_{1}B_{r−1}}. Nous avons montré dans la récurrence générale (lemme 3.1.1) que

1I = I^{H,_{1}𝒞} = {i ∈ I^{H,𝒞} , i < α} ∪ {i; α ≤ i < r, i + 1 ∈ I^{H,𝒞} } ∪ {r}.

De même, nous avons posé _{1}R = {_{1}R_{1}, …,_{1}R_{r}} où _{1}R_{j} = R_{j} pour j < α, 1R_{j} = R_{j+1} pour r > j ≥ α et _{1}R_{r} = R_{α}. Alors 𝒱^{_{1}R,_{1}ℬ} est _{1}𝒞− admissible, d’après la description de _{1}I, et en plus 𝒱^{R,ℬ} = 𝒱^{_{1}R,_{1}ℬ} et les mesures dλ^{R,ℬ} et dλ^{_{1}R,_{1}ℬ} coincident. Soit R^{1} = {_{1}R_{1}, …,_{1}R_{r−1}}, l’espace 𝒱^{R^{1},ℬ^{1}} ⊂ (𝔤^{1})^{⋆}, est 𝒞^{1}−admissible et plus précisément il est la restriction de 𝒱^{R,ℬ} à 𝔤^{1} . En plus, la mesure d_{G,H} sur G/H, définie à partir de la base de Malcev ℬ est égale à la mesure définie à partir de la mesure venant de la base de Malcev {X} ∪ ℬ^{1} . Tout élément g de G s’écrit de manière unique sous la forme g = exp(tX) · g′, avec t ∈ ℝ, et g′ ∈ G^{1} = exp(𝔤^{1}). Pour une fonction ξ sur G, nous notons ξ_{t} la fonction sur 𝔤^{1} définie par ξ_{t}(g′) = ξ(exp(tX)g′) pour tout g′ ∈ 𝔤^{1} . Il est clair que pour presque tout t ∈ ℝ la fonction ξ_{t} ∈ L^{2}(G^{1}/H, f_{1}), f_{1} = f_{|𝔤^{1}} lorsque ξ ∈ L^{2}(G/H, f).

En se reférant à la construction dans (3.1) nous remarquons que

B(ϕ) = B(ϕ_{1}) ⊂ 𝔤^{1}

où ϕ_{1} = ϕ_{|𝔤^{1}} . Posons U_{1} = T_{B(ϕ_{1}),H}, il est clair que

U(ξ)(ϕ)(exp(tX) · g′) = U_{1}(ξ_{t})(ϕ_{1})(g′).  (3.3.6)

Nous avons pour tout η ∈ S(G^{1}/H, f_{1}) via l’hypothèse de récurrence

∥η∥_{L^{2}(G^{1}/H,f_{1})}^{2} = ∫_{𝒱^{R^{1},ℬ^{1}}} ∥T_{B(ϕ_{1}),H}η∥_{L^{2}(G^{1}/B(ϕ_{1}),ϕ_{1})}^{2}dλ^{R^{1},ℬ^{1}} (ϕ_{1}).

Donc pour tout ξ ∈ S(G/H, f), nous obtenons que

∥U(ξ)∥_{2}^{2} = ∫_{𝒱^{R,ℬ}} ∥U(ξ)(ϕ)∥_{L^{2}(G/B(ϕ),ϕ)}^{2}dλ^{R,ℬ} (ϕ)
= ∫_{𝒱^{R,ℬ}} ∥T_{B(ϕ),H}(ξ)∥_{L^{2}(G/B(ϕ),ϕ)}^{2}dλ^{R,ℬ} (ϕ)
= ∫_{ℝ} ∫_{𝒱^{R^{1},ℬ^{1}}} ∥T_{B(ϕ_{1}),H}ξ_{t}∥_{L^{2}(G^{1}/B(ϕ_{1}),ϕ_{1})}^{2}dλ^{R^{1},ℬ^{1}} (ϕ_{1})dt

(nous appliquons l’hypothèse de récurrence sur G^{1})

= ∫_{ℝ} ∥ξ_{t}∥_{L^{2}(G^{1}/H,f_{1})}^{2}dt = ∥ξ∥_{L^{2}(G/H,f)}^{2}.

Cas 3: 𝔥 ⊄ 𝔤^{1} . Dans ce cas Y ∉ 𝔥 et ainsi 1 ∈ I = I^{H,𝒞} . Posons 𝔥^{1} = 𝔥 ∩ 𝔤^{1} ⊕ ℝY et H^{1} = exp(𝔥^{1}). Nous allons reprendre les deux cas étudiés a) et b) en 3.1. Le cas a: Nous changeons d’abord dans ce cas 𝒞 en remplaçant le vecteur Z_{i} par

Z_{i} − \frac{⟨ϕ, [Z_{i}, Y]⟩}{⟨ϕ, [X, Y]⟩}X, i = 1, ⋯, i_{1} − 1, ϕ ∈ 𝒱_{0}.

Ceci change ℬ et R, mais ces objets gardent leurs propriétés d’après 2.6 et nous pouvons donc supposer que Z_{i} ∈ 𝔤^{1} pour tout i ≠ i_{1} . En même temps nous obtenons une base de Malcev ℬ^{1} de 𝔤 relative à 𝔥^{1} à partir de 𝒞 par notre procédé d’extraction. Nous voyons facilement que B_{1} = Y ∈ ℬ, que le premier vecteur de ℬ^{1} est l’élément B_{2} , que X = B_{α}^{1} pour un certain α et que B_{j}^{1} = B_{j+1} pour tout j < α, B_{j}^{1} = B_{j} pour j > α. Nous avons montré dans (lemme 3.1.2) que

I^{1} = I^{H^{1},𝒞} = {i : i − 1 ∈ I = I^{H,𝒞} , 1 < i < α} ∪ {α} ∪ {i ∈ I^{H,𝒞} , i⟩α}.

De la même manière, nous avons posé dans le même paragraphe

R^{1} = {R_{1}^{1}, ⋯, R_{r}^{1}} = {R_{2}, …, R_{α}, f(X), R_{α+1}, …}.

Comme Y ∉ 𝔥, nous pouvons supposer que notre f vérifie f(Y) = R_{1}(0) et alors 𝒱^{R,ℬ} est aussi un sous-espace affine de Γ_{f}^{1} = f + (𝔥^{1})^{⊥}. Alors nous voyons que 𝒱^{R^{1},ℬ^{1}} est 𝒞−admissible et que 𝒱^{R,ℬ} = 𝒱^{R^{1},ℬ^{1}} . En outre dλ^{R,ℬ} = dλ^{R^{1},ℬ^{1}} .

Le cas b: Dans ce cas nous posons V = Z_{i^{1}} ∈ 𝔥 et nous remplaçons Z_{i} par

Z_{i} − \frac{⟨ϕ, [Z_{i}, Y]⟩}{⟨ϕ, [X, Y]⟩}X, i = i^{1} + 1, ⋯, i_{1} − 1.

Nous voyons que la famille R = {R_{1}, ⋯, R_{r}} a toujours la propriétés 2.6.2. Nous avons montrer que nous pouvons échanger la base 𝒞 par une nouvelle base de Jordan-Hölder _{1}𝒞 de 𝔤, qui nous place dans le cas a) et qui nous donnera une base de Malcev _{1}ℬ de 𝔤 relative à 𝔥 et une famille de fonctions _{1}R telle que

𝒱^{R,ℬ} = 𝒱^{_{1}R,_{1}ℬ} .

Nous savons que les induites Ind_{H}^{G}χ_{f} et Ind_{H′}^{G}χ_{f} sont équivalentes. L’opérateur T_{H^{1},H} qui entrelace ces deux induites est défini pour tout ξ ∈ S(G/H, f) et g ∈ G par

T_{H^{1},H}ξ(g) = ∫_{H^{1}/H^{1}∩H} ξ(gh)d_{H^{1},H^{1}∩H}(h) = ∫_{ℝ} ξ(g exp(tY))dt.

Cet opérateur est une isométrie, car nous vérifions que la mesure sur G/H déterminée par la base ℬ est la même que celle déterminée par la base ℬ^{1} = {Y,_{1}B_{2}, ⋯,_{1}B_{r}} et que la mesure sur G/H^{1} par la base _{1}ℬ^{1} = {_{1}B_{2}, ⋯,_{1}B_{r}} ∪ {X} et T_{H^{1},H} n’est ainsi qu’une transformation de Fourier partielle dans la direction de X, comme ⟨f, [X, Y]⟩ = 1.

Soit U^{1} = T_{B(ϕ),H^{1}} , nous vérifions facilement que pour tout ϕ ∈ 𝒱_{0} et tout ξ ∈ S(G/H, f) que

U^{1}(T_{H^{1},H}ξ) = U(ξ)  (3.3.7)

et ceci découle d’un calcul intégral direct. Nous obtenons donc que

∥U(ξ)∥_{2}^{2} = ∫_{𝒱^{R,ℬ}} ∥U(ξ)(ϕ)∥_{L^{2}(G/B(ϕ),ϕ)}^{2}dλ^{R,ℬ} (ϕ)
= ∫_{𝒱^{R,ℬ}} ∥T_{B(ϕ),H}ξ∥_{L^{2}(G/B(ϕ),ϕ)}^{2}dλ^{R,ℬ} (ϕ)
= ∫_{𝒱^{_{1}R,_{1}ℬ}} ∥T_{B(ϕ_{1}),H^{1}} ∘ T_{H^{1},H}ξ∥_{L^{2}(G/B(ϕ_{1}),ϕ_{1})}^{2}dλ^{_{1}R,_{1}ℬ} (ϕ_{1})

(nous appliquons le cas 2)

= ∥T_{H^{1},H}ξ∥_{L^{2}(G/H^{1},f)}^{2} = ∥ξ∥_{L^{2}(G/H,f)}^{2}.

Nous avons prouvé donc que U est une isométrie sur S(G/H, f) tout entier. Puisque cet espace forme une partie dense de L^{2}(G/H, f), il existe une extension unique Ū de U (qu’on note encore U) en une isométrie sur ce dernier espace. La relation de covariance voulue sera évidemment requise sur l’espace tout entier. Ce qui achève la preuve du théorème.

Nous verrons plus tard (exemple 4.4) que nous ne pouvons pas prendre n’importe quel choix rationnel de polarisations pour obtenir un opérateur d’entrelacement.

L’étape suivante consiste à démontrer que l’opérateur U est inversible. Pour ϕ ∈ 𝒱_{0} , nous définissons l’opérateur T_{H,B(ϕ)} sur C_{c}^{∞}(𝒱_{0}, C_{c}) par

T_{H,B(ϕ)}K(g) = ∫_{H/B(ϕ)∩H} K(ϕ)(gb)χ_{ϕ}(b)d_{H,H∩B(ϕ)}(b),

g ∈ G, K ∈ C_{c}^{∞}(𝒱_{0}, C_{c}), où ϕ ⟶ B(ϕ) désigne le choix rationnel de polarisations en ϕ ∈ 𝒱_{0} décrit en 3.1, et d_{H,B(ϕ)∩H} est la mesure sur H/B(ϕ) ∩ H décrite encore en 3.1.

Théorème 3.4. Nous gardons les mêmes hypothèses et les notations que dans le théorème 3.3. Alors l’opérateur d’entrelacement U décrit dans ce théorème est inversible. Son inverse V = U^{−1} est donné pour tout K ∈ C_{c}^{∞}(𝒱_{0}, C_{c}) et g ∈ G par:

V (K)(g) = ∫_{𝒱^{R,ℬ}} T_{H,B(ϕ)}K(ϕ)(g)dλ^{R,ℬ} (ϕ).

Démonstration. Il est clair que V ∘ τ_{I} = τ_{I} ∘ V et que V (K) possède la covariance (1.2.1) pour G, H et f. Nous allons prouver que pour K ∈ C_{c}^{∞}(𝒱_{0}, C_{c}), V (K) est un élément de L^{2}(G/H, f). Nous démontrerons en fait que V est une isométrie sur C_{c}^{∞}(𝒱_{0}, C_{c}).

Nous raisonnons comme avant par récurrence sur dim(𝔤) + dim(𝔤/𝔥), nous gardons toutes les notations du Théorème 3.3 et nous reprenons les trois cas discutés dans ce théorème. Montrons que

∥V (K)∥_{L^{2}(G/H,f)}^{2} = ∫_{𝒱^{R,ℬ}} ∥K(ϕ)∥_{L^{2}(G/B(ϕ),ϕ)}^{2}dλ^{R,ℬ} (ϕ).

Cas 1:: Nous notons pour s ∈ ℝ et K ∈ C_{c}^{∞}(𝒱_{0}, C_{c}), K_{s} = K_{|𝒱_{0}^{s}} = K_{|𝒱_{0}^{s}} . Il est clair que K_{s} ∈ C_{c}^{∞}(𝒱_{0}^{s}, C_{c}). Soit pour g ∈ G

V_{s}(K_{s})(g) = ∫_{𝒱^{Rs,ℬ′}} T_{H′,B(ϕ_{s})}K_{s}(ϕ_{s})(g)dλ^{R_{s},ℬ′} (ϕ_{s})  (3.4.1).

L’existence de l’intégrale (3.4.1) est évidente à cause des conditions sur K_{s}. Nous remarquons que l’application (s, g) ↦ V_{s}(K_{s})(g) est C^{∞} à support compact en s et C^{∞} en g et que pour tout g ∈ G,

V (K)(g) = ∫_{ℝ} V_{s}(K_{s})(g)ds.

Il en résulte que

a ↦ V (K)(g exp(aT)) = ∫_{ℝ} V_{s}(K_{s})(g exp(aT))ds = ∫_{ℝ} V_{s}(K_{s})(g)e^{ias}ds

est une fonction de Schwartz en a. Ainsi d’aprés le théorème d’inversion de Fourier, nous avons pour tout t ∈ ℝ que

\begin{matrix}∫_{ℝ} V (K)(g exp(aT))e^{−iat}da = ∫_{ℝ_{2}} V_{s}(K_{s})(g)e^{−iat}e^{ias}dsda \\ = ∫_{ℝ_{2}} V_{s}(K_{s})(g)e^{iat}e^{−ias}dsda = V_{t}(K_{t})(g) = V (K)^{t}(g). (3.4.2) \end{matrix}

184 Baklouti-Ludwig Ainsi

∥V (K)∥_{L^{2}(G/H,f)}^{2}
= ∫_{ℝ} ∫_{G/H′} |V (K)(g_{0} · exp(sT))|^{2}d_{G,H′}(g_{0})ds
= ∫_{ℝ} ∫_{G/H′} | ∫_{𝒱^{R,ℬ}} T_{H,B(ϕ)}K(ϕ)(g_{0} · exp(sT))dλ^{R,ℬ} (ϕ)|^{2}d_{G,H′}(g_{0})ds

= ∫_{ℝ} ∫_{G/H′} | ∫_{ℝ} ∫_{𝒱^{R_{t},ℬ′}} T_{H′,B(ϕ_{t})}K_{t}(ϕ_{t})(g_{0})e^{its}dλ^{R_{t},ℬ′} (ϕ_{t})dt|^{2}d_{G,H′}(g_{0})ds

= ∫_{ℝ} ∫_{G/H′} | ∫_{ℝ} V_{t}(K_{t})(g_{0})e^{−its}dt|^{2}d_{G,H′}(g_{0})ds

(nous utilisons la formule de Plancherel) = ∫_{ℝ} ∥V_{s}(K_{s})∥_{L^{2}(G/H′,f_{s})}^{2}ds

(nous appliquons l’hypothèse de récurrence) = ∫_{ℝ} ∫_{𝒱^{Rs,ℬ′}} ∥K_{s}(ϕ_{s})∥_{L^{2}(G/B(ϕ_{s}),ϕ_{s})}^{2}dλ^{R_{s},ℬ′} (ϕ_{s})ds

= ∫_{𝒱^{R,ℬ}} ∥K(ϕ)∥_{L^{2}(G/B(ϕ),ϕ)}^{2}dλ^{R,ℬ} (ϕ) = ∥K∥_{2}^{2}.

Cas 2: Pour K ∈ C_{c}^{∞}(𝒱_{0}, C_{c}) et t ∈ ℝ, nous notons

K_{t}(ϕ_{1})(g_{1}) = K(ϕ_{1})(exp(tX) · g_{1}), ϕ_{1} ∈ 𝒱_{1} = 𝒱_{0} _{|𝔤^{1}}, g_{1} ∈ G^{1}.

Nous avons que K_{t} ∈ C_{c}^{∞}(𝒱_{1}, C_{c}) et V (K)(g) = V (K)_{t}(g_{1}) = ∫_{𝒱^{R^{1},ℬ^{1}}} T_{H,B(ϕ_{1})}K_{t}(ϕ_{1})(g_{1})dλ^{R^{1},ℬ^{1}} (ϕ_{1}) = V_{1}(K_{t})(g_{1}). D’autre part

∥V (K)∥_{L^{2}(G/H,f)}^{2} = ∫_{ℝ} ∥V (K)_{t}∥_{L^{2}(G^{1}/H,f_{1})}^{2}dt = ∫_{ℝ} ∥V_{1}(K_{t})∥_{L^{2}(G^{1}/H,f_{1})}^{2}dt

(nous appliquons l’hypothèse de récurrence) = ∫_{ℝ} ∫_{𝒱^{R^{1},ℬ^{1}}} ∥K_{t}(ϕ_{1})∥_{L^{2}(G^{1}/B(ϕ_{1}),ϕ_{1})}^{2}dλ^{R^{1},ℬ^{1}} (ϕ_{1})dt

= ∫_{𝒱^{R,ℬ}} ∥K(ϕ)∥_{L^{2}(G/B(ϕ),ϕ)}^{2}dλ^{R,ℬ} (ϕ).

Cas 3: D’aprés la formule (3.3.7), nous avons que

T_{H,H^{1}} ∘ T_{H^{1},B(ϕ)} = T_{H,B(ϕ)}, ϕ ∈ 𝒱_{0},

d’où V = T_{H,H^{1}} ∘ V^{1} , où V^{1} désigne l’opérateur correspondant au G, H^{1} et f. Donc nous voyons tout de suite que V est isométrique.

Puisque V est une isométrie sur une partie dense de H_{τ_{I}}, alors il existe une extention unique V̄ de V (que nous notons toujours V ) sur l’espace tout entier en une isométrie. La relation de covariance voulue sera assurée sur l’espace tout entier. Ce qui achève la preuve.

En réalité, nous avons prouvé finalement que V est un opérateur d’entrelacement isométrique, nous allons prouver maintenant que U ∘ V = Id, ce qui va impliquer que l’opérateur U est surjectif donc inversible et que son inverse est V . Nous allons prouver cette égalité sur C_{c}^{∞}(𝒱_{0}, C_{c}) et le résultat s’en déduit sur l’espace tout entier. Nous raisonnons encore par récurrence sur dim(𝔤/𝔥) + dim(𝔤). Cas 1: Soit ξ ∈ S(G/H, f), et comme dans (3.3.4) pour tout t ∈ ℝ,

ξ^{t}(u) = ∫_{ℝ} ξ(u exp(λT))e^{−itλ}dλ.

Alors il est clair que

∫_{ℝ} ξ^{t}(u)dt = ξ(u) et que ∫_{ℝ} ∥ξ^{t}∥_{L^{2}(G/H′,f_{t})}^{2}dt = ∥ξ∥_{L^{2}(G/H,f)}^{2}.

Par extension, nous pouvons déduire que

L^{2}(G/H, f) ≃ ∫_{ℝ}^{⊕} L^{2}(G/H′, f_{t})dt.

Soit Ψ le champs d’opérateurs défini sur L^{2}(G/H, f) par Ψ(ξ)(s) = ξ^{s} ∈ L^{2}(G/H′, f_{s}), s ∈ ℝ. Notre opérateur U se décompose de même comme U =

∫_{ℝ}^{⊕} U_{t}dt. Nous avons alors que

U = (∫_{ℝ}^{⊕} U_{t}dt) ∘ Ψ.  (3.4.3)

Soit maintenant K ∈ C_{c}^{∞}(𝒱_{0}, C_{c}) et g ∈ G, nous avons pour ϕ = ϕ_{t} ∈ 𝒱_{0}^{t} que

U ∘ V (K)(ϕ_{t})(g) = U_{t}(V (K)^{t})(ϕ_{t})(g) d’aprés (3.4.3)

(nous appliquons (3.4.2) ) = U_{t}(V_{t}(K_{t}))(ϕ_{t})(g)

(nous appliquons l’hypothèse de récurrence) = K_{t}(ϕ_{t})(g) = K(ϕ)(g).

Cas 2: Il est clair que L^{2}(G/H, f) ≃ L^{2}(ℝ, L^{2}(G_{1}/H, f_{1})) et que

∫_{𝒱^{R,ℬ}} L^{2}(G/B(ϕ), ϕ)dλ^{R,ℬ} (ϕ) = ∫_{𝒱^{R^{1},ℬ^{1}}} L^{2}(ℝ, L^{2}(G_{1}/B(ϕ_{1}), ϕ_{1}))dλ^{R^{1},ℬ^{1}} (ϕ_{1}).

Ainsi, U = Ũ_{1} ∘ W, où W : L^{2}(G/H, f) → L^{2}(ℝ, L^{2}(G_{1}/H, f_{1})) est le champs d’opérateurs défini par

W (ξ)(t)(g_{1}) = ξ(exp(tX) · g_{1}) = ξ_{t}(g_{1}), g_{1} ∈ G_{1}

et Ũ_{1}(ξ)(t)(g_{1}) = U_{1}(ξ_{t})(g_{1}).

Soit ϕ ∈ 𝒱_{0} et g = exp(tX) · g_{1} ∈ G, nous avons que:

U ∘ V (K)(ϕ)(g) = U_{1} ∘ V (K)_{t}(ϕ_{1})(g_{1}) = U_{1} ∘ V_{1}(K_{t})(ϕ_{1})(g_{1})

(nous appliquons l’hypothèse de récurrence) = K_{t}(ϕ_{1})(g_{1}) = K(ϕ_{1})(exp(tX)g_{1}) = K(ϕ)(g).

Cas 3: Nous savons que V = T_{H,H^{1}} ∘ V^{1} . D’autre part, U^{1} = U ∘ T_{H,H^{1}} . Alors

U ∘ V = U^{1} ∘ T_{H^{1},H} ∘ T_{H,H^{1}} ∘ V^{1} = Id,

selon le choix de nos normalisations. Ceci achève la démonstration du théorème 3.4.

4. Exemples

4.1. Nous prenons l’algèbre de Heisenberg 𝔤 = vect(X, Y, Z) tels que [X, Y] = Z, nous désignons par G le groupe de Lie associé. Soit 𝔥 = vect(X − Y), H = exp(𝔥) et f = 0. Nous considérons τ = Ind_{H}^{G}1_{H}, prenons comme base de Jordan-Hölder les vecteurs {X − Y, Y, Z}. Nous obtenons la suite de Malcev

𝔥 = vect(X − Y) ⊂ 𝔤_{1} = vect(X − Y, Z) ⊂ 𝔤.

Il s’ensuit dans cet exemple que 𝒱^{R,ℬ} = 𝒱 = ℝZ^{⋆}, 𝒱_{0} = {λZ^{⋆}, λ ≠ 0}. Pour tout ϕ ∈ 𝒱_{0}, 𝔟(ϕ) = vect(Y, Z) est la polarisation rationnelle en ϕ. Soit U l’opérateur d’entrelacement décrit dans le théorème 3.3.

Nous avons pour tout ξ ∈ S(ℝ^{2}) et g ∈ G

U(ξ)(λZ^{⋆})(g) = ∫_{ℝ_{2}} ξ(g exp(tY) exp(sZ))e^{−isλ}dsdt.

Montrons directement que cet opérateur est isométrique. En effet,

∥U(ξ)∥_{2}^{2} = ∫_{𝒱} ∥U(ξ)(ϕ)∥_{L^{2}(G/B(ϕ),ϕ)}^{2}dλ(ϕ)

= ∫_{ℝ_{2}} | ∫_{ℝ_{2}} ξ(exp(\frac{a}{λ}(X − Y)) exp(tY) exp(sZ))e^{−isλ}dsdt|^{2}dadλ.

Vu que exp(\frac{a}{λ}(X − Y)) exp(tY) = exp(tY) exp(\frac{a}{λ}(X − Y)) exp(\frac{a}{λ}tZ), nous obtenons

∥U(ξ)∥_{2}^{2} = ∫_{ℝ_{2}} | ∫_{ℝ_{2}} ξ(exp(tY) exp((s + \frac{ta}{λ})Z))e^{−isλ}dsdt|^{2}dadλ
= ∫_{ℝ_{2}} | ∫_{ℝ_{2}} ξ(exp(tY) exp(sZ))e^{−isλ}e^{−it(−a)}dsdt|^{2}dadλ
= ∫_{ℝ_{2}} |ξ̂(exp(aY) exp(λZ))|^{2}dadλ

ξ̂ étant la transformée de Fourier de ξ

= ∫_{ℝ_{2}} |ξ(exp(tY) exp(sZ))|^{2}dtds = ∥ξ∥_{L^{2}(G/H,f)}^{2}

d’aprés la formule de Plancherel. L’opérateur réciproque U^{−1} est donné pour tout K ∈ C_{c}^{∞}(𝒱_{0}, C_{c}) et g ∈ G par

U^{−1}(K)(g) = ∫_{ℝ} ∫_{ℝ} K(λZ^{⋆})(g · exp(r \frac{(X − Y)}{λ}))drdλ.

4.2. Soit 𝔤 l’algèbre engendrée par quatres générateurs X_{1}, X_{2}, X_{3}, X_{4} tels que

[X_{1}, X_{2}] = X_{3}, [X_{1}, X_{3}] = X_{4}.

Prenons comme base de Jordan-Hölder la base 𝒞 = {X_{1}, X_{2}, X_{3}, X_{4}}. Nous désignons par G le groupe de Lie associé. Soit 𝔟 = vect(X_{2}, X_{3}, X_{4}). I. Soit 𝔥 = vect(X_{4}) et H = exp(𝔥) et f_{a} = aX_{4}^{⋆} une forme linéaire sur 𝔥 avec a ≠ 0. Nous obtenons la base de Malcev relative à 𝔥 comme dans 3.1

𝔥 = vect(X_{4}) ⊂ 𝔤_{1} = vect(X_{3}, X_{4}) ⊂ 𝔤_{2} = vect(X_{2}, X_{3}, X_{4})
⊂ 𝔤_{3} = vect(X_{1}, X_{2}, X_{3}, X_{4}) = 𝔤.

Il est clair que presque toutes les G-orbites sont saturées par rapport à 𝔤_{2}^{⊥}, alors que presque toutes les H−orbites ne le sont pas, ainsi

𝒱 = 𝒱^{R,ℬ} = {ϕ ∈ f_{a} + 𝔥^{⊥} : ⟨ϕ, X_{1}⟩ = 0} = aX_{4}^{⋆} + vect(X_{3}^{⋆}, X_{2}^{⋆}) ≃ ℝ^{2}.

Pour ϕ ∈ 𝒱, la sous-algèbre 𝔟 est la polarisation de Vergne en ϕ pour la base 𝒞. Notre opérateur d’entrelacement est donné donc pour ξ ∈ S(ℝ^{3}, f_{a}) par

U(ξ)(aX_{4}^{⋆} + bX_{3}^{⋆} + cX_{2}^{⋆})(g) = ∫_{ℝ_{2}} ξ(g exp tX_{3} exp sX_{2})e^{−itb}e^{−isc}dtds, g ∈ G.

L’opérateur réciproque U^{−1} est donné pour tout K ∈ C_{c}^{∞}(𝒱_{0}, C_{c}) et g ∈ G par

U^{−1}(K)(g) = ∫_{ℝ_{2}} K(aX_{4}^{⋆} + tX_{3}^{⋆} + sX_{2}^{⋆})(g)dtds.

II. Prenons maintenant 𝔥 = vect(X_{3}) et H = exp(𝔥) et f_{v} = vX_{3}^{⋆}, v ≠ 0. Notre base de Jordan-Hölder 𝒞 nous donne la suite de Malcev relative à 𝔥

𝔥 = vect(X_{3}) ⊂ 𝔤_{1} = vect(X_{3}, X_{4}) ⊂ 𝔤_{2} = vect(X_{3}, X_{4}, X_{2})
⊂ 𝔤_{3} = vect(X_{3}, X_{4}, X_{2}, X_{1}) = 𝔤.

Presque toutes les H−orbites en position générale sont saturées par rapport à 𝔤_{2}^{⊥}, il en est ainsi pour les G−orbites, donc

𝒱 = 𝒱^{R,ℬ} = (vX_{3}^{⋆} + 𝔥^{⊥}) ∩ {ϕ; ⟨ϕ, X_{1}⟩ = 0} = vX_{3}^{⋆} + vect(X_{4}^{⋆}, X_{2}^{⋆}) ≃ ℝ^{2}.

Soit ϕ_{c,d} = vX_{3}^{⋆} + cX_{4}^{⋆} + dX_{2}^{⋆} ∈ 𝒱, nous posons 𝒱_{0} = {ϕ_{c,d}, cd ≠ 0}.

La sous-algèbre 𝔟 est la polarisation de Vergne en ϕ_{c,d} ∈ 𝒱_{0} pour la base 𝒞. Notre opérateur d’entrelacement est donc donné pour tout ξ ∈ S(ℝ^{3}, vX_{3}^{⋆}) par

U(ξ)(ϕ_{c,d})(g) = ∫_{ℝ_{2}} ξ(g exp tX_{4} exp sX_{2})e^{−itc}e^{−isd}dtds

pour tout g ∈ G. L’opérateur réciproque U^{−1} est donné pour tout K ∈ C_{c}^{∞}(𝒱, C_{c}) et g ∈ G par

U^{−1}(K)(g) = ∫_{ℝ_{2}} K(ϕ_{s,t})(g)dsdt.

III. Prenons maintenant 𝔥 = vect(X_{2}) et H = exp(𝔥) et f = X_{2}^{⋆}. Nous obtenons la suite de Malcev relative à 𝔥:

𝔥 = vect(X_{2}) ⊂ 𝔤_{1} = vect(X_{2}, X_{4}) ⊂ 𝔤_{2} = vect(X_{2}, X_{4}, X_{3}) ⊂ 𝔤_{3} = 𝔤.

Presque toutes les H−orbites en position générales sont saturées par rapport à 𝔤_{2}^{⊥}, c’est le cas encore pour les G−orbites, donc

𝒱 = 𝒱^{R,ℬ} = (f + 𝔥^{⊥}) ∩ {ϕ; ⟨ϕ, X_{1}⟩ = 0} = X_{2}^{⋆} + vect(X_{4}^{⋆}, X_{3}^{⋆}).

Soit ϕ_{c,d} = X_{2}^{⋆} +cX_{3}^{⋆} +dX_{4}^{⋆} ∈ 𝒱_{0} , la sous-algèbre 𝔟 est la polarisation de Vergne en ϕ_{c,d} pour la base 𝒞. Notre opérateur d’entrelacement est donc donné pour tout ξ ∈ S(ℝ^{3}, f) par

U(ξ)(ϕ_{c,d})(g) = ∫_{ℝ_{2}} ξ(g exp tX_{3} exp sX_{4})e^{−itc}e^{−isd}dtds, g ∈ G.

L’opérateur réciproque U^{−1} est donné pour tout K ∈ C_{c}^{∞}(𝒱_{0}, C_{c}) et g ∈ G par

U^{−1}(K)(g) = ∫_{ℝ_{2}} K(X_{2}^{⋆} + sX_{3}^{⋆} + rX_{4}^{⋆})(g)dsdr.

IV. Prenons maintenant 𝔥 = vect(X_{1}), f = 0. Alors nous obtenons la suite de Malcev

𝔤_{1} = vect(X_{1}, X_{4}) ⊂ 𝔤_{2} = vect(X_{1}, X_{4}, X_{3}) ⊂ 𝔤_{3} = vect(X_{1}, X_{4}, X_{3}, X_{2}) = 𝔤

qui est relative à 𝔥. Ici 𝒱 = 𝒱^{R,ℬ} = vect(X_{4}^{⋆}, X_{2}^{⋆}), et 𝒱_{0} = {cX_{4}^{⋆} + dX_{2}^{⋆}, cd ≠ 0}. Encore la sou-algèbre 𝔤_{2} est la polarisation de Vergne en n’importe quel élément de 𝒱_{0} pour la base 𝒞. Ainsi notre opérateur d’entrelacement est donné pour tout ξ ∈ S(ℝ^{3}, 0) par

U(ξ)(cX_{4}^{⋆} + dX_{2}^{⋆})(g) = ∫_{ℝ_{3}} ξ(g exp(tX_{2}) exp(sX_{3}) exp(rX_{4}))e^{−i(cr+td)}drdsdt.

L’opérateur réciproque U^{−1} est donné pour tout K ∈ C_{c}^{∞}(𝒱_{0}, C_{c}) et g ∈ G par

V (K)(g) = ∫_{ℝ_{3}} K(sX_{4}^{⋆} + tX_{2}^{⋆})(g exp(rX_{1}))drdsdt.

4.3. Nouvelle désintégration (rationnelle) de L^{2}(G): Soit G un groupe de Lie nilpotent connexe simplement connexe d’algèbre de Lie 𝔤, on sait que Ind_{{e}}^{G}1 est la représentation régulière gauche λ_{G} qui se réalise sur L^{2}(G) par

λ_{G}(g)ξ(x) = ξ(g^{−1}x)

pour tout g, x ∈ G et ξ ∈ L^{2}(G). Ici donc f = 0 et Γ_{f} = 𝔤^{⋆}. Soit donc une suite de Jordan-Hölder de 𝔤

(0) = 𝔞^{n+1} ⊂ 𝔞^{n} ⊂ … ⊂ 𝔞^{1} = 𝔤  (4.3.1)

et soit 𝒞 = {Z_{1}, …, Z_{n}} une base de Jordan-Hölder de 𝔤 extraite de cette suite, c.à.d Z_{j} ∈ 𝔞^{j} \ 𝔞^{j+1} . Nous posons A^{j} = exp(𝔞^{j}), j = 1, …, n. Dans ce cas et suivant la définition 2.4 nous avons que

I^{{e}} = {j ∈ {1, …, n} : Presque toutes les A^{j−1}−orbites sont
saturées par rapport à(𝔞^{j})^{⊥} }

Il en découle que notre espace de désintégration est décrit comme

𝒱 = {ϕ ∈ 𝔤^{⋆} : ⟨ϕ, X_{j}⟩ = 0, j ∈ I^{{e}}}.

Nous prenons la mesure de Lebesgue dλ sur 𝒱. Soit ϕ ∈ 𝒱, nous notons ϕ_{i} = ϕ_{|𝔞^{i}}, soit B(ϕ) = exp(𝔟(ϕ)) la polarisation de Vergne en ϕ par rapport à la suite de Jordan Hölder (4.3.1), en fait comme dans 1.4

𝔟(ϕ) = ∑_{i=1}^{n} 𝔞^{i}(ϕ_{i}).

En outre, nous savons d’aprés la condition de Pukanszky que Ad^{⋆}(B(ϕ))ϕ = ϕ + 𝔟(ϕ)^{⊥}, il est clair donc que Ad^{⋆}(B(ϕ))ϕ ∩ 𝒱 = {ϕ}. Nous obtenons la désintégration rationnelle de L^{2}(G) suivante:

(L^{2}(G), μ_{G}) ≃ ∫_{𝒱}^{⊕} (L^{2}(G/B(ϕ), ϕ))dλ(ϕ).

4.4- Un dernier exemple. Nous montrons ici que le choix des polarisations B(ϕ) pour ϕ ∈ 𝒱_{0} est très important. En effet, soit 𝔤 l’algèbre de Lie engendrée par les vecteurs X, P, Y, Q, Z avec les crochets

[X, Y] = Z, [P, Q] = Z.

Soit 𝔥 = vect(Z, P − X), f = Z^{⋆} et 𝒞 = {X, P − X, Y, Q, Z} une base de Jordan-Hölder de 𝔤. Donc ℬ = {Q, Y, X} est la base de Malcev de 𝔤 relative à 𝔥. L’ensemble L^{H} a un seul élément, qui est associé à Y . Prenons 𝒱 = Z^{⋆}+ℝY^{⋆} et pour tout s ∈ ℝ, ϕ_{s} = Z^{⋆} + sY^{⋆}. La sous-algèbre 𝔟 = vect(Z, X, P) est une polarisation pour tous les ϕ_{s} ∈ 𝒱, mais n’est pas une polarisation de Vergne en ϕ_{s} pour la base 𝒞. Soit B = exp(𝔟), alors l’opérateur d’entrelacement infinitésimal U est défini pour tout ξ ∈ S(G/H, f) = S(ℝ^{3}, Z^{⋆}) et g ∈ G par

U(ξ)(ϕ_{s})(g) = T_{B,H}ξ(g) = ∫_{B/B∩H} ξ(gb)χ_{ϕ_{s}}(b)d_{B,B∩H}(b) = ∫_{ℝ} ξ(g exp(pP))dp.

Nous remarquons alors que U ne dépend pas de s ∈ ℝ, et donc U ne peut pas être une isométrie.

Remerciements: Nous remercions vivement les Professeurs Hidénori Fujiwara et Gérard Grélaud d’avoir révisé le manuscript et le Professeur R. Lipsman d’avoir nous envoyé ses articles sur ce sujet.

References

[1] Baklouti, A., et J. Ludwig, Opérateur d’entrelacement des représentations monomiales des groupes de Lie nilpotents, Préprint de l’Université de Metz, 1998.

[2] Brown, I., Dual Topology of a nilpotent Lie group, Ann. Sci Ecole Normale Sup. 6 (1973), 407–411.

[3] Corwin, L., et F. P. Greenleaf, A canonical approach to multiplicity formulas for induced and restricted representations of nilpotent Lie groups, Comm. Pure and Applied Math. XLI (1988) 1051–1088.

[4] —, Spectral decomposition of invariant differential operators on certain nilpotent homogeneous spaces, J. Funct. Anal. 108 (1992), 374–426.

[5] —, Commutativity of invariant differential operators on nilpotent homogeneous spaces with finite multiplicity, Comm. Pure and Applied Math. 45 (1992), 681–748.

[6] —, “Representations of Nilpotent Lie groups and Their Applications,” Cambridge University Press, 1990.

[7] Corwin L., F. P. Greenleaf, et G. Grélaud, Direct integral decompositions and multiplicities for induced representations of nilpotent Lie groups, Trans. Amer. Math. Soc. 304 (1987), 549–583.

[8] Fujiwara H., Représentations monomiales des groupes de Lie nilpotents, Pacific J. Math. 127 (1987), 329–351.

[9] —, Représentations monomiales des groupes de Lie résolubles exponentiels, dans “The orbit method in representation theory,” Birkhäuser, Progress in Mathematics, 1990, 61–84.

[10] Fujiwara, H., et S. Yamagami, Certaines représentations monomiales des groupes de Lie résolubles exponentiels, Adv. St. Pure Math. 14 (1988), 153–190.

[11] Grélaud, G., Une formule de Plancherel pour les espaces homogènes des groupes de Lie nilpotents, Préprint de l’Université de Poitiers.

[12] —, “Sur les représentations des groupes de Lie résolubles,” Thèse, Université de Poitiers, 1984.

[13] —, On the representations of simply connected nilpotent and solvable Lie groups, Prépublication no 76, Univ. de Poitiers, 1993.

[14] —, La formule de Plancherel pour les espaces homogènes des groupes de Heisenberg, J. reine angew. Math. 398 (1989), 92–100.

[15] Kirillov, A. A., Unitary representations of nilpotent Lie groups, Uspekhi Mat. Nauk 17 (1962), 57–110.

[16] Lion, G., Intégrale d’entrelacement sur des groupes de Lie nilpotents et indices de Maslov, Lect. Notes in Math. 587 (1977), 160–176.

[17] Lipsman R., Orbital parameters for induced and restricted representation, Trans. Amer. Math. Soc. 313 (1989), 433–473.

[18] —, The Plancherel formula for homogeneous spaces with polynomial spectrum, Pacific J. Math. 159 (1993), 351–377.

[19] —, The Penney-Fujiwara Plancherel formula for abelian symmetric space and completely solvable homogeneous spaces, Pacific J. Math. 151 (1991), 265–295.

[20] Ludwig J., et H. Zahir, On the nilpotent ⋆- Fourier transform, Letters in Mathematical Physics 30 (1994), 23–34.

[21] Pukanszky, L, “Leçons sur les représentations des groupes,” Dunod, Paris, 1967.

[22] —, Unitary representations of solvable Lie groups, Ann. Sci. Ecole Norm. Sup 4 (1971), 457–608.

[23] Vergne, M. Construction de sous-algèbres subordonnées à un élément du dual d’une algèbre de Lie résoluble, C. R. Acad. Sci. (Paris) 270 (1970), 173–174; 704–707.

Université de Metz Département de Mathématiques Ile du Saulcy, 57045 METZ Cedex 01 France

Received January 28, 1998 and in final form November 16, 1998