Correction 1
Correction 1
Correction du TD 1
Exercice 1
1. On dit que (Xn )n≥1 converge vers X (l’espace sous-jacent étant (Ω, F, P)) :
P
— en probabilité (Xn → X), si ∀ε > 0 on a P(|Xn − X| ≥ ε) → 0.
n→∞
L2
— en norme L2 , ou en moyenne quadratique, (Xn → X), si E[(Xn − X)2 ] → 0.
n→∞
d L
— en loi (Xn → X ou Xn → X ou Xn ⇝ X), si pour toute fonction continue bornée φ de R dans
R, limn E [φ(Xn )] = E [φ(X)]. Il existe d’autres caractérisations de la convergence en loi, par
exemple : Fn (x) → F (x), pour tout x tel que F est continue en x ; Fn désignant la fonction de
n→∞
répartition (f.d.r.) de la v.a. Xn et F désignant celle de la v.a. X.
p.s.
— presque sûrement (Xn → X), si ∃Ω0 ∈ F, t.q. P(Ω0 ) = 1 et ∀ω ∈ Ω0 , on a Xn (ω) → X(ω).
n→∞
2. En utilisant le corollaire de l’inégalité de Markov avec la fonction carrée (croissante et positive sur
R+ ), on obtient pour tout ε > 0
E|Xn − X|2
P(|Xn − X| ≥ ε) ≤ −→ 0
ε2 n→+∞
5. — Xn = 1/n est une suite déterministe qui tend vers 0 lorsque n tend vers l’infini. Elle converge
donc p.s. et donc aussi en probabilité et en loi. Elle converge également dans L2 .
— Xn = (−1)n est aussi déterministe, mais ne converge pas en loi car la fonction définie par
f (x) = −1x<−1 + x1|x|≤1 + 1x>1 est continue bornée avec Ef (Xn ) = (−1)n qui ne converge pas.
Ainsi, il n’y a pas convergence en probabilité, L2 ou p.s.
— Xn = 1An avec P(An ) → 0. La convergence L2 vers 0 se vérifie facilement : EXn2 = P(An ) → 0
(ce qui implique aussi la convergence en probabilité et en loi).
En revanche, on n’a pas nécessairement la convergence p.s. Contre-exemple classique de la "bosse"
qui se balade dans [0, 1] avec un support qui rétrécit. On construit les ensembles An de la façon
suivante :
— 1ère étape : A1 = [0, 1],
— 2ème étape : on découpe A1 en 2 et on fait glisser les ensembles A2 = [0, 1/2], A3 = [1/2, 1],
— 3ème étape : on recommence A4 = [0, 1/4], A5 = [1/4, 1/2], A6 = [1/2, 3/4], A7 = [3/4, 1],
etc.
avec pour espace probabilisé (Ω, F, P) = ([0, 1], B([0, 1]), Leb[0, 1]). Ainsi on a bien P(An ) =
E(1An ) = 1/2⌊ln2 (n)⌋ → 0, mais ∀ω ∈ [0, 1], 1An (ω) n’admet pas de limite puisque pour tout n,
il existe clairement des indices k, m ≥ n tels que 1Ak (ω) = 0 et 1Am (ω) = 1, c’est-à-dire
c’est-à-dire que
et ceci est vrai quel que soit k ≥ 1. On pose Ω0 = ∩k Ωk , et on note que P(Ω0 ) = 1 (par passage
au complémentaire et en utilisant une borne de l’union). Notons également que pour tout ε > 0, il
existe k ∈ N tel que ε > 1/k. On en déduit finalement que
Ceci signifie que la suite de variables aléatoires (Xn )n≥1 converge p.s. vers X.
Exercice 2
1. Pour déterminer la loi de la v.a. Mn /n, on calcule sa fonction de répartition (c’est un réflexe à avoir
quand on veut calculer la loi d’un min ou d’un max). Pour x ∈ R, on a
Lorsque x ≤ 0, P (Mn /n ≤ x) ≤ P (Mn /n ≤ 0) = 2−n qui tend vers 0. Pour déterminer la li-
mite de P (Mn /n ≤ x) quand x > 0, il suffit d’utiliser le rappel : (1/π) arctan(nx) + 1/2 = 1 −
(1/π) arctan(1/(nx)). Ainsi
1
P (Mn /n ≤ x) = exp n ln 1 − arctan(1/(nx)) .
π
1
Comme π arctan(1/(nx)) −→ 0,
n→∞
1 n n 1 1
n ln 1 − arctan(1/(nx)) ∼ − arctan(1/(nx)) ∼ →− .
π π π (nx) πx
Remarquons que nous n’avons pas composé les équivalences à gauche, chose interdite en générale !
Nous avons finalement pour tout x ∈ R,
P (Mn /n ≤ x) → F ∞ (x),
n→∞
avec
x≤0
∞ 0 pour
F : x 7→ 1
− πx .
e pour x>0
On vérifie que F ∞ est une fonction de répartition (continue à droite, croissante, limite nulle en −∞,
limite 1 en +∞). On en déduit que la suite de suite de v.a. Mn /n converge en loi vers la loi dont la
fonction de répartition est F ∞ .
3. Montrons à présent que cette loi admet une densité par rapport à la mesure de Lebesgue. Attention,
ceci n’est pas automatique, car il y a des lois sur R qui ne sont pas absolument continues par
rapport à la mesure de Lebesgue ! Par exemple, la fonction de répartition F (x) = 1[0,+∞[ (x) (mesure
Dirac en 0) n’admet pas de densité par rapport à la mesure de Lebesgue. Une condition suffisante
pour qu’une fonction de répartition admette une densité par rapport à la mesure de Lebesgue est
qu’elle soit continue et C 1 par morceaux 1 . Alors la densité coïncide avec la dérivée de la fonction de
répartition (p.p.).
Après ce petit rappel, reprenons l’exercice et montrons que la loi associée à F ∞ admet une densité.
La fonction F ∞ est continue et C 1 par morceaux, la loi associée à F ∞ admet donc une densité f ∞
par rapport à la mesure de Lebesgue, égale p.p. à la dérivée de F ∞ . La densité f ∞ est ainsi donnée
par :
∞
f : x 7→ 1
0
1
pour x ≤ 0 .
πx2
exp − πx pour x > 0
Remarque : Cette loi appartient à la famille des lois de Fréchet, dont les fonctions de répartition
s’écrivent de façon générale sous la forme
x−m −α
F (x) = e−( s ) 1x>m
Exercice 3
R
1. Comme f est positive, il suffit de vérifier que R f (x) dx = 1. Ceci s’obtient en faisant le changement
de variable y = θx :
Z ∞ Z ∞
(θx)p−1 −θx
Z
1
f (x) dx = e θdx = y p−1 e−y dy = 1.
R 0 Γ(p) Γ(p) 0
d’où le résultat.
5. Pour déterminer la loi de X +Y , on calcule sa fonction caractéristique ΦX+Y (t) = E[eit(X+Y ) ]. Grâce
à l’indépendance, cette fonction est égale au produit des fonctions caractéristiques de X et de Y :
1 1
ΦX+Y (t) = ΦX (t) ΦY (t) = = .
(1 − iθ−1 t)p1 (1 − iθ−1 t)p2 (1 − iθ−1 t)p1 +p2
Exercice 4
1. ∀λ ∈ R, on a :
X X θk
E (exp(λ(X − θ))) = exp(λ(k − θ))P(X = k) = exp(λ(k − θ))e−θ
k!
k≥0 k≥0
k
X eλ θ λθ
= e−θ(λ+1) = e−θ(λ+1) ee = exp(θϕ(λ)).
k!
k≥0
2. Pour tout x > 0 et λ ≥ 0, on a, par croissance de x 7→ eλx et par l’inégalité de Markov,
P X − θ ≥ x ≤ P exp(λ(X − θ)) ≥ exp(λx)
≤ exp(−λx)E (exp(λ(X − θ)))
= exp(−λx) exp(θϕ(λ)),
en utilisant la question 1.
3. Soit f : λ 7→ λx − ϕ(λ) définie sur [0, +∞[, pour un x > 0 fixé. On a pour tout λ ≥ 0,
On en déduit que f est strictement croissante sur [0, ln(x + 1)] et strictement décroissante sur
[ln(x + 1), +∞[. Ainsi, elle atteint son maximum en l’unique point λ0 = ln(x + 1). Par suite,
4. Ainsi, en remarquant que l’inégalité trouvée à la question 2. est vraie pour tout λ ≥ 0,
n x o
P X − θ ≥ x ≤ inf exp −θ(λ − ϕ(λ))
λ≥0 θ
!
n x o
= exp −θ sup λ − ϕ(λ)
λ≥0 θ
= exp (−θh(x/θ)) ,
où v = ni=1 E[Xi2 ].
P
Exercice 5
1. Pour tout λ ≥ 0, la fonction x 7→ exp(λx) est convexe sur R, on a donc l’inégalité suivante : pour
tout x ∈ [−M, M ],
M −x M +x M −x M +x
exp(λx) = exp (−λM ) + (λM ) ≤ exp(−λM ) + exp(λM ).
2M 2M 2M 2M
2. Pour tout i ∈ N, on obtient par passage à l’espérance :
M − Xi M + Xi
E(exp(λXi )) ≤ E exp(−λM ) + E exp(λM )
2M 2M
exp(−λM ) exp(λM )
= +
2 2
= cosh(λM )
≤ exp(λ2 M 2 /2).
1 X uk 1 X (−u)k X u2k
cosh(u) = + =
2 k! 2 k! (2k)!
k≥0 k≥0 k≥0
X u2k
exp(u2 /2) =
2k k!
k≥0
car l’infinimum est atteint pour λ = x/M 2 . On obtient la deuxième inégalité en remarquant que :
Sn Sn Sn
P ≥x ≤P ≥x +P − ≥x ,
n n n
où la première inégalité vient du fait que l’événement { Snn = x} se retrouve dans les deux événements
de droite, qui ne sont donc pas disjoints. Comme −Sn est la somme des v.a. −Xk qui restent centrées
et dans [−M, M ], l’inégalité de Hoeffding précédente s’applique encore et on obtient le résultat voulu.
5. Soit U0 , U1 , U2 , . . . une suite de v.a. i.i.d. uniformes sur [0, 2]. Les v.a. Xk = Uk − 1 sont centrées et
dans [−1, 1], on peut donc appliquer l’inégalité de Hoeffding et on obtient :
Pn Pn
k=1 Xk k=1 Uk
P ≥x =P − 1 ≥ x ≤ 2 exp(−nx2 /2) =: ∆H .
n n
L’inégalité de Bienaymé-Tchebychev appliquée à la v.a. nk=1 Uk /n (on calcule E(U1 ) = 1 et V(U1 ) =
P
1/3) s’écrit
Pn Pn
k=1 Uk V k=1 Uk /n 1
P −1 ≥x ≤ 2
= =: ∆BT
n x 3nx2
Les bornes ∆H et ∆BT se comparent de la façon suivante :
— pour n = 100 et x = 0.1, on a nx2 = 1 donc ∆H ≃ 1.21 et ∆BT = 1/3 ;
— pour n = 100 et x = 0.5, on a nx2 = 25 donc ∆H ≃ 7.46 10−6 et ∆BT = 1/75 ≃ 0.013 ;
— pour n = 1000 et x = 0.1, on a nx2 = 10 donc ∆H ≃ 0.01 et ∆BT = 1/30 ≃ 0.03.
La borne de Hoeffding est mauvaise pour les petites valeurs de nx2 mais devient beaucoup plus fine
que celle de Bienaymé-Tchebychev pour de plus grandes valeurs de nx2 donc de x ou n. Par contre,
la borne de Hoeffding utilise des hypothèses plus contraignantes (v.a. bornées).
Exercice 6
1. Pour toute fonction Ψ borélienne bornée, on a
Z ∞
2
2
E(Ψ(X1 )) = Ψ(x2 )2xe−x dx
Z0 ∞
= Ψ(u)e−u du,
0
en posant u = x2 (du = 2xdx). Ainsi, X12 ∼ E(1) (loi exponentielle dePparamètre 1). D’après
n
3, comme les Xi2 sont i.i.d. de loi E(1) = γ(1, 1) nous avons
l’exercice P 2
i=1 Xi ∼ γ(n, 1) puis
−1 n 2
Vn = n i=1 Xi ∼ γ(n, n).
2. On applique le TCL aux variables aléatoires Xi2 i.i.d. et de carré intégrable pour obtenir
√
n(Vn − E(X12 )) ⇝ N 0, Var(X12 ) .
Comme X12 ∼ E(1) = γ(1, 1), on calcule aisément E(X12 ) = 1 et Var(X12 ) = 1. Ainsi, en utilisant la
caractérisation de la convergence en loi avec les fonctions de répartition, on a que pour tout t ∈ R,
√
P( n(Vn − EVn ) ≥ t) −→ 1 − Φ(t).
n→∞
Par ailleurs, comme 1 − Φ(x) = Φ(−x) par symétrie de la loi N (0, 1), on a bien le résultat escompté.
3. (a) Comme Vn ∼ γ(n, n), Vn n’est pas bornée (p.s.) et on ne peut pas utiliser l’inégalité de Hoeffding.
Cependant, Vn possède des moments exponentiels (comme on le verra plus bas), donc on cherche
à utiliser la méthode de Chernoff, en espérant que les calculs soient faisables.
(b) Comme Vn ∼ γ(n, n), on a
Z ∞
nn
E (exp(λVn )) = eλx xn−1 e−nx dx
Γ(n) 0
nn (n − λ)n ∞ n−1 −(n−λ)x
Z
= x e dx
(n − λ)n Γ(n) 0
1
= × 1,
(1 − λ/n)n
en reconnaissant la loi γ(n, n − λ). Par suite,
(d) D’après la méthode de Chernoff (refaire la preuve dans notre cas pour vous en convaincre !), on a
pour tout t > 0,
√ √
P Vn − 1 ≥ t/ n ≤ exp −h(t/ n) ,
avec
√ √ √
h(t/ n) = t n − n ln(t/ n + 1)
√
= nψ(t/ n),
ce qui prouve finalement que
√ √
P Vn − 1 ≥ t/ n ≤ exp −nψ(t/ n) .
√ 2
Lorsque n tend vers l’infini, on a −nψ(t/ n) = −t2 /2 + o(1). Donc la borne est équivalente à e−t /2 ,
ce qui est toujours plus grand que Φ(−t). En effet, d’après le rappel,
−t2 /2 √ on a toujours Φ(−t) ≤ φ(t)/t,
√
ce qui assure que l’inégalité Φ(−t) ≤ e est vraie dès que t ≥ 1/ 2π. De plus, si 0 < t < 1/ 2π,
2
alors e−t /2 > e−1/(4π) ≈ 0.92 tandis que bien entendu Φ(−t) ≤ 1/2. Ainsi la borne est moins bonne
que celle obtenue via le TCL, mais si t grandit elle est du bon ordre à l’échelle exponentielle. Surtout,
il est important de noter que l’inégalité obtenue plus haut est valable pour tout n ≥ 1 tandis que
le résultat de la question 2 n’est valable que lorsque n tend vers l’infini. Finalement, cet exemple
montre surtout que la méthode de Chernoff est assez précise lorsque n tend vers l’infini.
Exercice 7
1. La LFGN appliquée aux variables aléatoires Xi i.i.d. et intégrables donne
p.s.
X n → E(X1 ) = m.
De plus, nous avons la décomposition (à savoir !)
n
X
σn2 = n−1 Xj2 − (X n )2 .
j=1
La LFGN appliquée aux variables aléatoires Xi2 i.i.d. et intégrables (car E[X12 ] = Var X1 + E[X1 ]2 =
σ 2 + m2 < ∞) donne
n
X p.s.
n−1 Xj2 → E(X12 ) = σ 2 + m2 .
j=1
√ Xn − m
n ⇝ N (0, 1).
σ
p.s. p.s.
De plus, d’après la question précédente, σn2 → σ 2 . Montrons qu’alors √σ 2 → 1 (quand bien même
σn
√σ 2 peut prendre la valeur ∞). Cela n’est pas direct car σn2 peut s’annuler avec probabilité non-nulle.
σn
(
√σ si x > 0
Première option : Soit φ : x ∈ R 7→ x . Cette fonction est C 0 sur R+ mais elle
∞ sinon.
est surtout continue en σ2 (puisque σ2 > 0), qui est la limite p.s. de σn2 . Ainsi, par le théorème de
p.s.
continuité, φ(σn2 ) = √σ 2 → 1.
σn
p.s.
Deuxième option : Puisque, σn2 −→ σ 2 , il existe donc un événement Ω0 de probabilité 1, tel que
∀ω ∈ Ω0 , on a σn2 (ω) −→ σ 2 > 0. En particulier, pour tout ω ∈ Ω0 , il existe un rang n0 (ω) tel que
n→∞
∀n ≥ n0 (ω), on a σn2 (ω) > 0 et ∀n ≥ n0 (ω), il est donc licite de composer par la fonction continue
x ∈ R∗+ 7→ √σx , ce qui assure que √ σ2 −→ 1. Enfin, puisque cela est vrai pour tout ω ∈ Ω0 et
σn (ω) n→∞
p.s.
que P(Ω0 ) = 1, on en déduit bien que √σ 2 → 1.
σn
Ces deux convergences (en loi et p.s.) et le lemme de Slutsky impliquent que
√ Xn − m √ Xn − m σ
n p = n p ⇝ N (0, 1).
σn2 σ σn2
Exercice 8
1. Soit Z1 = − ln(X1 ) (bien défini car P(X1 = 0) = 0), alors Z1 suit une loi exponentielle de paramètre
1 : en effet, pour tout u ∈ R,
La méthode Delta appliquée avec la fonction g(u) = eu qui est dérivable en 1 avec g ′ (1) = e donne
alors √
n(Yn − e) ⇝ N (0, e2 ).
Exercice 9
1. Par la LFGN (Xi i.i.d et intégrables), X n converge p.s. vers E(X1 ) = 0. De même, le TCL (Xi i.i.d
√
et de carré intégrable) donne nX n ⇝ N (0, 1).
2. En se souvenant que cos′ = − sin et par la méthode Delta (cos dérivable en 0), on obtient
√
n(cos(X n ) − 1) ⇝ N (0, 0) = δ0 ,
autrement dit la limite en loi est la constante 0, qui est effet une loi dénégérée. On en déduit
√
uniquement que la vitesse de convergence de cos(X n ) vers 1 est plus rapide que 1/ n. Il faut donc
pousser le développement à l’ordre suivant pour pouvoir être plus précis sur vitesse et limite.
3. Le développement limité de cos en 0 à l’ordre 2 est :
x2
cos x = cos 0 + cos′ (0)x + cos′′ (0) + o(x2 )
2
x2
=1− + o(x2 ).
2
Autrement dit, il existe une fonction r tendant vers 0 en 0 telle que :
x2
cos x = 1 − (1 + r(x)).
2
4. D’après la question précédente, nous avons :
(X n )2
cos(X n ) − 1 = − (1 + r(X n )),
2
d’où √
−2n(cos(X n ) − 1) = ( nX n )2 (1 + r(X n )).
Il reste maintenant à étudier la convergence du terme de droite avec comme outil le Lemme de
Slutsky. Tout d’abord, la fonction r est prolongeable par continuité en 0 de sorte que r(0) = 0. Or
P
X n converge p.s. (et a fortiori en probabilité) vers 0, donc par le théorème de continuité, r(X n ) → 0.
√ √
De même, nX n ⇝ N (0, 1), donc par continuité ( nX n )2 ⇝ Y 2 avec Y ∼ N (0, 1). Autrement dit,
√
( nX n )2 ⇝ χ21 . Finalement, le Lemme de Slutsky donne :
−2n(cos(X n ) − 1) ⇝ χ21 .
Bilan : la suite de v.a. (cos(X n )) converge à vitesse 1/n vers sa limite, c’est-à-dire bien plus rapide-
ment que pour le TCL classique.
Exercice 10
1. Commençons par rappeler la loi forte des grands nombres pour le cas particulier de lois de Bernoulli :
si (Bn ) est une suite de variables i.i.d. de Bernoulli de paramètre θ, alors
B1 + · · · + Bn p.s.
−−−→ θ.
n n→∞
mais les variables de Bernoulli n’ont aucune raison d’être les mêmes d’un n à l’autre, donc on n’est
pas dans le cadre d’application de la loi des grands nombres.
2. Pour démontrer la convergence p.s., on va utiliser le lemme de Borel-Cantelli, autrement dit, on
cherche à montrer que, pour tout ε > 0,
X
P (|Sn /n − θ| ≥ ε) < ∞.
n≥1
On part de l’égalité en loi (1) : pour tout c > 0 et en notant B n := (B1 + · · · + Bn )/n, celle-ci
implique l’égalité suivante sur les probabilités
P (|Sn /n − θ| ≥ c) = P |B n − θ| ≥ c
Or, puisqu’une variable de Bernoulli est bornée par 0 et 1, l’inégalité de Hoeffding (la version du
cours) appliquée aux variables i.i.d. Bi donne :
P |B n − θ| ≥ c ≤ 2 exp(−2c2 n).
Ainsi, X X
P (|Sn /n − θ| ≥ c) ≤ 2 exp(−2c2 n) < ∞,
n≥1 n≥1
Première méthode : D’après ce qui précède, Yn = φ(Sn /n) avec φ dérivable en θ et de dérivée
φ′ (θ) = 1/θ > 0. Donc, par application de la méthode Delta avec la fonction φ,
√ √
n(φ(Sn /n) − φ(θ)) = n(Yn − ln(θ)) ⇝ N (0, (1 − θ)/θ).
Seconde méthode : On remarque tout d’abord que
√ √ √
n(Yn − ln(θ)) = n(ln(Sn /n) − ln(θ))1Sn ≥1 + n(1 − ln(θ))1Sn =0 .
Montrons que le terme de droite converge vers 0 en probabilité. Pour tout ϵ > 0,
√
P(| n(1 − ln(θ))1Sn =0 | ≥ ϵ) ≤ P(Sn = 0) = (1 − θ)n −→ 0.
n→∞
√ P
Ainsi n(1 − ln(θ))1Sn =0 −→ 0.
Concernant le terme de gauche, le TCL donne
√
n(Sn /n − θ) ⇝ N (0, θ(1 − θ)).
De plus, par la méthode Delta appliquée avec ln (dérivable en θ), nous obtenons :
√
n(ln(Sn /n) − ln(θ)) ⇝ N (0, 1/θ − 1).
Ensuite, par application du Lemme de Slutsky en tenant compte que 1Sn ≥1 tend vers 1 en probabilité,
nous obtenons : √
n(ln(Sn /n) − ln(θ))1Yn =ln Sn /n) ⇝ N (0, 1/θ − 1).
Finalement, puisque
√ √ √
n(Yn − ln(θ)) = n(ln(Sn /n) − ln(θ))1Sn ≥1 + n(1 − ln(θ))1Sn =0 ,