LFGN
LFGN
Charles SUQUET
2003–2004
Lois des grands nombres
Théorème 1 (Loi 0-1) Soit (Xk ) une suite de variables aléatoires indépendantes. On
définit sa tribu d’événements asymptotiques
\
F∞ := σ(Xk ; k ≥ n).
n∈N
Si A ∈ F∞ , P (A) = 0 ou P (A) = 1.
1
Commentaires : Pour comprendre la signification de ce théorème, comparons avec ce
que √l’on obtient lorsque les Xk sont gaussiennes N (0, 1). Dans√ce cas, la loi de Sn∗ :=
Sn / n est aussi N (0, 1), d’où P (|Sn |/n ≥ ε) = P (|Sn∗ | ≥ ε n) ≤ exp(−nε2 /2) en
utilisant l’inégalité élémentaire 1 P (|X| ≥ t) ≤ exp(−t2 /2) pour tout t > 0 lorsque
X ∼ N (0, 1). Ainsi lorsque les Xk sont bornées, le comportement asymptotique de Sn
est analogue à celui du cas gaussien. [ Par ailleurs, le théorème central limite nous fait
pressentir qu’on ne peut espérer mieux. Remarquer aussi que chaque Sn est une v.a.
bornée, mais que la suite (Sn ) n’est pas bornée p.s.]. On pourra trouver le théorème 2
dans Ouvrard [8, Ex. 10.11, p. 132] ou Toulouse [11, Th. 1.4, p. 14].
Preuve : L’idée est d’exploiter l’existence de moments exponentiels IE exp(tSn ) en fai-
sant de l’optimisation par rapport au paramètre t. On remarque d’abord que pour tout
t > 0,
S
n
≥ ε = P (tSn ≥ ntε) = P exp(tSn ) ≥ entε .
P
n
L’inégalité de Markov puis l’indépendance et l’équidisdribution des Xi nous donnent
alors : S IE exp(tS )
n n n
P ≥ε ≤ = e−ntε IE exp(tX1 ) . (2)
n exp(ntε)
Ceci nous amène à chercher une bonne majoration de IE exp(tX1 ). En représentant tout
x ∈ [−c, c] sous la forme x = −cu + c(1 − u) avec u ∈ [0, 1], la convexité de exp(t.) : x 7→
exp(tx) nous donne
exp(tx) ≤ ue−ct + (1 − u)ect . (3)
En appliquant le paramétrage de [−c, c] à x = X1 (ω) avec le u = U (ω) correspondant,
on voit que la variable aléatoire U vérifie 2U = 1 − X1 /c, d’où IE U = 1/2 puisque
IE X1 = 0. Compte tenu de (3), il vient
peut se vérifier en comparant terme à terme les développements en série entière. En effet
(ct)2k 1 c2 t2 k 1 1
≤ ⇔ ≤ k ⇔ 2k ≤ (k + 1)(k + 2) · · · (k + k)
(2k)! k! 2 (2k)! 2 k!
1
R +∞ dx
Par changement de variable x = t + u dans P (X ≥ t) = t
exp(−x2 /2) 2π et exp(−ut) ≤ 1. . .
et cette dernière inégalité est clairement vérifiée dès que k ≥ 1. En revenant à (2), on
a donc montré que pour tout t > 0, P (n−1 Sn ≥ ε) ≤ exp(−ntε + nc2 t2 /2). Comme le
premier membre de cette inégalité ne dépend pas de t, on optimise en écrivant
−1 2 2 2 2
P (n Sn ≥ ε) ≤ inf exp(−ntε + nc t /2) = exp n inf (−tε + c t /2) .
t>0 t>0
Preuve : Voir Billingsley [2], Th. 20.6 p. 269. Voir aussi Ouvrard [8] pp. 115–121 incluant
une digression sur le test de Kolmogorov-Smirnov dans le cas non asymptotique (n petit).
La LFGN pour des variables aléatoires bornées donne aussi immédiatement la conver-
gence presque sûre des fonctions caractéristiques empiriques.
1.1
1.0
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0 4e3 8e3 12e3 16e3 20e3 24e3 28e3 32e3
0.74
0.73
0.72
0.71
0.70
0.69
0.68
0.67
0.66
0.65
200 400 600 800 1000 1200 1400
3) On suppose 0 < p < 1. Montrer que la mesure µp n’a pas de masse ponctuelle
(∀x ∈ [0, 1], µp ({x}) = 0). On a ainsi construit une infinité de mesures singulières à
fonctions de répartition continues.
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
kf k∞ = sup |f (x)|.
x∈[0,1]
1) Justifier la relation :
n
X
f (x) = Cnk f (x)xk (1 − x)n−k .
k=0
2) Pour x ∈ [0, 1] fixé, considérons la variable aléatoire Sn de loi binomiale B(n, x).
Vérifier que :
S
n
IE f = Bn f (x).
n
3) Justifier les inégalités :
X
|f (x) − Bn f (x)| ≤ εCnk xk (1 − x)n−k
k:|f (x)−f (k/n)|<ε
X
+ 2kf k∞ Cnk xk (1 − x)n−k
k:|f (x)−f (k/n)|≥ε
S
n
≤ ε + 2kf k∞ P f (x) − f ≥ε . (15)
n
4) La fonction f est uniformément continue sur [0, 1] (pourquoi ?). On a donc :
∀ε > 0, ∃δ > 0, tel que |x − y| < δ ⇒ |f (x) − f (y)| < ε,
δ ne dépendant que de f et ε, mais pas de x. En déduire que
S
n
P f (x) − f ≥ ε ≤ P (|Sn − nx| ≥ nδ),
n
puis en appliquant l’inégalité de Tchebycheff :
S x(1 − x) 1
n
P f (x) − f ≥ε ≤ ≤ .
n nδ 2 4nδ 2
5) En reportant cette majoration dans (15), on obtient finalement :
kf k∞
∀n ≥ 1, ∀x ∈ [0, 1], |f (x) − Bn f (x)| ≤ ε + (16)
2δ 2 n
Conclure.
6) On s’intéresse maintenant à la vitesse de convergence. Supposons d’abord que f
est lipschitzienne : il existe une constante a telle que
∀x, y ∈ [0, 1], |f (x) − f (y)| ≤ a|x − y|.
On peut alors prendre δ = ε/a dans l’écriture de la continuité uniforme de f . En choi-
sissant convenablement ε en fonction de n dans (16), en déduire que kf − Bn f k∞ =
O(n−1/3 ).
7) Plus généralement, on suppose f hölderienne d’exposant α : il existe des constantes
0 < α ≤ 1 et a > 0 telles que :
∀x, y ∈ [0, 1], |f (x) − f (y)| ≤ a|x − y|α .
−α/(2+α)
Montrer qu’alors kf − Bn f k∞ = O n .
Ex 1.3.3 Vitesse de convergence des polynômes de Bernstein
L’inégalité (12) permet d’améliorer les résultats de l’exercice précédent sur la vitesse de
1) On suppose f lipschitzienne. Vérifier que le choix ε = cn−β dans (17) donne une
vitesse de convergence en O(n−β ) pour tout β < 1/2, mais que la même méthode ne
permet pas d’obtenir la vitesse O(n−1/2 ).
2) Toujours avec f lipschitzienne, comment choisir c minimal pour obtenir avec
ε = c(ln n/n)1/2 la vitesse O (ln n/n)1/2 ?
3) On suppose maintenant f hölderienne d’exposant
α. Montrer qu’avec un choix
α/2
judicieux de ε, on obtient la vitesse O (ln n/n) .
1.0
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
p
Figure 1.4 – Fonctions f , B10 f et B200 f , pour f (t) = |2t − 1|
Lemme 9 Soit X une variable aléatoire d’espérance nulle. Pour tout δ > 0, il existe
une variable aléatoire bornée Y telle que IE Y = 0 et IE |X − Y | ≤ δ.
Preuve : Comme l’espérance de X existe, IE |X| est fini et par convergence dominée,
limt→+∞ IE |X|1{|X|>t} = 0. Ceci nous fournit un t tel que
δ
IE |X|1{|X|>t} < .
2
On pose alors Z := X1{|X|≤t} et Y := Z − IE Z. Clairement |Y | ≤ 2t et IE Y = 0. D’autre
part comme X = Z + X1{|X|>t} ,
δ
IE |X − Y | = IEX1{|X|>t} + IE Z ≤ + | IE Z|.
2
La construction de Z nous assure que IE Z diffère de IE X d’au plus δ/2 :
δ
| IE X − IE Z| = IE X1{|X|>t} ≤ IE |X|1{|X|>t} < .
2
Comme IE X = 0, on en déduit | IE Z| < δ/2 et IE |X − Y | < δ.
Notons que la variable bornée Y peut s’écrire Y = fδ (X), où
Théorème 10 Si (Xk ) est une suite de v. a. réelles i.i.d. et si IE |X1 | < +∞, n−1 Sn
converge dans L1 (Ω) vers IE X1 (et donc aussi en probabilité).
Par le théorème 4, n−1 Tn converge p.s. vers 0. Ceci joint à l’inégalité |n−1 Tn | ≤ 2t nous
donne par convergence dominée :
T
n
lim IE = 0.
n→+∞ n
Par ailleurs,
S n
n Tn 1 X
IE − ≤ |Xk − Yk | ≤ δ.
n n n k=1
On en déduit S T
n n
IE ≤ IE + δ,
n n
puis
S
n
lim sup IE ≤ 0 + δ.
n→+∞ n
Cette inégalité étant valable pour tout δ > 0 et le premier membre ne dépendant pas de
δ, il en résulte que
S
n
lim sup IE = 0.
n→+∞ n
Ceci peut se reécrire limn→+∞ IE |n−1 Sn | = 0, ce qui est exactement la convergence dans
L1 de n−1 Sn vers 0.
Pour la partie IE |X1 | finie implique n−1 Sn converge p.s. vers IE X1 , une bonne ré-
férence est Billingsley [2, Th. 22.1]. On peut aussi voir Revuz [9] pour l’équivalence
(méthode inspirée de techniques de martingales. On peut proposer à la démonstration
la nécessité de IE |X1 | fini que nous détaillons ci-dessous (cf. Barbe Ledoux [1, Th. 5.2,
p. 140]).
Preuve de la nécessité de l’intégrabilité de X1 : Par hypothèse, il existe une
constante c telle que n−1 Sn converge p.s. vers c. Alors
Xn Sn − Sn−1 Sn n − 1 Sn−1 p.s.
= = − × −−−−−→ c − c = 0.
n n n n n − 1 n→+∞
En fixant ε > 0, on en déduit
n |Xn (ω)| o
P ω ∈ Ω; ∃n0 = n0 (ω), ∀n ≥ n0 , < ε = 1,
n
soit en passant au complémentaire
n |X | o
n
P ≥ ε une infinité de fois = 0.
n
Par le second lemme de Borel Cantelli 4 on a alors
X n |Xn | o
P ≥ ε < +∞.
n≥1
n
4
P
Si (An )n≥1 est une suite d’événements indépendants telle que n≥1 P (An ) = +∞, alors
P (lim supn→+∞ An ) = 1.
Alors (Sn −IE Sn )/an converge presque sûrement vers 0. Si de plus a−1
n IE Sn → m, Sn /an
converge p.s. vers m.
Les conditions de moments d’ordre 2 sont plus sévères qu’au théorème 11, mais il faut
noter qu’on ne suppose plus les Xk de même loi. Une bonne référence pour la preuve de
ce théorème est Feller [6], VII.8, Th. 2 et 3. On peut esquisser le schéma de la preuve
qui repose sur les trois résultats suivants dont chacun a son intérêt propre.
Preuve : Voir Billingsley [2], Th. 22.4 p. 287 ou Ouvrard [8], Th. 10.13 p. 101.
Cette inégalité pour les maxima des sommes partielles permet d’établir une condition
suffisante de convergence p.s. d’une série de v.a. indépendantes.
Théorème 14 Si les Yk sont indépendantes, centrées et si k≥1 IE Yk2 < +∞, alors
P
P+∞
k=1 Yk converge p.s.
Preuve : Voir Billingsley [2], Th. 22.6 p. 289 ou Feller [6], VII.8, Th. 2.
À ce stade, l’hypothèse b) du théorème 12 nous donne la convergence presque sûre
de la série de terme général (Xk − IE Xk )/ak . On complète la preuve du théorème 12
grâce au lemme d’analyse suivant.
Lemme 15 (Kronecker) Soient (xk ) une suite de réels et P(a k ) une suite de réels stric-
+∞
tement positifs qui tend en croissant vers +∞, telles que k=1 xk /ak converge. Alors
n
1 X
xk → 0.
an k=1
Preuve : Voir Feller [6], VII.8, Lemme 1 ou Ouvrard [8] Lemme 10.16 p. 105 qui note
xk ce que nous avons noté xk /ak .
Théorème 17 (LFGN de Marcinkiewicz) Soit (Xk )k≥1 une suite de variables aléa-
toires i.i.d.
Sn p.s.
a) Si IE |X1 |p < +∞ pour un p ∈]0, 1[, 1/p −−−−−→ 0.
n n→+∞
S n − n IE X1 p.s.
b) Si IE |X1 |p < +∞ pour un p ∈ [1, 2[, −−−−−→ 0.
n1/p n→+∞
Sn − bn p.s.
c) S’il existe un p ∈]0, 2[ et une suite de constantes (bn ) tels que −−−−−→ 0,
n1/p n→+∞
p
alors IE |X1 | < +∞.
Sn − IE Sn Sn − IE Sn
lim inf √ = −1 et lim sup √ = +1.
n→+∞ σ 2n log log n n→+∞ σ 2n log log n
pour tout k ≥ N avec N aléatoire et nous dit que ces entonnoirs sont les meilleurs pos-
sibles. Les entonnoirs déterministes du type (14) obtenus par des techniques élémentaires
dans le cas des variables bornées sont asymptotiquement moins précis. Ils ont néanmoins
l’avantage de donner un résultat quantitatif avec un N déterministe. Une très bonne lec-
ture pour la loi du log itéré dans le cas du jeu de pile ou face est le chapitre 19 de Foata
Fuchs [7]. Enfin on notera que la loi du log itéré fournit un exemple « naturel » de suite
qui converge en probabilité mais pas presque sûrement. En effet, en raison du théorème
de limite centrale, on vérifie (exercice !) que
S − IE Sn Pr
√n −−−−−→ 0.
σ 2n log log n n→+∞
5 Applications
5.1 La méthode de Monte Carlo
La loi des grands nombres fournit une méthode de calcul approché d’intégrales, in-
téressante lorsque la fonction à intégrer est très irrégulière ou lorsque la dimension de
l’espace est élevée. Supposons que l’on veuille effectuer un calcul approché de
Z
I := f (x) dx,
[0,1]d
où f est Lebesgue intégrable sur [0, 1]d . Soit (Ui )i≥1 , une suite de variables aléatoires
indépendantes de même loi uniforme sur [0, 1]. On déduit facilement de la LFGN de
Kolmogorov-Khintchine que :
n Z
1X p.s.
f U(k−1)d+1 , U(k−1)d+2 , . . . , Ukd −−−−−→ IE f (U1 , . . . , Ud ) = f (x) dx.
n k=1 n→+∞ [0,1]d
On dit que θbn est une estimateur fortement consistant de θ. Il est aussi sans biais puisque
IE θbn = θ.
Cette méthode
R permet notamment d’estimer les moments de µ : en prenant H(x) =
r r r
x , θ = IE X1 = R x µ( dx). Le cas r = 1 revêt une importance particulière. L’estimateur
θbn est alors simplement la moyenne empirique
n
1X
X̄n := Xi .
n i=1
On peut ainsi estimer notamment
– le paramètre p d’une loi de Bernoulli car IE X1 = p ;
– le paramètre α d’une loi de Poisson car IE X1 = α ;
– le paramètre m d’une loi N (m, σ 2 ) car IE X1 = m ;
– le paramètre θ d’une loi uniforme 5 sur [0, θ] car θ = 2 IE X1 .
Dans le même ordre d’idées, on peut estimer le paramètre a d’une loi exponentielle de
densité f (t) = a exp(−at)1R+ (t) par θ̃n = 1/X̄n . En effet, IE X1 = 1/a. On garde un
estimateur fortement consistant, mais il n’est plus sans biais car IE(1/X̄n ) 6= 1/ IE X1 .
On peut de même estimer la variance σ 2 d’une loi µ d’espérance connue m. Il suffit
de prendre H(x) = (x − m)2 et on obtient l’estimateur fortement consistant et sans biais
n
1X
θbn = (Xi − m)2 .
n i=1
5
En fait dans ce cas, un meilleur estimateur est θ̃n = max1≤i≤n Xi , affaire à suivre. . .
Il serait plus correct de noter fbN,n , mais dans la suite on fera dépendre N de n, d’où
l’abus de notation. Pour l’instant remarquons que par la LFGN,
Z
p.s.
ak,n −−−−−→ IE ek (X1 ) =
b ek (t)f (t) dt = ak .
n→+∞ R
Ainsi pour N fixé, fbN converge p.s. vers fN dans L2 (R) (en dimension finie, il suffit pour
cela d’avoir la convergence de chaque composante sur la base).
La suite du jeu consiste à prendre N = N (n) tendant vers +∞ avec n (intuitivement
beaucoup plus lentement) et à discuter le choix de N (n) en fonction d’hypothèses sup-
plémentaires sur f (régularité, intégrabilité,. . .) pour obtenir diverses convergences de
fbN vers f . On pourra consulter à ce sujet Bosq Lecoutre [4, Chap. 9]. On peut envisager
une illustration expérimentale de cette méthode avec Scilab (cf. TP).
des n premiers termes d’une suite de v.a. indépendantes et de même loi. Ce type de
résultat est connu sous le nom de loi des grands nombres. Nous en donnons un premier
aperçu 1 .
21
Annexe A. Loi des grands nombres1
Rappelons qu’un événement de probabilité 1 n’est pas forcément égal à Ω, il peut même y
avoir une infinité d’éléments dans son complémentaire (par exemple si A et B lancent un
dé à tour de rôle, le gagnant étant le premier à obtenir « six », l’évènement « il n’y a pas
de gagnant »a une probabilité nulle mais est constitué d’une infinité non dénombrable
∗
d’évènements élémentaires, c’est {1, . . . , 5}N ). Remarquons aussi que l’ensemble Ω0 des
ω tels que Xn (ω) converge vers X(ω) est bien un événement observable (vu en exercice),
c’est-à-dire un événement de la famille F. Il est donc légitime de parler de sa probabilité.
Dans la convergence presque sûre, le rang n0 à partir duquel on peut approximer
Xn (ω) par X(ω) avec une erreur inférieure à ε dépend à la fois de ε et de ω ∈ Ω0 : n0 =
n0 (ε, ω). On ne sait pas toujours expliciter la façon dont n0 (ε, ω) dépend de ω. D’autre
part on peut très bien avoir sup{n0 (ε, ω), ω ∈ Ω0 } = +∞. Ceci fait de la convergence
presque sûre en général un résultat essentiellement théorique 3 . Supposons que la valeur
de Xn dépende du résultat de n épreuves répétées (ou de n observations). Savoir que
Xn converge presque sûrement vers X ne permet pas de prédire le nombre non aléatoire
n d’épreuves (ou d’observations) à partir duquel on aura |Xn (ω) − X(ω)| < ε (sinon
pour tous les ω ∈ Ω0 , du moins avec une probabilité supérieure à un seuil fixé à l’avance
par exemple 95%, 99%,. . .). Or cette question a une grande importance pratique pour le
statisticien. C’est l’une des raisons de l’introduction de la convergence en probabilité qui
permet de répondre à cette question lorsque l’on connaı̂t la vitesse de convergence selon
ce mode.
Définition 20 (Convergence en probabilité)
Soit (Xn )n≥1 une suite de variables aléatoires et X une v.a. définies sur le même espace
probabilisé (Ω, F, P ). On dit que Xn converge en probabilité vers X si :
∀ε > 0, lim P (|Xn − X| ≥ ε) = 0.
n→+∞
Pr
Notation : Xn −−−−→ X.
n→+∞
3
Sauf si l’on connaı̂t la loi de la v.a. ω 7→ n0 (ε, ω), ou au moins si l’on sait majorer P (n0 > t). . .
Preuve : Ici, la v.a. limite est la constante IE X1 (ou n’importe quel IE Xi , puisque les
Xi ayant même loi ont même espérance). Il s’agit donc de vérifier que :
X n
1
∀ε > 0, lim P Xi − IE X1 ≥ ε = 0.
n→+∞ n i=1
n
1X
Posons Mn = Xi . On a :
n i=1
n
1X
IE Mn = IE Xi = IE X1 . (A.1)
n i=1
D’autre part, les Xi étant deux à deux indépendantes et de même loi on a :
X n
1 1 1
Var Mn = 2 Var Xi = 2 (n Var X1 ) = Var X1 . (A.2)
n i=1
n n
L’inégalité de Tchebycheff appliquée à chaque Mn nous dit que pour ε > 0 fixé :
Var Mn
∀n ∈ N∗ , P (|Mn − IE Mn | ≥ ε) ≤ .
ε2
D’où compte tenu du calcul de IE Mn et Var Mn :
Var X1
∀n ∈ N∗ , P (|Mn − IE X1 | ≥ ε) ≤ . (A.3)
nε2
En faisant tendre n vers +∞ (ε restant fixé) on en déduit :
lim P (|Mn − IE X1 | ≥ ε) = 0.
n→+∞
Preuve : Il suffit d’appliquer la loi faible des grands nombres en notant qu’ici IE X1 = p.
Interprétation : Considérons une suite d’épreuves répétées indépendantes. Pour chaque
épreuve la probabilité d’un « succès » est p. Notons Xi l’indicatrice de l’événement succès
à la i-ème épreuve. Alors :
X n
Sn = Xi est le nombre de succès en n épreuves et Mn = n−1 Sn est la fréquence des
i=1
succès au cours des n premières épreuves. Remarquons que pour tout ω, 0 ≤ Mn (ω) ≤ 1.
Var X1 p(1 − p)
P (|Mn − p| ≥ t) ≤ 2
= . (A.4)
nt nt2
Comme p est inconnu, on ne peut pas utiliser directement ce majorant. On remplace
alors p(1 − p) par :
1
sup x(1 − x) =
x∈[0,1] 4
(la parabole d’équation y = x(1 − x) a sa concavité tournée vers les y négatifs, les
deux zéros du trinôme sont x1 = 0 et x2 = 1 ; par symétrie, le sommet a pour abscisse
(x1 + x2 )/2 = 1/2 et pour ordonnée 1/2(1 − 1/2) = 1/4). En reportant dans (A.4), on
obtient quelle que soit la valeur inconnue p :
Var X1 1
P (|Mn − p| ≥ t) ≤ 2
= (A.5)
nt 4nt2
d’où en passant à l’événement complémentaire :
1
P (Mn − t < p < Mn + t) ≥ 1 − . (A.6)
4nt2
En pratique on remplace Mn par la valeur réellement observée Mn (ω) et on dit que
I =]Mn (ω) − t, Mn (ω) + t[ est un intervalle de confiance (ou fourchette) pour p. Le
deuxième membre de (A.5) peut s’interpréter comme un majorant de la probabilité de
se tromper lorsque l’on déclare que p est dans I. On dit aussi que I est un intervalle de
confiance au niveau α ≥ 1 − 1/(4nt2 ).
Exemple 2 (Sondage) Avant le second tour d’une élection présidentielle opposant les
candidats A et B, un institut de sondage interroge au hasard 1 000 personnes dans la
rue 4 . On note p la proportion d’électeurs décidés à voter pour A dans la population
totale. Dans l’échantillon sondé, cette proportion est égale à 0.54. Proposer un intervalle
de confiance pour p au niveau 0.95.
Le sondage peut être assimilé à un tirage avec remise (en admettant qu’une personne
interrogée plusieurs fois accepte de répondre à chaque fois) et on est ramené à la situa-
tion de l’exemple précédent. Ici la fréquence observée réellement est Mn (ω) = 0.54 et
l’inégalité (A.6) nous dit que l’on peut prendre comme intervalle de confiance :
1
I =]0.54 − t, 0.54 + t[ avec un niveau α ≥ 1 − .
4nt2
Comme on souhaite que α soit au moins égal à 0.95, il suffit de choisir la plus petite
valeur de t telle que :
1 1
1− ≥ 0.95 ⇔ t ≥ √ ' 0.0707.
4 000t2 10 2
En prenant t = 0.071, on obtient : I =]0.469, 0.611[. On remarque qu’une partie de cet
intervalle correspond à p < 1/2. Ainsi, bien que le sondage donne 54% d’intentions de
vote en faveur de A, l’inégalité (A.6) ne nous permet pas de pronostiquer sa victoire avec
une probabilité d’erreur inférieure à 5%.
Exemple 3 (Sondage, suite) L’institut de sondage désire présenter à ses clients une
fourchette à ±1% avec un niveau de confiance égal au moins à 0.95%. Combien de
personnes doit-il interroger ?
On repart de (A.6). Cette fois on impose t = 0.01 et on cherche n minimal tel que :
1
≤ 0.05
4n × 0.012
On trouve n = 50 000, ce qui donne au sondage un coût prohibitif 5 . Nous reviendrons
sur ce problème au chapitre suivant.
(n, Mn (ω)). A chaque ω correspond ainsi une ligne brisée infinie que nous appellerons
trajectoire. La loi faible des grands nombres nous donne le comportement asymptotique
de ces trajectoires dans leur ensemble. Elle signifie grosso modo que pour n grand fixé
(n ≥ n0 (ε)) la plupart des trajectoires vont traverser le segment vertical d’ extrémités
(n, p − ε) et (n, p + ε). Elle ne nous dit rien sur le comportement individuel de chaque
trajectoire. Une trajectoire qui traverse ]p−ε, p+ε[ à la verticale de n peut très bien sortir
de la bande horizontale engendrée par ce segment au delà de n. Une question naturelle
est alors : existe-t-il des trajectoires qui à partir d’un certain rang n0 = n0 (ω, ε) restent
dans la bande {(x, y) ∈ R2 , x ≥ n0 et p − ε < y < p + ε} ? Nous allons montrer que
l’ensemble des trajectoires qui vérifient cette propriété pour tout ε > 0 a pour probabilité
1, autrement dit que Mn converge presque sûrement vers p.
Remarquons que l’inégalité de Tchebycheff est ici trop faible puisqu’elle nous donne
seulement une vitesse en O(n−1 ). En fait, on peut obtenir une vitesse de convergence
exponentielle grâce à l’inégalité suivante :
Nous admettons provisoirement cette inégalité dont une preuve est proposée en exercice 6 .
A partir de maintenant, la démonstration se développe en 7 « pas » élémentaires.
1er pas : On rappelle la traduction automatique des quantificateurs. Si I est un ensemble
quelconque d’indices, (Pi ) une propriété dépendant de l’indice i et Ai l’ensemble des
6
Dans le polycopié de Deug. Pour le présent document, voir théorème 7.
ω ∈ Ω vérifiant (Pi ), on a :
\
{ω ∈ Ω, ∀i ∈ I, ω vérifie (Pi )} = Ai
i∈I
[
{ω ∈ Ω, ∃i = i(ω) ∈ I, ω vérifie (Pi )} = Ai
i∈I
Remarquons au passage que, sous cette forme, il est clair que l’ensemble C est en fait un
événement, c’est-à-dire un membre de la famille F de parties de Ω sur laquelle est définie
la fonction d’ensemble P . En effet, Mn étant une variable aléatoire, les {|Mn − p| < εj }
sont des événements et C s’obtient par des opérations ensemblistes dénombrables sur ces
événements. Il est donc légitime de parler de la probabilité de C. Nous allons montrer
que P (C) = 1.
4e pas : Nous venons de passer d’une infinité non dénombrable de ε à une suite (εj ). Le
lemme suivant va nous permettre de travailler avec une seule valeur de ε.
Lemme 24 Si (Aj )j∈N est une suite d’événements ayant chacun une probabilité 1, alors
leur intersection a aussi une probabilité 1.
Preuve : Par passage au complémentaire, il suffit de prouver que la réunion des Acj a
une probabilité nulle. Or :
X
0 ≤ P ∪ Acj ≤ P (Acj ) = 0,
j∈N
j∈N
On a : \ [
B= Bk avec Bk = {|Mn − p| ≥ ε}.
k∈N n≥k
Donc B est inclus dans chaque Bk , d’où :
∀k ∈ N, 0 ≤ P (B) ≤ P (Bk ). (A.10)
6e pas : On majore P (Bk ) en utilisant la sous-additivité de P pour les unions dénom-
brables :
X
0 ≤ P (Bk ) = P ∪ {|Mn − p| ≥ ε} ≤ P (|Mn − p| ≥ ε).
n≥k
n≥k
D’après (A.8), ce majorant est le reste de rang k d’une série convergente. Il tend donc
vers 0 quand k tend vers +∞. Il en est donc de même pour P (Bk ).
7e pas, conclusion : En passant à la limite quand k tend vers +∞ dans (A.10), on en
déduit P (B) = 0. En passant à l’événement complémentaire on a donc montré que
P (Cε ) = 1. Comme la seule hypothèse faite sur ε pour obtenir ce résultat était ε > 0, on
a donc P (Cε ) = 1 pour tout ε > 0. D’après le 4e pas ceci entraı̂ne P (C) = 1, autrement
dit : Mn converge presque sûrement vers p.
Comme sous-produit de la démonstration que nous venons d’achever, nous avons
montré au passage que la convergence en probabilité avec une vitesse suffisante implique
la convergence presque sûre, plus précisément :
Théorème 25 (Condition suffisante de convergence p.s.)
Si (Yn )n≥1 et Y sont des variables aléatoires vérifiant :
+∞
X
∀ε > 0, P (|Yn − Y | > ε) < +∞, (A.11)
n=1
A.5 Discussion
Considérons une urne contenant 10 boules numérotées de 0 à 9. La loi forte des
grands nombres pour les fréquences nous dit que si l’on effectue une suite illimitée de
tirages avec remise d’une boule, la fréquence d’apparition du chiffre 7 va converger vers
1/10 avec probabilité 1. Pour démontrer ce théorème, nous avons admis implicitement
l’existence d’un espace probabilisé (Ω, F, P ) modélisant cette expérience (suite infinie de
tirages avec remise). La construction mathématique rigoureuse d’un tel modèle présente
une réelle difficulté qui est au coeur de la théorie de la mesure et relève du programme
de la licence de mathématiques. Nous nous contenterons de quelques considérations
élémentaires 7 sur cet espace probabilisé, utiles pour notre exploration de la loi forte des
grands nombres.
L’espace Ω doit être assez « riche » pour « supporter » une suite infinie (Yi )i≥1 de v.
a. indépendantes et de même loi uniforme sur {0, 1, 2, . . . , 8, 9}. La variable aléatoire Yi
s’interprète comme le numéro obtenu lors du i-ième tirage. On pose alors Xi = 1{Yi =7}
et Mn = n−1 ni=1 Xi est la fréquence d’aparition du 7 en n tirages.
P
Nous allons examiner deux choix possibles pour Ω. Le premier et le plus naturel est
de prendre :
∗
Ω = {0, 1, 2, . . . , 8, 9}N .
Autrement dit un élément quelconque ω de Ω est une suite (ci )i≥1 de chiffres décimaux. Le
choix de la famille F d’événements observables est plus délicat. On ne peut pas prendre
l’ensemble de toutes les parties de Ω car on ne pourrait pas attribuer une probabilité à
chacune de ces parties de façon compatible avec ce que l’on sait déjà sur les tirages finis.
Il est clair que F doit contenir les événements dont la réalisation ne dépend que d’un
nombre fini de tirages (c’est bien le cas des événements du type {|Mn − p| > ε} auxquels
on sait attribuer une probabilité (au moins théoriquement puisque l’on sait écrire une
formule donnant P (n(p − ε) < Sn < n(p + ε)) à l’aide de la loi binomiale). On prend
pour F la plus petite famille d’événements observables 8 parmi celles qui contiennent les
événements dont la réalisation ne dépend que d’un nombre fini d’épreuves. Pour définir
la fonction d’ensemble P sur F, on utilise un théorème de prolongement de la théorie de
la mesure. On peut alors voir qu’avec ce modèle, chaque événement élémentaire ω doit
avoir une probabilité nulle. En effet, fixons ω0 = (u1 , u2 , . . . , un , . . .) ∈ Ω. On a :
∀n ≥ 1, {ω0 } ⊂ {Y1 = u1 } ∩ {Y2 = u2 } ∩ · · · ∩ {Yn = un },
d’où n
n Y 1 n
P ({ω0 }) ≤ P ( ∩ {Yi = ui }) = P (Yi = ui ) = ,
i=1
i=1
10
7
Tout est relatif. . .
8
i.e. la plus petite tribu.
∀n ≥ 1, 0 ≤ P ({ω0 }) ≤ 10−n .
B= ∩ {Yi = 0 ou 1}.
i∈N∗
n
On a donc pour tout n ≥ 1, B ⊂ Bn = ∩ {Yi = 0 ou 1}, d’où
i=1
2 n
∀n ≥ 1, 0 ≤ P (B) ≤ P (Bn ) = .
10
En faisant tendre n vers l’infini, on en déduit P (B) = 0. Notons d’autre part que si
ω ∈ B, ω ne contient aucun « 7 » parmi ses termes donc Mn (ω) = 0 et B est inclus
dans l’événement {Mn → 0} (ce qui prouve d’une autre façon que P (B) = 0 grâce à la
loi forte des grands nombres). Ainsi le complémentaire de l’événement de probabilité 1
{Mn → 1/10} contient l’événement B et est donc lui même infini non dénombrable.
La situation est même encore plus surprenante : on peut faire converger Mn (ω) vers
n’importe quel rationnel r fixé de [0, 1] et ce, pour tous les ω d’un événement Cr non
dénombrable et de probabilité nulle (si r 6= 1/10). Voici comment faire. On pose r = k/l,
k ∈ N, l ∈ N∗ et on définit Cr comme l’ensemble des suites de la forme :
En adaptant ce procédé, on peut faire converger Mn (ω) vers n’importe quel réel x
de [0, 1] sur un événement Cx non dénombrable et de probabilité nulle si x 6= 1/10
(exercice).
On peut aussi construire des événements non dénombrables et de probabilité nulle sur
lesquels Mn ne converge vers aucune limite. A titre d’exemple voici comment construire
un événement E tel que ∀ω ∈ E :
lim inf Mn (ω) = 0, et lim sup Mn (ω) = 1. (A.12)
n→+∞ n→+∞
Commençons par construire une suite particulière ω0 = (ci )i≥1 vérifiant (A.12) :
ω0 = ( 7, 7 , 8, 8, 8, 8, 7, . . . , 7, 8, . . . , 8, 7, . . . . . . , 7, . . . . . .).
|{z} | {z } | {z } | {z } | {z }
2 22 62 422 (42+422 )2
et F 0 et P 0 restent à définir.
Cependant il se présente ici une difficulté qui fait que ce nouveau modèle ne se
réduit pas à une traduction automatique du précédent. Si (ci )i≥1 est une suite de chiffres
décimaux, la série :
+∞
X ci
(A.13)
i=1
10i
converge et sa somme est un réel x de [0, 1] que l’on peut noter
+∞
X ci
x = 0.c1 c2 . . . ci . . . = .
i=1
10i
Cette relation permet de voir que si un développement décimal illimité ne comporte plus
que des 9 à partir d’un certain rang n (le (n − 1)-ème chiffre n’étant pas un 9), on ne
change pas la somme de la série en remplaçant tous ces 9 par des 0 et en augmentant
d’une unité le (n − 1)-ème chiffre. On a ainsi la propagation d’une retenue depuis l’infini.
Par exemple :
5973
0.5972999999 . . . = 0.5973000000 . . . =
104
(il ne s’agit pas d’une égalité approchée, mais d’une égalité rigoureuse, les points de
suspension représentant la répétition indéfinie du chiffre 9 ou 0 respectivement). Le
développement ne comportant que des 9 à partir d’un certain rang est appelé développe-
ment décimal impropre, celui ne comportant que des 0 est appelé développement décimal
propre.
En revenant aux tirages illimités dans notre urne à dix boules, on voit que si l’on
choisit Ω0 = [0, 1], les deux suites de résultats qui correspondent à un même réel
décimal seront représentées par le même réel ω. Par exemple (5, 9, 7, 2, 9, 9, 9, . . .) et
(5, 9, 7, 3, 0, 0, 0, . . .) seront représentées par l’événement élémentaire ω = 5973/1 0000.
Pour surmonter cette difficulté, nous « dédoublons » la suite (Yi )i≥1 . Pour tout i ≥ 1,
on définit les deux variables aléatoires Yi et Yi0 comme suit. Si ω ∈ [0, 1] n’est pas décimal,
Yi (ω) = Yi0 (ω) est le i-ème chiffre décimal de l’unique développement décimal de ω. Si
ω est un décimal de [0, 1], Yi (ω) est le i-ème chiffre de son développement propre, Yi0 (ω)
le i-ème chiffre décimal de son développement impropre. On requiert, comme dans le
premier modèle que chacune de ces deux suites soit indépendante et que chacune des
variables Yi et Yi0 suive la loi uniforme sur {0, 1, . . . , 8, 9}. Ceci permet de montrer que
chaque événement élémentaire ω doit avoir une probabilité P 0 nulle. D’autre part, Yi
et Yi0 diffèrent seulement sur l’ensemble D des décimaux de [0, 1] qui est dénombrable
(vu en exercice), donc de probabilité P 0 nulle. Ainsi les deux suites (Yi )i≥1 et (Yi0 )i≥1
sont égales P 0 -presque sûrement. Il est donc quand même possible d’interpréter la suite
illimitée de tirages dans l’urne comme le choix aléatoire d’un réel ω de [0, 1] suivant la
loi de probabilité P 0 .
On peut maintenant examiner les conséquences de notre cahier des charges (les condi-
tions sur les suites de v.a. (Yi )i≥1 et (Yi0 )i≥1 ) sur la construction de (F 0 , P 0 ). La condition
d’indépendance de la suite (Yi )i≥1 avec même loi uniforme sur {0, 1, . . . , 8, 9} pour tout
Yi peut s’écrire comme suit. Pour tout n ≥ 1, et tout n-uplet (c1 , . . . , cn ) de chiffres
décimaux,
n
0
Y 1
P (Y1 = c1 , Y2 = c2 , . . . , Yn = cn ) = P 0 (Yi = ci ) = n .
i=1
10
En notant que l’on a exclu les développement impropres dans la définition des Yi , on a
l’équivalence :
où l’on a posé : αn = c1 10−1 + · · · + cn 10−n . Lorsque le n-uplet (c1 , . . . , cn ) prend toutes
les valeurs possibles (à n fixé), αn décrit exactement l’ensemble des décimaux pouvant
s’écrire sous la forme k10−n . La condition sur la suite (Yi )i≥1 peut donc se traduire par :
h k k + 1h 1
n 0
∀n ≥ 1, ∀k = 0, 1, . . . , 10 − 1, P n
, n
= n.
10 10 10
L’utilisation de la suite (Yi0 ) à la place de (Yi ) dans le raisonnement ci-dessus nous
aurait donné la même conclusion mais avec des intervalles ouverts à gauche et fermés à
droite. Notons que dans les deux cas la probabilité P 0 de l’intervalle concerné est égale
à sa longueur. On peut aussi utiliser chacun de ces deux résultats pour redémontrer que
la probabilité d’un événement élémentaire ω est forcément nulle. Finalement, grâce à
l’additivité de P 0 on en déduit facilement que la condition sur la suite (Yi ) équivaut à :
(ou à chacune des conditions obtenues avec [a, b[, ]a, b] ou ]a, b[). Par continuité monotone
de P 0 , on en déduit que (A.15) s’étend au cas de réels a, b > a quelconques de [0, 1] :
il suffit de considérer deux suites de décimaux an ↑ a et bn ↓ b et de noter que [a, b] =
∩n≥1 [an , bn ] (détails laissés en exercice).
Nous voyons maintenant que le problème de la construction de (F 0 , P 0 ) est exac-
tement celui de la construction d’une fonction d’ensemble σ − additive prolongeant la
fonction longueur d’un intervalle. Ce problème est celui de la construction de la mesure
de Lebesgue. On peut le résoudre en prenant pour F 0 la plus petite famille d’événe-
ments observables contenant les intervalles. On arrive ainsi à définir la longueur ou
mesure de Lebesgue des sous ensembles de [0, 1] qui sont dans F 0 . Si un tel sous en-
semble est de la forme B = ∪i≥1 ]ai , bi [ où les suites (ai ) et (bi ) vérifient pour tout n :
0 ≤ an < bn ≤ an+1 < bn+1 ≤ 1, alors B est une réunion disjointe d’intervalles et sa pro-
babilité P 0 ou longueur est évidemment la série de terme général la longueur de ]ai , bi [.
Malheureusement, tous les éléments de la famille F 0 sont loin d’avoir une structure aussi
simple et le calcul explicite de leur longueur n’est pas toujours possible (on sait qu’elle
existe et on connaı̂t ses propriétés). Nous connaissons déjà un exemple d’élément de F 0
qui ne peut pas s’écrire comme réunion dénombrable d’intervalles disjoints, c’est l’évé-
nement C7 = {convergence de la fréquence du chiffre 7 vers 1/10}. En effet par densité
des décimaux, tout intervalle contient au moins un décimal (en fait une infinité) et si ω
est décimal, Yi (ω) = 0 à partir d’un certain rang (de même Yi0 (ω) = 9) par conséquent
Mn (ω) converge vers 0 donc ω ∈ / C7 . Ainsi C7 ne peut s’écrire comme réunion dénom-
brable d’intervalles disjoints. Nous savons pourtant calculer sa longueur par la loi forte
des grands nombres : elle vaut 1.
Dans toute cette section nous nous sommes intéressés à la fréquence d’apparition
du 7. Bien sûr ce chiffre n’a été choisi que pour fixer les idées et n’importe quel autre
chiffre décimal aurait tout aussi bien fait l’affaire. Pour généraliser un peu définissons
Mn,j comme la fréquence d’apparition du chiffre j (j ∈ {0, 1, . . . , 8, 9}) au cours des n
premiers tirages. Notons de même Cj l’événement {Mn,j converge vers 1/10}. Par la loi
forte des grands nombres, chaque Cj a une longueur (i.e. une probabilité P 0 ) égale à 1.
Par le lemme 24, l’intersection de ces dix ensembles a aussi une longueur 1.
Convenons d’appeler nombre normal tout réel de [0, 1] tel que la fréquence de chacun
des 10 chiffres décimaux 0, 1, . . . 9 dans le développement décimal illimité de ce nombre
converge vers 1/10. Nous avons ainsi obtenu un résultat de théorie des nombres qui
s’énonce ainsi : l’ensemble de tous les nombres normaux de [0, 1] a pour longueur 1 (on
dit aussi presque tout nombre de [0, 1] est normal). Ce résultat est dû à Borel. On pourrait
maintenant traduire tous les exemples étudiés dans le cadre du premier modèle et voir
ainsi que l’ensemble de longueur nulle des nombres non normaux a une structure très
complexe. Là encore, le théorème de Borel est plus profond qu’il n’y paraı̂t à première
vue. . .
L’aiguille de Buffon∗
Dans cette expérience inventée par Buffon (1777) on trace sur une surface plane
horizontale des droites parallèles équidistantes, séparées par une distance a (on peut par
exemple utiliser les rainures d’un parquet). On laisse tomber sur cette surface une aiguille
de longueur ` ≤ a et une fois l’aiguille immobilisée, on observe si elle coupe l’une des
droites du réseau. On répète l’expérience en notant la fréquence des intersections. Lorsque
le nombre d’expériences augmente indéfiniment, cette fréquence converge selon Buffon
2`
vers p = πa permettant ainsi d’obtenir une estimation expérimentale du nombre π.
1
1
« Echec » « Succès »
Le document de la page 38 représente les résultats de 1200 lancers réalisés avec une
allumette et un réseau tracé sur une feuille de format A4. On a ici ` = a = 4, 5 cm et
p = π2 ≈ 0, 637.
Cherchons une modélisation de cette expérience. On note Y la distance du milieu de
l’aiguille à la droite la plus proche. Y prend ses valeurs dans [0, a2 ]. On note Φ une mesure
de l’angle entre les droites (toutes orientées dans le même sens) et l’aiguille orientée du
chas vers la pointe. Φ prend ses valeurs dans [0, 2π] (par exemple) 1 .
∗
Extrait de Mathématiques pour l’Enseignement Secondaire (M.E.S. 1), Probabilités, option de Maı̂-
trise, Ch. Suquet, Lille 1992.
1
On pourrait aussi utiliser les angles de droites, Φ serait alors à valeurs dans un intervalle de lon-
gueur π.
35
Annexe B. L’aiguille de Buffon1
Compte tenu de ces trois hypothèses, la loi du couple (Φ, Y ) est la loi uniforme sur le
rectangle [0, 2π] × [0, a2 ].
Remarquons 2 que nous n’avons pas précisé (Ω, A, P). Si on souhaite considérer
chaque position précise de l’aiguille comme un événement élémentaire, on peut prendre
Ω = R2 × [0, 2π] où ω = ((u, v), ϕ) représente la position de l’aiguille lorsque son centre
est le point de coordonnées (u, v) et qu’elle forme un angle ϕ avec les droites orientées
du réseau. La tribu A associée peut être choisie de la manière suivante. On note g l’ap-
plication de Ω dans [0, 2π] × [0, a2 ] définie par g(ω) = (ϕ, y) où y est la distance du point
(u, v) à la droite la plus proche du réseau. On note B la tribu borélienne de [0, 2π]×[0, a2 ].
Pour que E soit bien un événement dans ce modèle, il suffit qu’il soit un élément de A.
Il suffit pour cela de prendre A = g −1 (B). Autrement dit A est la tribu des événements
qui ne dépendent que de Y et Φ. Si P est une probabilité sur cette tribu, on a par le
théorème de transfert en notant A un élément quelconque de A et A0 = g(A) :
Z Z Z
P(A) = 1A dP = 1A0 dP(Φ,Y ) = 1A0 (ϕ, y) dP(Φ,Y ) (ϕ, y).
Ω R2 [0,2π]×[0, a2 ]
On voit ainsi que si P(Φ,Y ) est la loi uniforme sur le rectangle [0, 2π] × [0, a2 ], alors en
définissant P par la formule de transfert ci-dessus, (Ω, A, P) vérifie bien les hypothèses
(H1 ), (H2 ), (H3 ). On pourrait faire la même construction avec tout Ω suffisamment riche
pour décrire tous les résultats possibles de l’expérience.
Finalement, tout revient pour le calcul de P(E) à remplacer l’espace Ω par Ω0 =
[0, 2π] × [0, a/2] et P par la loi uniforme sur Ω0 et E par l’ensemble E 0 = {(ϕ, y) ∈
Ω0 , y ≤ 2` |sin ϕ|}.
2
Ce paragraphe peut être sauté en première lecture.
a
2
`
2
0 2π ϕ
On obtient ainsi :
2π π
λ2 (E 0 )
Z Z
1 ` ` 2 `
P(E) = = |sin ϕ| dϕ = sin ϕ dϕ = .
0
λ2 (Ω ) 2π a2 0 2 πa 0 π a
Remarquons que le choix a priori des hypothèses (H1 ), (H2 ), (H3 ) ne peut guère être
guidé que par des considérations du genre : « on ne voit pas pourquoi certaines valeurs
de Φ ou Y devraient être avantagées, on ne voit pas pourquoi il devrait y avoir un lien
entre Y et Φ. . . ». Ou plus cyniquement : « Ces hypothèses conduisent à des calculs
simples que l’on sait faire » !
10k 0 10 20 30 40 50 60 70 80 90
0,600 0,650 0,600 0,625 0,600 0,583 0,571 0,575 0,611
100 0,600 0,627 0,633 0,623 0,629 0,607 0,606 0,606 0,617 0,616
200 0,615 0,624 0,627 0,630 0,629 0,628 0,623 0,619 0,618 0,610
300 0,610 0,613 0,609 0,606 0,609 0,603 0,600 0,600 0,605 0,610
400 0,610 0,612 0,614 0,614 0,609 0,609 0,615 0,615 0,619 0,614
500 0,618 0,618 0,619 0,621 0,620 0,622 0,621 0,619 0,621 0,624
600 0,622 0,621 0,626 0,627 0,625 0,628 0,624 0,621 0,622 0,623
700 0,626 0,625 0,626 0,629 0,628 0,625 0,628 0,632 0,635 0,637
800 0,637 0,640 0,635 0,635 0,636 0,634 0,634 0,636 0,637 0,638
900 0,638 0,635 0,635 0,632 0,633 0,633 0,633 0,630 0,628 0,629
1000 0,629 0,628 0,630 0,630 0,626 0,623 0,623 0,621 0,620 0,622
1100 0,622 0,622 0,622 0,623 0,626 0,626 0,628 0,628 0,628 0,627
1200 0,627
0.8
0.75
0.7
0.65
0.6
0.55
0.5
0.45
0.4
0 200 400 600 800 1000 1200
41