Cours : Chaînes de Markov et martingales

Emily Clement
Enseignant : Mihaï Gradinaru

Master de Mathématiques
Semestre 1
2015-2016
Table des matières

1 Conditionnement 4
I Rappels sur les probabilités conditionnelles, approche naïve
de l’espérance conditionnelle . . . . . . . . . . . . . . . . . . . 4
II Absolue continuité et théorème de Radon-Nikodym . . . . . . 6
III Définition générale de l’espérance conditionnelle . . . . . . . . 9
IV Propriété de l’espérance conditionnelle . . . . . . . . . . . . . 17
V Calcul de l’indépendance conditionnelle dans le cas gaussien . 25
VI Loi conditionelle . . . . . . . . . . . . . . . . . . . . . . . . . 30

2 Martingales (à temps discret) 33

I Définitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
II Exemples de martingales . . . . . . . . . . . . . . . . . . . . . 36
1 Martingale formée . . . . . . . . . . . . . . . . . . . . 36
2 Marche aléatoire . . . . . . . . . . . . . . . . . . . . . 36
3 Nouvelle martingale à partir des précédentes. . . . . . 36
4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
III Lien entre martingales et sous-martingales . . . . . . . . . . . 38
IV Temps d’arrêt . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
V Propriété dans temps d’arrêt et de la tribu du passé jusqu’à
un temps d’arrêt. . . . . . . . . . . . . . . . . . . . . . . . . . 42
VI Sur-martingales positives : Convergences et arrêt. . . . . . . . 48
VII Sous-martingales et martingales : convergence et arrêt. . . . . 56
VIII Convergence dans Lp , p ≥ 1 . . . . . . . . . . . . . . . . . . . 66
IX Martingale de carré intégrable . . . . . . . . . . . . . . . . . . 70
X Marche aléatoire : Complément. . . . . . . . . . . . . . . . . . 76

3 Chaînes de Markov. 83
I Construction et première propriétés d’une chaîne de Markov . 83
II Exemples de Chaînes de Markov . . . . . . . . . . . . . . . . 88
1 Trajectoire . . . . . . . . . . . . . . . . . . . . . . . . 88
2 Processus de branchement (Galton-Watson) . . . . . . 89
3 Marche aléatoire. . . . . . . . . . . . . . . . . . . . . . 89
4 Série de succès (Basket) . . . . . . . . . . . . . . . . . 90
5 Le modèle de l’inventaire . . . . . . . . . . . . . . . . 90

1
TABLE DES MATIÈRES

III Probabilités de transition d’ordre supérieur . . . . . . . . . . 90

IV Décomposition de l’espace d’états et classification . . . . . . . 97
V Classes de récurrence . . . . . . . . . . . . . . . . . . . . . . . 105
VI Temps de retour, récurrence positive et probabilité stationnaire.110
VII Loi stationnaire, sur une classe de récurrence positive . . . . . 114
1 Théorème de convergence : Convergence vers la loi sta-
tionnaire . . . . . . . . . . . . . . . . . . . . . . . . . . 119
2 Théorème de convergence : Convergence ps. . . . . . . 128
VIII Place à trouver : 30 Novembre 2015 . . . . . . . . . . . . . . . 131
IX Chaînes de Markov en temps continue . . . . . . . . . . . . . 132
1 Processus de poisson . . . . . . . . . . . . . . . . . . . 132

Emily Clement page 2 Tous droits réservés

Références, Contenu

Voici les notes de cours prises lors de mon année de Master 1 de mathé-
matiques fondamentales, basées exclusivement sur le cours magistral de Mr.
Gradinaru, professeur à l’université de Rennes 1.
Voici les références bibliographiques de ce cours :
Foata et Fuchs, "Processus stochastiques"
D. Williams, "Probabilities with Martingales"
Norris, "Markov Chains"
Ce cours est la suite naturelle du cours de FPR.
Utilité : comprendre d’autres phénomènes qui font intervenir le hasard.
Étudier des suites de variables aléatoires ayant des propriétés particulières
(martingales, chaînes de Markov)

3
Chapitre 1

Conditionnement

I Rappels sur les probabilités conditionnelles, ap-

proche naïve de l’espérance conditionnelle
(Ω, F, P) espace de probabilités (e.p.), Ω l’univers (ensemble), F une
tribu sur Ω, P une mesure de probabilité définie sur F.

Définition 1.1 (Probabilité conditionnelle).

Soit A ∈ F tel que P(A) > 0 et soit B ∈ F. La probabilité condi-

tionnelle de B sachant A est
def P(B ∩ A)
P(B|A) =
P(A)

P (·|A) est une mesure de probabilité sur (Ω, F).

Définition 1.2 (Espérance conditionnelle).

Soit Y une variable aléatoire réelle. L’espérance conditionnelle de Y

sachant A :
R
Y (ω)P(dω)
E(1A Y )
Z
def A
E (Y |A) = Y (ω)P(dω|A) = =
P (A) P(A)
Ω

(Attention, ceci n’est valable que si ces deux quantités existent !)

Si Y = 1B , on retrouve la probabilité conditionnelle P(B|A)

4
CHAPITRE 1. CONDITIONNEMENT

Remarque 1.1.

1. Si on connait P(B|A) et P(A) on peut retrouver P(B ∩ A) mais pas

P(B).
Et si on connait P(B|A) et P(B|Ac ) et P(A) on peut retrouver P (B) :
P(B) = P(B ∩ Ω) = P(B ∩ (A t Ac ))
= P((B ∩ A) t (B ∩ Ac ))
= P(B ∩ A) + P(b ∩ Ac ) = P(B|A)P(A) + P(B|Ac )P(Ac )
2. Si Ω = tj>1 Aj une partition telle que P(Aj ) > 0, ∀j, alors
X
P(B) = P(B|Aj )P(Aj )
j>1

Avec E(Y ) en termes de E(Y |Aj ) :

X
E (Y ) = E (Y |Ω) = E (Y |Ai ) P (Ai )
j≥0

E(1Ai Y )
car E (Y |Ai ) = P(Ai )
3. Soit X une v.a. discrète X(Ω) = {x1 , x2 , . . .}
On suppose que P (X = xj ) > 0.
P(B,X=x )
On sait calculer P (B|X = xj ) = P(X=xj )j

P (B, X = x) ? P(B ∩ X ∈]x − h, x + h[)

P (B|X = x) = = lim
P (X = x) x&0 P(X ∈]x − h, x + h[)
P(B|X = xj )1X=xj
?
X
P(B|X) =
j>1

E(1B |X = xj )1X=xj
X
E(1B |X) =
j>1

E(Y |X) = ϕ(X) avec ϕ : {xj : P(X = xj ) > 0} → R

(
E(Y |X = x) si x %
ϕ(x) =
0 sinon
Exemple 1.1.
Ω = {1, . . . , 6} , F = P(Ω), P loi uniforme sur Ω.
(
1 si ω est pair
X(Ω) =
0 sinon
, (
3 si ω ∈ {1, 3, 5}
Y (Ω) = ω, E(X|Y )(ω) =
4 si ω ∈ {2, 4, 6}

Emily Clement page 5 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

II Absolue continuité et théorème de Radon-Nikodym

Définition 1.3.

(E, A) espace mesurable, µ, ν deux mesures positives finies sur (E, A)

1. ν << µ si µ(A) = 0 ⇒ ν(A) = 0
2. ν se concentre sur A ∈ A si ν(Ac ) = 0
3. ν ⊥ µ si ∃A, B ∈ A, A ∩ B = ∅ tel que ν se concentre sur A
et µ se concentre sur B.

Théorème 1.1 (Décomposition de Lebesgue et théorème de Radon-Nikodym).

Supposons ν, µ deux mesures positives finies sur (E, A)

1. Il existe une unique paire de mesures positives finies νa , νs
sur A telle que ν = νa + νs avec νa << µ, νs ⊥ νa , νs ⊥ µ

2. il existe gR : E → R
R + mesurable positive telle que ∀A ∈ F
µa (A) = A gdµ = 1A gdµ et g est unique à un ensemble de
X
µ-mesure nulle près.

Théorème 1.2 (de Radon-Nikodym pour les probabilités).

Soit (Ω, F, P) espace de probabilité et ν une mesure positive fini

ν << P
Alors il existe X ∈ L1 (P) tel que
Z
∀A ∈ F, ν(A) = E(1A X) = XdP
A

dν
X est p.s. unique et on note X = dP ou dν = XdP.

On va se servir pour la démonstration de ce théorème des deux outils suivants

(qu’on ne démontrera pas) :

Emily Clement page 6 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

Proposition 1.1 (Riesz).

Soit H un espace de Hilbert, L : H → R une fonctionnelle linéaire

sur H. Alors ∃!y ∈ H telle que :

L(x) = (x, y), ∀x ∈ H

Lemme 1.1 (de comparaison).

Soit (Ω, F, P) un espace de probabilité et soit G ⊂ F une sous-tribu.

Soient Y et Z deux variables aléatoires. G-mesurables et intégrables.
Alors on a les propriétés suivantes :
1. Y = Z p.s. si et seulement si ∀G ∈ G, E(Y 1G ) = E(Z1G )
2. Y ≤ Z p.s. si et seulement si ∀G ∈ G, E(Y 1G ) ≤ E(Z1G )
3. Y ≥ Z p.s. si et seulement si ∀G ∈ G, E(Y 1G ) ≥ E(Z1G )

À présent démontrons le théorème de Radon-Nikodyn :

Démonstration.
Preuve du théorème de Radon Nikodyn pour la probabilités :
Définissons une probabilité sur F suivante : Q(A) = ν(A)
def
ν(Ω) et Q << P
Notons P∗ = P +Q
2 probabilités sur (Ω, F) et P ∗
R << P∗
2 ∗
H = L (P ) espace de Hilbert avec (Y, Z) = Y ZdP
et soit L(Y ) = Y dQ, L : L2 (P∗ ) → R
R
Ω
|L(Y )| 6 |Y |dQ 6 |Y |dQ + |Y |dP = 2 |Y |dP∗ 6 2( |Y |2 dP∗ )1/2
R R R R R

Donc L est bornée, donc continue, donc par Riesz ∃Z ∈ L2 (P∗ ) telle que :
Z
Y dQ = L(Y ) = (Y, Z), ∀Y ∈ L2 (P∗ )
Z
= Y ZdP∗
Z Z
YZ YZ
= dP + dQ
2 2

d’où (#) : Y (1 − Z2 )dQ = Y2Z dP ∀Y ∈ L2 (P∗ ).

R R

Soit A ∈ F et soit Y = 1A . Comme L(Y ) = (Y, Z) on a Q(A) = A ZdP∗

R

Emily Clement page 7 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

d’où :
Q(A) Q(A)
06 ∗
6 = 2 ⇒ 0 6 Q(A) 6 2P∗ (A)
P (A) Q(A)/2
Z Z
⇒06 ZdP∗ 6 2dP∗
A A
⇒ 0 6 Z 6 2, P∗ -p.s.

Soit dans (#), Y = 1{Z=2} :

Z Z
(1 − Z/2)dQ = Z/2dP ⇒ P(Z = 2) = 0
{Z=2}
{Z=2}

⇒ 0 6 Z 6 2 p.s.(P∗ , P, Q)

Prenons dans (#), Y = (Z/2)n 1A , A ∈ F, n > 1 entier.

Z
(Z/2)n (1 − Z/2)
A Z
dQ = (Z/2)(Z/2)n dP, n = 0, 1, . . . , N
A
Z Z N
X
N +1
[1 − (Z/2) ]dQ = (Z/2) (Z/2)n dP, N % ∞
A A n=0

Le membre de gauche tend vers Q(A) par convergence dominée, car Z/2 < 1,
R Z/2
et celui de droite tend vers 1−Z/2 dP par convergence monotone.
A
Z
Z
Q(A) = dP, ∀A ∈ F.
2−Z
A

Z
Il suffit de prendre X = 2−Z

Corollaire 1.1.

Soient Q et P deux probabilités sur (Ω, F) telles que Q << P . Soit

G ⊂ F une sous-tribu et notons Q|G et P|G les restrictions de Q et P
ÃG
dQ
Alors sur (Ω, G), Q|G << P|G et dP |G est G-mesurable.
|G

Idée de preuve : même démarche avec H = L2 (Ω, G, P∗ )

Emily Clement page 8 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

III Définition générale de l’espérance conditionnelle

On utilisera un abus de langage suivant : : on dit soit Y ∈ G pour

dire que Y est G−mesurable.

On veut définir P(B|X ∈ A) avec A ∈ B(R), on introduit pour cela :

Q(A)
b = P(B, X ∈ A), Pb(A) = P(X ∈ A)

Pb, Q
b sont des probabilités sur B(R). On a alors :

0 6 Q(A)
b 6 Pb(A)

D’où : Q b << Pb, donc :

Il existe une fonction borélienne g : R → R+ , unique-Pb-p.s. telle que
Z
Q(A) =
b g(x)Pb(dx), ∀A ∈ B(R)
A

On a ainsi :
Z Z
P(B, X ∈ A) = g(x)Pb(dx)” = ” P(B|X = x)Pb(dx)
A A

D’où :
P(B|X(ω)) = g(X(ω)) = P(B|X) = g(X)

Théorème 1.3 (définition - espérance conditionnelle).

Soit Y ∈ L1 (Ω, F, P) et soit G ⊂ F une sous-tribu.

Il existe une unique v.a. notée E(Y |G) telle que

1. E(Y |G) est G-mesurable et intégrable (i.e dans L1 )

2. ∀G ∈ G, E(Y 1G ) = E[E(Y |G)1G ]

Démonstration.
Supposons que RY > 0.
Posons ν(A) = T dP = E(1A Y ), A ∈ F
A
ν est une mesure positive finie et ν << P
Alors ν|G << P|G , donc il existe une unique dérivée de R-N. P|G -p.s.

Emily Clement page 9 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

dν
E(Y |G) = dP|G > 0, G-mesurable (corollaire) donc il existe une unique mesure
|G
(P|G −ps) dérivée de Radon-Nikodym :

dµ|G
E (Y |G) = ≥0
dP|G

et G−mesurable (voir corollaire) :

dµ|G
Z Z
µ|G G = µ (G) = dP|G = E (Y |G) dP
dP|G
G G

D’où le résultat. L’espérance conditionnelle est L1 (prendre G = Ω)

La Preuve était valable en fait pour Y ≥ 0, Si Y est une variable aléa-
toire quelconque intégrable, on écrit Y = Y + − Y − avec Y + et Y − ≥ 0.
def
On construit E (Y + |G) et E (Y − |G) puis on pose E (Y |G) = E (Y + |G) −
EE (Y − |G)

1. On peut effectuer une preuve directe de l’unicité : Soient Y 0 , Y 00

deux variable aléatoire L1 (Ω, G, P) satisfaisant le deuxième point du
théorème-définition précédent, alors :

∀G ∈ GE 1G Y 0 = E (1G Y ) = E (1G Y ”)

Soit G = {Y 0 > Y ”} = {Y 0 − Y ” > 0} = (Y 0 − Y ”)]0,+∞[ ∈ G alors :

E Y 0 − Y ” 1{Y 0 >Y ”} = 0 ⇒ P Y 0 > Y ” = 0 : Y 0 ≤ Y ” ps.




On obtient de la même manière l’inégalité contraire.

2. Une condition équivalente à ∀G ∈ G, E(Y 1G ) = E[E(Y |G)1G ] est :
Pour tout variable aléatoire Z G−mesurable bornée (ou positive),

E [ZE (Y |G)] = E (ZY )

3. Probabilité conditionnelle d’un événement sachant G : Si A ∈ F :

P (A|G) = E (1A |G)

Cette probabilité conditionnelle vérifie :

(a) P (A|G) ∈ L1 (Ω, G, P) ;
(b) ∀G ∈ G E [1G 1A ] = E [1G P (A|G)] donc :
 \  Z
∀G ∈ G, P A B = P (A|G) dP
G

Emily Clement page 10 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

(c) Conditionnement avec une variable aléatoire (ou une famille de

variables aléatoires).
Soit X une variable aléatoire on note :

E (Y |X) = E (Y |σ (X))

où σ (X) et la tribu engendrée par X, Y ∈ L1 , si {Xt , t ∈ T } est

une famille de variable aléatoires :

E (Y |Xt , t ∈ T ) = E (Y |σ (Xt , t ∈ T )) .

Proposition 1.2.

Soient X et Z deux variables aléatoires réelles sur (Ω, F, P). Z est

une variable aléatoire σ (X) −mesurable si et seulement si il existe h
une fonction borélienne telle que : Z = h (X)

F
Exemple 1.2. On suppose que Ω = An une partition :
( )n≥1
Aj , J ⊂ N . Soit Y ∈ L1 (P) et on pose
S
G = σ (An , n ≥ 1) =
j∈J

E(1An Y )
(
= P(An ) si P (An ) > 0
eAn (Y )
= 35 si P (An ) = 0

Alors :
eAn (Y ) 1An ps.
P
1. E (Y |G) =
n≥1
P (A|An ) 1An ps.
P
2. ∀A ∈ F, P (A|G) =
n≥1
eAn (Y ) 1A est G−mesurable.
P
Vérifions la première définition :
n≥1
Soit G ∈ G et vérifions le deuxième point de la définition :
G
G= Aj , J ⊂ N
j∈J

Emily Clement page 11 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

!
eAn (Y ) 1An
R P R F
Vérifions dP 6= Y dP. Comme G = Ai
n≥1 G i

 
Z XXZ
eAn (Y ) 1An  dP = eAn (Y ) 1An dP
X

n≥1 n≥1 j∈J A
j
XX  \ 
= eAn (Y ) P Aj An
n≥1 j∈J
X
= AAj (Y ) P (Aj )
j∈J
1Aj Y


XE
= · P (Aj )
P (Aj )
j∈J
 
1Aj Y = E 1
X

= E F
Aj Y
j∈J
j∈J

= E (1G Y )

Montrons la deuxième définition : Il suffit que prendre la précédente en Y =

1A .
Exemple 1.3.
(]0, 1] , B (]0, 1]) , λ) = (Ω,i
F, P). i 
def
Soit n ∈ N. Soit Gn = σ j−1 n , j
n , j ∈ J1, nK
Soit g ∈ L1 (Ω, F, P), on a donc

Z1
|g| dλ < ∞
0

Emily Clement page 12 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

 l−1
, nl où l ∈ J1, nK :

Calculons E (g|Gn ), on pose au préalable G = n
l
h i Zn
E g 1] l−1 , l ] = g (x) λ (dx)
n n
l−1
n
l
Zn
1
= ×n g (x) λ (dx)
n
l−1
n
 
n
gj 1] l−1 , l ] · 1] l−1 , l ] 
 X 
= E
 n n n n 
j=1 | {z }
=1G
n
gj 1] j−1 , j ]
X
=
n n
j=1

Donc :
j
n Zn
gi 1] j−1 , j ] , où gj = n
X
E (g|Gn ) = g (x) λ (dx)
n n
i=0 j−1
n

Exemple 1.4 (Variable aléatoire discrète).

Soit X un variable S aléatoire discrète ayant les valeurs x1 , x2 , . . . , X (Ω) =
{x1 , . . . }, Ω = {X = xn }. Soit A ∈ F et Y ∈ L1 alors :
n≥1

P (A|X) = P (A|σ (X))

= P (A|σ (X = xn , n ∈ N))
P (A|X = xn ) 1{X=xn }
X
=
n≥1

Exemple 1.5. Cas particulier Ω = J1, 6K, P (Ω).

P loi uniforme sur J1, 6K. X = 1{resultats impairs} Y (ω) = ω, Y : Ω 7→ R
(
4 si X = 0
E (Y |X) = ϕ (X) =
3 si X = 1

E Y 1{X=0} 1 1 1


2· 6 +4· 6 +6· 6
ϕ (0) = 1 = 1 =4
2 2
ϕ (1) = 3
( E(Y 1
X=xn )
P(X=xn ) si P (X = xn ) > 0
E (Y |X) = ϕ (X) ou ϕ (x) =
0 sinon

Emily Clement page 13 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

Exemple 1.6 (Cas des variables aléatoires a densité).

Soient (X, Y ) un couple de variables aléatoires ayant une densité f par rap-
port a la mesure de Lesbegue :
Z Z
P ((X, Y ) ∈ A) = f (x, y) dxdy
| {z }
A =λ(dx,dy)

Les densité marginales de X sont :

Z Z
fX (x) = f (x, y) dy et fY (y) = f (x, y) dx
R R

On va montrer  comment calculer P (Y ∈ C|X) et E (h (Y ) |X) :

 f 1(x) f (x, y) dy si fX (x) > 0
R
X
Notons q (x) = C
0 sinon

Montrons que P (Y ∈ C|X) = q (X).
Il est clair que q est borélienne que q (X) est σ (X) −mesurable.
Montrons que :

E [1G q (x)] = P ({Y ∈ C} ∩ B) , ∀G ∈ σ (X)

et Z
E [1G q (X)] = q (x) dP
G

Comme G ∈ σ (X) , ∃B ∈ B (R) tel que

G = {X ∈ B} = X −1 (B) = {ω, X (ω) ∈ B}

Emily Clement page 14 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

Z
E [1G g (X)] = q (x) dp
G
Z
= q (Xn ) |{z}
dP
P(dω)
Z
= q (X) PX (dx)
B
Z
= q (x) fX (x) dx
B
Z Z  Z
= f (x, y) dy dx + 0dx
C
B∩{fX (x)=0} B∩{fX (x)=0}
Z Z
∗
= f (x, y) dxdy
B×C
= P (X ∈ B, Y ∈ C)
 \ 
= P G {Y ∈ C}

On a (∗) car :

Z Z  Z
f (x, y) dy dx = f (x, y) dxdy
C
B∩{fX (x)=0} B∩{fX (x)=0}
 \ 
= P X ∈ B {fX (x) = 0} , Y ∈ C
 \ 
≤ P X ∈ B {fX (x) = 0}
Z
= fX (x) dx
T
B {fX (x)=0}

=0

Montrons que E (h (y| X) = ψ (X) ou h est borélienne tel que h (Y ) ∈ L1 et

où
(
1
R
fX (x) h (x) f (x, y) dy si fX (x) > 0
ψ (x) =
0 sinon

Emily Clement page 15 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

Vérifions la deuxième condition de la définition de l’espérance condition-

nelle : E [XE (h (Y ) |X)] = E (Zh (Y )) ∀Z σ (X) −mesurable bornée.
 
Z Z
g (X) h (Y ) = g (x) h (y) f (x, y) dxdy
 
E
| {z }
=Z, g borelienne bornee R+
 
Z Z
= g (x)  h (y) f (x, y) dy  dx
R R
Z
= g (x) fX (x) ψ (x) dx
R
= E [g (X) ψ (X)]
= E [Zψ (X)]

Exemple 1.7.
(X, Y ) couple aléatoire. f (x, y) = exp−x 10≤y≤x h borélienne bornée.
Z
1
ψ (x) = h (y) f (x, y) dy si fX (x) > 0
fX (x)
Rx
h (y) exp−y dy
= 0 x
R
exp−y dy
0
Zx
1
= h (y) dy
x
0

E [h (y) |X] = ψ (X)

= E [1X (Y ) |X]
Zx
1
= 1C (y) dy
x
Z 0
1
= 1 (y) dy
x [0,x]
C

Emily Clement page 16 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

IV Propriété de l’espérance conditionnelle

Propriétés 1.1 (Linéarité).

Soient Y, Z ∈ L1 , G ⊂ F sous-tribu, ∀a, b ∈ R, alors :

E (aY + bZ|G) = aE (Y |G) + bE (Z|G) ps

Démonstration.
Le membre de droite est G−mesurable. Soit G ∈ G quelconque, alors

E [1G (aE (Y |G) + bE (Z|G))] = aE [1G (E (Y |G))] + bE [1G E (Z|G)]

= aE [1G Y ] + bE [1G Z]
= E [1G (aY + bZ)]

Propriétés 1.2 (Mesurabilité).

Soit Y ∈ G, tel que Y ∈ L1 , alors :

E (Y |G) = Y ps

Preuve :Le membre de droite est G−mesurable et si G ∈ G quelques,

on a :
E [1G Y ] = E [1G Y ]

En particulier : E [c|G] = c ps. (où c est une constante)

Propriétés 1.3 (Conditionnement de la tribu triviale {∅, Ω}).

Si Y ∈ L1 , alors :

E [Y | {∅, Ω}] = E [Y ] ps

Démonstration.
E [Y ] est mesurable par rapport a {∅, Ω} soit G ∈ G quelconque, alors
E [1G E (Y )] = E [1G Y ].

Emily Clement page 17 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

Propriétés 1.4 (Monotonie).

si Y est une variable aléatoire positive, avec Y ∈ L1 alors :

E [Y |G] ≥ 0 ps

Si Y, Y 0 ∈ L1 , et Y ≤ Y 0 alors :

E (Y |G) ≤ E Y 0 |G

Démonstration.
Soit G ∈ G quelconque. On regarde :

E [1G E (Y |G)] = E [1G Y ] ≥ 0 = E [1G · 0]

Par le lemme de comparaison, E (Y |G) ≥ 0 ps

Propriétés 1.5 (Inégalité sur valeur absolue et contraction).

Si Y ∈ L1 alors |E (Y |G)| ≤ E (|Y | |G) ps et kE (Y |G) k1 ≤ kY k1

Démonstration.

|E (Y |G)| = E Y + |G − E Y − |G 




= E Y + |G + E Y − |G

= E Y + + Y − |G

= E (|Y | |G)

Donc :

kE (Y |G) k1 = E (|E (Y |G)|)

≤ E [E (|Y k |G)]
= E (|Y |) = kY k1

Donc E (E (Y |G)) = E (Y ) Pour G = Ω, E [1Ω E (Y |G)] = E [1Ω Y ]

On notera Yn ↑ Y quand Yn convergera de manière croissante

vers Y .

Emily Clement page 18 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

Propriétés 1.6 (Convergence monotone).

N
Si Y ∈ L1 , si on prend une suite (Yn )n≥1 ∈ L1 positive telle que
Yn convergence de manière croissante vers Y alors :

E (Yn |G) ↑ E (Y |G) ps

Démonstration.
Par la propriété de monotonie : {E (Yn |G)} monotone.
def
Notons Z = lim ↑ E (Yn |G)
n→+∞
Clairement Z est G−mesurable.
Pour G ∈ G quelconque,
 
E [1G Z] = E 1G lim ↑ E (Yn |G)
n→+∞

= lim E [1G E (Yn |G)]

n→+∞
= lim E [1G Yn ]
n→+∞
= E [1G Y ] CV monotone

Donc Z = Y ps

Propriétés 1.7 (Lemme de Fatou version conditionnelle).

Si (Yn )n≥1 ∈ L1 positive alors :

 
E lim inf Yn |G ≤ lim inf E (Yn |G) ps
n−→+∞ n−→+∞

Si Yn ≤ Z ∈ L1 alors :
 
E lim sup Yn |G ≥ lim sup E (Yn |G) ps
n−→+∞ n−→+∞

W V
Une autre notation pour min : et max :
k≤n k≥n

Démonstration.

Emily Clement page 19 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

   
E lim inf Yn |G =E lim ∧k≥n Yn |G
n−→+∞ n→+∞
 
= lim E min Yk |G ps
n→+∞ k≥n

≤ lim inf E (Yn |G)

n−→+∞

Propriétés 1.8 (Convergence dominée).

N p.s.
Soit (Yn )n ∈ L1 , telle que |Yn | ≤ Z ∈ L1 et si Yn −→ Y∞ alors
n→+∞
p.s.
E (Yn |G) −→ E (Y∞ |G)
n→+∞

Propriétés 1.9 (Regle du produit).

Soient Y, Z deux variables aléatoire telle que Y, Y Z ∈ L1 , si Z ∈ G

ps
alors E (Y Z|G) = ZE (Y |G)

Démonstration.
ZE (Y |G) est une variable aléatoire G−mesurable. Soit G ∈ G quelconque et
vérifions que
(1) E [1G ZE (Y |G)] = E [1G ZY ]
Soit d’abord Z = 1H où H ∈ G :
E [1G 1H E (Y |G)] = E [1G∩H E (Y |G)]
= E [1G∩H Y ]
= E [1G 1H Y ]
p
1H et d’après la linéarité, vraie pour Z = Ci 1Hi où
P
(1) est vraie pour
i=1
Hi ∈ G. Soit Y, Z ≥ 0, il existe une suite Zn convergeant de façon monotone
pn
ci 1H (n) D’après ce qui précède :
P (n)
(croissante) vers Z avec Zn =
i=1 i

E [1G Zn E (Y |G)] = E [1G Zn Y ]

Comme Y ≥ 0,Zn Y ↑ ZY et Zn E [Y |G] ↑ ZE (Y |G) or d’après la convergence
monotone, on déduit (1) dans cette situation.
Pour le cas général, on écrit Y = Y + − Y − et Z = Z + − Z − et on utilise ce
qui précède.

Emily Clement page 20 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

Propriétés 1.10 (Lissage).

Si G1 ⊂ G2 ⊂ F alors pour Y ∈ L1 , on a :

E (E (Y |G2 ) |G1 ) = E (Y |G1 ) ps

E (E (Y |G1 ) |G2 ) = E (Y |G1 ) ps

La deuxième égalité se déduit de la deuxième et troisième propriété

du chapitre.
En particulier si G1 = {∅, Ω}, alors E (W | {∅, Ω}) = E (W ).

Démonstration.
Soit G ∈ G1 quelconque et comme E (Y |G1 ) est G1 −mesurable. On a :

E [1G E (E (Y |G2 ) |G1 )] = E [1G E (Y |G2 )]

= E [1G Y ]
= E [1G E (Y |G1 )]

Pour G1 = {∅, Ω}, on a :

E (E (Y |G2 )) = E (E (Y |G2 ) | {∅, Ω})

= E (Y | {∅, Ω})
= E (Y )

F
Pour parle de lissage car : Ω = An et G = σ (An , n ≥ 1), donc E (Y |G) =
n≥1
ean (Y ) 1An c’est donc construite sur chaque An .
P
n≥1    
(1) (2)
Soient G1 = σ An , n ≥ 1 ⊂ G2 = σ An , n ≥ 1 alors :
G G
Ω= A(1)
n = A(2)
n
n≥1 n≥1

(1) (1) S (2)

chaque An ∈ G1 ⊂ G2 s’écrit An = Aj , avec J ⊂ N.
j∈J
(1)
E (Y |G1 ) est constante sur o(Y |G2 ) peut changer ses valeurs quand
n An mais E
(2)
w passe d’un élément de Aj , j ∈ J a un autre. De cette manière E (Y |G1 )
est plus "lisse" que E (Y |G2 ).

Emily Clement page 21 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

Propriétés 1.11 (projection).

Soit G ⊂ F et Y ∈ L2 (F) alors E (Y |G) ∈ L2 (G) : on a une stabilité

par rapport à l’espérance conditionnelle.
C’est la projection orthogonal de Y sur L2 (G) ⊂ L2 (F).
La projection de Y sur L2 (G) est l’unique
 élément de L2 (G) qui
réalise le minimum lim E (Y − Z)2 .
Z∈L2 (G)

Pour trouver cet élément, on utilise la propriété d’orthogonalité :

E (W (Y − Z0 )) = 0, ∀W ∈ L2 (G)

Soit W = 1G G ∈ G dans l’égalité précédente donne :

E [1G (Y − Z0 )] = 0 ⇔ E [1G Y ] = E [1G Z0 ]

E (Y |G) est la meilleure "prévision" de Y sachant G.

Exemple 1.8 (-Par Adrien). Si par exemple on dit que la variable aléatoire
n’est pas totalement aléatoire : exemple, un lancé de dès où le dès est truqué
et ne tombera jamais sur 1. Plutôt que regarde toute les probabilité, on sait
qu’on ne peut pas tomber sur 1 et on regarde juste sur {2, 3, 4, 5, 6}. On réduit
notre tribu, notre ensemble des possibles...

Emily Clement page 22 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

Propriétés 1.12 (Conditionnement et indépendance).

1. Soit Y ∈ L1 et G ⊂ F une sous-tribu. Soit Y et G sont indé-

pendants, alors :

E (Y |G) = E (Y ) ps

2. Soit f : R2 7→ R borélienne, bornée et positive et soit

G ⊂ F soient X, Y deux variable aléatoire réelle telles que
X ∈ G et Y indépendante de G, on note F (x) = E [f (x, y)]
alors : E [f (X, Y ) |G] = F (X)

Démonstration.

1. E (Y ) est G−mesurable et si G ∈ G est quelconque alors :

E [1G E (Y )] = E (Y ) E (1G ) = E (Y 1G )

Si X et Y sont deux variables aléatoire indépendantes, alors E (Y |X) =

E (Y )
2. Soit Z une variable aléatoire positive G−mesurable alors : P(X,Y,Z) =
P(X,Y ) ⊗ PY . Alors :
Z
E [f (X, Y ) Z] = f (x, y) zP(X,Y,Z) (dx, dy, dz)
R3
Z
= f (x, y) zP(X,Z) (dx, dz) PY (dy)
R3
|{z}
=R2 ×R+
Z Z
=
|{z} (f (x, y) PY (dy)) zP(X,Y ) (dx, dz)
Par FubiniR2 R
Z
= F (x) zP(X,Z) (dx, dz)
R2
= E [F (X) Z]

Emily Clement page 23 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

Propriétés 1.13 (Inégalité de Jensen version conditionnelle).

Soit ϕ une fonction convexe. ϕ : R 7→ R et soit Y ∈ L1 telle que

ps
ϕ (Y ) ∈ L1 alors : ϕ (E (Y |G)) ≤ E (ϕ (Y ) |G)

Démonstration.
Eϕ = (a, b) ∈ R2 , ϕ (y) ≥ ay + b, ∀y ∈ R On a le lemme d’analyse (admis)


suivant :
Lemme 1.2 (Analyse : Voir Gourdon).

∀y ∈ R :
not
ϕ (y) = sup (ay + b) = sup (ay + b) = sup (an y + bn )
(a,b)∈Eϕ (a,b)∈Eϕ ∩Q2 n≥1

Par le lemme : ϕ (Y (ω)) ≥ an Y (ω) + bn , n ≥ 1

À n fixé : Si ϕ (Y ) ≥ an Y + bn alors
ps
E [ϕ (Y ) G] ≥ an E (Y |G) + bn

On a alors :
E [ϕ (Y )] ≥ sup (an E (Y |G) + bN ) = ϕ (E (Y |G))
n≥1

∀X0 ∈ R la courbe de ϕ est au-dessus d’une droite passant par (x0 , ϕ (x0 ))
ϕ (x) ≥ ϕ (x0 ) + λ (x0 ) (x − x0 )
| {z }
une pente

On remplace x0 par E (Y |G) (ω) et x par Y (ω)

ϕ (E (Y |G)) + λ (E (Y |G)) (Y − E (Y |G)) ≤ ϕ (Y )
S’il n’y a pas de problème d’intégrabilité on prend l’inégalité :
E {· · · |G} ≤ E (ϕ (Y ) |G)
La membre de gauche donne
ϕ (E (Y |G)) + λ (E (Y |G)) E [(Y − E (Y |G)) |G]
| {z }
=0

D’où l’inégalité : Qui est λ (x) ?

λ (x) = lim ϕ(y)−ϕ(x)
y−x dérivée à droite en x, c’est une fonction croissante en
y↓x
x.

Emily Clement page 24 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

1er car : Si E (Y |G) est bornée ainsi que λ (E (Y |G)) et tout est inté-
grable et Jensen est vrai.
2e cas : En général soit Yn = Y 1{|E(Y |G)|≤n} , n ≥ 0.

E (Yn |G) = 1{|E(Y |G)|≤n} E (Y |G)

bornée donc le 1er cas, s’applique à Yn : On applique Jensen à Yn :

ϕ (E (Yn |G)) ≤ E (ϕ (Yn ) |G)

Pour le membre de droite :

E (ϕ (Yn |G)) = E ϕ Y 1{|E(Y |G)|≤n} |G




= E ϕ (Y ) 1{|E(Y |G)|≤n} + ϕ (0) 1{|E(Y |G)|>n} |G

 

= 1{|E(Y |G)|≤n} E [ϕ (Y ) |G] + ϕ (0) 1{|E(Y |G)|>n} −→ E [ϕ (Y ) |G]

n→+∞

Pour le membre de gauche :

ϕ (E (YN |G)) = ϕ E (Y |G) 1{|E(Y |G)|≤n}

ϕ (E (YN |G)) −→ ϕ (E (Y |G))

n→+∞
| {z }
car ϕ est continue

Propriétés 1.14.

Si Y ∈ Lp , où p ≥ 1 alors :

kE (Y |G) kp ≤ kY kp

Si de plus Yn converge dans Lp vers Y∞ alors E (Yn |G) converge dans

Lp vers E (Y∞ |G)

C’est une conséquence de Jensen avec ϕ = |x|p p ≥ 1 convexe.

V Calcul de l’indépendance conditionnelle dans le

cas gaussien
Définition 1.4 (Rappel : Vecteur gaussien).

Un vecteur est dit gaussien si et seulement si toute combinaison li-

néire de ces composante est une variable aléatoire gaussienne.

Emily Clement page 25 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

Proposition 1.3.

Soit (Y1 , . . . , Yd , Y ) un vecteur gaussien centré E (Y1 , . . . , Yd , Y ) =

(0, . . . , 0) alors E (Y |Y1 , . . . , Yd ) est la projection orthogonale sur
L2 (σ (Y1 , . . . , Yd )) (L’espace engendré par les Y1 , . . . , Yn ).

ie. ∃a1 , . . . , ad tel que E (Y |σ (Y1 , . . . , Yd )) = a1 Y1 + · · · + ad Yd =: Yb

De plus pour toute fonction h (Y1 , . . . , Yd )−mesurable on a :
Z
E [h (y) |Y1 , . . . , Yd ] = h (y) q P d (y) dy
aj Yj ,σ 2
R j=1

où qm,σ2 est la densité N m, σ 2 avec

!
1 (σ − m)2
qm,σ2 (y) = √ exp −
2πσ 2 2σ 2

où  2 
d
X
σ 2 = E Y − aj Yj  
j=1

Remarque 1.2.  !2 
d
Si σ 2 = 0, alors, comme on a alors E  Y −
P
aj Yj  = 0, donc
j=1

d
ps X
Y = aj Yj
j=1

donc :
   
Xd
E [h (Y ) |Y1 , . . . , Yd ] = E h  aj Yj  |Y1 , . . . , Yd 
j−1

= h (a1 Y1 + · · · + ad Yd )

car h est (Y1 , . . . , Yd )−mesurable

Démonstration.
Notons Yb la projection orthogonale de Y sur Vect (Y1 , . . . , Yd ), alors ∃a1 , ad ∈
R tel que Yb = a1 Y1 + · · · + ad Yd et
h  i   
E Y − Yb Yj = 0, ∀j ∈ J1, dK ⇔ Cov Y − Yb , Yj = 0, ∀j ∈ J1, dK

Emily Clement page 26 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

Matrice de covariance :
 
0
 .. 
Cov (Y1 , . . . , Yd ) . 
 

 0 
 
0 . . . 0 Var Y − Yb

Montrons
 que E (Y |σ (Y1 , . . . , Yd )) = a1 Y1 + · · · + ad Yd =: Yb :
Y1 , . . . , Yd , Y − Yb est un vecteur gaussien centré, car toute com-
binaison linéaire de ses coordonnées est une variable aléatoire réelle
gaussienne car (Y1 , . . . , Yd ) est gaussien. donc Y − Yb ⊥ ⊥ (Y1 , . . . , Yd ).
Calculons
 
 
E (Y |Y1 , . . . , Yd ) = E Y − Yb |Y1 , . . . , Yd + E  |{z} Yb |Y1 , . . . Yd 
P
| {z } = aj Yj
=
|{z} E(Yb −Y )=0 | {z }
⊥
⊥ =Yb

= 0 + Yb
= Yb

Deuxième calcul : avec h (Y1 , . . . , Yd ) −mesurable.

def
Pour la deuxième partie, remarquons déjà que Z = Y −Yb ∼ N 0, σ 2 :


h   i
E [h (Y ) |Y1 , . . . , Yd ] = E h Y − Yb + Yb |Y1 , . . . , Yd
= F (Y1 , . . . , Yd )

On obtient ces égalités car Yb ∈ σ (Y1 , . . . , Yd ), Y − Yb ⊥

⊥ σ (Y1 , . . . , Yd )
et F est la fonction telle que :
h X i
F (Y1 , . . . , Yd ) = E h aj Yj + Z

par le proposition 1.2

Il suffit donc de faire un changement de variable :
Z X 
E [h (Y ) |Y1 , . . . , Yd ] = h aj Yj + Z gj,σ2 (Z) dz
 
Z
1 Z2
e− 2σ2 dz
X
= h aj Yj + Z  √
 
| {z } 2πσ 2
=Z 0
 0 P 
(Z − ai Yj )
Z
0 1
dz 0


= h Z √ exp 2
2πσ 2 2σ
Z
= h (Z) qP aj Yj ,σ2 (Z) dz

Emily Clement page 27 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

Exemple 1.9.
On notera souvent par abus de langage EX E (X) !

1. Soient (X, Y ) un couple gaussien centré, ((X − EX, Y − EY )), on

a:
E [Y |X] = cX
avec E ((Y − cX) X) = 0. Cherchons c :

E ((Y − cX) X) = E (Y X) − cE X 2

On a deux cas

:
— Si E X 2 = 0 alors X = 0 et il est hors de propos de conditionner
par 0.

— Si E X 2 6= 0, alors :

E (Y X) Cov (Y, X)
c=
E (X 2 ) Var (X)
donc :
Cov (Y, X)
E (Y |X) = X
Var (X)

Si (X, Y ) n’est pas centré, on a alors :

Cov (Y, X)
E (Y |X) = (X − E (X)) + E (Y )
Var (X)
.
2. Soit (X, Y ) un vecteur gaussien de Rd , Rk centré. Notons ΓX = E (XX∗),
ΓY = E (Y Y ∗) = E (XX∗) les matrices de covariances respectives de
X et Y .
On note également ΓXY = E (XY ∗) et ΓY X = Γ∗XY .
 
ΓX ΓXY
ΓY X ΓY
où : 


ΓX = E (XX ∗ ) matrice d×d
Γ = E (Y Y ∗ )

matrice k×k
Y
Γ ∗ d×k


 XY = E (XY ) matrice
∗

Γ
Y X = E (XX ) matrice k×d
Supposons que X est à densité, ie. ΓX est inversible.Montrons alors
que :
E (Y |X) = ΓY X Γ−1
XX X

Emily Clement page 28 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

On va montrer qu’il existe C une matrice telle que Y = CX + Y 0 avec

⊥ X et en plus X = ΓY X Γ−1
Y0 ⊥ XX
On cherche C telle que Y − CX ⊥ ⊥X

Définition 1.5 (Rappel : Centré, matrice de covariance).

Une variable aléatoire X est centrée si et seulement si E [X] = 0

La matrice de covariance d’un vecteur aléatoire X = (Xi )i∈J1,nK est
Γ == (Cov (Xi , Xj ))i,j soit :
 
Var (X1 )Cov (X1 , X2 ) · · · Cov (X1 , Xn )
 .. .. 
 Cov (X2 , X1 ) . ··· . 
Γ=

.. .. .

.. .

 . . . . 
Cov (Xn , X1 ) ··· ··· Var (Xn )

Lemme 1.3.

Soient :
— Z un vecteur gaussien centré
— n premier
— Z1 = B1 Z et Z2 = B2 Z où B1 , B2 sont deux matrices.

⊥ Z2 si et seulement si ΓZ1 Z2 = E [Z1 Z2∗ ] = 0

Z1 ⊥

Preuve du Lemme. Démonstration du lemme.

Z1 ⊥
⊥ Z2 ⇔ ϕ(Z1 ,Z2 ) (u1 , u2 ) = ϕZ1 (u1 ) ϕZ2 (u2 ) ∀u1 , u2
⇔ E [exp (i (u∗1 Z1 + u∗2 Z)2))] = E (exp (iu∗1 Z1 )) E (exp (iu∗2 Z2 )) ∀u1 , u2
⇔ u∗1 Z1 ⊥
⊥ u∗2 Z2
⇔ Cov (u∗1 Z1 , u∗2 Z2 ) = 0, ∀u1 , u2 car (u∗1 Z1 , u∗2 Z2 ) est un vecteur gaussien
⇔ E [(u∗1 Z1 ) (U2∗ Z2 )∗ ] = 0 ∀u1 , u2
⇔ u∗1 E (Z1 Z2∗ ) u2 = 0 ∀u1 , u2
⇔ ΓZ1 ,Z2 = 0

Emily Clement page 29 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

Retour à la démonstration.
On utilise le lemme et on trouve :
0 = ΓY −CX,X = E ((Y − CX) X ∗ ) = E (Y X ∗ ) − CE (XX ∗ )
donc
C = ΓY X Γ−1
XX
D’où :
E (Y |C) = E CX + Y 0 |X = CX + E Y 0 |X

Remarque 1.3.
Si ΓXX n’est pas inversible, elle est symétrique et positive, ΓXX = P ∆P ∗
avec ∆ = diag (λ1 ,. . . , λr , 0, 0, . . . , 0).

Notons ∆0 = diag λ11 , . . . , λ1r , 0, · · · et Γ0 = P ∆0 P ∗ .
Dans ce cas, on peut vérifier que E (Y |X) = ΓY X Γ0 X. (Exo)

VI Loi conditionelle
Définition 1.6.

Soeint (E, E) et (S, S) deux espace mesurables.

On appelle probabilité (noyau) de transition de E dans S une
application :
N : E × S → R+
telle que :
1. ∀x ∈ A, S ∈ A 7→ N (x, A) est une probabilité sur (S, S)
2. ∀A ∈ S E 3 x 7→ N (x, A) est mesurable de (E, E) dans
(R+ , B (R+ ))
Si E = S c’est une probabilité (noyau) de transition sur E.

Exemple 1.10.

1. Soit f : E × S → R+ et µ une probabilité sur (S, S) alors :

Z
N (x, A) = f (x, y) µ (dy) , x ∈ E, A ∈ S
A

est un noyau de transition lorsque

Z
f (x, y) µ (dy) = 1, ∀x ∈ E
S

Emily Clement page 30 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

2. X ∼ P (λ) Y ∼ P (µ), X ⊥
⊥ Y , on note X + Y = S ∼ P (λ + µ)

P (X = n, S = m)
P (X = n|S = m) =
P (S = m)
P (X = n, Y = m − n)
=
P (X + Y = m)
⊥ P (X = n) P (Y = m − n)
⊥
=
P (X + Y = m)
 
m n
= p (1 − p)m−n
n
λ
avec p = λ+µ ∈ ]0, 1[.
La loi conditionnelle de X sachant x = m est B (m, p) :
m  
X m i
N (m, ·) = p (1 − p)m−i δi
i
i=0

où δi est la masse de Dirac en i. un noyau de transition de transition

sur E = S = N
Le cas pour p ≥ 1 (quelconque) variables aléatoires indépendantes
suivant la loi de Poisson est fait en TD 1, Exercice 16.

Proposition 1.4.

Soit h mesurable positive sur (S, S) alors :

Z
ϕ (x) = h (y) N (x, dy) , ∀x ∈ E
S

est mesurable positive sur (E, E).

Si λ est une mesure de probabilité sur (E, E) alors :

Z
µ (A) = N (x, A) λ (dx) , A ∈ S
E

est une probabilité sur (S, S)

Emily Clement page 31 Tous droits réservés

CHAPITRE 1. CONDITIONNEMENT

Définition 1.7.

Soient X, Y deux variables aléatoire à valeurs respectivement dans

(E, E) et (S, S). La loi conditionnelle de Y sachant X est la proba-
bilité de transition. X de E vers S tel que :
Z
not
E [h (Y ) |X] = h (Y ) N (X, dy) = N (X, h)

Pour toute fonction borélienne positive h : S → R+

P (Y ∈ C|X = x) = N (x, C)

Remarque 1.4. Unicité : Soient N1 , N2 deux lois conditionnelles de Y sa-

chant X.
N1 (x, A) = N2 (x, A) , ∀A ∈ S pour PX -presque tout x dans E.
Si une probabilité de transition est caractérisée par ses valeurs sur une fa-
mille dénombrable de mesurables alors N1 (x, ·) = N2 (x, ·) PX −presque sûr.
Existence : Théorème admis.
On construira les noyaux dans les deux cas suivants :
1. Si X est une variable à densité :
(
N (x, A) = P (Y ∈ A|X = x) si x ∈ {y : P (X = y) > 0}
δ23 (A) sinon

2. Si (X, Y ) est un couple à densité :


 f (x) R 1f (x,y)dy sifx (x) > 0
X
N (x, A) = A

δx (A) sinon


Emily Clement page 32 Tous droits réservés

Chapitre 2

Martingales (à temps discret)

I Définitions
Soit (Ω, F, P) un espace de probabilité.

Définition 2.1 (processus aléatoire).

On appelle processus aléatoire (à temps discret) la suite de

variables aléatoires (Xn )n sur (Ω, F, P).

Définition 2.2 (Filtration).

Une filtration (Fn )n≥0 est une suite croissante de sous-tribus de F.

F0 ⊂ F1 ⊂ F2 ⊂ · · · ⊂ F

 
On appelle alors Ω, F, (Fn )n≥0 , P espace de probabilité filtré.
Fn est l’information dont on dispose à l’instant n : Elle s’accumule
au cours du temps.

33
CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Définition 2.3 (Martingale).

{(Xn , Fn ) , n ≥ 0} est une martingale si :

— ∀n ≥ 0 : Xn ∈ L1 et Xn ∈ Fn .,
— E (Xn+1 |Fn ) = Xn p.s. ∀n ≥ 0.

Xn ∈ Fn ∀n ≥ 0 dit que (Xn )n est adapté à la filtration (Fn )

Idée intuitive : Une martingale est liée à un jeu équitable.

Xn représente la fortune d’un joueur au moment n.
Fn est l’information dont il dispose au moment n.
La "fortune moyenne" au moment n+1, sachant le passé jusqu’à n est l’avoir
au moment n (ni perte, ni gain)

Définition 2.4 (sur-martingale et sous-martingale).

(Xn ) est une Fn -sur-martingale si :

— Xn ∈ L1 et Xn ∈ Fn ∀n ≥ 0
— Xn ≥ E (Xn+1 |Fn ) p.s. ∀n ≥ 0

(Xn ) est une Fn -sous-martingale si :

— Xn ∈ L1 et Xn ∈ Fn ∀n ≥ 0
— Xn ≤ E (Xn+1 |Fn ) p.s. ∀n ≥ 0

Remarque 2.1. Une propriété apparemment plus forte est :

0 ≤ n < m, E (Xm |Fn ) = Xn p.s.

0 ≤ n < m, E (Xm |Fn ) ≥ Xn p.s.
0 ≤ n < m, E (Xm |Fn ) ≤ Xn p.s.

Si m = n + 1 c’est la définition.
Si m ≥ n + 2 : C’est une récurrence sur m − n.

E (Xm+2 |Fn ) = E (E (Xn+1 |Fn+1 ) |Fn )

(2)
↓
= E (Xn+1 |Fn )
= Xn

Emily Clement page 34 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

1. E (Xn+1 ) = E (Xn ) = · · · = E (X0 ) pour une martingale.

Pour une sur-martingale, l’espérance n 7→ E (Xn ) est décrois-
sante.
Pour une sous-martingale, l’espérance n 7→ E (Xn ) est croissante.
2. (Xn ) est une martingale si elle est à la fois sous-martingale
et sur-martingale.
3. (Xn ) est une sur-martingale si (−Xn ) est une sous-martingale.
4. (Xn ) est une Fn -martingale (ou sur/sous) si et seulement si (Xn )
est une σ ((X0 , X1 , . . . , Xn )) −martingale (ou sur/sous)

Démonstration.
Il est clair que {σ (X0 , X1 , . . . , Xn ) , n ≥ 0} est une filtration.
Comme Xn ∈ Fn , alors σ ((X0 , X1 , . . . , Xn )) ⊂ Fn , donc :
E (Xn+1 |σ ((X0 , X1 , . . . , Xn ))) = E (E (Xn+1 |Fn ) |σ ((X0 , . . . , Xn )))
(2)
↓
= E (Xn |σ ((X0 , . . . , Xn )))
= Xn
Le sens retour est trivial : Xn ∈ Fn mesurable,.

La filtration engendrée par X0 , . . . , Xn , . . . est la filtration cano-

nique associée au processus (Xn )
σ ((X0 , . . . , Xn )) = Fn×

Définition 2.5.

En gardant les notations précédentes :

Soit {dn }n≥0 (comme différence) une suite de variables aléatoires
réelles telles que :
1. dn ∈ L1 et dn ∈ Fn ∀n ≥ 0
2. E (dn+1 |Fn ) = 0 p.s. (resp avec ≥ et ≤) ∀n ≥ 0
Pn
Alors Xn = dj est une F−martingale (resp sur, sous).
j=0

E (Xn+1 |Fn ) = E (dn+1 + Xn |Fn )

= E (dn+1 |Fn ) + E (Xn |Fn )
= 0 + Xn car Xn est F − mesurable
= Xn

(dn )n est une suite équitable ("fair sequence")

Emily Clement page 35 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Réciproquement, si (Xn ) est une Fn martingale, alors si on pose :

def def
d0 = X0 − E (X0 ) , dj = Xj − Xj−1 , ∀j ≥ 1

alors (dn ) est une suite vérifiant les deux points de la définition :

E ((Xn+1 − Xn ) |Fn ) = E (Xn+1 |Fn ) − E (Xn |Fn )

= Xn − Xn = 0 p.s.

On peut donc construire une suite d’équitable à partit d’une martingale.

II Exemples de martingales
1 Martingale formée
Soit X ∈ L1 une variable aléatoire réelle, et (Fn )n≥0 une filtration.
On pose :
def
Xn = E (X|Fn )
Alors (Xn ) est une (Fn )-martingale.

E (Xn+1 |Fn ) = E (E (X|Fn+1 ) |Fn )

= E (X|Fn )
= Xn

Une martingale de ce type est dite formée.

2 Marche aléatoire
Soit (Zn ) une suite de variable aléatoire réelle indépendantes intégrales
telles que E (Zn ) = 0 ∀n ≥ 0. On pose :
n
X
X0 = 0, Xn = Zk , Fn = σ ((Z1 , . . . , Zn ))
k=1

On a alors Xn − Xn−1 = Zn et Fn = σ ((X1 , . . . , Xn ))

En effet : σ (X1 ) 3 X1 = Z1 ∈ σ (Z1 ) = F1 , et X2 = X1 + Z2 donc Z2 =
X2 − X1 ∈ σ (X1 , X2 )
(Xn ) est une (Fn ) −martingale.

3 Nouvelle martingale à partir des précédentes.

(Transformation de martingale, intégration stochastique discrète.)

Emily Clement page 36 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Définition 2.6 (variable prévisible).

Soit (Hn ) une suite de variable aléatoire réelle.

On dit que (Hn )n est prévisible si Hn est bornée (i.e ∈ L∞ ), et :

Hn ∈ Fn−1 , ∀n ≥ 1
H0 ∈ F0

En gardant les mêmes notations que dans la définition, soit (Xn ), on note :

(H · X)0 = 0 et pour n ≥ 1
(H · X)m = H1 (X1 − X0 ) +H2 (X2 − X1 ) + · · · + Hn (Xn − Xn−1 )
| {z } | {z } | {z }
=d1 =d2 =dn
= H1 d1 + · · · + Hn dn
Xn
= Hj dj
j=1

Alors (H · X)n est une (Fn ) −martingale.

(H · X)n ∈ L1 car les Hn sont bornées.

(H · X)n est une suite adaptée par construction.

(H · X)n+1 − (H · X)n = Hn+1 (Xn+1 − Xn )



E (H · X)n+1 − (H · X)n |Fn = E {Hn+1 (Xn+1 − Xn ) |Fn }
= Hn+1 E {(Xn+1 − Xn ) |Fn }
= Hn+1 · 0
= 0 car (Xn ) − intégrable

Idée intuitive : Xn l’avoir du joueur au moins n :

Xn+1 − Xn est la gain entre les moments n et n + 1.
Hn+1 la multiplication de la mise (mais le jeu reste équitable).

Si (Xn ) est une sur-martingale et Hn ≥ 0 bornée, prévisible, alors (H · X)n

est une sur-martingale.

4
Soit (Zn )n une suite de variables aléatoires indépendantes, identiquement
distribuée, à valeur dans N.
Z


G (s) = E S 1 la fonction génératrice commune des (Zn )

Emily Clement page 37 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Soit M0 = 1, on fixe s ∈ ]0, 1[ et on pose :

n
X
def
S0 = 0, Sn = Zi , n ≥ 1
i=1

def s
et : Mn = G(s)n
alors (Mn ) est une (Fn ) −martingale.

E sSn+1 |Fn = E sZn+1 sSn |Fn

 

= sSn E sZn+1 |Fn

⊥
⊥
= sSn E sZn+1

= sSn G (s)

Donc :
sSn+1
 
1 Sn+1


E [Mn+1 |Fn ] = E n+1 |F n n+1 E s |Fn
G (s) G (s)

III Lien entre martingales et sous-martingales

Proposition 2.1.

1. Soit {(Xn , Fn ) , n ≥ 0} une martingale et soit ϕ : R → R

une fonction convexe telle que E (|ϕ (Xn )|) < +∞ ∀n ≥ 0

Alors {(ϕ (Xn ) , Fn ) , n ≥ 0} est une sous-martingale.

2. Soit {(Xn , Fn ) , n ≥ 0} une sous-martingale et soit
ϕ : R → R une fonction convexe croissante telle
que E (|ϕ (Xn )|) < +∞, ∀n ≥ 0.

Alors {(ϕ (Xn ) , Fn ) , n ≥ 0} est une sous-martingale

Exemple 2.1. Soit (Xn ) une martingale, alors (|Xn |), Xn2 , (Xn+ ) sont des

sousmartingales.

Démonstration.

1.
par Jensen
E [ϕ (Xn+1 ) |Fn ] ≥ ϕ (E (Xn+1 |Fn ))
= ϕ (Xn )

Emily Clement page 38 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

2. Xn ≤ E (Xn+1 |Fn ) comme ϕ est croissante :

ϕ (Xn ) ≤ ϕ (E (Xn+1 |Fn )) ≤ E (ϕ (Xn+1 |Fn ))

Définition 2.7.

Une processus (An )n≥0 est dit croissant si :

— (An ) est prévisible (A0 = 0, An+1 ∈ Fn , ∀n)
— et p.s. :
0 = A0 ≤ A1 ≤ · · ·

Théorème 2.1 (Théorème de décomposition de Doob).

Toute sur-martingale {(Xn , Fn ) , n ≥ 0} s’écrit d’une façon unique

comme la somme d’une martingale {(Mn , Fn ) , n ≥ 0} et un proces-
sus croissant {An , n ≥ 0} Alors :

Xn = Mn + An p.s. ∀n ≥ 0

Démonstration du théorème de Doob.

1. Existence : Soit d0 = X0 et dj = Xj − E (Xj |Fj−1 ), j ≥ 1

n
def P
On pose M0 = d0 et Mn = dj , avec {dj }j est une suite équitable,
j=0
alors :

An+1 − An = Xn+1 − Mn+1 − (Xn − Mn )

= Xn+1 − Xn − (Mn+1 − Mn )
= Xn+1 − Xn − dn+1
= Xn+1 − Xn − Xn+1 + E (Xn+1 |Fn ) ≥ 0

Donc (Mn ) est une (Fn ) −martingales.

Soit An = Xn − Mn on a alors A0 = X0 − M0 = 0. Donc :

An+1 − An = Xn+1 − Mn+1 − (Xn − Mn )

= Xn+1 − Xn − (Mn+1 − Mn )
= Xn+1 − Xn − dn+1
= Xn+1 − Xn − Xn+1 + E (Xn+1 |Fn ) ≥ 0

Emily Clement page 39 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

car (Xn )n sous-martingale.

n
X
An+1 = (Aj+1 − Aj )
j=0
Xn
= (E (Xj+1 |Fj ) − Xj ) ∈ Fn
j=0

Alors (An ) est prévisible.

2. Unicité : Soit Xn = Mn0 + A0n avec (Mn0 ) martingale et (A0n ) croissant.
On a alors :
A0n = Xn − Mn0
An = Xn − Mn
A0n+1 − A0n = Xn+1 − Xn − Mn+1
0
− Mn0

On conditionne par Fn cette égalité.

A0n+1 A0n = E A0n+1 − A0n |Fn


−
A0n+1 A0n = E (Xn+1 |Fn ) − Xn − 0 p.s. car Mn0


− est une martingale
A0n+1 − A0n = E (Xn+1 |Fn ) − Xn p.s.
Donc :
An = A0 + (A1 − A0 ) + · · · + (An − An−1 )
= A00 + A01 − A00 + · · · + A0n − A0n−1

= A0n p.s.
Donc Mn = Mn0 p.s.

Exemple 2.2.
On a vu que si {(Xn ,
Fn ) , n ≥ 1
2
0} est une martingale telle que Xn ∈ L
∀n ≥ 0 alors Xn , Fn , n ≥ 0 est une sous-martingale.
Quelle est sa décomposition de Doob ?
Posons :
d˜0 = X02 et d˜j = Xj2 − E Xj2 |Fj−1

Xn
Mn = d˜j ,et Aj = Xj2 − Mj
j=0
2
|Fn − Xn2


An+1 − An = E Xn+1
2
Xn2 |Fn


= E Xn+1
 
= E (Xn+1 − Xn )2 |Fn
Car Xn est une martingale.

Emily Clement page 40 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

On note souvent la suite An = hXn i le compensateur de X (ou le crochet

de X.) (variation quadratique de X.)
n
P
On rappelle aussi que Xn = dj avec (dn ) une suite équitable, car (xn ) est
j=0
une (Fn ) −martingale.

Xj2 = (Xj−1 + dj )2
2
= Xj−1 + 2Xj−1 dj + d2j
E Xj2 |Fj−1 = Xj−1
2
+ 2Xj−1 E (Dj |Fj−1 ) + E d2j |Fj−1

2
+ E d2j |Fj−1


= Xj−1

En remplaçant dans l’expression de An+1 − An on trouve :

An+1 − An = Xn2 + E d2n+1 |Fn − Xn2

Xn
E d2j |Fj−1


An =
j=1

Remarque 2.2.  
On a si E (dj |Fj−1 ) = 0, Var (dj |Fj−1 ) = E d2j |Fj−1 = Var (dj ) (Cf TD
n*1 sur la variance conditionnelle)
Si {dj } est une suite de variable indépendantes alors Var (An ) = Var (Xn )

IV Temps d’arrêt
Définition 2.8 (Temps d’arrêt).

Une application T : Ω → N̄ est un temps d’arrêt si

{T = n} ∈ Fn , ∀n ∈ N

!
S S
{T = +∞} = Ω\ {T = n} ∈ F∞ où F∞ = σ Fn .
n≥0 n≥0
En effet :

{T = +∞} = {T < +∞}c

 c
[
= {T = n}
n≥0
\
= {T = n}c ∈ F∞
n≥0

Emily Clement page 41 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Exemple 2.3. 1. Soit (Yn )n∈N un processus réel adapté : Yn ∈ Fn ∀n ∈

N.
On note TB = inf {n ≥ 0, Yn ∈ B}, B ∈ B (R) le temps d’entrée dans
B.
On a la convention suivante : inf ∅ = +∞
On prend par exemple TB le temps d’arrêt :
{Tb = n} = {Y0 ∈
/ B, · · · , Yn−1 ∈
/ B, Yn ∈ B} ∈ Fn
LB = sup {n ≤ N : Yn ∈ B} avec N entier fixé.
Convention : sup ∅ = 0.
2. Si T ≡ k ∈ N alors T est un temps d’arrêt.
Définition 2.9.

Soit T un temps d’arrêt, la tribu du passé jusqu’à l’instant T est :

n \ o
FT = A ∈ F∞ , ∀n ∈ N : A {T = n} ∈ Fn

Démonstration.
FT est bien une tribu (Exercice) donc FT ⊂ F∞ .
si T ≡ k donc FT = F∞

V Propriété dans temps d’arrêt et de la tribu du

passé jusqu’à un temps d’arrêt.
Propriétés 2.1.

Si T est un temps d’arrêt, et A ∈ Fn alors :

\
A {T = ∞} ∈ F∞

Démonstration.
En effet :
\ \
A {T = ∞} = A {T < ∞}c
!c
\ [
=A {T = n}
n∈N
\ \ 
= A {T 6= n} ∈ F∞
n∈N
c
A ∈ FT ⊂ F∞ , donc {T = n} = {T 6= n} ⊂ Fn ⊂ F∞

Emily Clement page 42 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Propriétés 2.2.

On a T ∈ F∞ et T ∈ FT

Preuve en exercice.

Propriétés 2.3 (Caractérisation des temps d’arrêt).

On à équivalence entre les trois assertions suivantes :

1. T est un temps d’arrêt.
2. {T ≤ n} ∈ Fn , ∀n ∈ N
3. {T > n} ∈ Fn , ∀n ∈ N

Démonstration.

n
[
{T ≤ n} = {T − j} ∈ Fn
j=0

{T = n} = {T ≤ n} \ {T ≤ n − 1}
\
= {T ≤ n} {T ≤ n − 1}c ∈ Fn
{T > n} = {T ≤ n}c

Propriétés 2.4.

Soit A ∈ F∞ , alors :
\
A ∈ FT ⇔ A {T ≤ n} ∈ Fn , ∀n ∈ N

Démonstration en TD. T
En général, il est faux de dire que si A ∈ FT alors A {T > n} ∈ Fn .

Propriétés 2.5.
W V
Soient S, T deux temps d’arrêt, alors S T et S T (Max et Min
respectivement) sont des temps d’arrêt.

Emily Clement page 43 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Démonstration.

n _ o \
S T ≤ n = {S ≤ n} {T ≤ n} ∈ Fn
n ^ o \
S T > n = {S > n} {T > n} ∈ Fn

V
En particulier, si n ∈ N fixé, alors T S est un temps d’arrêt (borné par
N ). Plus généralement, si (Tk ) est une suite de temps d’arrêt alors :

sup Tk , sup Tk , lim sup Tk , lim inf Tk sont des temps d’arrêt
k k k−→+∞ k−→+∞

Si de plus, (Tk ) est une suite monotone, alors lim Tk est un temps d’arrêt.
k−→+∞

Propriétés 2.6.

Si S et T sont deux temps d’arrêt, alors S + T est un temps d’arrêt.

n
[ \
{S + T = n} = {S − k} {T = n − k}
k=0

Propriétés 2.7.

Si S et T sont deux temps d’arrêt, alors :

{S < T } , {S = T } , {S ≤ T }

sont dans FS et FT .

Démonstration.

\ \
{S < T } {S = n} = {n < T } {S = n} ∈ Fn
[ \ 
{S < T } = {S < T } {S = n} ∈ F∞
n≥0

Emily Clement page 44 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Propriétés 2.8.

Si A ∈ FS , alors :

\
A {S ≤ T } ∈ FT et
\
A {S < T } ∈ FT

Démonstration.
∀n ∈ N,
\ \  \ \
A {S ≤ T } {T = n} = A {S ≤ n} {T = n}

Propriétés 2.9.

Si S ≤ T alors FS ⊂ FT .

Vrai d’après la propriété 8 car {S ≤ T } = Ω.

Propriétés 2.10.

Soit (Yn )n∈N un processus adapté, et T un temps d’arrêt. Alors la

variable aléatoire 1{T <∞} ∈ FT
(
Y (ω) si T (ω) = n ∈ N
1{T <∞} YT (∞) = n
0 si T (ω) = +∞

Démonstration.
Soit B ∈ B (R) alors :

1{T <∞} YT ∈ B
 \ \
{T = n} = {Yn ∈ B} ∈ Fn car (Yn ) est adapté {T = n} ∈ Fn
| {z }

Emily Clement page 45 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Théorème 2.2 (Premier théorème d’arrêt).

Soit {Xn } une Fn −martingale (sur-martingale) et soit T un temps

d’arrêt.

Alors Xn V T est une (Fn ) −martingale. (sur-martingale)
En particulier, si T est un temps d’arrêt borné, on a :

XT ∈ L1 et E (XT ) = E (X0 )

(resp : E (XT ) ≤ E (X0 ))


Notons que Xn V T = {X0 , X1 , · · · , xn = XT , XT , · · · }
Démonstration.
Si n ≥ 1 alors on pose Hn = 1{T ≥n} ∈ Fn−1 ∀n ≥ 1.
def

Hn est prévisible.
Alors Xn V T = X0 + (H · X)n donc c’est une martingale.
Xn V T = X0 + H1 (X1 − X0 ) + · · · + Hn (Xn − Xn−1 )
= X0 + 1{T ≥1} (X1 − X0 ) + · · · + 1{T ≥n} (Xn − Xn−1 )
= X0 1{T ≥0} − 1{T ≥1} + X1 1{T ≥2} − 1{T ≥1} + · · · +

+ Xn−1 1{T ≥n} − 1{T ≥n−1} + Xn 1{T ≥n}

= X0 1{T =0} + X1 1{T =1} + · · · + Xn−1 1{T =n−1} + Xn 1{T =n}

Autrement dit :

Xn V T = XT 1n T + Xn 1T ≥n
n−1
Xj 1{T =j} + Xn 1{T ≥n}
X
=
j=0
n−1
Xj 1{T =j} + E Xn 1{T ≥n} |Fn−1

X

E Xn T |Fn−1 =
V

j=0
n−1
Xj 1{T =j} + 1{T ≥n} E (Xn |Fn−1 )
X
=
| {z }
j=0
=Xn−1

= X(n−1) V
T

Si T est un temps d’arrêt borné, disons pas N ∈ N fixé, on a :

E (XT ) = E XT V N = E (X0 )

Emily Clement page 46 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Théorème 2.3 (d’arrêt de Doob - cas borné).

Soit {Xn } une (Fn ) −martingale et soient 0 ≤ S ≤ T ≤ N (FS ⊂

FT ) deux temps d’arrêts bornées (par N ∈ N fixé) alors :

E (XT |FS ) = XS p.s.

Démonstration.
Il suffit de montrer l’égalité suivante : (∗) E (Xn |FS ) = XS p.s. pour un
temps d’arrêt S bornée par n.
Si (∗) est vraie alors :
XS = E (XN |FS )
= E [E (XN |FT ) |FS )
= E (XT |FS )

Vérifions (∗) : Soit G ∈ FS et on remarque que

n
G
Ω= {S = j}
j=0
T
Et G {S = j} ∈ Fj
 

|1G {z E 1G{S=j} Xj
   
E {S=j} Xn  =
T 
} (Xn ) martingale
=1G 1{S=j}

1G T{S=j} XS
 
=E
(E (Xn |Fj ) = Xj )
On sonne pour j allant de 0 à n :
E [1G Xn ] = E [1G Ss ]
D’où le résultat.

Exemple 2.4 (Marche aléatoire symétrique sur Z).

Soit {Zn }n≥1 indépendant, identiquement distribuées :
 
1
P (Z1 = 1) = P Z1 = −
2
n
P
On a X0 = 0 et Xn = Zi .
i=1
Donc (Xn ) est une martingale.

Emily Clement page 47 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

T = inf {n ≥ 0, Xn = 1} est un temps d’arrêt pas borné.

Nous allons montrer que T < ∞ p.s., P (T < ∞) = 1.

1 = E (XT ) 6= E (X0 ) = 0

Remarque 2.3.
Pour une martingale, quand est-ce que E (XT ) = E (X0 ) ?
C’est bon pour T borné.
Autre cas facile : si la martingale (Xn ) est borné et T est fini p.s. :
En effet T ∧ n est un temps d’arrêt borné, par n, et

E (XT ∧n ) = E (X0 ) , ∀n ∈ N

on a donc :
XT ∧n −→ XT = XT 1T <∞
p.s. p.s.
n→+∞

et par convergence dominée, on déduit que E (XT ) = E (X0 ).

Théorème 2.4 (Troisième théorème sur les temps d’arrêts).

Si {Xn } est une martingale, et que 0 ≥ S ≥ T ≥ N deux temps

d’arrêt bornés, alors :

XS = E (XT |FS ) p.s.

et E (XS ) = E (XT )

VI Sur-martingales positives : Convergences et ar-

rêt.
On rappelle que (Xn ) est une Fn -sur-martingale si :

— Xn ∈ L1 et Xn ∈ Fn ∀n ≥ 0
— Xn ≥ E (Xn+1 |Fn ) p.s. ∀n ≥ 0
On a déjà vu une opération sur les sur-martingales : arrêt à l’instant aléatoire
T :
(XT ∧n ) reste une sur-martingale.
On va à présent regarder une autre opération : collage.

Emily Clement page 48 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Proposition 2.2 (Coller deux sur-martingales positives).

Pour i = 1, 2, soient Xni deux (Fn ) −sur-martingales positives.

Soit T un temps d’arrêt tel que sur {T < ∞} on ait :

(1) (2)
XT (ω) ≥ XT (ω)

(1)
Xn (ω) si n < T (ω)


On pose : Xn (ω) =

X (2) (ω) si n ≥ T (ω)

n

Alors (Xn ) est une (Fn ) −sur-martingale positive.

Démonstration.
Xn = Xn 1{n<T } + Xn 1{n≥T } ∈ Fn ∀n.
(1) (2)

On a alors :
   
Xn ≥ E Xn+1 |Fn 1{n<T } + E Xn+1 |Fn 1{n≥T }
(1) (2)

h  i
= E Xn+1 1{n<T } + Xn+1 1{n≥T } |Fn
(1) (2)

(1) (2)
Mais sur {T = n + 1} on a Xn+1 ≥ Xn+1

Xn+1 1{n<T } + Xn+1 1{n≥T } = Xn+1 1{n+1<T } + Xn+1 1{n+1=T } + Xn+1 1{n≥T }
(1) (2) (1) (1) (2)

G
car {n < t} = {n + 1 < T } {n + 1 = T }

Xn+1 1{n<T } + Xn+1 1{n≥T } ≥ Xn+1 1{n+1<T } + Xn+1 1{n+1=T } + Xn+1 1{n+1≥T }
(1) (2) (1) (2) (2)

= Xn+1 1{n+1<T } + Xn+1 1{n+1≥T }

(2) (1)

= Xn+1

Emily Clement page 49 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Proposition 2.3 (Bornes pour des sur-martingales positives).

Soit {Xn }n≥0 une (Fn ) −sur-martingale positive. Alors :

 
X0
P sup Xn ≥ a|F0 ≥ ∧ 1, ∀a > 0
n≥0 a

et
sup Xn < +∞p.s. sur {X0 < +∞}
n≥0

Démonstration.
Soient deux sur-martingales positives :
Xn(1) = Xn , Xn(2) ≡ a
On définit Ta inf {n, Xn ≥ a}. C’est un temps d’arrêt car (Xn ) est une mar-
tingale adaptée.
Sur {Ta < ∞} on a :
(1) (2)
XTa = XTa ≥ a = XTa
Alors, d’après le collage :
Yn = Xn 1{n < Ta } + a1{n≥Ta }
est une sur-martingale positive.
En particulier, Y0 ≥ E (Yn |F0 ), ∀n ≥ 0. (∗)
Y0 = X0 1{0<Ta } + a1{0≥Ta }
= X0 1{X0 <a} + a1{X0 ≥a} = X0 ∧ a
Par ailleurs Yn ≥ a1{n≥Ta } .
On revient dans l’inégalité (∗) :
X0 ∧ a ≥ aP (Ta ≤ n, F0 )
P (Ta ≤ n|F0 ) ≤ Xa0 ∧ 1.
Quand n tend vers l’infini, on a :
X0
P (Ta ≤ ∞|F0 ) ≤ ∧1
a
Autrement dit la première inégalité. Pour obtenir la deuxième inégalité, mul-
tiplions la première par 1{X0 <∞} et prenons l’espérance :
  
  
X0
E 1{X0 <+∞} E 1 |F0  ≤ E 1{X0 <+∞} ∧1
  ( ) 
sup Xn ≥a a
n≥0

Emily Clement page 50 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Ou encore :
    
X0
P X0 < +∞, sup Xn ≥ a ≤ E 1{X0 <+∞} ∧1
n≥0 a

1{X0 <+∞} X0


a ∧ 1 est une variable aléatoire inférieur à 1, qui tend vers 0
quand a tend vers +∞. Donc :
 
P X0 < +∞, sup Xn = +∞ = 0
n≥0

Petite apartée analystique (cf chapitre 11 Fuch) :

Lemme 2.1 (Lemme d’analyse).

Soient a < b deux réels.

Notons les temps de traversée :

T1 = inf {n ≥ 0 , xn ≤ a}
T2 = inf {n ≥ T1 , xn ≥ b}
T3 = inf {n ≥ T2 , xn ≤ a}
T4 = inf {n ≥ T3 , xn ≥ b}
..
.

Si on prend {xn } ∈ RN .
{xn } est convergente dans R̄ si et seulement si U (a, b) < ∞ ∀a < b
rationnels.
où
U (a, b) = max {p : T2p < ∞}
c’est le nombre de traversées de [a, b] par la suite (xn ).

Démonstration.
Supposons lim inf xn < lim sup xn alors il existe a, b ∈ Q tel que

lim inf n → +∞xn < a < b < lim sup n → +∞xn

Pour une infinité d’indices xn < a, et pour une infinité d’indices xn > b.
U (a, b) = ±∞

Emily Clement page 51 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Proposition 2.4 (Inégalité de Dubins).

Soit {Xn } une Fn sur-martingale positive et soient 0 < a < b alors :

k X
1. P (U (a, b) ≥ k|F0 ) ≤ ab


a ∧ 1 ∀k ≥ 1
0

2. U (a, b) < ∞ p.s.

où U (a, b) (ω) = U (a, b) associé à la suite de réels {X (ω)} :

T1 (ω) = inf {n ≥ 0 , Xn (ω) ≤ a}

T2 (ω) = inf {n ≥ T1 , Xn (ω) ≥ b}
..
.
U (a, b) (ω) = sup {p, T2p (ω) < ∞}

On remarque que
  \
ω, lim Xn (ω) existe = {U (a, b) (ω) < ∞}
n→+∞
a<b,a,b∈Q

Démonstration.
On utilise les Tk pour faire des "collages".
(1) (2)
Soient Xn ≡ 1 et Xn = Xan et T1 .
(2)
Sur {T1 < ∞} : X1 = 1 ≥ XT1
= 1{n<T1 } + 1
(1) Xn
On a Yn a {n≥T1 } sur-martingale positive.
(3) (1) (4)
Soient Xn = Yn et Xn ≡ ab et T2 ≥ T1 .
Sur {T2 < ∞} :
(3) XT2 b(1)
(4)
XT2 = YT2 = ≥ = XT2
a a
Donc on pose le deuxième terme de la suite :
b
Yn(2) = Yn(1) 1{n<T2 } + 1n≥T2
a
(2) b Xn
qui est également une sur-martingale positive. Que valent Yn et a a sur
{T3 < ∞} ?
(2) b b XT3
TT3 = ≥
a a a
On construit le troisième terme :
b Xn
Yn(3) = Yn(2) 1{n<T3 } + 1
a a {n≥T3 }

Emily Clement page 52 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

(2)
Yn 1{n<T3 } est une sur-martingale positive.
Xn
Yn = 1{n<T1 } + 1
a {T1 ≤n<T2 }
b b Xn
+ 1{T2 ≤n<T3 } + 1
a 1 a {T3 ≤n<T4 }
 k−1
b Xn
+ ··· + 1
a a {T2k−1 ≤n<T2k }
 k
b
+ 1{T2k ≤n}
a

qui est une sur-martingale positive.

Or Y0 = 1{0≤T1 } + Xa0 1{T1 =0} = 1 ∧ X0
a et
 k
b
Yn ≥ 1{n≥T2k }
a

Remarquons qu’on a Y0 ≥ E (Yn |F0 ) pour tout n ≥ 0.

Donc
X0
1∧ = Y0
a
≥ E (Yn |F0 )
 k
b
= P (T2k ≤ n|F0 )
a

Donc  a k  
X0
P (T2k ≤ n|F0 ) ≤ 1∧
b a
Si on fait tendre n vers +∞ :
 a k  X0

P (U (a, b) ≥ k|F0 ) ≤ a∧
b a

Donc le premier point est montré.

On fait tendre k vers +∞ et on obtient :

P (U (a, b) = +∞|F0 ) = 0

Donc U (a, b) < ∞ p.s.

Remarque 2.4.
On a mieux :
X X  a k
E (U (a, b)) = P (U (a, b) ≥ k) ≤ <∞
b
k≥0 k≥0

Emily Clement page 53 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Théorème 2.5 (Théorème de convergence des sur-martingales positives).

Soit (Xn ) une Fn −sur-martingale positive.

alors lim Xn = X∞ existe p.s.
n→+∞
Et E (X∞ |Fn ) ≤ Xn ∀n ∈ N.
Autrement dit : (Xn )n∈N est une (Fn )n∈N −sur-martingale positive.

Démonstration.
On a U (a, b) < ∞, ∀a < b rationnels, il existe lim Xn = X∞ p.s.
n→+∞
Si n ≥ p :  
E inf Xm |Fp ≤ E (Xn |Fp ) ≤ Xp
m≥n

Dans n tend vers +∞, d’après le théorème de convergence monotone pour

l’espérance conditionnelle :
E (X∞ |Fp ) ≤ Xp
p.s.
car inf m ≥ nXm −→ X∞
n→+∞

Théorème 2.6 (Théorème d’arrêt pour des sur-martingales positives).

p.s.
Soit (Xn ) une sur-martingale positive (Donc Xn −→ X∞ )
n→+∞
Soient T et S deux temps d’arrêt (non nécessairement bornés).
Alors XS ≥ E (XT |FS ) p.s. sur {S ≤ T }.

Remarque 2.5.

1. Si S = 0 comme t ≥ 0, on a X0 ≥ E (XT |F0 )

E (X0 ) ≥ E (XT )

2. Si S ≤ T partout dans XS ≥ E (XT |FS ) et E (XS ) ≥ E (XT ).

Lemme 2.2.

Soit S un temps d’arrêt et ξ ∈ L1 variable aléatoire.

E (ξ|Fn ) 1{S=n} p.s.
P
Alors E (ξ|FS ) =
n∈N

Emily Clement page 54 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Démonstration du théorème.
Il suffit que montrer que ∀n ∈ N̄ :

Xn ≥ E (XT |Fn ) p.s. sur {n ≤ T }

E (ξ|Fn ) 1{S=n} est FS −mesurable.

P
Remarquons que le membre de droite
n∈N
Soit A ∈ FS quelconque alors :
!
E 1A E (ξ|Fn ) 1{S=n} = 1A E (ξ|Fn ) 1{S=n}
X X

E
n∈N n∈N

1A∩{S=n} E (ξ|Fn ) A ∩ {S = n} ∈ Fn , ∀n ∈ N̄
X

= E
n∈N

1A∩{S=n} ξ
X

= E
n∈N
= E (1A ξ) = E (1A E (ξ|FS ))

Démonstration du théorème d’arrêt.

E (XT |Fn ) 1{S=n}
P
D’après le lemme, on a : E (XT |FS ) =
n∈N
Il suffit donc de montrer que ∀n ∈ N̄ :

Xn ≥ E (XT |Fn ) p.s. sur {n ≤ T }

def
Notons Yn = XT ∧n .
On sait que {Yn } est une sur-martingale.
p.s.
Alors Yn −→ Y∞ = XT par le théorème 2.5.
n→+∞
ou bien T (ω) < ∞ et alors T (ω) ∧ ∞ = T (ω). et si T (ω) = ∞, alors

Yn (ω) = Xn (ω) → X∞ (ω) = XT (ω) (ω)

De plus Yn ≥ E (Y∞ |Fn ) pour tout n ∈ N̄.

Autrement dir : XT ∧n ≥ E (XT |Fn ) et sur {n ≤ T } : XT ∧n = Xn .

Définition 2.10.

Une martingale est dite fermée s’il existe une variable aléatoire in-
tégrable X∞ ⊂ F∞ telle que :

Xn = E (X∞ |Fn ) , ∀n ∈ N̄

et dans ce cas, (Xn |Fn ) , n ∈ N̄ est une martingale.

Emily Clement page 55 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Proposition 2.5 (de convergence des martingales positives fermées).

Soient p ≥ 1, et X une variable aléatoire positive telle que X ∈ Lp .

On pose 
def
Xn = E (XFn )




 def
X = E (X|F∞ )
∞

p.s.
Alors Xn −→ X∞ et dans Lp .
 n→+∞
De plus (Xn , Fn ) , n ∈ N̄ est une martingale fermée.

Corollaire 2.1.

Pour p ≥ 1 la famille des martingales positives convergeant dans Lp

est de la famille de la forme {E ((X) |Fn ) , n ∈ N} avec X ≥ 0 et
X ∈ LP

VII Sous-martingales et martingales : convergence

et arrêt.
Théorème 2.7 (Décomposition de Kirckeberg).

Soit {Xn }n une Fn −sous-martingale telle que

sup E Xn+ < ∞

n∈N

Alors il existe une martingale positive {(Mn , Fn ) , n ∈ N} et une sur-

martingale positive {(Yn , Fn ) , n ∈ N} telles que :

Xn = Mn − Yn

Démonstration.
D’après l’inégalité de Jensen (propriété 1.13), si (Xn ) est une sous-martingale,
alors (Xn+ ) est aussi une sous-martingale (∗).
Si p ≥ n :
     
+ +
≥ E Xp+ |Fn


E Xp+1 |Fn = E E Xp+1 |Fp |Fn
Lissage par (∗)

Emily Clement page 56 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Dans la suite E
Xp+ |Fn , p ≥ n est croissante (en p). Donc il existe


lim ↑ E Xp+ |Fn notons là Mn .

p→+∞
def
Montrons que Mn = lim ↑ E Xp+ |Fn est une martingale positive :


p→+∞
• Mn ∈ Fn et Mn ≥ 0 pour tout n ∈ N
•
 
E (Mn ) = E lim ↑ E Xp+ |Fn


Convergence monotone
p→+∞

= lim ↑ E E Xp+ |Fn

p→+∞

= lim ↑ E Xp+ = sup E Xp+ < ∞

p→+∞ p∈N

 
Xp+ |Fn+1


E (Mn+1 |Fn ) = E lim ↑ E |Fn Convergence monotone
p→+∞

= lim ↑ E E Xp+ |Fn+1

|Fn
p→+∞

= lim ↑ E Xp+ |FN = Mn

p→+∞
def
On pose Yn = Mn −Xn , montrons que (Yn )n est une sur-martingale positive.
• Yn ∈ Fn .
•
Mn = lim ↑ E Xp+ |Fn


p→+∞

≥ E Xn+ |Fn

= Xn+ ≥ Xn+ − Xn− = Xn

Donc Yn ≥ 0.
E (Yn+1 |Fn ) = E (Mn+1 − Xn+1 |Fn )
= E (Mn+1 |Fn ) − E (Xn+1 |Fn )
≤ Mn − Xn = Yn
Donc (Yn ) est une sur-martingale.

Théorème 2.8 (de Doob pour les sous-martingales).

Si {Xn } est une (Fn ) −sous-martingale telle que :

sup E Xn+ < ∞

n∈N

p.s.
Alors il existe X∞ ∈ L1 telle que Xn −→ X∞
n→+∞

Emily Clement page 57 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Remarque 2.6.
Lorsque (Xn ) est une martingale, la condition sup E (Xn+ ) < ∞ est équiva-
n∈N
lente à sup E (|Xn |) < ∞ (la suite est bornée dans L1 ).
n∈N
D’où :

E (|Xn |) = E Xn+ + E Xn−

def
= 2E Xn+ − E (Xn ) = 2E Xn+ − c, où c = E (X0 )

Démonstration.
On utilise la décomposition de Kirckeberg :

Xn = Mn − Yn

avec (Mn ) martingale positive et (Yn ) sur-martingale p.s.

p.s. p.s.
Or Mn −→ M∞ et Yn −→ Y∞ .
n→+∞ n→+∞
et ∀n ∈ N : E (M∞ |Fn ) ≤ Mn et E (Y∞ |Fn ) ≤ Yn .
Donc E (M∞ ) ≤ E (Mn ) et E (Y∞ ) ≤ E (Yn ).
Donc M∞ , L∞ ∈ L∞ .
En conclusion :
p.s.
X∞ = M∞ − Y∞ ∈ L1 et Xn −→ X∞
n→+∞

avec M∞ et Y∞ finie p.s.

Remarque 2.7. On prend l’espace de
probabilité (Ω = [0, 1] , B ([0, 1]) , λ).

Soit Fn = σ 2kn , k+1 J0, 2n − 1K et Xn = 2n 1[0, 1n [ .

2n , k ∈
2
Alors {Xn } est une Fn −martingale, et on a :
p.s.
Xn −→ 0, E (Xn ) = 1 9 0 Xn 9 0 dans L1
n→+∞

Définition 2.11 (Suite de variables aléatoires uniformement intégrable).

Une suite de variable aléatoire intégrable {Xn }n∈N est uniformé-

ment intégrable si :

lim sup E |Xn | 1{|Xn |>R} = 0

R→+∞ n∈N

Emily Clement page 58 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Théorème 2.9 (martingales, uniformément intégrables ou régulières).

Supposons que (Xn )n est une (Fn ) −martingale.

Les affirmations suivantes sont équivalentes :
1. (Xn ) converge dans L1 .
2. (Xn ) est bornée dans L1 , et la limite p.s. ferme la martingale.

Xn = E (X∞ |Fn )

3. Il existe X ∈ L1 telle que :

Xn = E (X|Fn ) , ∀n ∈ N

4. (Xn ) est uniformément intégrable.

Proposition 2.6.

Une suite de variables aléatoires intégrables est uniformément inté-

grables si et seulement si :
1. sup E (|Xn |) < ∞ (bornée dans L1 .
n∈N
2. ∀ε > 0, ∃δ > 0, ∀A ∈ F, P (A) < δ ⇒ sup E (|Xn | 1A ) < ε
n∈N

Démonstration.
Sens ⇒ : Soit R > 0 suffisamment grand telle que :

sup E |Xn | 1|Xn |>R < 1

n∈N

E (|Xn |) = E |Xn | 1|Xn |≤R + E |Xn | 1|Xn |>R

≤ RP (|Xn | ≤ R) + 1
≤ R + 1 ∀n ∈ N

Soit ε > 0, soit R ≥ 0 suffisamment grand tel que

ε
sup E |Xn | 1|Xn |>R <
n∈N 2

Emily Clement page 59 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

ε
Si A ∈ F est tel que P (A) < δ = 2ROn a :

E (|Xn | |1A ) = E |Xn | 1A∩{|Xn |≤R} + E |Xn | 1A∩{|Xn |>R}

 \ 
≤ R · P A {|Xn | ≤ R} + E |Xn | 1A∩{|Xn |>R}

≤ R · P (A) + sup E |Xn | 1|Xn |>R

n∈N
ε ε
≤R + = ε ∀n ∈ N
2R 2
Donc sup E |Xn | 1|Xn |>R < ε


n∈N
Sens ⇐ : Notons M = sup E (|Xn |), alors :
n∈N

E |Xn | M
P (|Xn | > R) ≤ < , ∀n ∈ N
inégalité R R
de Markov

M
Soit ε > 0 et en choisissant P suffisant grand tel que R < δ, on utilise la
deuxième condition avec A = {|Xn | > R}

Théorème 2.10.

Soit (Xn ) une suite uniformément intégrable et :

p.s. L1
Xn −→ X alors Xn −→ X
n→+∞ n→+∞

Démonstration.

E (|X|) = E (lim |Xn |)

= E (lim inf |Xn |) ≤ lim inf E (Xn )
n→+∞
≤ lim inf E (Xn ) ≤ sup E (|Xn |) < ∞
n→+∞ n∈N

Soit ε > 0 alors :

E (|Xn − X|) = E |Xn − X| 1|Xn −X|≤ε + E |Xn − X| 1|Xn −X|>ε

≤ ε + E |Xn | 1|Xn −X|>ε + E |X| 1|Xn −X|>ε

Comme {Xn } est uniformément intégrable, et X ∈ L1 alors : {X, X0 , X1 , · · · }

reste uniformément intégrable.
La convergence p.s. implique la convergence en probabilité, donc ε > 0 étant
donné, ∃δ > 0 :
P (|Xn − X| > ε) < δ

Emily Clement page 60 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

lorsque n est suffisamment grand.

On utilise la deuxième condition avec A = {|Xn − X| > ε}.
Pour n suffisamment grand, les deux espérances dans la dernière inégalité
sont inférieures à ε Ainsi pour n suffisamment grand : E |Xn − X| ≤ 3ε

Démonstration du théorème des martingales uniformément intégrable. 1⇒2

1
: (Xn ) converge dans L donc lim E (Xn ) existe et donc {E (|Xn |)}
n→+∞
est bornée.
La suite est donc bornée dans L1 , par le théorème de Booc de conver-
gence, on a :
p.s.
Xn −→ X∞
n→+∞

L’espérance conditionnelle préserve la convergence en L1 : comme

L1
Xn → X∞
p.s. p.s.
alors Xn = E (Xj |Fn ) → E (X∞ |Fn ) Ainsi : Xn = E (X∞ |Fn ),
j→∞
X∞ ferme la martingale.
2 ⇒ 3 : On prend X = X∞ , on a Xn = E (X∞ |Fn ).
De plus X∞ ∈ L1 puisque
 
E (|X∞ |) = E lim inf |Xn |
n→+∞

≤ lim inf E (|Xn |)

n→+∞
≤ sup E (Xn ) < ∞
n∈N

3 ⇒ 4 : Montrons que {E (X|Fn ) , n ≥ 0} est uniformément intégrable.

Soit R > 0 et K > 0

E |E (X|Fn )| 1{|E(X|Fn )|>R} ≤ E (E (|X|) |Fn ) 1{E(|X|)>R}

= E |X| 1{E(|X||Fn )>R}

= E |X| 1{|X|≤K} 1{E(|X||Fn )>R} + E |X| 1{|X|>K} 1{E(|X||Fn )>R

≤ KP (E (|X| |Fn ) > R) + E |X| 1|X|>K

K
≤ E (E (|X| |Fn )) + E |X| 1|X|>K par l’inégalité de Markov


R
K
= E |X| + E |X| 1|X|>K


R
On a vu l’inégalité suivante :

K
E |E (X|Fn )| 1{|E(X|Fn )|>R} ≤ E (|X|) + E |X| 1|X|>K


R

Emily Clement page 61 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

La terme de droite ne dépendant pas de n on peut introduire le sup :

K
sup E |E (X|Fn )| 1{|E(X|Fn )|>R} ≤ E (|X|) + E |X| 1|X|>K


n∈N R
lim sup sup E |E (X|Fn )| 1{|E(X|Fn )|>R} ≤ E |X| 1|X|>K



R→+∞ n∈N
Or E |X| 1|X|>K −→ 0 car X ∈ L1 donc :


K→+∞
lim sup sup E |E (X|Fn )| 1{|E(X|Fn )|>R} −→ 0


R→+∞ n∈N K→+∞

4 ⇒ 1 : Comme (Xn )n∈N est uniformément intégrable.

Alors sup E (|Xn |) < ∞, donc par le théorème de convergence de Doob
n∈N
(cf théorème 2.1 ) on a :

Xn −→ p.s.
n→+∞ L1
⇒ Xn → X∞
{X } uniformément intégrable
n n

Remarque 2.8.
Si {Xn } est une martingale régulière. Alors quelque soit T un temps d’arrêt,
on a :
E (XT ) = E (X0 )

Démonstration du théorème d’arrêt. 1. Comme {Xn } est régulière, on

a:
Xn = E (X∞ |F∞ )
où X∞ = lim Xn p.s. ou dans L1 .
n→+∞
Pour T un temps d’arrêt :

E (X∞ |Fn ) 1{T =n}

X
E (X∞ |FT ) =
n∈N̄

Xn 1{T =n} = XT
X
=
n∈N

Comme X∞ ∈ L1 :

E (|XT |) = E (|E (X∞ |FT )|)

≤ E (E (|X∞ | |FT ))
= E (|X∞ |) < ∞

Donc XT ∈ L1 .

Emily Clement page 62 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

2. Si S ≤ T alors :

E (XT |FS ) = E (E (X∞ |FT ) |FS )

= E (X∞ |FS ) = XS

Définition 2.12.

On dit qu’un temps d’arrêt T est régulier pour une martingale

{(Xn , Fn ) , n ∈ N} si :

{(XT ∧n , Fn ) , n ∈ N} est regulière (uniformément intégrable)

Proposition 2.7.

T est un temps d’arrêt régulier pour une martingale (Xn ) si et seule-

ment si les trois conditions suivantes sont vérifiées :
1. lim XT ∧n existe p.s.
n→+∞
2. XT ∈ L1
3. XT ∧n = E (XT |Fn ) , ∀n ∈ N

Démonstration : idée de la preuve dans un sens (en exercice pour l’autre sens).
Si T est un temps d’arrêt régulier, {Yn = XT ∧n } est uniformément intégrable.
Par le théorème de convergence des martingales uniformément intégrables :
p.s.
1. Yn −→ Y∞
n→+∞
2. Y∞ ∈ L1 (car la convergence a bien lieu dans L1 )
3. E (Y∞ |Fn ) = Yn

Remarque 2.9.

1. Si T ≤ N (borné) p.s. alors T est régulier pour tout martingale :

{XT ∧n , n ∈ N}

On a |XT ∧n | ≤ sup |XT ∧n | ≤ sup |Xn | ∈ L1

n∈N n∈N
2. Si {Xn } est une martingale régulière tout temps d’arrêt est régulier.

Emily Clement page 63 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Proposition 2.8.

Si T est un temps d’arrêt régulier, et U ≤ V ≤ T avec U, V deux

temps d’arrêt.
alors XU , XV ∈ L1 et E (XV |FU ) XU

Démonstration.
{Yn = XT ∧n } est une martingale régulière et on lui applique le théorème
d’arrêt des martingale uniformément intègrables :
Pour les temps d’arrêt U et V :

YU = E (YU |FU ) et XT ∧U = E (XT ∧U |FU )

Corollaire 2.2.

Si S ≤ T deux temps d’arrêt et T est régulier pour {Xn } est une

martingale alors :

S est régulier pour {Xn }

Exercice : le montrer, avec l’indication

{XS∧n n ∈ N} est uniformement intégrable.

Proposition 2.9 (de caractérisation des temps d’arrêts réguliers).

T est un temps d’arrêt régulier si et seulement si :

1. E |XT | 1{T <∞} < ∞

2. Xn 1{T >n} est uniformément intégrable.



Remarque 2.10.
Pour satisfaire la première condition, il suffit de supposer que (Xn ) est une
martingale bornée dans L1 ( donc qui convergence p.s.)
Montrons que XT ∈ L1 , car ainsi on aura XT 1{T <∞} ∈ L1 .

Démonstration.

Emily Clement page 64 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

 
E (|XT |) = E lim |XT ∧n |
n→+∞
 
= E lim inf |XT ∧n |
n→+∞

≤ lim inf E (|XT ∧n |) par Fatou

n→+∞
≤ lim inf E (E (|Xn | |FT ∧n ))
n→+∞
= lim inf E (|Xn |)
n→+∞
≤ sup E (|Xn |) < ∞ On peut vérifier que XT ∧n = E (Xn |FT ∧n )
n∈N
Par le lemme ?? :
E (|XT |) ≤ lim inf E (|XT ∧n |)
n→+∞
= lim inf E (|E (Xn |FT ∧n )|)
n→+∞

Supposons que les deux conditions 1) et 2) soient satisfaite, et montrons que

{XT ∧n , n ∈ N} est uniformément intégrable.
Soit R > 0 :

E |XT ∧n | 1{|XT ∧n |>R} = E (|XT ∧n | 1T ≤n 1··· ) + E (|XT ∧n | 1T >n 1··· )

= E |XT | 1{|XT |>R} 1T ≤n + E |Xn | 1{|Xn |>R} 1T >n

| {z } | {z }
(1) (2)

(1) ≤ E |XT | 1{|Xt |>R} 1{T <∞}

 
= E |XT | 1{T <∞} 1{|XT |1{T <∞} >R}

(1) −→ 0 car d’après la première condition : |XT | 1{T <∞} ∈ L1

R→+∞
 
(2) = E |Xn | 1{T >n} 1{|Xn |1{T >n} >R} −→ 0
R→+∞
Réciproque :
Supposons T un temps d’arrêt régulier et

E |XT | 1{T <∞} = lim ↑ E |XT | 1{T ≤n}

n→+∞
= lim ↑ E |XT ∧n | 1{T ≤n}


n→+∞
≤ sup E (|XT ∧n |) < ∞
n∈N

Car {XT ∧n }n∈N est uniformément intégrable.

Montrons 2) : On a ∀n ∈ N :
Xn 1{T >n}  ≤ |XT ∧n |
 

Emily Clement page 65 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Comme {|XT ∧n |} est uniformément intégrable la suite Xn 1{T >n} est aussi

uniformément intégrable.

Corollaire 2.3.

Soit (XN ) martingale bornée dans L1 :

1. ∀a > 0 : Ta = inf {n ≥ 0, |Xn | ≥ a} est régulier.

VIII Convergence dans Lp , p ≥ 1

Théorème 2.11 (Inégalité maximales de Doob).

Soit {Xn } une sous-martingale.

Alors pour tout l > 0 et tout N ∈ N on a :
 
!
1 
P sup Xn ≥ l ≤ E XN 1( )
l

0≤n≤N sup Xn ≥l
0≤n≤N

1 +


≤ E XN
l
1
≤ E (|XN |)
l  
 
1
P inf Xn ≥ −l ≤ E (X0 ) + E XN 1  
0≤n≤N l inf Xn ≤−l
0≤n≤N

(E (|X0 |) + E (|XN |))

≤
l

Démonstration. (
def inf {n ≤ N, Xn ≥ l}
On note T =
N si {n ≤ N, Xn ≥ l} = ∅
T est un temps d’arrêt borné par N (le montrer en exercice)
D’après le premier théorème d’arrêt, {XT ∧n } est une sous-martingale et

Emily Clement page 66 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

comme T est bornée :

   

E (XN ) ≥ E (XT ) = E XT 1(  + E XT 1(

 )  )

sup sup Xn <l
0≤n≤N 0≤n≤N
!  
≥ lP sup Xn ≥ l + E XN 1 sup
0≤n≤N 0≤n≤N
 
!
lP sup Xn ≥ l ≤ E (XN ) − E XN 1(
 )

0≤n≤N sup Xn <l
0≤n≤N
 

= E XN 1(
 )

sup Xn ≥l
0≤n≤N
+


≤E XN ≤ E (XN )

Corollaire 2.4.

Si (XN ) est une martingale, pour tout l > 0, et tout N ∈ N, on a :

!
1
P sup |Xn | ≥ l ≤ E (|XN |)
0≤n≤N l

Si de plus, E (|Xn |p ) < ∞, (p > 1) alors :

!
1
P sup |Xn | ≥ l ≤ p E (|XN |p ) (2.1)
0≤n≤N l
!  p−l
p p
et E sup |Xn | ≤ E (|XN |p ) (2.2)
0≤n≤N p − 1

Démonstration.
Les deux premières inégalités s’obtiennent de l’inégalité maximale appliquée
aux sous-martingale |Xn | et |Xn |p .

Emily Clement page 67 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

∗ = sup |X |.
Montrons la dernière inégalité : Notons XN n
0≤n≤N
 
lP (XN ∗
≥ l) ≤ E |XN | 1{X ∗ ≥l}
N
 ∗ 
X
ZN
∗
E [(XN )] = E  p · lp−1 dl
 

0
∞ 
Z
= E  1{X ∗ ≥l} p · lp−1 dl par Fubini
N
0
Z∞
∗
=p l · P (XN ≥ l) lp−2 dl
0
Z∞  
≤ p E |XN | 1{X ∗ ≥l} lp−2 dl
N
0
∗
  
ZXN
 ∗ 
= pE  lp−2 dl |XN |


0
p 
∗ p−1

= E |XN | (XN ) Par Hölder :
p−1
p 1

∗ (p−1)q
1/q
≤ E (|XN |p ) p E (XN )
p−1
1 1 1 1 p−1
+ = 1 et = 1 − =
p q q p p
p p p1 1
∗ p 1− p
≤ E (|XN | ) E [(XN ) ]
p−1
h i1 p 1
∗ P p
E (XN ) ≤ E (|XN |p ) p
p−1

Emily Clement page 68 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Théorème 2.12 (de convergence dans Lp des martingales).

Soit {Xn } une martingale et on suppose qu’il existe p > 1 tel que
{Xn } est bornée dans Lp .
ie. sup E (|Xn |p ) < ∞
n∈N
Alors (Xn ) converge p.s. et dans Lp vers X∞ ∈ Lp et :

E (|X∞ |p ) = sup E (|Xn |p ) et :

n∈N
 p
∗ p p
E [(X∞ ) ] ≤ E (|X∞ |p )
p−1
∗ = sup |X |
où X∞ n
n∈N

Démonstration. Comme (Xn ) est bornée dans Lp pour un certain p > 1

alors (Xn ) est bornée dans L1 .
p.s.
Donc Xn −→ X∞ ∈ L1 pour n → +∞.
L1
De plus, d’après l’inégalité de Doob maximale :
 p
∗ p p
E [(XN ) ] ≤ E (|XN |p )
p−1
 p
p
≤ sup E (|XN |p ) < ∞
p − 1 n∈N
Pour N → +∞ on a : XN∗ ↑ X ∗ (Convergence monotone) Donc comme
∞
 p
∗ p p
E [(X∞ ) ]≤ sup E (|Xn |p ) < ∞
p − 1 n∈N
∗ ∈ Lp .
Alors sup |Xn | = X∞
n≥0
Or |Xn | ≤ X∞∗ donc |X | ≤ X ∗ donc X p
∞ ∞ ∞ ∈L .
∗
D’autre part : |Xn − X∞ | ≤ 2 sup |Xn | = 2X∞ ∈ Lp
n∈N
Donc |Xn − X∞ |p ≤ (2X∞
∗ )p ∈ L1

Par la convergence dominée :

Lp
E |Xn − X∞ |p −→ 0 ⇔ Xn −→ X∞
n→+∞ n→+∞
p
Vérifions l’inégalité : On sait que (|Xn | ) est une sous-martingale, donc
{E (|Xn |o )} est croissante et sa limite, quand n → +∞, est sup E (|Xn |p )
n∈N
d’une part.
De plus, comme E |Xn |p − E |X∞ |p −→ 0 la même suite tend vers E |X∞ |p .
n→+∞
On passe à la limite quand N ↑ +∞ dans l’inégalité 2.2 du corollaire 2.4, on
trouve l’inégalité de l’énoncé.

Emily Clement page 69 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

IX Martingale de carré intégrable

Ici on prendra p = 2.
Soit (Mn ) une (Fn ) −martingale de carré intégrable.

Mn ∈ L2 , ∀n ∈ N

Si m ≤ n : E (Mn |Fm ) = Mn et si Y ∈ Fm avec Y ∈ L2 :

E [(Mn − Mm ) Y ] = 0 ⇒ Mn − Mm ⊥ Y ( Orthogonaux dans L2 )

L2

Plus précisément Mn − Mm ⊥ L2 (Fm ).

En particulier si k ≤ l ≤ m ≤ n :

Mn − Mm ⊥ M l − M k
L2

On écrit :
n
X
Mn = M 0 + (Mk − Mk−1 )
k=1

Les termes de la somme sont orthogonaux dans L2 :

n h i
 X
E Mn2 = E M02 + E (Mk − Mk−1 )2
  

k=1

Corollaire 2.5.

Si (Mn ) est une martingalehde carré intégrable

i (Mn ) est bornée dans
2
L2 si et seulement si
P
E (Mk − Mk−1 ) < ∞
k≥1 | {z }
=Var(Mk −Mk−1 )
p.s.
Et dans ce cas Mn −→ M∞ quand n → +∞
L2

La preuve consiste en les explication au-dessus et le téléscopage.

On continue de supposer que (Mn )n est une martingale de carré intégrable
et supposons que
M0 = 0.
On sait que Mn2 est une sous-martingale : Écrivons sa décomposition de
Doob :
Mn2 = Nm + Am

Emily Clement page 70 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Avec (An ) processus croissant : La compensateur de M : hM i = A et (Nn )

une martingale.
On sait que A0 = 0 = hM i0 donc N0 = 0.

E Mn2 = E (Nn ) + E (An ) Comme Nn est une martingale E (Nn ) = E (N0 )

= E (N0 ) + E (An )
q
0

Aussi : E Mn2 = E (hM in ) ∀n ∈ N et donc dire que :

(Mn )n est bornée dans L2 ⇔ sup E (hM in ) < ∞

n∈N

Proposition 2.10.

Soit (Mn ) une martingale de carré intégrable avec M0 = 0 alors :

 
2
E sup |Mn | ≤ 4E (A∞ ) = 4E (hM i∞ )
n≥0

De plus, lim Mn existe et est finie p.s. sur {hM i∞ }.

n→+∞

Démonstration.
Pour le première partie de l’énoncé, on applique l’inégalité maximale de
Doob-Kolmogorov :
!
sup |Mn |2 ≤ 4E Mn2 = 4E (AN )


E
0≤n≤N

D’après le théorème de convergence monotone, on observe donc le résultat.

Pour la deuxième partie : Soit a ∈ N∗ , comme An+1 ∈ Fn alors :

τa = inf n ≥ 0, An+1 > a2 est un temps d’arrêt



On utilise l’inégalité précédente pour (Mτa ∧n ) et comme Aτa ∧n ≤ a2 On

trouve :  
2
E sup |Mτa ∧n | ≤ 4a2
n≥0

(Mτa ∧n ) est bornée dans L2 , donc il existe lim Mτa ∧n finie p.s.
n→+∞
S
On déduit l’affirmation car {A∞ < ∞} = {τa = +∞}
a∈N∗
τa (ω) = +∞ : Mτa ∧n (ω) = Mn (ω) qui converge quand n → +∞.

Emily Clement page 71 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

n
P
Sn = Zi où les variables aléatoires Zi sont indépendantes et identique-
i=1
ment distribuées.
Sn2 − N : hSin = n

Proposition 2.11 (une loi des grands nombres pour des martingales de carré intégrables).

Soit f ≥ 1 une fonction croissante définie sur ]0, +∞[ telle que
R∞ dt
f (t)2
<∞
0
Soit (Mn ) une martingale de carré intégrable M0 = 0.
Mn p.s.
Alors f hM −→ 0 sur {hM i∞ = ∞}.
( in ) n→+∞
Mn p.s.
En particulier hM i −→ 0 sur {hM i∞ = ∞}.
n n→+∞

Remarque 2.11.
 1+γ
1 !
Mn (lnhM in ) 2
Plus précisément : ∀γ > 0, hM in =o hM in

1
f (t) = t ln1+γ (t) 2 ∨ 1
def 1
Démonstration de la loi des grands nombres. Notons Hn = f (An ) processus
borné et prévisible. Alors :
n
X Mk − Mk−1
Yn = (H · M )n =
f (Ak )
k=1

(γn2 = une martingale + Bn ) est une martingale.

Soit (Bn ) le compensateur de (Yn ) :
h i
Bn+1 − Bn = E (Yn+1 − Yn )2 |Fn
 
(Mn+1 − Mn )
=E |Fn
f (An+1 )
1 h i
= E (Mn+1 − Mn )2 |Fn
f (An+1 )
An+1 − An
= p.s.
f (An+1 )2
P An+1 −An P R dt
Mais 2 ≤ < ∞ p.s.
f (An+1 ) f (t)2
n≥0 n≥0 [An ,An+1 [
P
Donc (Bn+1 − Bn ) < ∞ donc B∞ < ∞ p.s.
n≥0

Emily Clement page 72 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

∞
P Mk −Mk−1
Par la proposition précédente Yn −→ Y∞ p.s. donc f (Ak ) < ∞ p.s.
k=1
Il faut énoncé un lemme :
Lemme 2.3 (De Kronecker-admis).
P xn
Soit an > 0, tel que an ↑ +∞ et on suppose que an < ∞, (xn )
n≥1
une suite de réels.
n
Alors a1n
P
xk lim 0
k=1 n→+∞

Terminons la preuve de la loi des grands nombres

D’après le lemme de Kronecker :
n
1 X p.s.
(Mk − Mk−1 ) −→ 0
f (An ) n→+∞
k=1

ou encore
Mn p.s.
−→ 0 sur {hM i∞ = ∞}
f (An ) n→+∞

Mn p.s.
f (t) = 1 + t : −→
1+hM in n→+∞ 0 sur {hM i∞ = ∞}

Mn Mn 1 + hM in
= ·
hM in 1 + hM in hM in
↓n→+∞ ↓n→+∞
0 1

P xk
Démonstration du lemme de Kronecker. Soit rn = lim 0
ak n→+∞
k≥n+1
∀ε > 0 ∃n0 > 0 tel que |rn | < ε ∀n ≥ n0 : On a
xn
= rn−1 − rn ⇒ xn = an (rn−1 − rn )
an

Emily Clement page 73 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Donc :
n
X n
X
xk = ak (rk−1 − rk )
i=1 k=1
n−1
X
= (aj+1 − aj ) rj + a1 r0 − an rn
j=1

Pour n ≥ n0 :
 n
 n −1 n−1
0
1 X  X aj+1 − aj X aj+1 − aj a1 |r0 |
xk  ≤ |rj | + |rj | + + |rn |
 
 an |an | an an


k=1 j=0 j=0
cste ε (an − an0 )
≤ + +ε
an an
cste
≤ 2ε +
an
Et comme an ↑ +∞ on déduit que pour n assez grand :
 
1 X 
xk  < 3ε
 
 an


k

Proposition 2.12 (autre version de la loi de grands nombre pour des M. à carré intégrable).

Soit (Mn ) une martingale de carré intégrable tel que :

X 1  2

E (M n − M n−1 ) <∞
n2
n≥1

Mn p.s.
Alors n −→ 0 quand n → +∞
L2

Démonstration.
Soit
n
X 1
Xn = (Mk − Mk−1 )
k
k=1
1
= (H · M )m avec Hn =
n
Comme (Mn ) martingale, alors (Xn ) martingale, par le premier corollaire
sur les Martingales de carré intégrable, (Xn ) est un martingale bornée dans

Emily Clement page 74 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

L2 .
p.s.
alors Xn −→ X∞ quand n → +∞
P 1 L2
k (Mk − Mk−1 ) < ∞ p.s. donc par le lemme de Kronecker :
k≥1

n
1X p.s.
(Mk − Mk−1 ) −→ 0
n n→+∞
k=1

1 p.s.
Mn −→ 0
n n→+∞

La convergence L2 s’obtient encore une forme par la lemme Kronecker.

Corollaire 2.6 (Loi forte des grands nombre pour des variables aléatoire i.i.d L1 ).

Soit (Zn )n≥1 une suite de variable indépendante identiquement dis-

tribuée intégrables.
n p.s.
alors n1
P
Zj −→ E (Z1 )
j=1 n→+∞

Démonstration.
Sans perte de généralité on peut supposer E (Z1 ) = 0.
n   
Zj 1|Zj |≤j − E Zj 1|Zj |≤j
P
On considère Mn =
j=1
 
1
(Mj − Mj−1 )2 <
P
Alors (Mn ) est une martingale de carré intégrable et j2
E
j≥1
∞
Par ailleurs, E Z1 1|Z1 |≤n −→ E (Z1 ) = 0


n→+∞
Mn p.s.
D’après la proposition précédente −→
n n→+∞ 0
n
Zj 1{|Zj |≤j} −→ 0
p.s.
D’où n1
P
j=1 n→+∞
P
On peut voir que : {|Zn | ≥ n} sont des événements indépendant et P (|Zn | > n) <
n≥1
∞.  
Par le lemme de Borel-Cantelli : P lim sup {|Zn | > n} = 0
n
p.s. il existe N (ω) tel que ∀j ≥ N (ω) : |Zj (ω)| ≤ j alors :
n n
1X 1X
lim (p.s.) Zj = lim (p.s.) Zj 1{|Zj |≤j} = 0
n→+∞ n n→+∞ n
j=1 j=1

Emily Clement page 75 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Théorème 2.13 (Théorème central limite).

Soit (Mn ) une martingale de carré intégrale, M0 = 0 et telle que

hM in −→ +∞
n→+∞

def
On note sn = E (hM in ) = E Mn2

Alors
M Loi
p n −→ N (0, 1)
hM in n→+∞

hM in p.s.
lorsque −→
sn n→+∞ 1 et la condition de Lindelberg est alors satis-
faite :
n
1 X h i
E (Mj − Mj−1 )2 1{|Mj −Mj−1 |>εsn } |Fj−1 −→ 0
Proba
∀ε > 0
sn
j=1

X Marche aléatoire : Complément.

Soit {Zn }n≥1 une suite de variable aléatoire indépendantes identiquement
distribuée, qui ne sont pas des constantes.
n
P
On pose : S0 = 0 et Sn = Zi n ≥!.
i=1
F0 = {∅, Ω} et Fn = σ (Z1 , · · · , Zn ) = σ (S0 , · · · , Sn ).
On introduit la fonction log −Laplace :

R → R̄
l:
, u ∈ R,
u 7→ ln E euZ1

Emily Clement page 76 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Propriétés 2.11.

1. l est convexe : ∀λ ∈ [0, 1] :

 
l (λu1 + (1 − λ) u2 ) = ln E eλu1 Z1 e(1−λ)u2 Z1

λ 
1−λ  1 1
≤ | ln E eu1 Z1 E eu2 Z1

car p = , q =
(Hölder) λ 1 − λ
= λl (u1 ) + (1 − λ) l (u2 )

2. L’ensemble {u| l (u) < ∞} est un intervalle contenant 0 : Si

u1 , u2 ∈ {l (u) < ∞}.
Alors λu1 + (1 − λ) u2 ∈ {u| l (u) < ∞} donc [u1 , u2 ] ⊂
{u| l (u) < ∞}.
Par exemple si Z1 ∼ Cauchy. Alors {u| l (u) < ∞} = {0}
3. {u| l (u) < ∞} = 6 ∅ (Sauf si réduit à un point).
Sur cet exemple, l est analytique est donc C ∞ .
l (0) = E (Z1 ) et l00 (0) = Var (Z1 ).
4. Sur {u| l (u) < ∞} l est strictement convexe et l0 est stricte-
ment croissante.

Un exemple de martingale important

Pour u ∈ {u| l (u) < ∞} on définit :

def euSn
Mn (u) = exp (uSn − nl (u)) =
E (euZ1 )n

Mn (u) > 0, E (Mn (u)) = 1 donc Mn (u) ∈ L1 .

Mn (u) ∈ σ (Sn ) ⊂ Fn
 
E (Mn+1 (u) |Fn ) = E exSn+1 −(n+1)l(u) |Fn
 
= E eu(Sn +Zn+1 ) e−xl(u) e−l(u) |Fn
 
= Mn (u) E euZn+1 −l(u) |Fn
 
⊥
⊥
= Mn (u) E euZn+1 −l(u) = Mn (u)

(Mn (x)) martingale positive, donc

p.s.
Mn (u) −→ M∞ (u) .
n→+∞

Emily Clement page 77 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Montrons que Mn (u) convergence p.s. vers 0

Comme 0
∈/ {u| l (u) < ∞} donc u2 ∈ {u| l (u) < ∞}.
u 1 1 1
Donc l

2 < 2 l (u) + 2 l (u) = 2 l (u) (Stricte convexité).
Mn u2 n≥0 martingale positive, bornée dans L1 .


p.s.
2 p.s.
Alors Mn u2 −→ Z et Mn u2 −→ Z 2 .
n→+∞ n→+∞
Donc :
u  u  p.s.
  u  p.s.
exp Sn − nl −→ Z exp uSn − 2nl −→ Z 2
2 2 n→+∞ 2 n→+∞

Donc :

Mn (u) = exp (uSn − nl (u))

 u      
 u l (u)
= exp uSn − 2nl exp n l − −→ 0
2 2 2 n→+∞

p.s.
Ainsi : Mn (u) −→ 0.
n→+∞
(Mn (u)) n’est pas uniformément intégrable, ou encore n’est pas régulière.

D’autres martingales
L’analytique sur {u| l (u) < ∞} : alors u 7→ eus−nl(u) est aussi ana-
lytique.
∞
X uk
eus−nl(u) = hk (u, s)
k!
k=0
On a :

h0 (u, s) = 1
∂  us−nl(u) 
h1 (u, s) = e
h∂u

u=0

i
= eus−nl(u) s − nl0 (u) 
u=0
0
= s − nl (9) = s − nE (Z1 )
h2 (u, s) = (s − nE (Z1 ))2 − n Var (Z1 )
..
.

Chaque coefficient donne une martingale en remplaçant s par Sn .

k = 1 : Wn = Sn − nE (Z1 ) (Martingale)
Pn
Wn = (Zj − E (Zj ))
j=1 | {z }
dj

k = 2 : Vn = (Sn − E (Sn ))2 − n Var (Z1 ) martingale.

Emily Clement page 78 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

Idée de preuve m ≤ n :

E (Mn (u) |Fn ) = Mm (u)

E (exp (uSn − nl (u)) |Fm ) = exp (uSm − ml (u))
 
X uk X uk
E hk (u, Sn ) |Fm  = hk (u, Sm )
k! k!
k≥0 k≥0

On dérive à gauche par rapport à u et un pose u = 0.

Dérivation sous E (·|Fn ) : Convergence dominée pour :

E (hk (u, Sn ) |Fm ) = hk (u, Sm )

a, b ∈ R+
∗ : S0 = 0.

Ta,b = inf {n ≥ 0| Sn ∈
/ ]−b, a[}

est un temps d’arrêt.

{T = n} = {S1 ∈ ]−b, a[ , · · · , Sn−1 ∈ ]−b, a[ , Sn ∈

/ ]−b, a[}
\ \ \
= S1−1 (]−b, a[) · · · Sn−1 −1
(]−b, a[) Sn−1 (]−b, a[)c

On a vu que (Mn (u))n n’est pas une martingale régulière, on peut

voir que (Wn ) et (Vn ) ne sont pas régulières.

Proposition 2.13.

Soit T un temps d’arrêt tel que E (T ) < ∞. Alors :

1. T est régulier pour (Wn = sn − nE (Z1 )) si E (|Z1 |) < ∞
 
2. T est régulier pour Vn = (Sn − nE (Z1 ))2 − n Var (Z1 ) si
E Z12 < ∞

Corollaire 2.7 (Identité de Wald).

Si hT ∈ L1 alors : E (S
i T ) = E (T ) E (Z1 )
2
E (ST − T E (Z1 )) = E (T ) Var (Z1 )

Exemple des temps d’arrêt intégrables

1. Si E (Z1 ) > 0 alors pour a > 0 :

Ta+ = inf {n ≥ 0| Sn ≥ a} ∈ L1

Emily Clement page 79 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

2. Si E (Z1 ) < 0 alors pour b > 0 :

Tb− = inf {n ≥ 0| Sn ≤ −b} ∈ L1

3. Si E (Z1 ) 6= 0 et Z1 ∈ L1 alors si a, b > 0, on a Ta,b ∈ L1 .

Retour à l’exercice 13 de la feuille 2 : Ruine du joueur.

 
−1 1
Z1 = (ie. P (Z1 = −1) = q et P (Z1 = 1) = p. (Zn )n≥0 une
q p
suite de variables aléatoires indépendantes et identiquement distri-
buées.
Soient a, b ∈ N∗ .
Supposons que p 6= q, comme p + q = 1 p > q ⇔ 2p − 1 > 0.
Ta,b = inf {n ≥ 0 Sn ∈ / ]a, b[}
Ta,b < ∞ p.s. on sait que E (Ta,b ) < ∞
On veut montrer que Ta,b < +∞ autrement :
\
{Ta,b = +∞} = {−b < Sn < a}
n≥1
( )
\ Sn − nE (Z1 )
= αn < p < βn
n≥1
n Var (Z1 )
−b−nm
où αn = √
σ x
et βn = a−nm
√
σ z
et x = E (Z1 ) et σ 2 = Var (Z1 )
fn −nE(Z1 )
√ convergence en loi vers G ∼ N (0, 1).
n Var(Z1 )
 
fn −nE(Z1 )
i.e pour tout α, βP α < √ < β −→ P (α < G < β)
n Var(Z1 )
On a plusieurs cas :  
Si m = 0 alors αn , βn −→ 0 donc P αn < Snσ−nm
√
n
< β −→ 0.
n→+∞  n→+∞

Si m > 0 alors αn , βn −→ −∞ donc P αn < Snσ−nm√
n
< β −→ 0
n→+∞   n→+∞
Sn −nm
Si m < 0 αn , βn −→ +∞ donc P αn < σ√n < β −→ 0
n→+∞ n→+∞
αn , βn dépendent que n : même argument d’uniformité sur Fn (t) On
a donc que Ta,b < ∞ p.s. sans utiliser les deux résultats précédents.
Vérifions
qu’il est intégrable de la même manière :
Wn∧Ta,b est

une martingale car (Wn ) en est une.
E Wn∧Ta,b = E (W0 ) = 0 et le temps d’arrêt n ∧ Ta,b est borné par
n.

E Sn∧Ta,b = (2p − 1) E (n ∧ Ta,b )
  p.s.
On a donc Sn∧Ta,b  ≤ a ∨ b donc Sn∧Ta,b −→ STa,b
n→+∞
On passe à la limite dans l’égalité :


E STa,b = (2p − 1) E (Ta,b )

Emily Clement page 80 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

par convergence monotone.

 
E ST a,b
Donc E (Ta,b ) = 2p−1 < ∞ Par où on sort ? Temps moyen ?
 Sn  −n
Mn = p2 . à n fixé : 0 < |Mn | < pq
Donc Mn ∈ L1 Mn ∈ σ (Sn ) ⊂ Fn .
"  #
2 Sn+1
E [Mn+1 |Fn ] = E |Fn
p
"  #
q Sn +Zn+1
=E |Fn
p
 Zn+1 #
q
= Mn E |Fn
p
 Zn+1 !
⊥
⊥ q
= Mn E
p
"  −1 #
q q
= Mn ·p+ q = Mn
p p

 
MnveeTa,b est bornée donc E Mn∧Ta,b = 1
Par convergence dominée :
 
E MTa,b = E [M0 ] = 1
"  #
q Ta,b
1=E
p
 a  −b
q
q

= P STa,b = a + P STa,b = −b
p | {z } p
def
= pa

Donc :
 a  b
q p
1 = pa + (1 − pa )
p q
 b "   b #
a
p q p
1− = p1 −
q p q
 b
1 − pq
p a =  a  b
q
p − pq
 
E STa,b = apa − b (1 − pa ) = (a + b) pa − b


E STa,b
E (Ta,b ) =
2p − 1

Emily Clement page 81 Tous droits réservés

CHAPITRE 2. MARTINGALES (À TEMPS DISCRET)

p = q − 12 donc E (Z
1 ) = 0 et Var (Z1 ) = 1.

Donc Vn = Sn2 − n martingale, donc Vn∧Ta,b martingale.

E Vn∧Ta,b = E (V0 ) = 0
 
2
E Sn∧Ta,b
= E (n ∧ Ta,b )

2
Donc Sn∧T ≤ ab ∧ b2 . Donc
a,b

2
Sn∧Ta,b
−→ ST2a,b
n→+∞

Une fois de plus, d’après la convergence dominée :

   
2 2
E Sn∧T a,b
−→ E STa,b
n→+∞

Or Ta,b < ∞ p.s. d’après le théorème centrale limite : donc

 
E (Ta,b ) = E ST2a,b .

Comment trouver pa
?

(Wn = Sn ) : E STa,b = 0 ⇒ pa a + + (1 − pa ) (−b) = 0

b
pa =
a+b
Donc
  b a
E (Ta,b ) = E ST2a,b = a2 pa +(−b)2 (1 − pa ) = a2 +b2 = ab
a+b a+b

Emily Clement page 82 Tous droits réservés

Chapitre 3

Chaînes de Markov.

On prendra dans ce chapitre (Xn )n∈N processus - suite de variables aléa-

toire - à valeur dans un espace d’états E(= N ou Z ou un ensemble fini).
Comment voir l’évolution d’un processus ? Se donner un état initial. et une
manière de connaître les transition entre deux états (avec quelle probabilité
passe-t-on de l’état j si on était en i ?).

I Construction et première propriétés d’une chaîne

de Markov
Rappel pour les TPs : Comment simuler une variable aléatoire X à
valeur dans N de loi donnée :
X
P (X = k) = ak ≥ 0, k ∈ N et avec ak = 1
k≥0

Soit U ∼ U[0,1] pour obtenir une valeur de X on observe U .

# #
k−1
P k
P
Si U tombe dans l’intervalle νj , νj on attribue à X la valeur k.
j=0 j=0
−1
P
Convention : νj = 0.
P j=0
Si Y = k 1#k−1
P k
P
# (U ), alors Y ∼ U
k≥0 νj , νj
j=0 j=0
Nous allons construire une suite de variables aléatoires (processus) à valeur
dans N (espace d’états).
P On se donne une distribution initiale (probabilité)
(νk )k avec νk ≥ 0 et νk = 1 et on se donne une matrice de transition :
k≥0

83
CHAPITRE 3. CHAÎNES DE MARKOV.

Les probabilités de passer d’un état i dans un état j : P = (pi,j )i,j≥0

 
p00 p01 · · ·
p10 p11 · · · 
P = p20 p21 · · ·
 

 
.. ..
. .

+∞
P
Avec : pij ≥ 0, pij = 1 ∀i ∈ N
j=0
Nous allons construire une chaîne de Markov.
Soit (Un )n une suite de variables aléatoires indépendantes, identique-
ment distribuées de loi U[0,1] .
On pose :
k 1#k−1
def
X
X0 = P Pk
#

k≥0 νj , νj
j=0 j=0

une variable aléatoire de loi (νk ) à valeur dans N.

La suite est définie de façon récursive :
Soit f : E × [0, 1] → R mesurable.
∞
k 1#k−1
P
f )i, u) = P k
P
#
k=0 pij , pij
j=0 j=0
Xn+1 = f (Xn , Un+1 ) pour tout n ≥ 0.
Remarquons que si Xn = i, alors Xn+1 = k avec probabilité pik .
Remarquons aussi que X0 est fonction de U0 , X1 est fonction de X0 et U1
donc fonction de U0 et U1 etc. Xn+1 est fonction de U0 , · · · , Un+1

Propriétés issues de cette construction

1. P (X0 = k) = νk k ≥ 0 (Loi initiale)

∀n ≥ 0 P (Xn+1 = j|Xn = i) = pij (Loi de transition)
En effet :

P (f (Xn , Un+1 ) = j|Xn = i) = P (f (i, Un+1 ) = j|Xn = i)

Xn ⊥
⊥Un+1
= P (f (i, Un+1 ) = j) = pij

2. On peut conditionner avec tout le passé sans modifier la probabilité

conditionnelle :

P (Xn+1 = j|X0 = i0 , · · · , Xn−1 = in−1 , Xn = i) = pij (Propriété de Markov)

où i0 , i1 , · · · , in−1 , i, j ∈ E

Emily Clement page 84 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Supposons P (X0 = i0 , · · · , Xn−1 = in−1 , Xn = i) > 0 On a :

P (f (Xn , Un+1 ) = j|X0 = i0 , · · · , Xn−1 = in−1 , Xn = i)

= P (f (i, Un+1 ) = j|X0 = i0 , · · · , Xn−1 = in−1 , Xn = i) comme Un+1 ⊥
⊥ X0 · · · , Xn
= P (f (i, Un+1 ) = j)
= pij

3.

P (Xn+1 = k1 , · · · , Xn+m = km |X0 = i0 , · · · , Xn−1 = in−1 , Xn = i)

= P (Xn+1 = k1 , · · · , Xn+m = km |Xn = i)
= P (Xn+1 = k1 , · · · , Xn+m = km |X0 = i)

En effet :

P (Xn+1 = k1 , · · · , Xn+m = km |X0 = i0 , · · · , Xn−1 = in−1 , Xn = i)

= P (f (Xn , Un+1 ) = k1 , f (f (Xn , Un+1 ) Un+2 ) = k2 , · · · |X0 = i0 , · · · , Xn−1 = in−1 , Xn = i)
 

= P f (i, Un+1 ) = k1 , f (f (i, Un+1 ) , Un+2 ) = k2 , · · · |X0 = i0 , · · · , Xn−1 = in−1 , Xn = in 

 
| {z }
⊥X0 ,··· ,Xn−1 ,Xn
dépendant de Un+1 ,Un+2 ,···⊥

= P (f (i, Un+1 ) = k1 , f (f (i, Un+1 ) Un+2 ) = k2 , · · · )

= P (f (i, U1 ) = k1 , f (f (i, U1 ) U2 ) = k2 , · · · )

Définition 3.1 (Chaîne de Markov).

Tout processus satisfaisant les trois propriétés suivantes est une

chaîne de Markov avec distribution initiale (ak ), et de matrice de
transition P = (pij ).
1. P (X0 = k) = νk k ≥ 0 (Loi initiale)
2. ∀n ≥ 0 P (Xn+1 = j|Xn = i) = pij (Loi de transition)
3. P (Xn+1 = j|X0 = i0 , · · · , Xn−1 = in−1 , Xn = i) = pij
où i0 , i1 , · · · , in−1 , i, j ∈ E (Propriété de Markov)

On dit que (Xn )n≥0 est Markov(a, P ).

Si la chaîne a des probabilités de transition qui ne dépendent pas de
n : Chaîne de Markov est homogène et on a :

pij = P (X1 = j|X0 = i)

Emily Clement page 85 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Proposition 3.1.

Soit (Xn )n une chaine de Markov satisfaisant les trois propriétés (l.i),
(l.t) et (p.M), alors ses marginales de rang fini sont de la forme :

P (X0 = i0 , X1 = i1 , · · · , Xk = ik ) = νi0 pi0 i1 · · · pik−1 ik (∗)

où i0 , · · · , ik ∈ E, k ≥ 0 arbitraire.
Réciproquement, étant donné une loi (νk )k une matrice de transition
et un processus (Xn ) ayant les martingales de rang fini données par
la formule précédente (∗) est (Xn ) est Markov(a, P )

Démonstration.
Rappel de probabilité : Soient A0 , A1 , · · · , An des événements :
     
\k k−1
\ k−2
\
P Aj  = P Ak | Aj  P Ak−1 | Aj  · · · P (A1 |A0 ) P (A0 )
j=0 j=0 j=0

Supposons (l.i), (l.t) et (p.M), et notons Aj = {Xj = ij }

On a : si (#) P (X0 = i0 , · · · , Xj = ij ) > 0 pour j ∈ J0, k − 1K
k
Y
P (X0 = i0 , · · · , Xk = ik ) = P (Xj = ij |X0 = i0 , · · · , Xj−1 = ij−1 ) P (X0 = i0 )
j=1
k
Y
P (Xj = ij |Xj−1 = ij−1 ) P (X0 = i0 )
j=1
k
Y
= pij−1 ij ai0
j=1

qu’en est-il si la condition (#) n’est pas vrai pour certain j ?

Soit j ∗ = inf {j ≥ 0 : P (X0 = i0 , · · · , Xj = ij ) = 0}
Si j ∗ − 0 alors ai0 = 0 ⇒ (∗) est vraie trivialement.
Si j ∗ > 0 alors pas ce qu’on vient de démontrer, sous l’hypothèse (#) :

P (X0 = i0 , · · · , Xj ∗ = ij ∗ −1 ) = ai0 pi0 i1 · · · pij ∗ −2 ij ∗ −1 > 0

De plus :
P (X0 = i0 , · · · , Xj ∗ = ij ∗ )
pij ∗ −1 ,ij ∗ = =0
P (X0 = i0 , · · · , Xj ∗ −1 = ij ∗ −1 )
Donc P (X0 = i0 , · · · , Xj ∗ = ij ∗ ) = νi0 pi0 ,i1 · · · pij ∗ −1 ,ij ∗
Ainsi (∗) est vraie en tout les cas.

Emily Clement page 86 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Supposons que (∗) est vraie et vérifions (l.i), (l.t) et (p.M) :

P (X0 = i0 , · · · , Xk−1 = ik−1 )
P (Xk = ik |X0 = i0 , · · · , Xk−1 = ik−1 ) =
P (X0 = i0 , · · · , Xk−1 = ik−1 )
νi pi i · · · pik−1 ik−1
= 0 01
ai0 pi0 i1 · · · pik−2 ik−2
= pik−1 ik−1

En résumé : Les ingrédients pour les chaînes de Markov :

— Un espace d’états E au plus dénombrables. P
— une loi initiale sur E : ν : (ν (x))x∈E avec ν (x) ≥ 0 et ν (x) = 1
x∈E
— une loi de transition
P : Matrice stochastique P = (p (x, y))x,y∈E avec
p (x, y) ≥ 0 et p (x, y) = 1 ∀x ∈ E.
y∈E
— Le temps est discret : Dans N.
Changement de notations à effectuer : p (x, y) = pij , x < −i, y < −j.
EX : Soit (Xm )m∈N un processus :
l.i P (X0 = x0 ) = ν (x0 )
l.t P (Xn+1 = y|Xn = x) = p (x, y)
p.M P (Xn+1 = y|X0 = x0 , . . . , Xn−1 = xn−1 , Xn = xn ) = P (Xn+1 = y|Xn = x)

P (Xn+1 = y1 , · · · , Xn+m = ym |X0 = x0 , . . . , Xn−1 = xn−1 , Xn = xn ) = P (Xn+1 = y1 , . . . , Xn+

= P (X1 = y1 , · · · , Xn =

Remarque 3.1 (Aparté sur la construction concrète de variable aléatoire

iid.). Ω0 = [0, 1[ et F 0 = B ([0, 1[) et P0 = λ.
∞
P 1
Donc si ω ∈ Ω alors ω = dn (ω) 2n+1
n=0
où {dn } est une suite de variable aléatoire iid, dn ∼ B 1, 21 .

Plus de détails dans le polycopié de L3

Construction d’une chaîne de Markov :
Soient g, f deux fonctions boréliennes, (Un ) une variable aléatoire indépen-
dante identiquement distribuée ∼ U[0,1] :

X0 = g (U0 )
x1#x−1
X
g (x) = P x
P
# (u)

x∈E ν(y), ν(y)

y=0 y=0

Xn+1 = f (Xn , Un+1 )

y 1#y−1
X
f (x, u) = P x
P
# (u)

y∈E p(x,z), ν(y)

z=0 z=0

Emily Clement page 87 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

ϕ : N × N → N injective.
ei,j = dϕ(i,j) i, j ∈ N.
∞
X 1
Ui = ei,j
2j+1
j=0

Ui indépendante, identiquement distribuée ∼ U[0,1] .

II Exemples de Chaînes de Markov

1 Trajectoire
Soit X = (Xn )n∈N avec Xn une variable aléatoire à valeur dans E, X est
une variable aléatoire dans E N .
Ω∗ = E N ω ∈ Ω∗ ω = (x0 , x1 , . . . ) trajectoire.
On a
”P (X = ω) = ν (x0 ) p (x0 , x1 ) · · · ”
Idée : marginale de rang fini.
Soient a0 , · · · , ak ∈ E.
Cylindre de base a = (a0 , . . . , ak ), le cylindre est représenté par :

Cyl (a) = {ω = (x0 , x1 , · · · ) ∈ Ω∗ , xj = aj , j ∈ J0, kK}

def
1 ) · · · p (ak−1 , ak )
On pose : Py (Cyl (a)) = ν (a0 ) p (a0 , a

Fn = σ Cyl (a) , a ∈ E k+1 , et k ≤ n .
def
Notons Xn (u) = xn l’application projection..
!
Fn = σ (X0 , . . . , Xn ), F ∗ = σ
S
Fn
n≥0

Théorème 3.1 (Admis : C.Jonesca Tulcea).

Il existe une unique probabilité P∗ sur (Ω∗ , F∗) tel que P∗|Fn = Pν .
De plus, la suite (Xn ) est une chaîne de Markov (ν, P ) où P est la
matrice de transition.

Soit une suite de variables aléatoire indépendantes (cas très particulier

de dépendance) : (Xn ) indépendante identiquement distribuée de même loi
ν = (ν (x)) :

P (Xn+1 = y|X0 = x0 , . . . , Xn−1 = xn−1 , Xn = x) = P (Xn+1 = y)

= ν (y)

Emily Clement page 88 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

p (x, y) = ν (y) , ∀x, y ∈ E

Xn est une chaîne de Markov.

2 Processus de branchement (Galton-Watson)

Zn+1 = Zn+1,1 + Zn+1,2 + · · · + Zn+1,Zn n ≥ 0
où (Zn,j ) indépendant, identiquement distribuée de loi commune (pk ), Z0 =
1.
Une façon de le voir : Z0 est le papa, Z1 les descendants de Z0 etc... du coup
les descendants de Zn+1 dépendent des enfants de Zn,1 . . . , Zn,Zn−1 . . . .

P (Zn+1 = y|Z0 = 1, . . . , Zn−1 = xn−1 , Zn = x)

Zn
!
X
=P Zn+1,k = y|Z0 = 1, . . . , Zn−1 = xn−1 , Zn = x
k=1
Zn
!
X
=P Zn+1,k = y|Zn = x
k=1
x
!
X
=P Zn+1,k = y
i=1
= p∗x
y

Soient ξ1 , ξ2 indépendantes, de même loi à valeurs dans N.

y
X
P (ξ1 + ξ2 = y) = P (ξ1 = x, ξ2 = y − x)
x=0
y
X y
X
= P (ξ1 = x) P (ξ1 = y − x) = px py−x
i=0 x=0

3 Marche aléatoire.
(Zn )n≥0 indépendantes, identiquement distribuées. P (Zn = x) = ν (x)
x∈Z
Pn
S0 = 0 et Sn = Zi .
i=1

P (Sn+1 = y|S0 = 0, S1 = x1 , . . . , Sn−1 = xn−1 , Sn = x)

= P (x + Zn+1 = y|S0 = 0, S1 = x1 , . . . , Sn−1 = xn−1 , Sn = x)
= P (Zn+1 = y − x) = ν (y − x)
Zn+1 ⊥
⊥S1 ,...,Sn

(Sn ) est de Markov(δ0 , P )

P = (p (x, y))
avec p (x, y) = ν (y − x) et x, y ∈ Z.

Emily Clement page 89 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

4 Série de succès (Basket)

E=N  
q0 p 0 0 0 · · ·
q1 0 p1 0 · · ·
P =
q2 0 0 p2 · · ·


5 Le modèle de l’inventaire
Soit I (t) le stock d’une marchandise au moment t.
On vérifie les stocks à des instants fixes t0 , t1 , · · ·
0≤s≤S :
Si I (tn ) ≤ s : On déclenche la commande pour remonter au niveau S.
Xn = I (tn ) ∈ ]s, S] si pas de demande :
On note Dn le nombre de vente entre [tn − 1, tn [ n ∈ N
(Dn ) indépendante, identiquement distribuée, indépendante de X0 .
(
(Xn − Dn+1 )+ Si s ≤ Xn ≤ S
Xn+1 =
(S − Dn+1 )+ si Xn ≤ s

Xn+1 = g (xn , Dn+1 ) avec g mesurable et (Dn ) indépendante, identiquement

distribuée.
{Xn } est une chaîne de Markov.

III Probabilités de transition d’ordre supérieur

Soit P = (p (x, y))x,y∈E la matrice de transition d’une chaîne de Markov
{Xn }.
Notation : Px (B) = P (B|X0 = x)
X
Pν (B) = Px (B) ν (x)
x∈E
X
= P (B|X0 = x) ν (x)
x∈E
Pδx = Px
Px (X1 = y) = P (X1 = y|X0 = x)
= p (x, y)

Que vaut Px (Xn = y) ?

P 0 = I P 1 = P et P 2 = P P . . .
X
p(2) (x, y) = p (x, z) p (z, y)
z∈E

Emily Clement page 90 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

P 3 = P 2P = P · P 2
X
p(3) (x, y) = p(2) (x, z) p (z, y)
z∈E

P n+1 = P n P X
p(n+1) (x, y) = p(n) (x, z) p (z, y)
z∈E

Proposition 3.2.

∀n ≥ 0 ∀x, y ∈ E :
1. p(n) (x, y) = PX (Xn = y) = P (Xn = y|X0 = x)
2. p(n+1) (x, y) =
P
Px (Xn = z) p (z, y)
z∈E
3. pn
est une matrice stochastique.
ie pn est une matrice carrée dont chaque élément est un réel
positif, dont la somme des élément de chaque ligne vaut 1.
P (n)
4. P (Xn = y) = p (x, y) ν (x)
x∈E

Démonstration.

1. Pour n = 0 : p(0) (x, x) = 1 = Px (X0 = x) et p(0) (x, y) = 0 =

Px (X0 = y)
Pour n = 1 : p(1) (x, y) = Px (X1 = y) On a :
X
P (X2 = y|X0 = x) = P (X2 = y, X1 = z|X0 = x)
z∈E
X P (X2 = y, X1 = z, X0 = x)
=
P (X0 = x)
z∈E
X ν (x) p (x, y) p (z, y)
=
ν (x)
z∈E
X
= p (x, y) p (z, y)
z∈E
(2)
=p (x, y)

Supposons la relation vraie pour n = 0, 1, . . . N .

Emily Clement page 91 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Vérifions la pour N + 1 :
X
P (XN +1 = y|X0 = x) = P (XN +1 = y, X1 = z|X0 = x)
z∈E
X P (XN +1 = y, X1 = z, X0 = x)
=
ν (x)
z∈E
X P (XN +1 = y|X1 = z, X0 = x) P (X1 = z, X0 = x)
=
ν (x)
z∈E
X
= P (XN +1 = y|X1 = z) P (X1 = z|X0 = x)
z∈E
X
= p(n) (x, x) p (x, x)
z∈E

Le premier point est donc montré.

2. C’est une ré-écriture de la puissance (n + 1)-ième.
3. ∀x ∈ E :
X
1 = Px (Xn ∈ E) = Px (Xn = y)
y∈E
X
= p(n) (x, y)
y inE

4.

P (Xn = y) = P (Xn = y, X0 ∈ E)
X
= P (Xn = y, X0 = x)
x∈E
X
= P (Xn = y|X0 = x) P (X0 = x)
x∈E
X
= p(n) (x, y) ν (x)
x∈E
X
P n+m = P n P m ⇔ p(n+m) (x, y) = p(n) (x, z) p(n) (z, y)
z∈E

Les visites
Notation : Soit B ⊂ E :

= 1B (Xn ) = 1{Xn ∈B}

(n) def
VB

et
Vy(n) = 1{y} (Xn ) = 1{Xn =y}

Emily Clement page 92 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Pour k ≤ n :
[k,n] (k) (k+1) (n)
VB = VB + VB + · · · + VB
c’est le nombre totale de visites de la chaîne en B durent le temps [k, n]
[k,n] (k) (k+1) (n)
VB = VB + VB + · · · + VB
= 1{Xk ∈B} + 1{Xn ∈B}

[k,n]
Vy est le nombre de visite de la chaîne au point y durant [k, n].
P (n)
VB = VB nombre totale de visites en B.
n≥0
P (n)
Vy = Vy nombre de passages en y.
n≥0

Remarque 3.2.

1. Petite apartée
 
 
P (X3 = −y|X1 = z, X0 = x) = P 
f (f (X1 , U2 ) , U3 ) = y| X1 = z, X0 = z 
k k

ϕ(U0 ,U1 ) g(U0 )

= P (f (f (z, U2 ) , U3 ) = y|X1 = z)
= P (X3 = y|X1 = z)

2. Exercice : Chaîne préssée

Soit (Xn )n est chaîne de Markov, Markov(ν, P ),
et soient 0 ≤ n1 < n2 < · · · < nk+1 alors :



Pν Xnk+1 = xk+1 |Xnk = xk , . . . , Xn1 = x1 = Pν Xnk+1 = xk+1 |Xnk = xk
= pnk+1 −nk (xk , xk+1 )

On a alors que (Xnk ) est Markov(ν, . . . ) (à compléter : c’est l’exer-

cice).
3. Reformulation de la propriété de Markov.
Soit (Xn ) une chaîne de Markov(ν, P ), soit x ∈ E et k ∈ N∗ .
En conditionnant à {Xk = x} la suite (Xn+k ) est une chaîne de Markov(δx , P )
indépendante que (X0 , . . . , Xk )

Idée de la preuve de la remarque 3.

On veut montrer que ∀A ∈ σ (X0 , · · · , Xk ), on a :

P ({Xk = xk , . . . , Xn+k = xn+k } ∩ A|Xk = x) = δxk x p (xk , xk+1 ) . . . p (xn+k−1 , xn+k ) P (A|Xk =

Emily Clement page 93 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

On le vérifie pour un cylindre : A = {X0 = a0 , . . . , Xk = ak ) (Cf II.1)

(∗) est conséquence de :

P (X0 = a0 , . . . , Xn+k = xn+k et x = xk )

P (Xk = x)
= δxxk p (xk , xk+1 ) . . . p (xn+k−1 , xn+k ) P (X0 = a0 , . . . , Xk = ak et x = xk )

1{Xn ∈B} le nombre total de visites en

P
Revenons aux visites : XB =
n≥0
B.
Lorsque B = {y} :
[k,n]
Vy[k,n] = V{y}
  n P
[k,n]
ν (x) p(l) (x, y).
P P
et Vy = V{y} On a Eν VB =
x∈E l=k y∈B
 

1{Xn =y} 
X
Ex (Vy ) = Ex 
n≥0

1{Xn =y}
X

= Ex
n≥0
X
= Px (Xn = y)
n≥0
X
= p(n) (x, y)
n≥0
def
= G (x, y)

Définition 3.2 (Fonction de Green, potentiel).

def
p(n) (x, y) la fonction de Green (ou po-
P
On appelle G (x, y) =
n≥0
tentiel).

Voici d’autres quantités intéressantes (temps d’arrêt) :

Emily Clement page 94 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Définition 3.3 (Temps d’attente de B).

σB = inf {n ≥ 0, Xn ∈ B} l’instant de la n−ème visite de (Xn ) dans

B.
τB = inf {n ≥ 1, Xn ∈ B} le temps de visite de B après le départ.
Notations :
def def
σy = σ{y} , τy = τ{y}
On note :

F (x, y) = Px (σy < ∞) la probabilité de visiter y en partant de x

U (x, y) = Px (τy < ∞) la probabilité de visiter y après être partie de x

U (x, x) est la probabilité de retourner en x, et F (x, x) = 1.

Notons :

f (n) (x, y) = Px (σy = n)

= Px (Xn = y, Xk 6= y, 0 ≤ k < n)
(n)
U (x, y) = Px (τy = n)
= Px (Xn = y, Xk 6= y, 0 ≤ k < n)

Donc : X X
F (x, y) = f (n) (x, y) , U (x, y) = u(n) (x, y)
n≥0 n≥0

Introduisons :

Définition 3.4 (Fonction génératrice).

X
G (x, y|s) = p(0) (x, y) + p(n) (x, y) sn
n≥1

la fonction génératrice associée aux p(n) (x, y). et

G (s) = (G (x, y|s))x,y∈E matrice.

Emily Clement page 95 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

X
G (x, y|s) = p(0) (x, y) + p(n) (x, y) sn
n≥1
XX
(0)
=p + p (x, y) p(n−1) (z, y) sn
n≥1 z∈E
X X
(0)
=p (x, y) + p (x, z) s p(n−1) (z, y) sn−1
z∈E n≥1
X
= p(0) (x, y) + sp (z, y) G (z, y|s)
z∈E

p(n−1) (z, y) sn−1 = p(0) (z, y) +

P (n)
p (z, y) sn
P
car
n≥1 P n≥1
G (s) = sn P n |s| ≤ r.
n≥0
où r = inf {r (x, y) , x, y ∈ E} on a
1
r (x, y) =
1
lim sup p(n) (x, y) n
n−→+∞

X
g (s) = I + sn P n
n≥1
X
= I + sP sn−1 P n−1
n≥1
= g (s) = I + sP G (s)

Donc
(I − sP ) G (s) = I
Si P est d × d on peut trouver G (s) lorsque :

det (I − sP ) 6= 0

− 2s
− 2s
 
1
G (s) = − 4s 1 − 2s
− 4s 
− 4s − 4s
1 − 2s
 
∗ ∗ ∗
1
= · ∗ ∗ ∗
(1 − s) (16 − s2 )
∗ ∗ ∗

Emily Clement page 96 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

IV Décomposition de l’espace d’états et classifica-

tion
On prend (Xn ) une chaine de Markov(ν, P ).

Définition 3.5 (Conduire à un état).

Pour x, y ∈ E, on dit que x conduit à y : x → y s’il existe

n ≥ 0 tel que :
p(n) (x, y) > 0
Or
p(n) (x, y) > 0 ⇔ Px (σy < ∞) > 0
avec une probabilité strictement positive la chaîne partante de x at-
teint y.

Montrons l’équivalence.
Sens ⇒ :
{Xn = y} ⊂ {σy ≤ n} ⊂ {σy < ∞}
Donc p(n) (x, y) Px (Xn = y) ≤ Px (σy < ∞)
Sens ⇐ :

Px (σy < ∞) = lim Px (σy ≤ n)

n→+∞
n
!
[
= lim Px {Xk = y}
n→+∞
k=0
n
X
≤ lim sup Px (Xk = y)
n−→+∞
k=0
n
X
= lim sup p(k) (x, y) = 0
n−→+∞
k=0

Remarque 3.3.
On note
n
Si x → y : np(n) (x, y) > 0
1
Si x → y : p (x, y) > 0
Si x 9 y : ∀n ≥ 0, p(n) (x, y) = 0

Emily Clement page 97 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Définition 3.6 (Communiquer avec).

x communique avec y si x ←→ y : ie. si x −→ y et y −→ x

Proposition 3.3.

La relation ” ←→ ” est une relation d’équivalence sur E.

Démonstration.
:
x ←→ y car p(0) (x, x) = 1.
x ←→ y ⇔ y ←→ x
x ←→ z et z ←→ y alors x ←→ y.
m n
x ←→ z et z ←→ y :

p(m) (x, z) > 0, p(n) (z, y) > 0

donc p(n+m) (x, y) ≥ p(n) (x, z) p(m) (z, y) > 0

S S
E = C0 C1 · · · la décomposition de E dans les classes d’équivalence :
\
Ci Cj = ∅ si i 6= j

(classes d’irréductibilité)
Si E = C0 une seule classe : la chaîne est irréductible.
La relation ” −→ ” est une relation d’ordre partielle :
C (x) la classe contenant x.
C (x) −→ C (y) si x −→ y.
Si C (x) −→ C (y) et C (y) −→ C (x) donc :

x −→ y −→ x

donc x ←→ y : C (x) = C (y).

Définition 3.7.

Les éléments maximaux, s’il existent, pour l’ordre partiel sur l’en-
semble des classes se nomment classes fermées (ou absorbantes)

Emily Clement page 98 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Définition 3.8.

Une chaîne de Markov qui rentre dans une classe C fermée ne ressort
plus de cette classe. C fermée si et seulement si :

∀x ∈ C, Px (σc = ∞) = 1

Notation : Si x ∈ C et C fermé, on appellera parfois "x fermée".

Dessin Aude.

C (1) = {1, 2}
C (3) = {3}
C (4) = {4, 5, 6}
C (7) = {7, 8, 9, 10}

[11, 12] [13]

[4, 5, 6] [7, 8, 9, 10]

[1, 2] [3]

Définition 3.9 (État absorbant).

Si C a un seul élément ( C = {x)}), on dit que x est absorbant.

Contre-exemple 3.1.
Si On prend l’exemple de la chaîne météo : C = E a une seule classe (irré-
ductible).
Chaîne "ruine : :
E = C0 ∪ C1 ∪ CN
C0 = {0} (absorbant)
CN = {N } (gagnant, absorbant)
Les autres : C1 = {1, . . . , N − 1}.

Remarque 3.4.
Si E est un ensemble fini, on a un nombre fini de classe, donc au pire chaque
élément est une classe.

Emily Clement page 99 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Il existe alors (au moins) un élément maximal.

C’est faux dans le cas de E infini !
Exemple : quelque chose qui circule tout au long de E = N

(1) (2) (3) (4) (5) (6) . . .

Les classes sont {1, 2} {3, 4} . . . : pas de classes maximales.

Proposition 3.4 (Caractérisation d’une classe fermée).

Soit C ⊂ E une classe d’irréductibilité.

Les affirmations suivantes sont équivalentes :
1. C est fermée
2. Si x ∈ C et x −→ y alors y ∈ C.
3. Si x ∈ C et x −→ y alors y −→ x.

Démonstration.

1) ⇒ 2) :
Si C est fermée et x −→ y et C = C (x) −→ C (y).
Mais C maximale pour l’ordre ” −→ ”.
Alors C (y) = C donc y ∈ C
2) ⇒ 3) : Soit x ∈ C et x −→ y mais d’après 2) :

y ∈ C ⇒ y ←→ x

3) ⇒ 1) : Soit C (y) une autre classe telle que C −→ C (y).

Soit x ∈ C, C = C (x) alors C (x) −→ C (y).
Par définition de la relation d’ordre : x −→ y, d’après 3).
y −→ x ainsi x ←→ y et donc :

C (y) = C (x) = C

Donc C est maximale (fermée).

Exercice 3.1.
C est fermée si et seulement si : ∀x ∈ C, ∀y ∈ E\C on a :

p (x, y) = 0

Emily Clement page 100 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Remarque 3.5.
Soit C une classe d’irréductibilité de E.
On va exclure le cas où C = {x} et p (x, x) = 0.
On peut étudier la chaîne "à l’intérieur de C".
PC est la matrice définie comme suit :
(
p (x, y) si x, y ∈ C
pC (x, y) =
0 sinon

(pas nécessairement une matrice stochastique)

(n)
On a p(n) (x, y) = PC (x, y) ∀n ≥ 1 si x, y ∈ C :
Bon pour n = 1
Supposons l’égalité vraie pour n et vérifions la à n + 1 :
X
p(n+1) (x, y) = p (x, z) p(n) (z, y)
z∈E
X
= p (x, z) p(n) (z, y)
z∈C
(n)
X
= PC (x, z) PC (x, z) PC (z, y)
z inC
(n+1)
=p (x, y)

Si C est une classe d’irréductibilité alors ∀x, y ∈ C, ∃k = k (x, y) ∈ N∗ tels

que :
p(k) (x, y) > 0 : x −→ k
y

Définition 3.10 (Période de classe).

La période d’une classe C est le nombre :

n o
d = d (C) = pgcd n ≥ 1|p(n) (x, x) > 0

où x ∈ C
Si d = 1 on dit que C est apériodique (dès que p (x, x) > 0 x ∈ C.

Exemple 3.1. Dessin a faire

E = C0 ∪ C1 ∪ CN et d (C1 ) = 2.

Emily Clement page 101 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Dessin a faire D2
{3} fermée

d ({1, 2}) = 2
d ({4, 5, 6}) = 1
d ({7, 8, 9, 10}) = 4
d ({11, 12}) = 2
d ({13}) = 1

Proposition 3.5 (La périodicité est une propriété de classe).

d (X) ne dépend pas du choix de x ∈ C

Démonstration.
Soient x, y ∈ C avec x 6= y.
Notons Ix = n ≥ 1, p(n) (x, x) > 0

Alors d (x) = pgcd (Ix ) et d (y) = pgcd (Iy )

Mais C est une classe d’irréductibilité :
∃k, l > 0 entiers tels que :

p(k) (x, y) > 0 et p(l) (y, x) > 0

Mais p(k+l) (x, x) > 0 donc d (x) divise k + l

Soit n ∈ Iy quelconque :

p(k+n+l) (x, x) ≥ p(k) (x, y) p(n) (y, y) p(l) (y, x) > 0

Donc d (x) divise k + n + l donc d (x) divise n donc d (x) divise d (y).
D’après la symétrie des rôles de x et y, on a : d (y) divise d (x) donc :

d (y) = d (x)

Temps d’attente et absorption.

Soit C une classe d’irréductibilité. On définit :
def
σC = inf {n ≥ 0, Xn ∈ C}
F (x, C) = Px (σC < ∞) = Ex (1σC <∞ )
def

E (x, C) = Ex (σC 1σC <∞ )

def

∞
X
= nPx (σC = n) Temps moyen d’absorption
n=0

Emily Clement page 102 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Si x ∈ C alors :
Pc (σC < ∞) = 1 = F (x, C)
et E (x, C) = 0
Si x ∈ C 0 et C 0 6= C avec C 0 fermée :
Alors PC (σC < ∞) = 0 et E (x, C) = 0

Proposition 3.6 (Probabilité et temps d’absorption).

F (x, C) et E (x, C) sont solutions des équations :

X
F (x, C) = p (x, y) F (y, C) (p.a)
y∈E
X
E (x, C) = F (x, C) + p (x, y) E (y, C) (e.a)
y∈E

Idée de la preuve pour la première équation.

Pour x ∈/ C (donc σC ≥ 1) on a :

F (x, C) = Px (σC < ∞)

X
= Px (σC < ∞, X1 = y)
y∈E
X
= Px (σC < ∞|X1 = y) Px (X1 = y)
y∈E
X
= p (x, y) P (σC < ∞|X1 = y, X0 = x)
y∈E
X
= p (x, y) P (σC < ∞|X1 = y)
y∈E
X
= p (x, y) Py (σC < ∞)
y∈E
X
= p (x, y) F (y, C)
y∈E

Emily Clement page 103 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Propriétés 3.1 (Propriété de Markov forte- exercice 2 du TD).

Soit (Xn ) une chaîne de Markov(ν, P ) à valeur dans E et soit T un

temps d’arrêt pour (Fn ), alors Fn = σ (X0 , . . . , Xn ) tel que :

P (T < ∞) = 1

Alors (Xn+T )n≥1 est une chaîne de Markov(ν̃, P ) où :

ν̃ (x) = Pν (XT = x)

Rappel : Ω = E N l’espace des trajectoires.

Xn (ω) = xn (la projection).
Ω → Ω
On introduit θk :
ω 7→ θk (ω) = θk (x0 , x1 , · · · ) = (xk , xk+1 , · · · )

θT (ω) = θT (ω) (ω)

L’opérateur de translation (ou de décalage, ou de shift)

Proposition 3.7 (Propriété de Markov simple (A)).

Soit G une variable aléatoire alors ∀x ∈ E :

Ex [G ◦ θk |Fk ] = EXk (G)

Plus généralement si F ∈ Fk alors :

Ex [F · G ◦ θk |Fk ] = Ex [F · EXk (G)]

Proposition 3.8 (Propriété de Markov forte- Proposition B).

Si T est un temps d’arrêt.

Ex [1T <∞ G ◦ θT |FT ] = 1T <∞ EXT (G)

ou encore si F est une variable aléatoire FT −mesurable.

Ex [1T <∞ F · G ◦ θT |FT ] = Ex [1T <∞ F · EXT (G)]

Emily Clement page 104 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Démonstration de la proposition 3.6 à propos des probabilité et temps d’absorption.

σC (X0 , X1 , . . . ) = 1 + σ (X1 . . . ).

F (x, C) = Ex (1σC <∞ )

1{σC (X1 ,X2 ... )<∞} |F1



= Ex E
= Ex EX1 1{σC (X0 ,X1 ... )<∞}

= Ex (F (X1 , C))
X
= p (x, y) F (y, C)
y∈E

E (x, C) = Ex [σC 1σC <∞ ]

= Ex σC (X0 , X1 . . . ) 1σC (X0 ,X1 ,... )<∞

= Ex E σC (X0 , X1 , . . . ) 1{σC (X0 ,X1 ,... )<∞} |F1




= Ex E (1 + σC (X1 , X2 , . . . )) 1{σ(X1 ,X2 ,... )<∞} |F1

 

= Ex EX1 (1 + σC (X0 , . . . )) 1{σC (X0 ,... )<∞}




= Ex EX1 1{σC (X0 ... )<∞} + Ex EX1 σC (X0 , . . . ) 1{σC (X0 ... )<∞}

 


= Ex [F (X1 , C)] + Ex [E (X1 , C)]

X X
= p (x, y) F (y, C) + p (x, y) E (y, C)
y∈E y∈E

V Classes de récurrence
Définition 3.11.

Un état x ∈ E est dit récurrent si :

U (x, x) = Px (∃n ≥ 1| Xn = x) = 1
= Px (Tx < ∞)

S’il est certain qu’en partant de x on revient en temps fini.

Définition 3.12.

x est dit transitoire (ou transient) si x n’est pas récurrent.

Emily Clement page 105 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Notations :
On note, avec x, y ∈ E :
def
H (x, y) = Px (Xn = y pour une infinité de n ∈ N)

Proposition 3.9 (Première caractérisation - loi de type 0 − 1).

1. x est récurrent ⇔ H (x, x) = 1

2. x est transient ⇔ H (x, x) = 0
3. H (x, y) = U (x, y) H (y, y)

Démonstration.

H (m) (x, y) = Px (Xn = y pour au moins m instants n ≥ 1)

H (1) (x, y) = U (x, y) et H (x, y) = −→ H (n) (x, y)
n→+∞

Prouvons le troisième point :

∞
X
(m+1)
H (x, y) = Px (τy = k, xn = y pour au moins n + 1 instants n ≥ 1)
k=1
X∞
= Px (τy = k, Xn = y pour au moins m instants n ≥ k + 1)
k=1
X
H (m+1) (x, y) = f (k) (x, y) Px (Xn = y p.a.m. m in. n ≥ k+1|Xk = y, Xj 6= y, j ∈ J1, k−1K)
k t.q
U (k) (x,y)>0

P.M
X
H (m+1) (x, y) = f (k) (x, y) Px (Xn = y pour au moins m instants n ≥ k + 1|Xk = y)
k,U (k) (x,y)>0
∞
X
(k)
= u (x, y) H (m) (y, y)
k=1

Ainsi : H (m+1) (x, y) = U (x, y) H (m) (y, y)

Quand m −→ +∞, on obtient le résultat du troisième point.
Prouvons le premier et deuxième points :
H (m+1) (x, x) = U (x, x) H (m) (x, x)
(
1 Si U (x, x) = 1
H (m) = U (x, x)m −→
m→+∞ 0 Si U (x, x) < 1

Emily Clement page 106 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Rappels :
∞
X
G (x, y|s) = p(n) (x, y) sn , p(n) (x, y) = Px (Xn = y)
n=0
X∞
F (x, y|x) = f (n) (x, y) sn où f (n) (x, y) = Px (Xn = y, Xj 6= y, 0 ≤ j ≤ n − 1)
n=0
X∞
U (x, y|s) = u(n) (x, y) sn où u(n) (x, y) = Px (Xn = y, Xj 6= y, 0 ≤ j ≤ n − 1)
n=0

Proposition 3.10 (Propriétés de la fonction génératrice).

1
1. G (x, y|s) = 1−U (x,y|s)
2. G (x, y|s) = F (x, y|s) G (y, y|s)
P
3. U (x, x|s) = p (x, y) sF (y, x|s)
y∈E
P
4. Si y 6= x alors F (x, y|s) = p (x, z) sF (z, y|s)
z∈E

Esquisse de preuve pour le premier point.

On rappelle que Px (Xn = z|A) = p(n−m) (x, z) par la propriété de Markov,
et AnFm et sur A : Xm = x ( m < n )
Soit n ≥ 1, {τx = k} = {Xk = x, xj 6= x, 1 ≤ j ≤ k − 1} ∈ Fk .
X
p(n) (x, x) = Px (Xn = x, τx = k)
k=1
 
n
X
= Px Xn = x| τx = k  Px (τx = k)
| {z }
k=1 ∈Fk
n
X
= Px (Xn = x|Xk = x) Px (τx = k)
k=1
n
X
= p(n−k) (x, x) x(k) (x, x)
k=0
X
G (x, x|x) = p(n) (x, x) sn
k=1
∞ X
X n
=1+ p(n−k) (x, x) u(k) (x, x) sn
n=1 k=0
= 1 + U (x, x|s) G (x, x|s)

Emily Clement page 107 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Proposition 3.11 (Caractérisation avec la fonction de Green).

1. x est récurrent ⇔ G (x, x) = ∞

x est transient sur U (x, x) < 1 ⇔ G (x, x) < +∞
2. Si x est récurrent et x −→ y alors :
U (y, x) = H (y, x) = 1 et y est récurrent.
De plus la classe C (x) est fermée.
3. Si C est une classe fermée finie alors C est récurrente (tout
les éléments sont récurrents)

Démonstration.

1
1. G (x, x|s) = 1−U (x,x|s) on fait tendre s de façon monotone vers 1 :
s ↑ 1, alors :
(
1 +∞ Si |U (, x, x) = 1
G (x, x) = = 1
1 − U (X, x) 1−U (x,x) Si U (x, x) < 1

2. Montrons le deuxième point :

n
ie. Montrons que si x −→ y alors

U (x, y) = 1
0
Pour n = 0 : s −→ x alors U (x, x) = 1
Supposons l’affirmation vraie pour un m entier et vérifions la pour
n+1 :
n+1
Si x −→ y, ∃w ∈ E tel que :
n 1
x −→ w −→ y

On a alors :

1 = U (w, x) Par la proposition précédente avec U − F et s = 1

X
= p (w, x) + p (w, z) U (z, x)
z6=x

Par ailleurs, P est une matrice stochastique donc :

X
1 = p (w, x) + p (w, z)
z6=x
P
D’où : 0 = p (w, z) (1 − U (z, x)) ≥ p (w, y) (1 − U (y, x)) ≥ 0
z6=x
Or p (w, y) > 0 donc U (y, x) = 1.

Emily Clement page 108 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Par occurrence mathématique on a l’affirmation :

La proposition précédente H (x, y) = U (y, x) H (x, x) = 1
Remarquons que y −→ x en effet U (y, x) = 1 ⇔ Py (τx < ∞) = 1
Sinon, x ←→ y, montrons que y est récurrent :
∃k, l ∈ N∗ tels que :
p(k) (x, y) > 0 et p(l) (y, x) > 0
donc :
∞
X
G (y, y) = p(n) (y, y)
n=0
X
≥ p(n) (y, y)
n=k+l
∞
!
X
≥ p(l) (y, x) p(n) (x, x) p(k) (x, y)
| {z }
| n=0 {z } >0
=G(x,x)=+∞

3. Puisque C est fermé, partant de x ∈ C, le chaine ne sort pas de C.

{Xn ∈ C, ∀n ∈ N} ⊂ {∃y ∈ C, Xn = y pour une infinité de n} (Puisque C est finie)
X
1 = Px (Xn ∈ C, ∀n ∈ N) ≤ Px (Xn = y pour une infinité de n)
y∈C
X
= H (x, y)
y∈C

Les H (x, y) ne peuvent pas être tous nuls donc il existe y ∈ C tel que
H (x, y) > 0
0 < H (x, y) = U (x, y) H (y, y)
y ne peut être transitoire, donc y est récurrent. D’après le deuxième
point, toute classe de C est récurrent.

Le troisième point est faux si C est infinie : Par exemple une marche aléatoire
sur Z.
Par la proposition 3.10, on a :
F (1, 0|s) = gs + psF (2, 0|s)
est un point de coupure entre 2 et 0.
F (2, 0|s) = F (2, 1|s) F (1, 0|s)
X
f (n) (2, 0) = f (k) (2, 1) f (n−k) (1, 0)
k=0
= F (1, 0|s)2

Emily Clement page 109 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

p · s · F (1, 0|s)2 − F (1, 0|s) + gs = 0 donc :

1  p 
F (1, 0|s) = 1 − 1 − 4pqs2
2ps
On échange les rôles de p et q et on trouve alors :
1  p 
F (1, 0|s) = 1 − 1 − 4qps2
2qs
Par la proposition 3.10, on a :
p
U (0, 0|s) = psF (1, 0|s) + qsF (−1, 0|s) = 1 − 1 − 4pqs2

1 − 4pq = 1 − 4p (1 − p) = (1 − 2p)2
q
U (0, 0) = U (0, 0|1) = 1 − (p − q)2 = 1 − |p − q|

0 est récurrent si et seulement si p = q = 21 (U (0, 0) = 1

Conservons cette hypothèse : Que vaut E0 (τ0 ) ?

P0 (τ0 = n) = U (n) (0, 0)

∞
X
nu(n) (0, 0) = U 0, 0|1− = +∞


E0 (τ0 ) =
n=0
p
Or U (0, 0|s) = 1 − 1 − s2

Donc :
s
U 0 (0, 0|s) = √ et U 0 0, 0|1− = +∞


1−s 2

VI Temps de retour, récurrence positive et proba-

bilité stationnaire.
Si x est un état récurrent, τx < ∞ Px p.s.
∞
X
nu(n) (x, x) = U 0 x, x|1−


Ex (τx ) = finie ou infinie
n=1

Définition 3.13.

x est récurrent positif si Ex (τx ) < +∞

x est récurrent nul si Ex (τx ) = +∞

Emily Clement page 110 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Proposition 3.12 (Propriété de classe).

x ←→ y alors y est récurrent positif.

De plus Ey (τx ) < ∞ et Ex (τy ) < ∞

Démonstration.
Si x est récurrent et x ←→ y alors y est récurrent, on sait que, par la
proposition 3.10 :
1 − U (x, x|s) G (y, y|s)
=
1 − U (y, y|s) G (x, x|s)
pour 0 < s < 1 Par la règle de l’Hopital :

Ex (τx ) G (y, y|s)

= lim
Ey (τy ) s↑1 G (x, x|s)

x ←→ y ∃k, l
p(k) (x, y) > 0, p(l) (y, x) < 0

∞
X
G (y, y|s) = p(n) (y, y) sn
n=0
k+l−1
X
≥ p(n) (y, y) sn
n=0
k+l−1
G (y, y|s) 1 X
= p(n) sn + p(l) (y, x) G (x, x|s) p(k) (x, y) sk+l + p(l) (y, x) p(k) (y, x) sk+l
G (x, x|s) G (x, x|s)
n=0

Donc si s ↑ 1, G (s, s|s) −→ +∞ car x est récurrent.

Ex (τx ) G (y, y|s)

= lim ≥ p(l) (y, x) p(k) (x, y) > 0
Ey (τy ) s↑1 G (x, x|s)
−

Donc Ey (τy ) < ∞.

Montrons que Ey (τx ) < ∞ ⇔ U (y, x|1− ) < ∞
n
Supposons que x −→ y on peut montrer par récurrence sur n que U 0 (y, x|1− ) <
∞.

Théorème 3.2 (Classes finies fermées).

Soit C une classe d’irréductibilité finie fermée.

Alors C est récurrente positive.

Emily Clement page 111 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Démonstration.
P n est une matrice stochastique :

X ∞
XX
G (x, y|s) = p(n) (x, y) sn
y∈E y∈E n=0
 
∞
X X
=  p(n) (x, y) sn
n=0 y∈E
∞
X 1
= sn = 0≤s<1
1−s
n=0

X
G (x, y|s) (1 − s) = 1 ∀0 ≤ s < 1
y∈E

F (x,y|s)
Par ailleurs, on sait que G (xy|s) = 1−U (y,y|s) (d’après la proposition 3.10),
donc : X 1−s
F (x, y|s) =1
1 − U (y, y|s)
y∈E

Soit x ∈ C finie et fermée, les termes non-nuls dans la sommes précédente

sont pour y ∈ C :
X 1−s
F (x, y|s) = 1, ∀x ∈ C, 0 ≤ s < 1
1 − U (y, y|s)
y∈C

Or C est récurrente donc u (y, y|1) = 1 et F (x, y|1) = 1.

On fait tendre s vers 1− :
X 1−s
1 = lim F (x, y|s)
s↑1 1 − U (y, y|s)
y∈C
X 1
=
U 0 (y, y|1)
y inC
X 1
=
Ey (τy )
y∈C

Si on suppose que tous les y satisfont :

U (y, y|1) = Ey (τy ) = ∞

Impossible, donc il existe un unique y ∈ C Ey (τy ) < ∞

y ∈ C est récurrent positif donc tous les états de C sont récurrents positifs.

Emily Clement page 112 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Théorème 3.3 (Classe fermée et loi stationnaire).

Soit C une classe d’irréductibles fermée de E (par nécessairement

finie).
C est récurrente positive si et seulement si C porte une loi station-
naire mC (ie. Supp (mC ) ⊂ C)
Dans ce cas, cette probabilité est unique et elle est donnée par :
(
1
Si x inC
mC (x) = Ex (τx )
0 Sinon

Petit Aparté : À propos de la marche aléatoire sur Zd .

d=1:
1/2 1/2
x−1 x x+1

{Sn } classe irréductible,

√ 0 récurrent.
U (0, 0) = 1 − 1 − s2
1 1
G (0, 0|s) = 1−U (0,0|s) = √1−s 2
Par un développement en série entière.
(2n) 1 2n 1


p (0, 0) = 4n n ∼ πx √

En dimension d = 2 :
(0, 1) (1, 1)
1/4
1/4
(−1, 0) (0, 0) (1, 0)
1/4
1/4

(0, −1)

(Sn ) marche aléatoire dans Z2 , 0 = (0, 0).

2
p(2n) (0, 0) = 41n 2n
n
1
∼ πn
G (0, 0) = +∞
La marche aléatoire simple symétrique sur Z2 est récurrente.
En dimension d = 3 : (Sn ) une marche aléatoire dans Z3 :


3
0 = (0, 0, 0) et p(2n) (0, 0) = 41n 2n
n ∼ πn13/2
G (0, 0) < +∞
La marche simple symétriquement sur Z3 est transient.

Emily Clement page 113 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

VII Loi stationnaire, sur une classe de récurrence

positive
Définition 3.14 (Mesure invariante, excessive).

Une mesure (positive) µ sur E est dite invariante ou stationnaire

si
µP = µ
Elle est dite excessive si µP ≤ µ ponctuellement.

Lemme 3.1.

Si µ est excessive sur E, et µ (E) < ∞ alors µ est stationnaire.

Démonstration.
P P P
µ (E) ≥ µP (y) = µ (x) p (x, y) = µ (E)
y∈E x∈E y∈E
On ne peut pas avoir l’inégalité stricte en aucun point de y.

Définition 3.15.

On dit que A ⊂ E porte une mesure sur E µ si le support de µ est

contenu dans A.

Supp (µ) = {x ∈ E, µ (x) 6= 0} ⊂ A

Théorème 3.4 (Loi stationnaire sur une classe récurrente positive).

Soit C une classe d’irréductibilité fermée de E (pas nécessairement

finie).
C est récurrente positive si et seulement si C porte une loi (de proba-
bilité) stationnaire mC .
Dans ce cas, cette probabilité est unique et donnée par :
(
1
si x ∈ C
mC (x) = Ec (τx ) (#)
0 Sinon

Démonstration.
Sens ⇒ : Montrons que si C est récurrente positive alors mC donnée par (#)

Emily Clement page 114 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

est une probabilité stationnaire.

Rappel :
X
1= G (x, y|s) (1 − s) , ∀0 ≤ s < 1, ∀x ∈ E
y∈E
X 1−s
= F (x, y|s)
! − U (y, y|s)
y∈E

Si x ∈ C alors la somme porte seulement sur y ∈ C.

X 1−s
1= F (x, y|s)
1 − U (y, y|s)
y∈C

Si C est fermé on peut échanger la somme avec lim pour trouver que :
s↑1

X 1 X
1= = mC (y) = mC (C)
Ey (τy )
y∈C y∈C

Si C est infinie on doit être plus soigneux : Soit d’abord un sous-ensemble

A ⊂ C finie arbitraire.
Mais alors pour 0 < s < 1 :
X 1−s
F (x, y|s) ≤1
1 − U (y, y|s)
y∈A

On peut calculer lim comme précédemment donc mC (A) ≤ 1

S s↑1
Si C = Ar = lim ↑ Ar , alors :
r

Fatou
mC (C) = mC (lim ↑ Ar ) ≤ lim inf mC (Ar ) ≤ 1
r→+∞

Ainsi mC (E) = mC (C) ≤ 1 montrons que mC est une mesure stationnaire

u que mC est excessive.
∞
sn P n
P
Rappel G (s) = (G (x, y|s))x,y∈E =
n=0

G (s) = I + sP G (s) = I + G (s) sP

Pour y ∈ C : X
G (y, y|s) = 1 + G (y, x|s) p (x, y) s
x∈E

Par la propriété 3.10 sur la fonction génératrice :

1 X
=1+ G (y, x|s) p (x, y) s|1 − s (0 < s < 1)
1 − U (y, y|s)
x∈E

Emily Clement page 115 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

1−s X 1−s
=1−s+ F (y, x|s) p (x, y) s
1 − U (y, y|s) 1 − U (x, x|s)
x∈E
ou encore, la somme portant sur C
X 1−s
=1−s+ F (y, x|s) p(
1 − U (x, x|s)
x∈C

Comme C est récurrente :

F (y, x|1) = U (x, x|1) = 1

On se restreint en premier à un sous-ensemble fini A ⊂ C arbitraire et en

fait s ↑ 1 :
1 X 1
≥ p (x, y)
U (y, y|1−) U 0 (x, x|1−)
x∈A

Avec le lemme de Fatou encore une fois :

1 X 1
≥ p (x, y)
Ey (τy ) Ex (τx )
x∈X

Ou encore : X
mC (y) ≥ mC (x) p (x, y) , ∀y ∈ C
x∈C

mC (y) ≥ mC P (y) ∀y ∈ E donc mC est excessive.

Comme mC (E) ≤ 1 elle est stationnaire et il reste à la normaliser pour avoir
une avoir une probabilité
Sens ⇐ : Supposons que µ est une mesure de probabilité stationnaire elle
que Supp (µ) ⊂ C.
Montrons que C est récurrente positive : Soit y ∈ C, soit ε > 0 comme
µ (C) = 1 il existe Aε ⊂ C fini telle que :

µ (C\Aε ) < ε

Car µ (Aε ) ↑ µ (C) quand ε → 0.

Comme µ est stationnaire : µ = µP donc µ = µP n ∀n ≥ 0.
X
µ (y) = µ (x) p(n) (x, y)
x∈E
X
= µ (x) p(n) (x, y) car Supp (µ) ⊂ C
x∈C
X X
= µ (x) p(n) (x, y) + µ (x) p(n) (x, y)
| {z }
x∈Aε x∈C\Aε ≤1
| {z }
≤µ(C\Aε )

Emily Clement page 116 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Ainsi : X
µ (y) < µ (x) p(n) (x, y) + ε
x∈Aε

On multiplie cette inégalité par sn (1 − s) et on somme sur n :

X
µ (y) < µ (x) G (x, y|s) (1 − s) + ε (0 < s < 1)
x∈Aε

F (x, y|s) 1−U1−s

P
Ou encore : µ (y) < (y,y|s) + ε
x∈Aε
Supposons que y soit transitoire, alors U (y, y|1) < 1 donc quand s ↑ 1 le
membre de droite tend vers ε (Aε fini) Donc µ (y) = 0 ∀y ∈ C : Absurde car
µ est une probabilité supportée par C.PDonc C est récurrente. Quand s ↑ 1
dans l’égalité précédente µ (y) − ε ≤ µ (x) mC (y) = mC (y) µ (Aε )
x∈Aε
Donc µ (y) − ε ≤ mC (y) µ (C) ≤ mC (y) · 1, ∀ε > 0.
Donc µ (y) ≤ mC (y) , ∀y ∈ C.
Comme µ est supportée par C on a

µ (y) ≤ mc (y) , ∀y ∈ E

Donc il existe au moins un y ∈ C mC (y) > 0 :

1
Ey (τy ) = < +∞
mC (y)
y récurrent positif, C récurrente positive.
De plus on sait que µ (E) = 1 et que mC (E) ≤ 1 et N (y) ≤ mC (y) , ∀y ∈ E
µ (y) = mC (y) , ∀y ∈ E donc l’unicité.

Remarque 3.6. Si µ est une probabilité stationnaire et µ (y) > 0 alors y

est récurrent positif.
En effet on reprend l’idée de preuve du sens "⇐" : Soit ε = µ(y)
2 >0
∃Aε ⊂ E fini tel que µ (E\Aε ) < ε pour 0 < s < 1.
X 1−s
2ε = µ (y) ≤ F (x, y|s) +ε
1 − U (y, y|s)
x∈Aε

µ (x) F (x, y|s) 1−U1−s

P
(y,y|s) ≥ ε.
x∈Aε
Si on suppose y transitoire le nombre de gauche tend vers 0 quand s ↑ 1 :
Absurde !.
Donc y récurrent, quand s ↑ 1 (Aε est finie) donc :
X 1
µ (x) F (x, y) 0 ≥ε
U (y, y|1− )
x inAε

donc U 0 (y, y|1− ) < ∞ : y récurrent positif.

Emily Clement page 117 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Corollaire 3.1.

La chaîne de Markov (Xn )n de matrice de transition P admet des

lois stationnaire si et seulement si il y a des états récurrents positifs.
Dans ce cas, soient Ci i ∈ I les classes fermées récurrentes positives
(I = N∗ ou I = {1, . . . , k}, k ∈ N∗ )
Pour i ∈ I soit mi = mCi la loi stationnaire (Ci , PCi ) obtenue par le
théorème on regarde mi comme une mesure sur E avec mi (x) = 0 si
x ∈ E\Ci .
Alors les lois stationnaires de (Xn ) sont les combinaisons connexes
X
m= ci mi
i∈I
P
avec ci ≥ 0 ci = 1.
i∈I

Démonstration.
Soit m une loi stationnaire par (Xn )n chaque x avec m (x) > 0 doit être
récurrent positif, donc ils doivent exister des classes fermées récurrentes po-
sitives.
D’après le théorème, la restriction de m à chaque Ci doit être un multiple
positif de mi (l’unicité) donc m est de la forme indiquée.
Réciproquement, il est clair que chaque combinaison connexe de mi est une
probabilité stationnaire sur E.

Définition 3.16.

Une probabilité ν sur E est dite réversible par rapport à P (ma-

trice stochastique) si ∀x, y ∈ E on a :

ν (x) p (x, y) = ν (y) p (x, y)

Proposition 3.13.

Si ν est réversible
Palors ν est stationnaire.P
Donc νP (y) = ν (x) p (x, y) = ν (y) p (y, x) = ν (y)
x∈E x∈E

Emily Clement page 118 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

1 Théorème de convergence : Convergence vers la loi sta-

tionnaire
p(n) (x, y) = Px (Xn = y) −→ ?
n→+∞
Si y est transitoire, :
∞
X
G (y, y) < ∞ ⇔ p(n) (y, y) < ∞ ⇒ p(n) (y, y) −→ 0
n→+∞
n=0

prop 3.10
Donc G (x, y) = F (x, y) G (y, y) < ∞ ⇒ p(n) (x, y) −→ 0
| {z } n→+∞
<1
Ce n’est pas intéressant quand y est transitoire.
Autre idée constructive : la propriété de Markov nous fait penser que la
limite p(n) (x, y) ne dépend pas de x (oublie du point de départ). Donc que :

p(n) (x, y) −→ m (y) ( notation de la limite)

n→+∞

Comme P n est une matrice stochastique :

X
p(n) (x, y) = 1, ∀x ∈ E
y∈E

m (y) = 1 donc ∃y tel que m (y) > 0 donc p(n) (y, y) > 0
P
Si E est fini :
y∈E
pour tout n sauf un nombre fini.
On a donc apériodicité de y.
X
p(n+1) (x, y) = p(n) (x, z) p (z, y)
z∈E

P
Quand n −→ +∞, alors m (y) = m (z) p (z, y) = mP (y)
z∈E

Emily Clement page 119 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Théorème 3.5.

Soit (Xn )n une chaîne de Markov sur E de matrice de transition P .

On suppose (Xn )n irréductible et apériodique.
1. Si (Xn ) est récurrente positive, pour toute loi initiale ν sur E
on a :
lim kνP n − mk1 = 0
n→+∞
1
et en particulier : lim Pν (Xn = x) = m (x) = Ex (τx ) la loi
n→+∞
stationnaire calculée en x.
2. Si (Xn ) transient ou récurrente nulle pour tout loi initiale ν :

lim Pν (Xn = x) = 0 ∀x ∈ E
n→+∞
( )
X
M (E) = ν : E → R ν (x) ≥ 0∀x ∈ E et ν (x) = 1
x∈E

est un sous-ensemble de l1 (E) avec la métrique :

X
kν1 − ν2 k = |ν1 (x) − ν2 (x)|
x∈E

Démonstration.
Soit E ×E un espace d’états et soit la matrice de transition sur E ×E donnée
par
g ((x1 , x2 ) , (y1 , y2 )) = p (x1 , y1 ) p (x2 , y2 )
notée Q
= P ⊗ P (indépendance des coordonnées).
Xn1 , Xn2 sont des chaîne de Markov, chacun de matrice de transition P .
La loi initiale de la chaîne couple est µ1 × µ2 :

(ν1 × ν2 ) (x, y) = ν1 (x) ν2 (y) , (x, y) ∈ E × E

La loi initiale de x1n sera ν1 et celle de Xn2 sera ν2 .

Nous allons prendre ν1 = ν et ν2 = m la loi stationnaire. On a alors :

X
kνP n − mk1 = kν1 P n − ν2 P n k1 = Pν Xn1 = y − Pν Xn2 = y 



1 2
x∈E

On va regarder les points de la diagonale :

D = {(y, y) , y ∈ E}

et τD = inf n ≥ 1, Xn1 , Xn2 ∈ D



Emily Clement page 120 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Lemme 3.2 (Lemme A de la feuille).

Soit C une classe d’irréductibilité de période d = d (C).

Alors pour chaque x ∈ C, ∃nx ≥ 1 tel que :

p(nd) (x, x) > 0, ∀n ≥ nx

Démonstration.
d = pgcdI (x), I (x) = n ≥ 1, p(n) (x, x) > 0


Remarquons que si n1 ∈ I (x) et nx ∈ I (x) alors n1 + n2 ∈ I (x).

Et toute combinaison linéaire à coefficient entiers positifs également)
Par le théorème de Bezout, il existe n1 , . . . , nl ∈ I (x) et a1 , . . . , al ∈ Z tel
que
d = a1 n1 + · · · + al nl
On a d+ = aj nj et d− =
P P
(−aj ) nj .
j,aj >0 j,aj <0
Donc d+ , d− ∈ I (x) et d = d+ − d− .
+ −
On pose k + = dd et k − = dd on a alors :

k+ − k− = 1

nx = k − (k − − 1), soit n ≥ nx :
n = qk − + r avec q ≥ k − − 1 et 0 ≤ r ≤ k − − 1.
Donc : n = qk − + r (k + − k − ) = (q − r) k − + |{z}
r k + On a alors :
| {z }
≥0 ≥0

nd = (q − r) d− + rd+ ∈ I (x)

On laisse en exercice de montrer que :

Exercice 3.2. ∀x, y ∈ C ∃nx,y ≥ 1 tel que :

p(nd) (x, y) > 0, ∀n ≥ nx,y

Emily Clement page 121 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Lemme 3.3 (Lemme B de la feuille).

Soit P une matrice stochastique

P = (p (x, y))x,y∈E

irréductible, apériodique.
On note Q = P ⊗ P = (g (x1 , x2 ) , (y1 , y2 ))E×E

g ((x1 , x2 ) , (y1 , y2 )) = p (x1 , y1 ) p (x2 , y2 )

Alors Q est irréductible, apériodique.

Si P est récurrente positive, alors Q est récurrente positive.

Démonstration.
Soient (x1 , x2 ) , (y1 , y2 ) ∈ E × E, par le lemme A, il existe n1 = n1 (x1 , y1 )
et n2 = n2 (x2 , y2 ) ≥ 1 entiers tels que :
p(n) (x1 , y1 ) > 0 et p(n) (x2 , y2 ) > 0 dès que n ≥ n1 + n2
Alors q (n) ((x1 , x2 ) , (y1 , y2 )) = p(n) (x1 , y1 ) p(n) (x2 , y2 ) > 0 si n ≥ n1 + n2 .
Donc Q est irréductible.
On peut aussi voir que q (n) ((x1 , x2 ) , (x1 , x2 )) > 0 et q (n+1) ((x1 , x2 ) , (x1 , x2 )) >
0 ∀n ≥ n1 + n2
Si P est récurrente positive, alors, par le théorème d’existence d’une loi sta-
tionnaire : il existe une unique loi stationnaire m pour P : donc m ⊗ m est
une loi stationnaire pour Q :
(m ⊗ m) (x1 , x2 ) = m (x1 ) m (x2 )
donc par le même théorème : Q est récurrente positive.

Lemme 3.4 (Lemme C de la feuille).

Soit (Xn )n une chaîne de Markov sur E de matrice de transition

P , et on suppose que P est irréductible apériodique et récurrente
(positive).

Soit Xn1 , Xn2 la chaîne de Markov-(ν1 ⊗ ν2 , Q) sur E × E, on note
def
τD = inf n ≥ 1, Xn1 , Xn2 ∈ D


où D = {(x, x) , y ∈ E}
Alors ∀x ∈ E ∀n ∈ N∗ :

Pν1 ⊗ν2 Xn1 = x, τD ≤ n = Pν1 ⊗ν2 Xn2 = x, τD ≤ n

Emily Clement page 122 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Démonstration.
Soit k ≤ n :

X
Pν1 ⊗ν2 Xn1 = x, τD = k = Pν1 ⊗ν2 Xn1 = x, Xk1 = z, τD = k

z∈E
p.m.f
X
p(n−k) (z, x) Pν1 ⊗ν2 Xk1 = z, τD = k


=
z∈E
X
p(n−k) (z, x) Pν1 ⊗ν2 Xk2 = z, τD = k


=
z∈E
p.m.f
X
Pν1 ⊗ν2 Xn1 = x, Xk2 = z, τD = k


=
z∈E
= Pν1 ⊗ν2 Xn2 = x, τD = k

On somme sur k ≤ n on trouve la solution.

Retour à la démonstration du théorème :

1. Supposons que (Xn ) est récurrente positive (irréductible, apériodique)
et soit ν sa loi initiale (quelconque) sur E.
On veut montrer que kνP n − mk1 −→ 0
n→+∞
Cas mP n = n ∀n ≥ 0 ( m étant stationnaire)

kνpn − mk1 = kν1 P n − ν2 P n k1 car ν1 = ν, ν2 = m

X
Pν ⊗ν Xn1 = y − Pν ⊗ν Xn2 = y 



= 1 2 1 2
y∈E

X
kν1 P n − ν2 P n k1 = Pν ⊗ν Xn1 = y, τD ≤ n + Pν ⊗ν Xn1 = y, τD > n  = Pnu ⊗ν XN
2



1 2 1 2 1 2 =
y∈E
X
X
Pν1 ⊗ν2 Xn1 = y, τD > n + Pν1 ⊗ν2 Xn2 = y, τD > n


≤
y∈E y∈E

= zPν1 ⊗ν2 (τD > n)

Mais τD < ∞ car
∞ pν1 ⊗ν2 p.s.

τ(x,x) <
Car P (ou Xn1 et Xn2 ) est récurrente (donc τx < ∞ Pν −p.s.)

Pν1 ⊗ν2 (τD > n) −→ 0

n→+∞

(car τD < ∞ Pν1 ⊗ν2 −ps )

Emily Clement page 123 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

2. Supposons P transitoire. Si y ∈ E irréductible alors y est transitoire.

∞
X ∞ X
X
Pν (Xn = y) = ν (x) Px (Xn = y)
| {z }
n=0 n=0 x∈E
=p(n) (x,y)
X
= ν (x) G (x, y)
x∈E
prop 3.10
X
= ν (x) F (x, y) G (y, y)
| {z } | {z }
x∈E ≤1 <∞

≤ G (y, y) < ∞

Donc Pν (Xn = y) −→ 0 ∀ν loi initiale.

n→+∞
Supposons que P est récurrente nulle :
— ou bien Q = P ⊗ P est transitoire :
Soit ν1 = ν et ν2 = ν

(Pν (Xn = y))2 = Pν1 ⊗ν2 Xn1 + Xn2 = (y, y) −→ 0, ∀ν loi initiale



n→+∞

d’après la calcule précédent car Q est transitoire.

— ou bien Q est aussi récurrente nulle.
Comme dans la preuve
du point
a, la chaîne (Xn ) est récurrente
et donc vrai pour Xn1 , Xn2 )
On a que τD < ∞ Pν1 ⊗ν2 −p.s. pour ν1 et ν2 deux lois initiales
quelconques.

lim Pν1 Xn1 = y − Pν2 Xn2 = y  = 0, ∀y ∈ E




n→+∞

Donc PνP m (Xn = y) = Pν (Xn−m = y)

On peut aussi prendre : ν1 = ν et ν2 = νP m où m ≥ 0. Alors :

lim |Pν (Xn = y) − Pν (Xn−m = y)| = 0, ∀y ∈ E, ∀m ≥ 0

n→+∞

∞
P
Soit ε > 0 on sait que Ey (τy ) = Py (τy > m) = +∞
m=0
M
P 1
Donc il existe M = Mε tel que Py (τy > m) > ε
m=0
Pour n ≥ M , on note :

Am = {Xn−m = y, Xn−m+k 6= y, 1 ≤ k ≤ m}

Emily Clement page 124 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Pour 0 ≤ m ≤ M :
M
X n
X
1≥ Py (Am ) = Py (Xm−n = y, Xn−m+k 6= y, 1 ≤ k ≤ m} car les (Am )m∈J0,M K
m=0 m=0
XM
= Py (Xn−m = y, Xn−m+k 6= y, 1 ≤ k ≤ m)
m=0
XM
= Py (Xn−m+k 6= y, pour 1 ≤ k ≤ m|Xn−m = y) Py (Xn−m = y)
m=0
M
X
= Py (τy > m) Py (Xn−m = y)
n=0

Donc :
M
X
1≥ Py (τy > m) Py (Xn−m = y)
m=0

Pour chaque n ≥ M il doit y avoir un m = m (n) tel que m (n) ∈

J0, M K et :

Py Xn−m(n) = y < ε


en effet si ∀m ≤ M Py Xn−m(n) = y ≥ ε alors :

M
1 X 1
≥ Py (τy > m) >
ε ε
m=0

C’est absurde.
Comme m (n) reste borné et comme

Py (Xn = y) = Py (Xn−m = y) −→ 0
n→+∞

On en déduit que ∀ε > 0

lim sup Pν (Xn = y) < ε

n−→+∞

Donc lim Pν (Xn = y) = 0 Donc lim P (Xn = y) = 0 donc

P n→+∞ n→+∞
ν (y) Py (Xn = y) −→ 0
y∈E n→+∞
Vitesse de convergence ?
( )
X
M (E) = ν : E → R , ν (x) ≥ 0, ∀x ∈ E, ν (x) = 1
x∈E

Emily Clement page 125 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

1
P un sous-ensemble fermé de l (N) la pour métrique kν1 − ν2 k =
est
|νa (y) − ν2 (y)|
y∈E

M (E) → M (E)
ν 7→ νP

où P est une matrice stochastique.

On a un lemme suivant :

Lemme 3.5.

∀ν1 , ν2 ∈ M (E),

kν1 P − ν2 P k2 ≤ τ (P ) kν1 − ν2 k1
P
où τ (P ) = 1 − a (y) a (y) inf p (x, y) le plus petit élément de la
y∈E x∈E
colonne y de P .

Remarque
P 3.7. P
1= p (x, y) ≥ a (y) = 1 − τ (P )
y∈E y∈E
0 ≤ τ (P ) ≤ 1

Démonstration.
Pour chaque y ∈ E :
X
ν1 P (y) − ν2 P (y) = (ν1 (x) + ν2 (x)) p (x, y)
x∈E
X X
= |ν1 (x) − ν2 (x)| p (x, y) − {|ν1 (x) − ν2 (x)| − (ν1 (x) − ν2 (x))} p (x
x∈E x∈E
X X
≤ |ν1 (x) − ν2 (x)| p (x, y) − {|ν1 (x) − ν2 (x)| − (ν1 (x) − ν2 (x))} a (y
x∈E x∈E
X
= |ν1 (x) − ν2 (x)| (p (x, y) − (y))
x∈E

Emily Clement page 126 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Par symétrie :
X
|ν1 P (y) − ν2 P (y)| ≤ |ν1 (x) − ν2 (x)| (p (x, y) − a (y))
x∈E
X
kν1 P − ν2 P k1 = |ν1 P (y) − ν2 P (y)|
y∈E
X X
≤ |ν1 (x) − ν2 (x)| (p (x, y) − a (y))
x∈E y∈E
| {z }
=τ (P )

= τ (P ) kν1 − ν2 k1

Théorème 3.6 (Vitesse de convergence).

Supposons que (Xn ) une chaîne de Markov sur E irréductible de

matrice P sur E.

Supposons τ P k < 1 pour un k ∈ N∗
Alors (Xn ) est apériodique, récurrente positive et il existe un τ̃ ∈
]0, 1[ [ tel que ∀ν ∈ M (E) la loi initiale.

kνP n − mk1 ≤ 2τ̃ n

∀n ≥ k où m est l’unique loi stationnaire.

Démonstration.
Comme τ P k < 1, on a 1 − a y, P k < 1

P

P y∈E
Donc a (y, P ) > 0.
y∈E
Donc il existe y ∈ E tel que a y, P k > 0

Pour ce y, il existe au moins un x tel que p (x, x) > 0 car E est irréductible.
On a donc inf p(k) (x, y) > 0 donc p(k) (y, y) > 0 et p(k) (x, y) > 0.
x∈E

p(k+1) (y, y) ≥ p (x, y) p(k) (x, y) > 0

Si d est la période de E, alors d|k et d|k + 1 donc d|1 donc d = 1.

Par ailleurs ν 7→ νP k est une contradiction sur M (E) puisque τ P k <

1, d’après le lemme.
D’après le théorème de point fixe : ∃!m ∈ M (E) tel que

m = mP k

Emily Clement page 127 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

l
donc kνP kl − mk1 = kνP k P l − mP k k1 ≤ τ P k kν − mk1
On a mP = mP k P = mP P k donc (unicité) mP = m donc m est une loi
stationnaire.
1
E est récurrente positif et m (x) = Ex (τ x)
∀x ∈ E

kνP n − mk = kνP klP r − mk1

?  l
= k (νP r ) P kl − mk1 k ≤ 2π P k
  1
k+1
= 2τ̃ où τ̃ = τ P k
n

où n = kl + r avec 0 ≤ r ≤ k − 1.

2 Théorème de convergence : Convergence ps.

Théorème 3.7 (Ergotique).

Soit (Xn ) une chaîne de Markoc irréductible récurrente positive avec

loi stationnaire m. R P
Soit f : E → R m−intégrable, ie. |f | dm = |f (x)| m (x) <
E x∈E
+∞.
Alors pour tout loi initiale ν :
N −1 Z
1 X X
lim f (Xn ) = f dm = f (x) m (x) ps.
N −→+∞ N
n=0 E x∈E

Corollaire 3.2.

N −2
1 X 1
1{Xn =y} −→ ps
m (y) =
N N →+∞ Ey (τy )
| n=0{z }
1 [0,N −1]
N
Vy

quelque soit la loi initiale.

Remarque 3.8.

Emily Clement page 128 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Soit m la loi stationnaire, Xn ∼ m.

N −1
!
1 X
m (y) = Em 1{Xn =y}
N
n=0
N −1
!
1 X
1{Xn =y}
X
= m (x) Ex
N
x∈E n=0
X 1 1
−→ ν (x) =
Ey (τy ) Ey (τy )
x∈E

Démonstration.
On note τy0 = 0 τyk = inf n > τyk−1 Xn = y


Ainsi τy1 = τy .
Notons aussi :

N −1 τyk −1
X X
SN (f ) f (Xn ) Yk = f (Xn ) f ≥ 1
n=0 n=τyk−1

Emily Clement page 129 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Lemme 3.6.

Les τyk sont finis ps et les variables aléatoires :

 
τyk − τyk−1 , Xi , i = τyk−1 , τyk−1 + 1, · · · , τyk − 1

k ≥ 1, sont indépendantes et de même loi :

 
τy −1
X
Ey (Yk ) = Ey (Y1 ) = Ey  f (Xn )
n=0
∞ X
X
= f (z) Py (Xn = z, τy > n)
n=0 z∈E

def
l(n) (y, z) = Py (Xn = z, τy > n)
∞
X
L (y, z) = l(n) (y, z)
n=0

X
Ey (Yk ) = f (z) L (y, z)
z∈E
1 X
= f (z) m (z)
m (y)
z∈E

Emily Clement page 130 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Lemme 3.7.
P
Si y est récurrent L (y, z) = Ey (τy )
z∈E
Si la chaîne irréductible est récurrent positive avec m loi stationnaire
alors :
m (z) Ey (τy )
L (y, z) = =
m (y) Ez (τz )
k Z
1X 1 p.s. 1
Yj = Sτyk (f ) −→ f dm
k k n→+∞ m (y)
j=1 E

(Yj )j suite indépendante distribuée d’espérance commune

1 P
m(y) f (z) m (z)
z∈E
1 1
Pour f ≡ 1, τyk
−→ n(y)
Si f ≥ 0 :
1 1 1
Sτ k(N ) (f ) ≤ SN (f ) ≤ Sτ k(N )+1
N y N N y
où k (N ) l’indice (aléatoire) tel que :

τyk(N ) ≤ N ≤ τyk(N )+1

VIII Place à trouver : 30 Novembre 2015


F (x, B) = 1 si x ∈ B
(∗) : F (x, B) = P p (x, y) F (y, B) si x ∈
/B

y∈E
F (x, B) est la solution minimal de ce système :
Si π (·) est une autre solution du système alors π (x) ≥ F (x, B) ∀x ∈ E.
En effet, soit π (·) une solution de (∗).

π (x) = 1 = F (x, B) si x ∈ B

Emily Clement page 131 Tous droits réservés

CHAPITRE 3. CHAÎNES DE MARKOV.

Soit x ∈
/ B.
X
π (x) = p (x, y) π (y)
y∈E
X X
= p (x, y) · 1 + p (x, y) π (y)
y∈B y ∈B
/
!
X X X X
= p (x, y) + p (x, y) p (y, z) + p (y, z) π (z)
y∈B y ∈B
/ z∈B z ∈B
/
X X X
= p (x, y) + p (x, y) p (y, z) + p (x, y) p (y, z) π (z)
y∈B y ∈B,z∈B
/ y ∈B,z
/ ∈B
/
X
= Px (X1 ∈ B) + Px (X1 ∈
/ B, X2 ∈ B) + p (x, y) p (y, z) π (z)
y ∈B,z
/ ∈B
/

= Px (X1 ∈ B) + Px (X1 ∈/ B, X2 ∈ B) + · · · + Px (X1 ∈ / B, X2 ∈

/ B, · · · , Xn−1 ∈
/ B, Xn ∈ B)
X
+ p (x, x1 ) p (x1 , x2 ) · · · p (xn−1 , xn ) π (xn )
x1 ∈B,x
/ 2 ∈B,...,x
/ n ∈B
/

Donc π (x) ≥ Px (σB ≤ x)

Voir papier sur le théorème ergodique et la vitesse de convergence

IX Chaînes de Markov en temps continue

1 Processus de poisson

Emily Clement page 132 Tous droits réservés