Master Recherche de Mathmatiques

Probabilits
Jean-Yves DAUXOIS

CTU
Universit de Franche-Comt
Anne scolaire 2008-2009

Ce polycopi est encore rcent. Veuillez mexcuser pour toutes les coquilles quil doit
contenir. Merci davance ceux qui voudront bien me les signaler.

Table des matires

Chapitre 1. Rappels ou complments de Probabilits
1. Variables gaussiennes
2. Thormes des classes monotones et thorme de Carathodory

7
8
14

Chapitre 2. Gnralits sur les Processus Stochastiques

1. Notion de processus stochastique
2. Exemples classiques et fondamentaux de processus stochastiques
3. Bibliographie

17
18
23
26

Chapitre 3. Processus de Poisson

1. Dfinition et proprits lmentaires
2. Caractrisation dun processus de Poisson
3. Rsultats asymptotiques
4. Bibliographie

27
28
32
34
37

Chapitre 4. Chanes de Markov

1. Dfinition et matrice de transition
2. Exemples classiques de Chanes de Markov
3. quations de Chapman-Kolmogorov
4. Quelques formules de conditionnement
5. Classification des tats
6. Priodicit
7. Temps datteinte, tats rcurrents et transients
8. Proprit de Markov forte
9. Rcurrence positive et rcurrence nulle
10. Loi stationnaire et thormes limites
11. Bibliographie

39
40
41
48
50
51
54
56
66
67
70
81

Chapitre 5. Esprances conditionnelles

1. Introduction
2. Esprance conditionnelle

83
84
85

Chapitre 6. Martingales
1. Martingales
2. Martingales bornes dans L1
3. Ingalit de Doob et consquences
4. Martingales bornes dans Lp , pour p > 1

97
98
111
115
117

CHAPITRE 1

Rappels ou complments de Probabilits

Chapitre 1. Rappels ou complments de Probabilits

1. Variables gaussiennes
1.1. Exemple fondamental.

Exercice 1.1. Considrons n variables alatoires X1 , . . . , Xn indpendantes et de loi respectivement N (m1 , 12 ), . . . , N (mn , n2 ).
Pour i = 1, . . . , n, la variable alatoire Xi est donc de densit
(

 )
1
1 x mi 2
fXi (x) =
exp
,
2
i
2i
par rapport la mesure de Lebesgue sur R.
1) Montrer que lon peut crire la densit du vecteur de Rn

X1

X = ...
Xn
de la forme :


1
1
1
0 1
exp (x m) X (x m) ,
fX (x1 , . . . , xn ) =
n p
2
2
det(X )
o u0 est la transpose du vecteur u et o m et X sont respectivement le
vecteur des esprances et la matrice de covariance du vecteur alatoire X.
2) On rappelle que la fonction caractristique (f.c.) dune v.a.r. Xj de
loi N (mj , j2 ) est :


1 2 2
ij Xj
) = exp ij mj j j ,
Xj (j ) = E(e
2
pour tout j de R. En dduire que celle du vecteur X = (X1 , . . . , Xn ) est :


1 0
i0 X
0
X () = E(e
) = exp i m X ,
2
pour tout vecteur de Rn .
3) En utilisant les f.c., montrer que toute combinaison linaire des composantes de X est de loi normale sur R dont on dterminera lesprance et
la variance.

Solution de lexercice.
1) En raison de lindpendance des variables alatoires Xi , la densit conjointe du vecteur
X1 , . . . , Xn est :
(
 )
n 
1
1
1 X xi mi 2
fX1 ,...,Xn (x1 , . . . , xn ) =
n Qn
exp
.
2
i
2
i=1 i
i=1

c
2009
Jean-Yves Dauxois, Fvrier

1. Variables gaussiennes

Notons que la matrice X est diagonale en raison de lindpendance des v.a.r. (Xi )i=1,...,n .
Comme toutes les variances i sont strictement positives, on obtient aisment la matrice inverse

1/12
0

..
1
.
.
X =
2
0
1/n
On peut alors rcrire la densit conjointe du vecteur X = (X1 , . . . , Xn ) sous la forme


1
1
1
fX (x1 , . . . , xn ) =
n p
exp (x m)0 1
(x

m)
,
X
2
2
det(X )
puisque
(x m)0 1
X (x m)

1/12

= (x1 m1 , . . . , xn mn )
0
=

n
X
(xi mi )2
i=1

i2

x1 m1

..
..

.
.
xn mn
1/n2
0

2) En raison de lindpendance entre les composantes du vecteur X, on a, pour tout

= (1 , . . . , n ) de Rn :
X () = X1 ,...,Xn (1 , . . . , n ) =

n
Y

Xj (j ),

j=1

do on tire :
X1 ,...,

n
n
X

X
1
2j j2
j mj
Xn () = exp i

2
j=1
j=1


1 0
0
= exp i m X .
2

3) Une combinaison linaire des composantes du vecteur X scrit de manire gnrale

sous la forme :
h, Xi = 0 X
o = (1 , . . . , n ) est un vecteur de Rn . Il vient alors, pour tout u dans R :




h,Xi (u) = E eiuh,Xi = E eihu,Xi
= X (u)
n)
 = X (u1 , . . . , u
= exp iu0 m 12 u2 0 X .
La fonction caractristique de la v.a.r. h, Xi est donc de la forme :


h,Xi (u) = exp iua 21 u2 b ,
avec a = 0 m et b = 0 X . Par caractrisation, la v.a.r. h, Xi est donc de loi N (0 m, 0 X ). 3
c
Jean-Yves Dauxois, Fvrier
2009

10

Chapitre 1. Rappels ou complments de Probabilits

1.2. Dfinition.

Dfinition 1.1. Un vecteur alatoire X = (X1 , . . . , Xn ) de Rn est dit vecteur gaussien si,
pour tout = (1 , . . . , n ) de Rn , la v.a.r.
0 X =

n
X

i Xi

i=1

est une v.a.r. de loi normale. Autrement dit, si toute combinaison linaire des composantes
de (X1 , . . . , Xn ) est de loi normale.
Si son vecteur des esprances est m et sa matrice de covariance est X , on note X
Nn (m, X ).
Remarquons que lon peut en particulier en dduire que toutes les composantes du vecteur
X sont des v.a.r. de loi normale (Exercice trivial !). En revanche, la rciproque est fausse. Un
vecteur dont toutes les composantes sont de loi normale, nest pas ncessairement un vecteur
gaussien. On en verra un contre-exemple sous forme dexercice la fin de cette section.
La dfinition prcdente implique galement que tout sous vecteur dun vecteur gaussien
est encore un vecteur gaussien.
Proposition 1.2. Si X est un vecteur gaussien de vecteur des esprances m = (m1 , . . . , mn )
et de matrice de covariance X , alors, pour tout dans Rn , la v.a.r. 0 X = h, Xi est de loi
N (0 m, 0 X ).

Exercice 1.2. Dmontrer cette proposition.

Preuve/solution de lexercice. On utilise dabord le fait que, par dfinition dun vecteur
gaussien, la v.a.r. 0 X est de loi normale. Il ne reste plus qu calculer son esprance et sa
variance. On sait que lon peut crire :
et

E(0 X) = 0 EX = 0 m
0 X = 0 X .

On peut aussi caractriser un vecteur gaussien par sa fonction caractristique, grce la

proposition suivante.
Proposition 1.3. Pour quun vecteur X de Rn soit un vecteur gaussien, il faut et il suffit
quil existe un vecteur m de Rn et une matrice symtrique et positive de dimension n n
tels que, pour tout vecteur de Rn , on ait :


1 0
0
X (1 , . . . , n ) = exp i m .
2
Dans ce cas, on a : EX = m et X = .

Exercice 1.3. Dmontrer cette proposition (Ind. Dans un sens on

utilisera la proposition prcdente et dans lautre la dfinition prcdente dun
vecteur gaussien).

c
Jean-Yves Dauxois, Fvrier
2009

1. Variables gaussiennes

11

Preuve/solution de lexercice. Supposons que X soit un vecteur gaussien. Toute

v.a.r. de la forme 0 X, pour dans Rn , est donc de loi N (0 m, 0 X ). Ainsi sa fonction
caractristique est :


1 2 0
iu0 X
0
0 X (u) = E(e
) = exp iu m u X
2
En posant u = 1 dans cette quation, on obtient :


1 0
i0 X
0
E(e
) = exp i m X ,
2
Ce qui est bien lexpression annonce pour la fonction caractristique.
Rciproquement, soit X un vecteur alatoire dans Rn ayant pour fonction caractristique




1 0
0
ih,Xi
X () = exp i m X = E e
,
2
pour tout dans Rn . Notons maintenant Y = h, Xi la variable alatoire relle dont la
fonction caractristique est, pour tout u dans R :






0
Y (u) = E eiuY = E eiu X = E eihu,Xi


1 2 0
0
= exp iu m u X
2


1 2
= exp iua u b
2
o a = 0 m et b = 0 X . Par caractrisation, la v.a.r. Y est donc de loi N (0 m, 0 X ).
On a donc dmontr que toute combinaison linaire des composantes du vecteur X est de loi
normale, et par dfinition il sagit bien dun vecteur gaussien.
2
Notons que, dans tout ce qui prcde, la matrice X nest pas suppose inversible. En revanche, la dfinition dun vecteur gaussien par sa densit, par rapport la mesure de Lebesgue
dans Rn , nest possible que si cette matrice est inversible, comme laffirme la proposition suivante.
Proposition 1.4. Soit X un vecteur gaussien dans Rn desprance m et de matrice des
covariances X . Lorsque X est inversible, le vecteur alatoire X est dit vecteur alatoire
gaussien non dgnr et sa loi est absolument continue par rapport la mesure de Lebesgue
dans Rn et admet pour densit


1
1
1
0 1
p
exp

(x

m)

(x

m)
.
fX (x1 , . . . , xn ) =
X
2
(2)n/2 det(X )
Un vecteur gaussien de matrice de covariance X telle que det(X ) = 0 (i.e. X non
inversible) est dit dgnr et nadmet pas de densit par rapport la mesure de Lebesgue
dans Rn .

c
Jean-Yves Dauxois, Fvrier
2009

12

Chapitre 1. Rappels ou complments de Probabilits

1.3. Proprits des vecteurs alatoires gaussiens.
1.3.1. Transformation linaire dun vecteur gaussien.

Proposition 1.5. La transforme dun vecteur gaussien de Rn par une application linaire
de Rn vers Rp est encore un vecteur gaussien.

Exercice 1.4. Dmontrer cette proposition (Ind. Calculer la fonction

caractristique du vecteur Y = AX o A est la matrice de lapplication
linaire considre et X est le vecteur gaussien initial).

Preuve/solution de lexercice. Soit X un vecteur gaussien de Rn , de vecteur des

esprances m et de matrice de covariance X . Soit A la matrice associe une transformation
linaire quelconque de Rn vers Rp . La matrice A est donc de dimension p n. Calculons la
fonction caractristique du vecteur alatoire Y = AX.
Daprs ce que lon a vu au chapitre prcdent, pour tout de Rp , on a :




0
Y () = AX () = E eih,AXi = E eihA ,Xi


1 0
0
0
0
= X (A ) = exp i Am AX A .
2
Par caractrisation, le vecteur Y est donc un vecteur gaussien dans Rp de vecteur des
esprances Am et de matrice de covariance AX A0 , i.e.
2
Y Np (Am, AX A0 ).
1.3.2. Vecteur gaussien et indpendance.
On sait que, dune manire gnrale, lindpendance entrane la non corrlation (i.e. covariance nulle) mais que la rciproque est fausse. Dans le cas dun vecteur gaussien il y a
quivalence, comme le montre la proposition suivante.
Proposition 1.6. Soit X un vecteur gaussien dans Rn . Pour que ses composantes X1 , . . . , Xn
soient indpendantes, il faut et il suffit que la matrice de covariance soit diagonale.

Exercice 1.5. Dmontrer cette proposition (Ind. Un seul sens ncessite une preuve. Pour ce faire on pourra utiliser les f.c. et la caractrisation
quelles procurent pour lindpendance entre v.a.r.).

Preuve/solution de lexercice. Il suffit, bien sr, de montrer la rciproque. Supposons

donc que X soit diagonale, i.e.
2

1
0

..
X =
.
.
2
0
n
c
Jean-Yves Dauxois, Fvrier
2009

1. Variables gaussiennes

13

Comme X est un vecteur gaussien de loi Nn (m, X ), chacune de ses composantes Xj , pour
j = 1, . . . , n, est de loi normale N (mj , j2 ) et de fonction caractristique :


1 2 2
Xj (j ) = exp ij mj j j ,
2
pour tout j dans R.
Par ailleurs, la fonction caractristique du vecteur X est, pour tout dans Rn :


1 0
0
X () = exp i m X
2

n
n
X

X
1
2 2
= exp i
j j
j mj

2
j=1
j=1


n 
X
1
ij mj 2j j2
= exp

2
j=1

n
Y
j=1

1
exp ij mj 2j j2
2


=

n
Y

Xj (j ).

j=1

La caractrisation bien connue de lindpendance au moyen des f.c. permet de conclure.

Corollaire 1.7. Si le couple (X, Y ) est un vecteur gaussien, on a

X Y Cov(X, Y ) = 0.
2

Preuve. Immdiate.

Nous attirons lattention du lecteur sur le fait que deux variables alatoires relles gaussiennes et non corrles ne sont pas ncessairement indpendantes. Pour sassurer quelles le
soient il faut pour cela quelles constituent un couple gaussien.
Lexercice suivant tablit un contre-exemple.
Exercice 1.6. Considrons une v.a.r. X de loi N (0, 1) et une v.a.r.
discrte de loi dfinie par :
1
1
et p( = 1) =
p( = 1) =
2
2
et telle que les v.a.r. et X soient indpendantes. On pose Y = X.
1) Calculer la loi de Y .
2) Montrer que X et Y ne sont pas corrles (i.e. sont de covariance
nulle).
3) Montrer quelles ne sont cependant pas indpendantes. (Ind. on
pourra raisonner par labsurde et considrer la v.a. X + Y )

c
Jean-Yves Dauxois, Fvrier
2009

14

Chapitre 1. Rappels ou complments de Probabilits

Solution de lexercice.
1) On a :

P (X y)
P ({X y} { = 1}) + P ({X y} { = 1})
P ({X y} { = 1}) + P ({X y} { = 1})
P (X y)P ( = 1) + P (X y)P ( = 1)
1
1
=
P (X y) + P (X y) = FX (y).
2
2
Ainsi la v.a.r. Y est de loi N (0, 1).
2) Puisque X et Y sont centres et que et X sont indpendantes, on a :
FY (y) =
=
=
=

Cov(X, Y ) = EXY EXEY = E(X 2 ) = EEX 2 = 0

3) En raisonnant par labsurde, supposons quelles soient indpendantes . Daprs ce que
lon a vu au dbut de ce chapitre, le couple (X, Y ) serait gaussien et X + Y serait alors de loi
normale et donc absolument continue.
Or, en notant que X + Y = (1 + )X, on a :
1
P (X + Y = 0) = P (1 + = 0) = P ( = 1) = ,
2
ce qui contredit le fait que la v.a.r. X + Y soit absolument continue. Les v.a.r. X et Y ne
sont donc pas indpendantes.
3
2. Thormes des classes monotones et thorme de Carathodory
Dans cette section nous ne donnerons pas les preuves des thormes car elles sont trs
techniques et longues. Limportant est surtout de savoir utiliser ces rsultats fondamentaux
pour la suite de ce cours.
Dfinition 1.8. Une famille M de parties dun ensemble est appele classe monotone
si
i) M,
ii) si (An ) est une suite croissante dlments de M tels que An % A, alors A M,
iii) Si A et B sont des lments de M et si A est inclus dans B, alors B \ A est dans
M.
Une tribu est bien sr une classe monotone. On peut de mme montrer facilement quune
classe monotone ferme pour lintersection finie est alors une tribu (Exercice faire !).
Thorme 1.9. (Thorme des classes monotones, version ensembliste) Si S est
une famille de parties de ferme pour lintersection finie, alors la classe monotone engendre
par S concide avec la tribu engendre par S, i.e.
m(S) = (S).
Thorme 1.10. (Thorme des classes monotones, version fonctionnelle) Soit
H une espace vectoriel de fonctions bornes dfinies sur valeurs dans R contenant les
constantes et stable par limites monotones bornes, i.e. si (fn ) est une suite croissante borne
de fonctions positives de H, alors f := lim fn est dans H. Soit C un sous-ensemble de H stable
par multiplication.
Alors H contient toutes les fonctions bornes (C)-mesurables.
c
Jean-Yves Dauxois, Fvrier
2009

2. Thormes des classes monotones et thorme de Carathodory

15

Le thorme des classes monotones permet en particulier de montrer lunicit dans le

thorme fondamental suivant.
Thorme 1.11. (Thorme de Carathodory) Soit une mesure -additive sur
lalgbre de Boole A de parties de . Alors il existe une mesure
sur la tribu (A) telle
que
(A) = (A), pour tout A de A. De plus
est unique et -finie si est -finie.

c
Jean-Yves Dauxois, Fvrier
2009

CHAPITRE 2

Gnralits sur les Processus Stochastiques

17

18

Chapitre 2. Gnralits sur les Processus Stochastiques

Ce chapitre a pour but dintroduire formellement la notion de processus stochastique,

den donner une dfinition relativement gnrale avant dtudier plus prcisment quelques
cas particuliers dans les chapitres suivants. Il est certainement un peu abstrait et peu digeste
(malgr mes efforts...) la premire lecture du polycopi. Il est dailleurs noter quil se
trouve la marge du programme de cette unit. Cest pourquoi, il peut tre conseill de
le sauter en premire lecture. Ensuite, pour rpondre quelques unes des questions que
vous pourriez vous poser sur les processus stochastiques tudis ultrieurement (processus de
Poisson, Chanes de Markov et Martingales), il trouvera peut tre son utilit, en particulier
pour ceux qui dsireraient en savoir un peu plus...

1. Notion de processus stochastique

1.1. Introduction. On sintresse lvolution dun phnomne, dune variable au cours
du temps. On utilise le terme de processus quand on suppose lintervention dala ou dun trop
grand nombre de facteurs explicatifs quon ne peut prendre en compte et que lon rassemble
du coup dans lala. Quatre grands types de processus se dgagent rapidement dont voici des
exemples :
volution de la temprature releve tous les matins 7 heures.
Nombre mensuel dimmatriculations nouvelles releves Besanon.
Nombre de personnes places dans le monde du travail par lANPE par mois.
Relev par seconde de la dilatation dun matriau sous leffet de la chaleur.
valuation sensorielle dun produit des instants diffrents.
Relev par heure de la concentration sanguine dun certain type danticorps sur un
patient.
Nombre dappels reus par un standard tlphonique depuis le dbut de la journe,
i.e. dans lintervalle [8h, t] pour t [8h, 17h].
Relev en continu du nombre de voitures arrtes un feu rouge, nombre de clients
une caisse de supermarch ou un guichet de banque.
lectrocardiogramme dun patient
Variation dun indice boursier.
volution de la proportion dozone dans latmosphre au cours de la journe dans
le centre de Paris.
Ces processus peuvent tre modliss par la donne dun espace probabilis (, A, P ), dun
espace probabilisable (E, E), dun ensemble T et dune famille de v.a. (Xt )tT de (, A, P )
valeurs dans (E, E). Les quatres grands types que nous avons vu prcdemment sont diffrencis par leur ensemble T , appel espace des temps, et leur ensemble E, appel espace
dtats.
Si T est un espace dnombrable, N par exemple, on parle de processus temps discret.
Cest le cas pour les deux premiers grands types introduits plus haut. Si lespace T est de
type continu, par exemple R ou R+ , on parle de processus temps continu. Cest le cas
des deux derniers types. Notons que lon peut aussi considrer des processus espace des
temps multidimensionnel, comme par exemple T Rk . Il en est ainsi pour la modlisation du
mouvement de la vague sur locan. Pour un point t repr par sa latitude et sa longitude, on
relve la hauteur Xt de la vague. Il en est ainsi galement en traitement de limage o pour
tout t coordonnes du pixel (dans N2 ) on associe un niveau de gris Xt pour des images en noir
et blanc, ou un triplet de valeurs donnant les niveaux de rouge, bleu et vert. On parle alors
de processus spatiaux mais nous naborderons pas ces derniers dans ce cours.
c
Jean-Yves Dauxois, Fvrier
2009

1. Notion de processus stochastique

19

On peut galement distinguer deux types despace dtats, selon quil est discret ou continu
comme respectivement dans les types 1 et 3 et les types 2 et 4. Notons que nous navons
considr que des espaces dtats unidimensionnels et que bien sr, sans difficult majeure,
on pourra galement considrer des espaces dtats mutlidimensionnels, par exemple E Rk .
Il en est ainsi par exemple si on considre le dplacement au cours du temps dune particule
dans un liquide, repre par ses coordonnes dans lespace.
1.2. Dfinition-Mesurabilit. A la suite des exemples prcdents, on souhaite dfinir
une manire de reprsenter lvolution dun systme au cours du temps.
Une reprsentation dterministe consiste spcifier un espace T , dit espace des temps, un
espace E, dit espace des tats et une fonction
x:T E
t 7 xt
Ainsi on pourra reprsenter lvolutions de systmes dterministes par des quations par
exemple du type : xt = t2 ou xt = A cos t, etc...
Mais, comme nous lavons vu dans les exemples de la section prcdente, il est parfois
utile ou ncessaire de faire intervenir lalatoire. Pour cela on se donne un espace probabilis
(, A, P ) et une famille (Xt )tT de v.a. de (, A, P ) vers (E, E), i.e. pour tout t T la
fonction Xt de (, A) vers (E, E) est mesurable, i.e.
B E : Xt1 (B) = {Xt B} = { : Xt () B} A.
En rsum, on a donc :
t T, B E, Xt1 (B) A.
Remarquons que lon peut aussi considrer un processus comme une fonction de T
vers E,
T E
(t, ) 7 X(t, )
et galement comme une fonction de vers lensemble des fonctions de T vers E, ensemble
not E T ,
X : ET
7 (t 7 Xt ())
Dans la dernire formulation, pour une ralisation du hasard on alors une fonction de E T .
Chaque fonction obtenue pour un particulier est alors appele trajectoire.
Revenons sur la notion de mesurabilit. Celle-ci, dj introduite plus haut, est quivalente
aux suivantes.
n N, (t1 , . . . , tn ) T n , (B1 , , Bn ) E n , on a :
{(Xt1 , . . . , Xtn ) B1 Bn } A
n N, (t1 , . . . , tn ) T n , B E n tribu produit sur E n
{(Xt1 , . . . , Xtn ) B} A
On a vu que lon pouvait voir le processus X comme fonction de vers E T . Si lon muni
ce dernier espace dune tribu, que lon notera E T , on pourra alors galement voir le processus
X comme une fonction mesurable de (, A) vers (E T , E T ). Cette notion de mesurabilit sera
alors quivalente celle introduite prcedemment.
c
Jean-Yves Dauxois, Fvrier
2009

20

Chapitre 2. Gnralits sur les Processus Stochastiques

Dfinition
2.1. Soit (Ei , Ei )iI Q
une famille despace mesurables. On note iI Ei la tribu
Q
sur iI Ei engendre par les pavs iI Bi , o les Bi sont lments de Ei et sont tous gaux
Ei , sauf un nombre fini. Si T est un ensemble et (E, E) un espace mesurable, on notera E T
la tribu engendre par les pavs sur E T .
Les notions quivalentes de la mesurabilit dun processus stochastique, introduites prcdemment, sont alors encore quivalentes
Le processus X est mesurable de (, A) vers (E, E)T .
Pour tout pav

tT

X 1 (

Bt de E T on a :
Bt ) = { : Xt () Bt , pour tout t} A

tT

1.3. Loi dun processus, Processus canoniques. La notion de loi dun processus est
calque sur celle de loi dune variable alatoire.
Dfinition 2.2. On appelle loi du processus (, A, P, (Xt )tT ) la loi image PX de P
par X.
La loi dun processus est donc une probabilit sur lensemble des fonctions de T vers E.
Thorme 2.3. La loi dun processus (, A, P, (Xt )tT ) est caractrise par les valeurs de
P ({(Xt1 , . . . , Xtn ) B1 Bn })
pour tout n dans N, tout (t1 , . . . , tn ) dans T n et tout B1 Bn dans E n . On dit encore
que la loi PX du processus X est caractrise par lensemble des lois marges de dimension
finie, i.e. par lensemble des lois P(X1 ,...,Xn ) de tout sous vecteur de dimension finie.
Preuve. Il suffit de remarquer que lensemble des pavs mesurables est stable par interT
section finie. Le thorme de Carathodory
Q nous dit alors quuneQprobabilit sur (E, E) est
caractrise par ses valeurs sur les pavs tT Bt , i.e. par les PX ( tT Bt ). La dfinition dun
pav implique alors clairement que la donne de ces probabilits est quivalente la donne
du systme de probabilit du thorme.2
Dfinition 2.4. Soient X et Y deux processus ayant mme ensemble des temps T et
mme espace dtats (E, E). On dit que les processus X et Y sont quivalents sils ont mme
loi, i.e. si
n N, (t1 , . . . , tn ) T n , (B1 , . . . , Bn ) E n , on a :
P ({(Xt1 , . . . , Xtn ) B1 Bn }) = P ({(Yt1 , . . . , Ytn ) B1 Bn })
Parmi tous les processus quivalents, i.e. ayant tous la mme loi, on peut en distinguer un
de manire unique. Il sera alors souvent pris comme reprsentant de sa classe dquivalence.
Soit donc (, A, P, (Xt )tT ) un processus dfini sur (, A) et valeurs dans (E, E)T . Sa
loi est PX , image de P par la fonction mesurable X. Dfinissons lensemble (t )tT des
applications coordonnes dindice t, i.e. pour t0 T :
t0 : E T
(xt )tT

E
7

xt0

On peut, la suite de ce que lon a fait prcdemment, montrer que la tribu E T est la
plus petite tribu rendant mesurable les applications coordonnes de E T vers E, i.e. E T =
(t1
(B) : t0 T, B E) = (t : t T ), o si V est une famille densembles (resp.
0
c
Jean-Yves Dauxois, Fvrier
2009

1. Notion de processus stochastique

21

famille de fonctions), la tribu (V) est la tribu engendre par (resp. rendant mesurable tous
les lments de) V. Ainsi, sur (E T , E T , PX ) on peut dfinir une famille (t )tT de v.a. de
(E T , E T , PX ) vers (E, E). Au sens de la premire dfinition (vue en dbut de cette section), il
sagit donc dun processus. Remarquons que ce processus est quivalent au processus (Xt )tT .
En effet, pour tout n dans N, tout (t1 , . . . , tn ) T n et tout (B1 , . . . , Bn ) E n , on a :
PX ({(t1 , . . . , tn ) B1 Bn })
= P (X 1 {(t1 , . . . , tn ) B1 Bn })
= P ({ : (Xt1 (), . . . , Xtn ()) B1 Bn })
= P ({(Xt1 , . . . , Xtn ) B1 Bn })
On a donc pratiquement tabli la proposition suivante, le reste tant ais.
Proposition 2.5. Lensemble des processus, ayant mme espace des temps et dtats, qui
sont quivalents entre eux forment une classe dquivalence.
Parmi les lments de cette classe dquivalence, il en existe un unique dfini sur (E, E)T
par les applications coordonnes. Ce processus est appel processus canonique.
On remarque que travailler sur les processus canoniques revient travailler au niveau des
lois des processus, i.e. au niveau des classes dquivalences. On appelle version du processus
un lment quelconque de cette classe et on utilise le plus souvent la version canonique.
1.4. Processus canoniques ayant des rpartitions finies donnes. Thorme de
Kolmogorov. On vient de voir dans la section prcdente quun processus stochastique est
entirement dtermin par ses marges de dimension finie. On peut se poser la question dans
lautre sens. Ayant un systme de loi de dimension finie, existe-t-il un processus (Xt )tT
ayant pour marges de dimension finie, ces lois ? De manire plus mathmatique, on posera la
question sous la forme suivante. Notons pour cela lensemble des parties finies de T , i.e.
S si n N et (t1 , . . . , tn ) T n tel que S = {t1 , . . . , tn }.
Supposons que lon ait un systme (s )s de lois de dimension finie. Existe-t-il une probabilit
P sur (E T , E T ), et si oui est-elle unique, telle que P ait pour systme de marges de dimension
finie la famille (s )s ?
On remarque assez vite quune question de cohrence apparat. Notons en effet S la
0
projection de E T sur E S et SS 0 , pour S 0 S, la projection de E S sur E S . On cherche donc
une probabilit P telle que la probabilit S P , image de P par S , soit gale S et ce
pour tout S dans . Or, clairement, pour S 0 S, on doit avoir SS 0 S P la fois gal
S 0 P = S 0 et gal SS 0 S . Il faut donc ncessairement que le systme de marges que
lon se donne (S )S soit cohrent, i.e. :
(S 0 , S) 2 , S 0 S : SS 0 S = S 0 .
Lintrt du thorme suivant du Kolmogorov est de montrer que cette condition, dont on
vient de souligner la ncessit, est aussi suffisante. Mais donnons en premier lieu la dfinition
dun espace polonais.
Dfinition 2.6. Un espace E est dit polonais, sil est mtrique, sparable (i.e. il existe
une base dnombrable douverts) et complet (toute suite de Cauchy est convergente).
Thorme 2.7. (Kolmogorov) Soit E un espace dtats polonais muni de sa tribu borlienne (i.e. tribu engendre par les ouverts pour la topologie) et T un espace des temps. Soit
(S )S un systme de lois de dimension finie (S loi sur E S pour S partie finie de T ). Si ce
c
Jean-Yves Dauxois, Fvrier
2009

22

Chapitre 2. Gnralits sur les Processus Stochastiques

systme de lois est cohrent alors il existe une unique probabilit P sur (E, E)T telle que ses
marges de dimension finie concident avec le systme de lois (S )S .
Remarque : On peut vrifier que les espaces mesurables suivants sont polonais :
(R, BR );
(Rd , BRd );
E est dnombrable muni de la tribu de toutes ses parties.
1.5. Modification dun processus et processus indistinguables.
Dfinition 2.8. Soit X = (, A, P, (Xt )tT ) et X 0 = (, A, P, (Xt0 )tT ) dfinis sur le
mme espace probabilis (, A, P ), ayant mme espace des temps T et mme espace dtats E.
On dit que le processus X est une modification du processus X 0 si pour tout t dans T ,
les v.a. Xt et Xt0 sont presque srement gales.
Ils sont dits indistinguables si lon a P -presque-srement :
Xt = Xt0 , t T.
Il est clair que deux processus modifications lun de lautre sont quivalents. Remarquons galement que deux processus indistinguables sont modification lun de lautre mais,
en revanche, la rciproque est fausse ds que lespace des temps nest pas dnombrable.
Lindistinguabilit signifie quen dehors dun ensemble ngligeable sur , toutes les trajectoires des deux processus concident ce que nexigeait pas la notion de modification.
Exemples de processus qui sont modifications lun de lautre et qui ne sont pas indistinguables
Soient (Xt )t[0,1] et (Xt0 )t[0,1] deux processus dfinis sur le mme espace probabilis
([0, 1], B[0,1] , [0,1] ), o [0,1] est la mesure de Lebesgue sur [0, 1], et dfinis par :
Xt () = 1l]t,1] ()
Xt0 () = 1l[t,1] ()
On a pour tout t dans [0, 1] :
[0,1] (Xt = Xt0 ) = [0,1] ({ : Xt () = Xt0 ()}) = [0,1] ([0, 1] \ {t}) = 1
Les processus (Xt )t[0,1] et (Xt0 )t[0,1] sont donc modifications lun de lautre mais ne
sont pas indistinguables puisque les trajectoires, pour quelconque dans sont :
t 7 Xt () = 1l[0,[ (t)
t 7 Xt0 () = 1l[0,] (t)
et sont donc toujours diffrentes.
Soit (Xt )t[0,1] un processus dterministe, tel que :
Xt () = 1, et t [0, 1].
Soit maintenant U une v.a. de loi uniforme sur [0, 1] et (Yt )t[0,1] le processus dfini,
pour tout dans par :

0 pour t = U ()
Yt () =
1 ailleurs.
On a alors clairement, pour tout t dans [0, 1] :
P ({Xt = Yt }) = 1 P ({U = t}) = 1.
c
Jean-Yves Dauxois, Fvrier
2009

2. Exemples classiques et fondamentaux de processus stochastiques

23

Mais en revanche :
P ({t : Xt = Yt }) = 0.
Remarque : On verra ultrieurement quen revanche si deux processus sont modifications
lun de lautre et sils sont tous les deux trajectoires p.s. continues alors, ncessairement, ils
sont galement indistinguables.
2. Exemples classiques et fondamentaux de processus stochastiques
2.1. Suite de v.a. indpendantes. Supposons que les v.a. (Xn )nN soient toutes
indpendantes, valeurs dans R mais non ncessairement identiquement distribues, de f.d.r.
(Fn )nN . Les lois marginales du processus sont bien sr caractrises par les f.d.r. des vecteurs
extraits. Or la f.d.r. multidimensionnelle dun vecteur extrait Xn1 , . . . , Xnk , o {n1 , . . . , nk }
est une partie quelconque de N, est :
F (xn1 , . . . , xnk ) = Fn1 (xn1 ) Fnk (xnk ).
On vrifie trs facilement que ce systme est cohrent et donc daprs le thorme de Kolmogorov, il existe un processus sur (R, BR )N ayant les marges qui concident avec ce systme
de lois de dimension finie.
2.2. Processus stationnaires. Il a t vu en cours de Sries Temporelles quun processus
avec pour espace des temps T et espace dtats E est dit stationnaire (au sens fort), si
pour tout n dans N et tout (t1 , . . . , tn ) T n , on a identit des lois des marges de dimension
finie prises aux instants (t1 , . . . , tn ) et (t1 + h, . . . , tn + h), pour h > 0, i.e.
(B1 , B2 , . . . , Bn ) E n , on a :
P ({(Xt1 , Xt2 , . . . , Xtn ) B1 Bn }) =
P ({(Xt1 +h , Xt2 +h , . . . , Xtn +h ) B1 Bn })
On dit quil y a invariance des lois des marges de dimension finie par translation temporelle.
Si le processus est du second ordre (i.e. Xt L2 (, A, P ), pour tout t), on dit quil est
stationnaire au sens faible si sa moyenne est constante et la covariance entre Xt et Xt+h ,
pour t et t + h dans T , ne dpend que de h.
2.3. Processus gaussiens.
Dfinition 2.9. Un processus despace des temps T et despace dtats R est dit processus
gaussien rel si toutes ses marges de dimension finie sont des vecteurs gaussiens
On sait quun vecteur gaussien est entirement spcifi par la donne de son esprance et
sa matrice de covariance. On va donc pouvoir entirement spcifier un processus gaussien en
donnant sa fonction moyenne et sa fonction covariance.
En remarquant que tout vecteur extrait dun vecteur gaussien est encore un vecteur
gaussien, la cohrence dun tel systme de loi est vrifie et on a donc la proposition suivante.
Thorme 2.10. Soit m une fonction de T vers R et une fonction symtrique de T 2
vers R tel que pour toute partie finie {t1 , . . . , tn } de T , la matrice ((ti , tj )1i,jn ) soit dfinie
positive (on dit que la fonction est de type positif ).
Il existe alors un unique processus gaussien, une quivalence prs, dont les marges finies,
pour n N et (t1 , . . . , tn ) T n , sont un vecteur gaussien desprance (m(t1 ), . . . , m(tn ))T et
de matrice de covariance ((ti , tj )1i,jn ). Les fonctions m et caractrisent entirement la
loi du processus gaussien.
c
Jean-Yves Dauxois, Fvrier
2009

24

Chapitre 2. Gnralits sur les Processus Stochastiques

2.4. Processus accroissements indpendants.

Dfinition 2.11. Soit T un espace des temps inclus dans R, E un espace polonais et X
un processus de (, A, P ) vers (E, E)T .
On dit que le processus X est accroissements indpendants (on crit souvent PAI)
si pour tout t1 < t2 < < tn de T , les v.a.
Xt2 Xt1 , Xt3 Xt2 , . . . , Xtn Xtn1
sont mutuellement indpendants. Si lespace des temps admet un plus petit indice t0 , on
suppose que la famille prcdente enrichie de la v.a. Xt0 est encore une famille de v.a. indpendantes.
Le processus est dit accroissements stationnaires si la loi de Xt+h Xt dpend
uniquement de h et non de t. Un processus accroissements indpendants et stationnaires est
not PAIS.
Si lespace des temps est N (ou ventuellement Z) on parle plutt de marche alatoire,
appellation plus claire en considrant les v.a. (Zn ) dfinies, pour n > 0 par :
Z0 = X0 , Z1 = X1 X0 , Z2 = X2 X1 , . . . , Zn = Xn Xn1 ,
On a en effet
Xn = Z0 + Z1 + . . . + Zn
Le pas effectu au temps n par le processus, i.e. Zn = Xn Xn1 , est bien indpendants du
pass.
Exemple : La marche alatoire simple.
Soit X un processus stochastique espace des temps N, espace dtats Z et dfini de la
manire suivante : X0 = 0 et Zn = Xn Xn1 est de loi p1 + (1 p)1 et la famille des v.a.
(Zn )nN est une famille indpendante.3
Nous tudierons plus tard le mouvement brownien et le processus de Poisson qui sont des
PAIS.
2.5. Martingales. Soit X un processus dfini sur (, A, P ) et valeurs sur (R, BR )T , o
T est soit R+ , soit N pour simplifier les notations. Dfinissons pour tout t dans T la tribu
engendre par les Xs pour s t,
Ft = (Xs ; s t et s T ),
dite histoire du processus au temps t. Il est vident que lon a Ft Ft0 , pour tout t t0 . La
famille de tribu (Ft ) est dite filtration naturelle associe au processus X.
Dfinition 2.12. On dit quun processus (Xt )tT valeurs dans (R, BR ) est une martingale par rapport sa filtration naturelle si lon a :
E|Xt | < +, t T
E(Xt / Fs ) = Xs , pour tout s t et (s, t) T 2
Le signe E(Xt / Fs ) signifie lesprance conditionnelle de Xt relativement la tribu Fs .
Cette notion desprance conditionnelle sera dfinie prcisment dans un chapitre ultrieur.
On peut utiliser les martingales pour modliser des jeux quitables. En effet, si Xt Xs
est le gain du joueur entre les instants s et t, on a dans un jeu quilibr : E(Xt Xs / Fs ) = 0.
c
Jean-Yves Dauxois, Fvrier
2009

2. Exemples classiques et fondamentaux de processus stochastiques

25

Remarquons enfin, que la marche alatoire simple que nous avons considr prcdemment
est une martingale temps discret si elle est symtrique, i.e. si p = 1/2, puisque :
E|Xn |

n
X

E|Zi | < +

i=1

et

E(Xn+1 Xn / Fn ) = E(Zn+1 / Fn ) = EZn+1 = 0

Nous reviendrons sur les martingales temps discret, qui sont au programme de cette unit,
dans un prochain chapitre.
2.6. Processus de Markov. Nous reprennons les mmes notations qu la sous section
prcdente.
Dfinition 2.13. Un processus (, A, P, (Xt )tT ) valeurs dans un espace (E, E) est dit
processus de Markov si pour tout s t, (s, t) T 2 et tout A E, on a :
P (Xt A / Fs ) = P (Xt A / Xs ).
On dit que le futur du processus ne dpend du pass qu travers le prsent.
Ce processus est dit homogne si la loi de Xt sachant Xs ne dpend que de t s pour s < t.
Terminologie : Si lespace des temps est discret, on parle de chaine de Markov, sil est
continu on parle de processus de Markov ( temps continu). Les chanes de markov sont au
programme de cette unit et seront tudies dans un chapitre ultrieur.
2.7. Processus de renouvellement. Processus de Poisson.
Dfinition 2.14. Soient (Tn )nN une suite de v.a. sur (, A, P ), positives, indpendantes et identiquement distribues de f.d.r. F . Le processus (, A, P, (St )nN ) valeurs dans
(R+ , BR+ ) dfini par
Sn = T1 + . . . + Tn
est dit processus de renouvellement.
On remarque quun processus de renouvellement est un PAIS. Ces processus sont par
exemple utiliss en fiabilit. Supposons que lon dispose de matriels identiques (i.e. dont
la loi dattente de la panne est identique) et au comportement indpendant. Plaons une
premire unit en marche linstant t = 0. Ds que celle-ci tombe en panne, on la remplace
instantanment par une seconde et ainsi de suite. Le temps o aura lieu le ni`eme renouvellement
est donc Sn = T1 +. . .+Tn , o (Ti )i=1,...,n sont les temps dattente de la panne pour les diffrents
matriels.
A ce processus de renouvellement on peut associer un processus de comptage du nombre
de renouvellement.
Dfinition 2.15. Soit (Sn )nN un processus de renouvellement dfini par une suite de v.a.
i.i.d. (Tn )nN de f.d.r. F sur (, A, P ) et valeurs dans (R+ , BR+ )
On appelle processus de comptage des renouvellements le processus (Nt )tR+ dfini
sur (, A, P ) et valeurs dans N par :
Nt =

+
X

1l]0,t] (Sn )

n=1

= n si Sn t < Sn+1
= nombre de renouvellement survenus jusquau temps (inclus) t.
c
Jean-Yves Dauxois, Fvrier
2009

26

Chapitre 2. Gnralits sur les Processus Stochastiques

Dfinition 2.16. On appelle processus de Poisson de paramtre un processus de

comptage de renouvellements associ un processus de renouvellement o la loi des v.a.
(Tn )nN est exponentielle de paramtre .
On reviendra sur ces processus dans un autre chapitre.
3. Bibliographie
Harald Cramer et M.R. Leadbetter. Stationary and Related Stochastic Processes.
Wiley 1967.
Didier Dacunha-Castelle et Marie Duflo. Probabilits et Statistiques 2 : Problmes
temps mobile. Masson 1983.
Claude Dellacherie et Paul-Andr Meyer. Probabilits et potentiel, chapitres I IV.
Hermann 1975.
I.N. Kovalenko, [Link]. Kuznetsov et V.M. Shurenkov. Models of Random Processes.
CRC Press 1996.
Michel Love. Probability Theory II, 4th Edition. Springer 1978.
M. Mtivier. Notions fondamentales de la thorie des probabilits. Dunod 1972.

c
Jean-Yves Dauxois, Fvrier
2009

CHAPITRE 3

Processus de Poisson

27

28

Chapitre 3. Processus de Poisson

On sintresse ici modliser un phnomne dont les instants doccurrence forment une
suite croissante de variables positives notes (Tn )n0 . Il en est ainsi par exemple pour modliser
les instants dappels reus par un standard tlphonique, les instants darrive des patients
aux urgences, de voitures un feu rouge, de clients une caisse de supermarch, des pannes
sur un systme rparable.
Mathmatiquement il sagit donc dune suite croissante de v.a. (Tn )n0 :
0 = T0 T1 T2 Tn
On parle de processus ponctuels. Bien sr, en posant
X1 = T1 , X2 = T2 T1 , . . . , Xn = Tn Tn1 ,
il est quivalent de dfinir les instants (Tn )n0 ou la suite (Xn )n1 de v.a.r. positives, puisque
lon a :
Tn = X1 + X2 + . . . + Xn .
Les v.a. (Xn )n1 sont souvent appeles temps inter-arrives.
Notons N le processus dfini sur R+ et valeurs dans N par
Nt =

+
X

1lTn t

n=1

appel processus de comptage associ au processus ponctuel (Tn )n0 . Il est nouveau clair
que connatre la loi de (Tn )n0 est quivalent connatre celle du processus N = (Nt )t0 . On
a en effet, pour tout n dans N et tout (t1 , . . . , tn ) R+ R+ ,
P (T1 t1 , T2 t2 , . . . , Tn tn ) = P (Nt1 1, Nt2 2, , Ntn n).
En posant lhypothse que les v.a. (Xn )n1 sont i.i.d. de mme f.d.r. F , on a vu au
chapitre 2 que le processus (Tn )n0 est alors un processus de renouvellement et N = (Nt )t0
le processus de comptage des renouvellements. Nous allons tudier dans ce chapitre un cas
particulier que constitue les processus de Poisson.
1. Dfinition et proprits lmentaires
Il y a de trs nombreuses manires de dfinir un processus de Poisson homogne sur R+ .
Rappelons celle donne au chapitre 2 et qui le prsente comme un processus de renouvellement
particulier.
Dfinition 3.1. Un processus ponctuel (Tn )n0 est dit processus de Poisson homogne sur
R+ dintensit si les temps dinter-arrives (Xn )n1 sont i.i.d. (donc sil est un processus
de renouvellement) de loi exponentielle1 E(). On dit de manire quivalente que N = (Nt )t0
est un processus de Poisson.
Remarquons que lon a p.s. :
0 < T1 < T2 < < Tn < ,
puisque les v.a. (Xn )n1 , de lois exponentielles, sont p.s. strictement positives. De plus le
processus N = (Nt )t0 est trajectoires croissantes, continues droite, valeurs entires et
ayant des sauts de taille 1.
Il y a un lien trs troit entre le processus de Poisson et la loi de Poisson comme le montre
la proposition suivante.
1Rappelons quune variable alatoire relle est dite de loi exponentielle de paramtre si elle est de loi
absolument continue par rapport la mesure de Lebesgue sur R et de densit f (x) = exp (x)1lR+ (x).
c
Jean-Yves Dauxois, Fvrier
2009

1. Dfinition et proprits lmentaires

29

Proposition 3.2. Soit N = (Nt )t0 un processus de Poisson dintensit . Pour tout
t > 0, la v.a.r. Nt est de loi de Poisson de paramtre t, i.e.
P (Nt = n) =

(t)n t
e .
n!

Exercice 3.1. Dmonstration de cette proposition.

1) En utilisant directement la dfinition dun processus de Poisson, montrer que la formule est dj vraie pour n = 0.
2) Montrer que loi de la somme de n v.a. i.i.d. de loi exponentielle
E() est une loi Gamma2 (n, ). (Ind. on pourra utiliser la f.c. ou la
transforme de Laplace)
3) Montrer que lon a :
P (Nt = n) = P (Tn t, Tn + Xn+1 > t).
4) En calculant cette dernire probabilit, montrer que lon a bien :
P (Nt = n) =

(t)n t
e .
n!

Preuve/solution de lexercice.
1) Pour n = 0, il ny a presque rien montrer puisque
P (Nt = 0) = P (T1 > t) = P (X1 > t) = 1 P (X1 t) = 1 (1 et ) = et .
2) La transforme de Laplace dune loi (, ) est, pour s < :
Z
1 x
x
e
dx
L(,) (s) =
esx
()
R+
Z +

=
x1 e(s)x dx
() 0
Z +
u1 u

1
=
e du =
.

() 0
( s)
(1 s )
Do comme X1 , . . . , Xn sont i.i.d. de loi E() = (1, ), on a :
LPni=1 Xi (s) = E(es

Pn

i=1

Xi

)=

n
Y

E(esXi )

i=1

n
Y
i=1

1
1
=
= L(n,) (s),
(1 s )
(1 s )n

ce qui, par caractrisation de la transforme de Laplace, permet de conclure.

2Rappelons quune variable alatoire relle est dite de loi gamma de paramtres (, ) si elle est de loi
absolument continue par rapport la mesure de Lebesgue sur R et de densit

f (x) =

1 x
x
e
1lR+ (x).
()

c
Jean-Yves Dauxois, Fvrier
2009

30

Chapitre 3. Processus de Poisson

3) On a :
P (Nt = n) = P (Tn t, Tn+1 > t) = P (Tn t, Tn + Xn+1 > t).
4) Par indpendance entre Tn et Xn+1 on peu crire :
Z
fTn ,Xn+1 (u, y)dudy
P (Tn t, Tn + Xn+1 > t) =
ut,u+y>t
Z +
t
n n1 u

Z
=

(n)

=
=


dy du

tu

n n1 u (tu)
u
e
e
du
0 (n)
Z
n t t n1
n t un t
u
du =
e
e [ ]0
(n)
(n)
n
0

Z
=

(t)n t
n tn et
=
e ,
(n 1)!n
n!
2

ce qui est bien la formule annonce.

Avant de prsenter dautres proprits lmentaires du processus de Poisson, introduisons

un lemme technique.
Lemme 3.3. Soient X1 , . . . , Xn des v.a. sur R i.i.d. absolument continues (i.e. de loi
absolument continue par rapport la mesure de Lebesgue sur R) de densit f . Notons X(1) <
< X(n) les n statistiques dordre associes. Le vecteur (X(1) , . . . , X(n) ) est alors absolument
continu de densit sur Rn
n
Y
f(X(1) ,...,X(n) ) (u1 , . . . , un ) = n!
f (ui )1lu1 <u2 <<un
i=1

Preuve. Soit B un borlien de Rn et n lensemble des permutations de lensemble

{1, 2, . . . , n}. On a :
X
P ((X(1) , . . . , X(n) ) B) =
P ({(X(1) , . . . , X(n) ) B} {X(1) < < X(n) })
n

X Z
n

Z
=

n!
B

1lu1 <u2 <<un

B
n
Y

n
Y

f (ui )du1 dun

i=1

f (ui )1lu1 <u2 <<un du1 dun ,

i=1

ce qui prouve bien le lemme.

Proposition 3.4. Soit (Tn )n0 un processus de Poisson homogne sur R+ , de processus
de comptage associ (Nt )t0 . On a alors:
i) Pour tout n 1, la loi du vecteur (T1 , . . . , Tn ) a pour densit
n etn 1lt1 <t2 <<tn
par rapport la mesure de Lebesgue sur Rn .
c
Jean-Yves Dauxois, Fvrier
2009

1. Dfinition et proprits lmentaires

31

ii) Pour tout n 1, la loi conditionnelle de (T1 , . . . , Tn ) sachant lvnement {Nt = n}

est celle des statistiques dordre de n v.a.r. i.i.d. de loi uniforme sur [0, t], i.e.
n!
1lt <t <<tn t
tn 1 2

Nt =n
f(T
(t1 , . . . , tn ) =
1 ,...,Tn )

Exercice 3.2. Dmonstration de cette proposition.

1) Pour montrer le i), utiliser le thorme de changement de variables
multidimensionnel et la dfinition dun processus de Poisson.
2) Pour montrer le i), montrer en premier lieu que pour tout borlien B
de R+ R+ , on a :
Z
P ((T1 , . . . , Tn ) B, Nt = n) = 1lB (t1 , . . . , tn )1lt1 <t2 <<tn t n et dt1 dtn .
3) En dduire que lon a :
Z
P ((T1 , . . . , Tn ) B | Nt = n) =
B

n!
1lt <t <<tn t dt1 dtn
tn 1 2

et conclure.

Preuve/solution de lexercice.
1) Cest une application aise du thorme de changement de variables multidimensionnel.
En effet, on a :

T1 = X1

T2 = X1 + X2
..

T = X + + X .
n

Ainsi, le vecteur (T1 , . . . , Tn ) est la transformation linaire du vecteur (X1 , . . . , Xn ) par

dfinie sur R+ R+ et valeurs dans 4n = {(t1 , . . . , tn ) Rn ; t1 < t2 < < tn }, qui
est donc un C 1 -diffomorphisme de Jacobien gal 1. La formule du changement de variable
multidimensionnel nous donne donc :
f(T1 ,...,Tn ) (t1 , . . . , tn ) = f(X1 ,...,Xn ) (1 (t1 , . . . , tn ))|J1 |1l (t1 , . . . , tn )
= et1 e(t2 t1 ) e(t3 t2 ) e(tn tn1 ) 1lt1 <t2 <<tn
= n etn 1lt1 <t2 <<tn
2) Soit B un borlien de R+ R+ . On a :
P ((T1 , . . . , Tn ) B, Nt = n) = P ((T1 , . . . , Tn ) B, Tn t < Tn+1 )
Z
=
1lB (t1 , . . . , tn )1ltn t<tn+1 n+1 etn+1 1lt1 <t2 <<tn+1 dt1 dtn+1
Z
Z +
n
=
1lB (t1 , . . . , tn )1lt1 <t2 <<tn t (
etn+1 dtn+1 )dt1 dtn
t
Z
=
1lB (t1 , . . . , tn )1lt1 <t2 <<tn t n et dt1 dtn .
c
Jean-Yves Dauxois, Fvrier
2009

32

Chapitre 3. Processus de Poisson

3) De ce qui prcde on tire
P ((T1 , . . . , Tn ) B, Nt = n)
P (Nt = n)
Z
n!
=
1l
dt dtn ,
n t1 <t2 <<tn t 1
B t

P ((T1 , . . . , Tn ) B | Nt = n) =

ce qui prouve bien que la densit de (T1 , . . . , Tn ) sachant {Nt = n} est de densit
n!
1lt <t <<tn t
tn 1 2
qui correspond la densit des n statistiques dordre dans un chantillon de lois uniformes sur
[0, t].
2
2. Caractrisation dun processus de Poisson
Nous allons voir sous forme de thorme deux sries de conditions ncessaires et suffisantes
pour avoir un processus de Poisson. Chacune delle aurait pu tre utilise comme dfinition
dun processus de Poisson.
Thorme 3.5. Soit N = (Nt )t0 le processus de comptage dun processus ponctuel sur
Cest un processus de Poisson dintensit si, et seulement si,
i) N0 = 0 ;
ii) le processus N est accroissements indpendants ;
iii) pour tout 0 s < t, la v.a.r. Nt Ns est de loi de Poisson de paramtre (t s).

R+ .

Consquence : La v.a. Nt Ns compte le nombre darrives dans lintervalle ]s, t] et les

nombres darrives observes sur deux intervalles disjoints sont indpendants en probabilit.3

Exercice 3.3. Dmonstration de la condition ncessaire de ce thorme.

La condition suffisante est directe.
Soit n N, un ensemble de n rels ordonns 0 t1 < t2 < < tn , et
n entiers strictement positifs k1 , k2 , . . . , kn . Notons k = k1 + k2 + + kn
et (U(1) , . . . , U(n) ) les n statistiques dordre dun chantillon de v.a. de loi
uniforme sur [0, tn ].
1) En utilisant en particulier la proposition prcdente, montrer que lon
peut crire :
P (Nt1 = k1 , Nt2 Nt1 = k2 , . . . , Ntn Ntn1 = kn ) =
P(

k
X
i=1

1l{U(i) t1 } = k1 ,

k
X

1l{t1 <U(i) t2 } = k2 , . . . ,

i=1

k
X

1l{tn1 <U(i) tn } = kn )

i=1

2) Se convaincre que dans la dernire expression on peut remplacer les

statistiques dordre par les variables initiales et donc non ordonnes. Montrer
alors, en utilisant la loi multinomiale, que lon a :
P (Nt1 = k1 , Nt2 Nt1 = k2 , . . . , Ntn Ntn1 = kn ) =
((tn tn1 ))kn (tn tn1 )
(t1 )k1 t1 ((t2 t1 ))k2 (t2 t1 )
e
e

e
.
k1 !
k2 !
kn !
c
Jean-Yves Dauxois, Fvrier
2009

2. Caractrisation dun processus de Poisson

33

3) Conclure.

Preuve/solution de lexercice.
1) On a :
P (Nt1 = k1 , Nt2 Nt1 = k2 , . . . , Ntn Ntn1 = kn )
= P (Nt1 = k1 , Nt2 Nt1 = k2 , . . . , Ntn Ntn1 = kn |Ntn = k)P (Ntn = k)
= P(

= P(

k
X
i=1
k
X

1l{Ti t1 } = k1 ,

k
X

1l{t1 <Ti t2 } = k2 , . . . ,

i=1
k
X

1l{U(i) t1 } = k1 ,

i=1

k
X

1l{tn1 <Ti tn } = kn |Ntn = k) P (Ntn = k)

i=1

1l{t1 <U(i) t2 } = k2 , . . . ,

i=1

k
X

1l{tn1 <U(i) tn } = kn ) P (Ntn = k),

i=1

o la dernire galit est justifie par le ii) de la proposition prcdente.

2) Compter le nombre de statistiques dordre plus petites que t1 (par exemple) revient
compter le nombre de variables initiales plus petites que t1 . De mme pour celles comprises
entre t1 et t2 .
Par ailleurs le vecteur alatoire
!
k
k
k
X
X
X
1l{Ui t1 } ,
1l{t1 <Ui t2 } , . . . ,
1l{tn1 <Ui tn }
i=1

i=1

i=1

est de loi multinomiale de paramtres



t1 t2 t1
tn tn1
k, ,
,...,
.
tn
tn
tn
On a donc :
P (Nt1 = k1 , Nt2 Nt1 = k2 , . . . , Ntn Ntn1 = kn )
k
k
k
X
X
X
= P(
1l{Ui t1 } = k1 ,
1l{t1 <Ui t2 } = k2 , . . . ,
1l{tn1 <Ui tn } = kn ) P (Ntn = k)
i=1

i=1

t1
tn

k1 

i=1

t2 t1
tn

k2

tn tn1
tn

kn

(tn )k tn
e
k!

k!
k1 !k2 ! kn !

(t1 )k1 t1 ((t2 t1 ))k2 (t2 t1 )

((tn tn1 ))kn (tn tn1 )
e
e

e
.
k1 !
k2 !
kn !

3) On constate alors aisment que les v.a. Nt1 , Nt2 Nt1 , . . . , Ntn Ntn1 sont indpendantes et de loi de Poisson de paramtre respectivement t1 , (t2 t1 ), . . . , (tn tn1 ).
Pour la condition suffisante, il ny a rien faire ! La condition ncessaire a entirement
spcifi la loi du processus N (i.e. pour tout n dans N, tout (t1 , . . . , tn ) on peut donner la loi
du vecteur (Nt1 , Nt2 , . . . , Ntn )) et on a vu quil tait quivalent de se donner la loi du processus
(Tn )n1 que celle du processus (Nt )t>0 .
2

c
Jean-Yves Dauxois, Fvrier
2009

34

Chapitre 3. Processus de Poisson

Dfinition 3.6. Un processus de comptage N est dit stationnaire et dvnements rares

de taux si pour tout t > 0 et t > 0 on a :
P (Nt+t Nt = 1) = t + o(t)
et P (Nt+t Nt > 1) = o(t).
Rappel : o() est une fonction telle que limh0 o(h)/h = 0.

Thorme 3.7. Soit N le processus de comptage dun processus ponctuel sur R+ . Cest
un processus de Poisson dintensit si, et seulement si, le processus N est un processus
stationnaire dvnements rares accroissements indpendants.
Cette proprit dvnements rares du processus de Poisson donne une autre interprtation
du taux ou intensit associe un processus de Poisson.
Preuve. Nous ne prouvons ici que la condition ncessaire, mme si la condition suffisante
nest pas dune grande difficult.
Daprs la proposition prcdente, on sait que N est un processus accroissements indpendants et que pour tout t > 0 et tout t > 0 la v.a. Nt+t Nt est de loi de Poisson
P(t). Do :
P (Nt+t Nt = 1) = tet = t(1 t + o(t)) = t + o(t).
De mme, on a :
P (Nt+t Nt > 1) = 1 et (t)et
= 1 (1 t + o(t)) (t + o(t)) = o(t).
ce qui prouve la condition ncessaire.

Proposition 3.8. Un processus de Poisson est un processus de Markov.

Preuve. Nous aurions pu ici utiliser la remarque du chapitre 2 disant quun PAI est un
processus de Markov. Nous allons cependant retrouver le rsultat directement. Soit t > 0,
n N, un ensemble de n rels ordonns 0 = t0 < t1 < < tn < t et n entiers strictement
positifs k1 . . . kn . Par indpendance des accroissements dun processus de Poisson, on a
pour tout k kn :
P (Nt = k|Nt1 = k1 , . . . , Ntn = kn )
= P (Nt Ntn = k kn |Nt1 = k1 , Nt2 Nt1 = k2 k1 , . . . , Ntn Ntn1 = kn kn1 )
= P (Nt Ntn = k kn ) = P (Nt Ntn = k kn |Ntn = kn )
= P (Nt = k|Ntn = kn ),
2

ce quil fallait dmontrer.

3. Rsultats asymptotiques
Thorme 3.9. Soit N un processus de Poisson dintensit . On a alors :
Nt
=
i)
p.s. lim
t+ t


Nt
L
ii)
t
N (0, ), quand t +.
t

c
Jean-Yves Dauxois, Fvrier
2009

3. Rsultats asymptotiques

35

Exercice 3.4. Dmonstration de ce thorme.

1) En utilisant lingalit de Tchebychev, montrer que lon a :
Nk 2

| ) 2 2 .
2
k
k
2) Utiliser alors le thorme de Borel-Cantelli pour en dduire que lon
a p.s. :
Nk2
= .
lim
k+ k 2
3) En notant K la fonction dfinie par :

K(t) = [ t],
> 0 : P (|

o [] est la partie entire, montrer que lon peut crire :

K 2 (t) NK 2 (t)
Nt
(K(t) + 1)2 N(K(t)+1)2

(K(t) + 1)2 K 2 (t)

t
K 2 (t) (K(t) + 1)2
4) En dduire alors que lon a bien le i) du thorme.
5) Pour le ii), calculer la transforme de Laplace dune loi de Poisson
P()
6) En dduire que lon peut crire :
 2


 Nt
u
+ o(1) .
E eu t( t ) = exp
2
7) En conclure le rsultat ii) du thorme.

Preuve/solution de lexercice.
1) Daprs lingalit de Tchebychev, on a pour tout k N :
> 0 : P (|Nk2 ENk2 | )

V ar(Nk2 )
.
2

Or, on sait que, toujours pour tout k dans N, la v.a. Nk2 est de loi de Poisson P(k 2 ). Ainsi,
il vient :
> 0 : P (|Nk2 k 2 | k 2 )

> 0 : P (|

k 2

= 2 2
2 k 4
k

Nk2

| ) 2 2 .
2
k
k

2) Du 1) on tire :
+
X
k=0

Ainsi, en notant An =

P (|

+
+
X
Nk2

X 1

=
< +.
k2
2 k 2
2
k2
k=0

N
{| nn22

k=0

| }, on a daprs le thorme de Borel-Cantelli :

P (limAn ) = 0 ou encore P (limAcn ) = 1.

n

c
Jean-Yves Dauxois, Fvrier
2009

36

Chapitre 3. Processus de Poisson

On a donc :
p.s. limAcn p.s. : n kn Ack
n

p.s. n tel que, pour tout k n, on ait Ack

N 2
p.s. n tel que, pour tout k n, on ait | k2 | <
k
Nk 2
p.s. lim
= .
k+ k 2

3) Notons maintenant K la fonction dfinie par :

K(t) = [ t],
o [] est la partie entire. Par croissance du processus de comptage on a, puisque K 2 (t)
t < (K(t) + 1)2 :
NK 2 (t) Nt N(K(t)+1)2
Do :

N(K(t)+1)2
NK 2 (t)
Nt

2
(K(t) + 1)
t
K 2 (t)
K 2 (t) NK 2 (t)
Nt
(K(t) + 1)2 N(K(t)+1)2

(K(t) + 1)2 K 2 (t)

t
K 2 (t) (K(t) + 1)2

4) Comme on a:
K 2 (t)
1, lorsque t +
(K(t) + 1)2
et

Nk2
= ,
k+ k 2
lingalit obtenue en 3) nous assure que :
p.s. : lim

Nt
= .
t
5) La transforme dune loi de Poisson de paramtre est :
p.s. lim

t+

L(u) = exp{(eu 1)}.

6) On a :
 Nt

 u 

N
E eu t( t ) = eu t E e t t = exp{u t + t(e t 1)}.
Or, le dveloppement limit de lexponentielle nous donne :

eu/

u
u2
1
1= +
+ o( ).
2t
t
t

Do :
7) en faisant tendre t +, on obtient :
 2

 Nt

u2
u
u t( t )
E e
= exp
+ o(1) e 2 .
t+
2
On reconnat la limite la transforme de Laplace dune loi N (0, ), ce qui achve la
dmonstration du thorme.
2
c
Jean-Yves Dauxois, Fvrier
2009

4. Bibliographie

37
4. Bibliographie

Pierre Brmaud. Introduction aux Probabilits : modlisation des phnomnes alatoires. Springer 1997.
Christiane Cocozza-Thivent. Processus stochastiques et fiabilit des systmes. Springer
1997.
Paul S. toulouse. Thmes de Probabilits et Statistique. Dunod 1999.

c
Jean-Yves Dauxois, Fvrier
2009

CHAPITRE 4

Chanes de Markov

39

40

Chapitre 4. Chanes de Markov

1. Dfinition et matrice de transition

Dans le Chapitre 2, nous avons donn la dfinition gnrale dun processus de Markov.
Nous allons ici nous intresser de prs au cas o lespace des tats et le temps sont discrets.
On parle alors de chanes de Markov espace des tats discret.
La dfinition vue au Chapitre 2 peut tre alors rcrite de la manire suivante.
Dfinition 4.1. Soit (, A, P ) un espace probabilis. Soit (Xn )nN une famille de v.a.
de (, A, P ) et valeurs dans (E, E) o E est un espace dnombrable et E = P(E).
On dit que (Xn )nN est une chane de Markov valeurs dans lespace dtat E si, pour
tout n 1 et toute suite (i0 , i1 , . . . , in1 , i, j) dlments de E telle que P (Xn = i, Xn1 =
in1 , . . . , X1 = i1 , X0 = i0 ) soit strictement positive, on ait :
P (Xn+1 = j|Xn = i, Xn1 = in1 , . . . , X1 = i1 , X0 = i0 ) = P (Xn+1 = j|Xn = i).
On dit que le futur du processus ne dpend du pass qu travers le prsent.
Lespace E sera souvent Z ou N ou une partie de ceux-ci. Mais, afin de garder le maximum
de gnralit, nous ne spcifierons pas, sauf ncessaire, lespace E. Notons
pn,n+1
= P (Xn+1 = j|Xn = i).
i,j
la probabilit de passage de ltat i ltat j entre les instants n et n + 1 et P n,n+1 =
(pn,n+1
)(i,j)E 2 la matrice finie ou dnombrable (suivant que E est fini ou dnombrable) de
i,j
toutes les probabilits de transition en une tape linstant n. Cette matrice P n,n+1 est
appele matrice de transition en une tape linstant n.
Une telle notation permet de prendre en compte les situations o les probabilits de passage dun tat i quelconque un tat j quelconque dpendent des instants (n et n + 1) o
on les considre. Mme si de telles situations peuvent se rencontrer dans la pratique, nous
nous concentrerons davantage dans la suite sur celles o ces probabilits ne dpendent pas de
linstant n. On parle alors de chane de Markov homogne.
Dfinition 4.2. Une chane de Markov est dite homogne si sa matrice de transition
P n,n+1 (en une tape linstant n) ne dpend pas de n, i.e. si, pour tout n 0 et tout (i, j)
dans E 2 , on a :
pn,n+1
= P (Xn+1 = j|Xn = i) = pij .
i,j
La matrice des probabilits de transition en une tape est alors note P = (pi,j )(i,j)E 2 et est
simplement appele matrice de passage ou de transition de la chane.
Proposition 4.3. Toute matrice de transition P = (pi,j )(i,j)E 2 vrifie les proprits
suivantes :
pi,j 0, (i, j) E 2 ;
X
pi,j = 1, i E.
jE

Exercice 4.1. Dmontrer cette proposition.

c
Jean-Yves Dauxois, Fvrier
2009

2. Exemples classiques de Chanes de Markov

41

Preuve/solution de lexercice. Le premier point dcoule trivialement du fait que les

pij sont des probabilits et le second de lgalit
X
pi,j = P (Xn+1 E|Xn = i) = 1
jE

pour tout i dans E.

Terminologie : Une matrice vrifiant les assertions de la proprit 4.3 est appele matrice
stochastique.
Proposition 4.4. Une chane de Markov est entirement dtermine par la donne de sa
matrice de transition P et sa loi initiale 0 .

Exercice 4.2. Dmontrer cette proposition. (Ind. on pourra utiliser

les rsultats de la section 1.3 du Chapitre 2)

Preuve/solution de lexercice. Pour tout n 1 et tout (i0 , i1 , . . . , in ) lment de E n

on a, grce la proprit de Markov :
P (X0 = i0 , X1 = i1 , . . . , Xn = in )
= P (Xn = in |Xn1 = in1 ) P (X1 = i1 |X0 = i0 )P (X0 = i0 )
= pin1 ,in pi0 ,i1 0 .
Il est ais de voir que ce rsultat permet alors de dterminer toute probabilit faisant intervenir
les tats du processus Xj1 , . . . , Xjk aux instants quelconques j1 < < jk , pour tout k 1.
Le thorme de Kolmogorov vu au Chapitre 2 permet de conclure.
2
Une chane de Markov est gnralement reprsente schmatiquement par un graphe de
Markov, dont les sommets sont les diffrents tats possibles de la chane. Deux sommets i
et j sont alors relis par une flche, avec ltiquette pi,j , allant de i j quand la chane peut
passer de ltat i ltat j en une tape, i.e. quand pi,j > 0.
2. Exemples classiques de Chanes de Markov
Nous allons dtailler quelques exemples de chanes de Markov. Nous nous attarderons bien
sr pas sur la suite de v.a. indpendantes et valeurs dans E qui constitue trivialement une
chane de Markov.
2.1. La chane deux tats. La chane deux tats est sans aucun doute le cas le
plus simple de chane de Markov. Notons, par exemple, par 1 et 2 ses tats et sa matrice de
transition est


1p
p
P =
q
1q
avec p et q tous deux dans [0, 1]. Le graphe, trs simple, dune telle chane est celui de la
Figure 1.
c
Jean-Yves Dauxois, Fvrier
2009

42

Chapitre 4. Chanes de Markov

Figure 1. Chane de Markov deux tats

2.2. La marche alatoire unidimensionnelle.
Exemple 2.1. La marche alatoire simple.
Rappelons quau Chapitre 2, nous avons dfini la marche alatoire simple comme un
processus stochastique X espace des temps N, espace dtats Z et dfini de la manire
suivante : X0 = 0 et Zn = Xn Xn1 est de loi p1 + (1 p)1 , o p ]0, 1[ et la famille
des v.a. (Zn )nN est une famille indpendante. La proprits de Markov dun tel processus
est trivialement vrifie puisque le processus est accroissements indpendants. Lespace des
tats dune telle chane est Z et sa matrice de transition est telle que, pour tout (i, j) Z2 ,
on ait :

si j = i + 1;
p
1 p si j = i 1;
pi,j =

0
sinon.
Le graphe de la marche alatoire simple est donn dans la figure 2.

Figure 2. Marche alatoire simple

Une telle chane de Markov peut, par exemple, modliser le dplacement dune puce sur
une chelle horizontale.
Une marche alatoire simple est dite symtrique si p = 1/2.

Exemple 2.2. La marche alatoire unidimensionnelle.

Une gnralisation naturelle de la marche alatoire simple est la marche alatoire unidimensionnelle, avec espace des tats Z, telle que si linstant n la chane est dans ltat i
alors linstant n + 1 elle ne peut tre que dans les tats i 1, i et i + 1 avec les probabilits
qi , ri et pi respectivement, o les rels qi , ri et pi sont positifs et tels que qi + ri + pi = 1, pour
tout i dans Z. On a donc :
P (Xn+1 = i 1|Xn = i) = qi ;
P (Xn+1 = i|Xn = i) = ri ;
P (Xn+1 = i + 1|Xn = i) = pi .
c
Jean-Yves Dauxois, Fvrier
2009

2. Exemples classiques de Chanes de Markov

La matrice de transition est alors :

..
.

0
P =

..
.

..
..
..
..
..
.
.
.
.
.
qi ri
pi
0

0 qi+1 ri+1 pi+1 0

..
..
..
..
..
.
.
.
.
.

43

Le graphe de la marche alatoire unidimensionnelle est donn dans la Figure 3 :

Figure 3. Marche alatoire unidimensionelle

Si lon reprend lexemple de la puce, cela revient lui donner un droit de repos et galement
de lui permettre de changer de rgle de conduite en fonction de sa position sur lchelle.
Exemple 2.3. Fortune dun joueur (seul contre la banque)
Un cas particulier de la marche alatoire que nous venons de prsenter est donn par la
modlisation des gains dun joueur contre une banque que lon suppose de capital infini.

Exercice 4.3. Considrons la fortune dun joueur une partie de

hasard. La rgle du jeu est suppose telle que, si la fortune du joueur
un instant n est k alors linstant n + 1 elle est augmente de 1 avec une
probabilit pk et diminue de 1, avec une probabilit qk = 1 pk . On suppose
de plus quune fois le joueur ruin la partie est termine.
1) Donner lespace des tats de la chane de Markov modlisant cette
partie.
2) Quelle est sa matrice de transition ?
3) Quel est son graphe ?
4) Que dire de ltat 0 ?

c
Jean-Yves Dauxois, Fvrier
2009

44

Chapitre 4. Chanes de Markov

Solution de lexercice.
1) Cest une marche alatoire unidimensionnelle sur N
2) La matrice de passage est :

1 0 0

q1 0 p 1 0

0 q2 0 p2
0

p3
0
P = 0 0 q3 0
.
.
.
.
.
..
..
..
..
..
..
.

.
.
..
.. 0 q
0
pi
i

..
..
..
..
..
..
.
.
.
.
.
.

avec de plus q0 = 0.

..
.
0
..
.

0
..
.
..
.
..
.
..
.
..
.
..
.

3) Le graphe dune telle marche alatoire est donn dans la Figure 4:

Figure 4. Diagramme de la chane de Markov modlisant les gains dun joueur

seul contre la banque
4) Ltat 0 est alors dit absorbant, car une fois atteint cet tat, on ne peut plus le
quitter. 3
Exemple 2.4. Fortune dun joueur A contre un joueur B

Exercice 4.4. Considrons maintenant la situation dune partie entre

deux joueurs A et B dont la somme de leurs fortunes est gale a euros.
chaque partie, le joueur A gagne un euro de son adversaire avec une
probabilit p et donne un euro B avec une probabilit q = 1 p. Le jeu
sarrte alors ds que lun des deux joueurs est ruin.
On note Xn la fortune du joueur A linstant n (celle de B est bien sr
a Xn ). On considre la chane de Markov (Xn )nN .
1) Se convaincre quil sagit bien dune chane de Markov. Donner
lespace de ses tats.
2) Donner sa matrice de transition.
3) Donner le graphe de cette chane.
4) Que dire des tats 0 et a ?

c
Jean-Yves Dauxois, Fvrier
2009

2. Exemples classiques de Chanes de Markov

Solution de lexercice.
1) lespace des tats est E = {0, 1, . . . , a}.
2) La matrice de transition est :

1 0

q 0 p
0

0 q 0
p
. .
..
..
. .
.
.
. .
P =
.. ..
0
. . q
. .
..
..
.. ..
.
.

. .
.
.
.. ..
..
..

.
..
..
0 ..
.
.

45

0
..
.

..
.

0
..
.
..
.
..
.

p
..
.

0
..
.

..
.

q
..
.

3) Le graphe dune telle marche alatoire est donn dans la Figure 5 :

Figure 5. Diagramme de la chane de Markov modlisant les gains dun joueur

A contre un joueur B
4) Les extrmits de lespace des tats E, i.e. les tats 0 et a sont appels barrires et
sont dans ce cas des barrires absorbantes. 3
Exemple 2.5. Modle de diffusion dEhrenfest
On peut bien sr trouver des applications des marches alatoires dans bien dautres domaines que celui de la thorie des jeux. Ainsi en est-il du modle de diffusion dEhrenfest,
utilis pour modliser la diffusion dun gaz travers une membrane sparant deux rcipients
A et B. Ce modle est bas sur le mme principe que celui du tirage dans deux urnes A et B,
contenant elles deux a boules. Nous entamons son tude dans lexercice suivant.

Exercice 4.5. On considre donc deux urnes A et B, contenant

elles deux a boules. chaque instant, le numro dune des boules est choisi
au hasard et celle qui porte ce numro est alors change durne. On note
par Xn le nombre de boules que contient lurne A linstant n. Le processus
(Xn )nN est alors une marche alatoire espaces des tats E = {0, 1, . . . , a}.
1) Donner sa matrice de transition.
2) Donner son graphe.
3) Que dire des tats 0 et a ?

c
Jean-Yves Dauxois, Fvrier
2009

46

Chapitre 4. Chanes de Markov

Solution de lexercice.
1) Sa matrice de transition est :

0
1
0
...
...
...
... 0
..

1/a 0 (a 1)/a
0
...
...
...
.

..

0
(a 2)/a 0
...
...
.
0 2/a
P = .
..
..
..
..
..
..
..
..
.
.
.
.
.
.
.

.
..
..
..
..
..
.
.
.
. (a 1)/a 0 1/a
0

1
0

2) Le graphe du modle de diffusion dErhenfest est donn dans la Figure 6 :

Figure 6. Diagramme du Modle de diffusion dEhrenfest

3) Les barrires 0 et a ne sont plus ici absorbantes mais rflchissantes, i.e. quand la
chane atteint ltat 0, elle provient de ltat 1 et y retourne juste aprs. De mme quand on
arrive ltat a, uniquement possible en passant juste avant par a 1, alors on retourne de
manire sre ltat a1. De plus on constate aisment que, dans un tel modle, les transferts
sont plus probables dans le sens du rcipient le plus plein vers celui qui lest moins. 3
2.3. La marche alatoire multidimensionnelle. La marche alatoire multidimensionnelle symtrique est une chane de Markov espace dtats E = F n , o F est tout ou partie
de Z, et telle que pour tout n-upl k = (k1 , . . . , kn ) et l = (l1 , . . . , ln ) de E, on ait
 1
Pn
si
i=1 |li ki | = 1;
2n
P (Xm+1 = l|Xm = k) = pk,l =
0
sinon.
Le graphe dune telle marche alatoire spatiale est alors celui de la Figure 7:

Figure 7. Diagramme de la marche alatoire simple symtrique en dimension 2

c
Jean-Yves Dauxois, Fvrier
2009

2. Exemples classiques de Chanes de Markov

47

2.4. La file dattente temps discret discret. Une file dattente est utilise pour
modliser le nombre de clients en attente dun service un guichet ou une caisse de supermarch, ou bien le nombre de requtes en attente pour un serveur informatique, etc...
Nous allons voir que, dans le cas o le temps est dicrtis, ou si lon raisonne par unit de
temps, alors on obtient une chane de Markov. Utilisons linterprtation en termes de clients
et guichet pour prsenter davantage ce modle.
On suppose qu chaque unit de temps des clients arrivent, en nombre alatoire, un
guichet et que celui ne peut servir quun client la fois avec un temps de service dune unit
de temps. Notons Yn le nombre de clients arrivant au nime instant. On suppose que la famille
des (Yn ) est indpendante et identiquement distribues de loi donne, pour tout n dans N, par
P (Yn = k) = ak 0 k N
+
X
ak = 1.
k=0

Quand aucun client nest en attente, aucun service nest effectu. On note par Xn le nombre
de clients en attente chaque instant n et si celui si est gal i alors Xn+1 sera gal i 1 + Yn
si i 1 et Yn si i = 0. On peut rsumer ceci de la manire suivante :
Xn+1 = (Xn 1)+ + Yn .
Ainsi la matrice de transition dune

a0
a0

P = 0
0

..
.

telle file dattente temps discret est :

a1 a2 a3
a1 a2 a3

a0 a1 a2 a3

0 a0 a1 a2

..
..
..
..
..
.
.
.
.
.

Il nest bien sr pas possible de faire un graphe pour une telle chane de Markov, sauf pour
des cas particuliers trs simples. Intuitivement il apparat assez facilement que si lesprance
du nombre de clients arrivant par unit de temps est strictement suprieure 1 (i.e. EYn > 1)
alors la taille de la file dattente saccrotra de manire illimite. En revanche, si cette esprance
est strictement infrieure 1, alors on verra que la taille de la file dattente sapprochera dun
quilibre avec le temps. La situation ou cette esprance est gale 1 est, nous le verrons,
source de grande instabilit du systme.
2.5. Un modle de gestion des stocks. Dans un service de gestion des stocks, il arrive
chaque unit de temps une demande dune quantit Yn du produit gr (ce peut tre par
exemple le cumul de toutes les demandes coules dans lheure qui prcde). On suppose que
les Yn , pour n N, sont indpendants et identiquement distribus de loi gnrale
P (Yn = k) = ak , k N,
P
avec bien sr les ak 0 et tels que +
k=0 ak = 1. On note par Xn ltat du stock linstant n
que lon suppose toujours infrieur un entier S > 0 fix (ce peut tre par exemple la capacit
maximale de stockage). Les Xn sont alors valeurs dans S N, o une valeur ngative signifie
que le service de gestion na pas pu honorer la demande et est donc en dette du montant Xn .
Aprs chaque rponse une demande, est fait un inventaire dont la police, base sur le choix
dun entier s < S fix, est la suivante. Si la quantit de stock est infrieure ou gale s alors
le stock est rapprovisionn de manire annuler la dette (si elle a lieu) et remettre ltat du
c
Jean-Yves Dauxois, Fvrier
2009

48

Chapitre 4. Chanes de Markov

stock S. Si la quantit de stock est comprise entre s et S, aucun rapprovisionnement nest

effectu. On a alors le lien suivant entre les quantits demandes et ltat du stock :

Xn Yn+1 si s < Xn S;
Xn+1 =
S Yn+1 si Xn s.
La matrice de transition est alors :
P

= (pi,j )(i,j)SNSN

a0 a1 a2 a3
0 a0 a1 a2

0 0
a0 a1
.
..
..
..
.
.
.
.
.
=
0 0 a0

a0 a1 a2 a3

a0 a1 a2 a3
..
..
..
..
.
.
.
.

a3

..
.

..
.

..
.

a1

..
.

a2

..
.

a3

..
.

..
.

..
.

2.6. Un exemple de chane de Markov en gntique. On se propose de modliser

les variations dans la reprsentation dun gne dans une population. Par souci de simplicit,
on ne sintresse qu un modle haplode simple dune population de taille fixe 2N gnes
et que chaque gne est de type a ou de type A. La rpartition des gnes dans la population
est dtermine par la rgle suivante. Si dans la population parente, on dnombre i gnes
de type a et 2N i de type A, alors chaque gne dans la population suivante est de type
a avec la probabilit pi = i/2N et de type A avec la probabilit qi = 1 pi et cela de
manire indpendante pour chaque gne. Si on note Xn le nombre de gnes de type a dans
la nime population alors, le processus (Xn )nN est une chane de Markov espace des tats
E = {0, 1, . . . , 2N }. Les probabilits de transition sont alors de la forme :
j
pji qi2N j , (i, j) E 2 .
pi,j = P (Xn+1 = j|Xn = i) = C2N

On note que bien sr les tats 0 et 2N sont absorbants. Dautres modles ont t proposs,
particulirement en proposant dautres expressions pour les probabilits pi et qi . On pourra
consulter, entre autres, le livre de Karlin et Taylor.
3. quations de Chapman-Kolmogorov
Dans la premire section nous avons uniquement parl des probabilits de transition en
une tape dun tat un autre. Bien sr, on peut sintresser aux probabilits de passer en
deux, trois ou plus tapes dun tat un autre. Notons ainsi Pn la matrice des probabilits
de transition en n tapes dont le terme gnral est, pour tout (i, j) E 2 :
(n)

pi,j = P (Xm+n = j|Xm = i) = P (Xn = j|X0 = i), m N

o la dernire galit est justifie par lhomognit de la chane.
Lquation de Chapman-Kolmogorov permet dexprimer la matrice Pn en fonction de
la matrice de transition P .
Thorme 4.5. (Chapman-Kolmogorov) On a, pour tout n dans N :
Pn = P n .
c
Jean-Yves Dauxois, Fvrier
2009

4. quations de Chapman-Kolmogorov

49

Le produit matriciel est un outil bien connu pour des matrices de taille finie. On tend
sans difficult sa dfinition des matrices infinies.

Exercice 4.6. Dmontrer ce thorme. (Ind. On pourra raisonner par

rcurrence)

Preuve/Solution de lexercice. La formule est triviale pour n = 0 puisque P 0 = I.

Elle est galement vraie pour n = 1. Supposons maintenant quelle soit vraie jusquau rang
n. Lhomognit de la chane nous permet alors dcrire, pour tout (i, j) E 2 :
X
(n+1)
P (Xn+1 = j, Xn = k|X0 = i)
pi,j
= P (Xn+1 = j|X0 = i) =
kE

P (Xn+1 = j|Xn = k)P (Xn = k|X0 = i) =

kE

(n)

pk,j pi,k .

kE

On a donc, en prenant lcriture matricielle et en utilisant lhypothse de rcurrence,

Pn+1 = Pn P = P n P = P n+1 ,
2

ce qui prouve bien le rsultat.

Corollaire 4.6. On a pour tout n et m dans N,
Pm+n = Pm Pn = Pn Pm ,
cest dire que pour tout (i, j) dans E 2 , on a :
X (m) (n) X (n) (m)
(m+n)
pi,j
=
pi,k pk,j =
pi,k pk,j .
kE

kE

Preuve. Cela dcoule directement de lassociativit du produit matriciel. En effet, pour

(m, n) N2 , on a
Pm+n = P m+n = P m P n = Pm Pn
et cette formule est bien videmment symtrique en m et n.

Proposition 4.7. Pour tout entier n positif, la matrice de transition en n tapes Pn est
galement une matrice stochastique.
Preuve. Soit n N. Les lments de la matrice Pn sont bien sr positifs puisquil sagit
de probabilits et on a de plus :
X (n) X
pi,j =
P (Xn = j|X0 = i) = P (Xn E|X0 = i) = 1,
jE

jE

ce qui prouve bien la proposition.

Notons que la matrice stochastique Pn est la matrice de transition (en une tape) de la
chane de Markov (Xnm )mN .
c
Jean-Yves Dauxois, Fvrier
2009

50

Chapitre 4. Chanes de Markov

4. Quelques formules de conditionnement

Notons (Fn ) la filtration naturelle associe au processus (Xn ) (Cf. Chapitre 2), i.e., pour
tout n :
Fn = (Xk ; k = 0, . . . , n).
On peut montrer que tout vnement de la tribu Fn est une runion dnombrable dvnements
disjoints de cette mme tribu et de la forme {X0 = i0 , . . . , Xn = in }. Ainsi, tout vnement
A de Fn est tel que lvnement A {Xn = i} reste dans la tribu Fn . Si ce dernier nest pas
lensemble vide alors on a forcment A {Xn = i}, ce qui revient dire que le prsent est
donc fix.
Proposition 4.8. Pour tout entier n et tout vnement A de la tribu Fn , on a :
P (Xn+1 = j|A, Xn = i) = P (Xn+1 = j|Xn = i) = pi,j ,
ds que P (A, Xn = i) > 0.

Exercice 4.7. Dmonstration de cette proposition.

1) Dmontrer dabord le cas (trs facile) n = 1.
2) On suppose maintenant n > 0. Dmontrer (proprement !) que lon
a:
P (Xn+1 = j, kK Bk , Xn = i) = pi,j P (kK Bk , Xn = i).
(Ind. On pourra utiliser le rsultat rappel prcdemment savoir que
tout vnement A de la tribu Fn est une runion dnombrable, sur un ensemble dindices que lon va noter K, dvnements disjoints de la forme
Bk = {X0 = ik0 , . . . , Xn = ikn }, pour k K)

Preuve/Solution de lexercice.
1) Il ny a rien montrer pour n = 0, puisque dans ce cas, lvnement A {X0 = i} nest
pas vide que si A = {X0 = i} et le rsultat de la proposition nest que la dfinition de pi,j .
2) Supposons maintenant n > 0. On a donc, pour tout A de la tribu Fn , lexistence dun
ensemble dnombrable dindices K et dune famille dvnements Bk , pour k K, tels que :
A = kK Bk .
Or, pour tout k dans K, si lon a
P (Bk , Xn = i) = P (X0 = ik0 , . . . , Xn = ikn , Xn = i) > 0
(ce qui implique que ikn = i !) alors lgalit de la proposition avec A = Bk nest rien dautre
que la proprit de Markov.
c
Jean-Yves Dauxois, Fvrier
2009

5. Classification des tats

51

On peut alors crire, pour tout (i, j) E 2 :

X
P (Xn+1 = j, kK Bk , Xn = i) =
P (Xn+1 = j, Bk , Xn = i)
kK

P (Xn+1 = j|Bk , Xn = i)P (Bk , Xn = i)

kK

= pi,j

P (Bk , Xn = i)

kK

= pi,j P (kK Bk , Xn = i).

La dernire probabilit tant strictement positives puisquelle lest pour chaque Bk , on a donc
dmontr que :
pi,j = P (Xn+1 = j| kK Bk , Xn = i) = P (Xn+1 = j|A, Xn = i),
2

ce qui tait le rsultat cherch.

Il est important de noter que le rsultat de la proposition nest vrai quen prenant des
vnements du prsent de la forme Xn = i et non pour des vnements de forme gnrale
Xn B. On trouvera dans le livre de Foata et Fuchs, dont cette section est largement inspire,
un contre-exemple (Processus Stochastiques, Dunod 2002, p. 73). On notera galement que
lon pourrait par le mme genre de raisonnement montrer que ce type de rsultat reste vrai
pour des vnements du futur prenant en compte dautres temps que n + 1. Ainsi par exemple,
on a :
P (Xn+1 = jn+1 , . . . , Xn+r = jn+r |A, Xn = i)
= P (Xn+1 = jn+1 , . . . , Xn+r = jn+r |Xn = i)
ou encore

(r)

P (Xn+r = j|A, Xn = i) = P (Xn+r = j|Xn = i) = pi,j .

5. Classification des tats
Dfinition 4.9. On dit que ltat j est accessible partir de i si il existe un entier n tel
(n)
que pi,j > 0 et lon note i j.
Exercice 4.8. On reprend lexemple de modlisation de la fortune du
joueur A contre le joueur B (Cf. Exemple 2.4). tudier laccessibilit entre
les tats en prouvant vos affirmations.

Solution de lexercice. Tous les tats sont accessibles depuis {1, . . . , a 1} mais seulement 0 est accessible depuis 0 et seulement a est accessible depuis a. En effet, par exemple,
3 1 puisque
P (X2 = 1|X0 = 3) = P (X2 = 1, X1 = 2|X0 = 3) = p2,1 p3,2 = q 2 > 0.
En revanche, 0 9 1 car P (Xn = 1|X0 = 0) = 0, quelque soit n.

Proposition 4.10. Une condition ncessaire et suffisante pour que i j est que P (n :
Xn = j|X0 = i) > 0
c
Jean-Yves Dauxois, Fvrier
2009

52

Chapitre 4. Chanes de Markov

Exercice 4.9. Dmontrer cette proposition.

Preuve/Solution de lexercice. Comme on a, pour tout n dans N :

P (m 0 : Xm = j|X0 = i) = P (mN {Xm = j}|X0 = i)
P ({Xn = j}|X0 = i),
la condition est bien ncessaire.
Rciproquement, comme on a :
P (n 0 : Xn = j|X0 = i) = P (nN {Xn = j}|X0 = i)

(n)

pi,j ,

nN

elle est bien suffisante.

Proposition 4.11. La relation daccessibilit est rflexive et transitive.

Exercice 4.10. Dmontrer cette proposition.

(0)

Preuve/Solution de lexercice. On a bien sr i i puisque pi,i = P (X0 = i|X0 =

i) = 1. Par ailleurs, supposons que pour des tats i, j et k on ait : i j et j k. Alors,
(m)
(n)
daprs la dfinition, il existe m et n, entiers positifs, tels que : pi,j > 0 et pj,k > 0. Do, en
utilisant le corollaire 4.6, il vient :
X (m) (n)
(m+n)
(m) (n)
pi,k
=
pi,l pl,k pi,j pj,k > 0,
lE

ce qui prouve bien que lon a : i k et la relation est bien transitive.

Exercice 4.11. Montrer que la relation daccessibilit nest pas symtrique

en trouvant un contre-exemple par exemple dans lExemple 2.4

Solution de lexercice. On a vu que 1 0 mais que 0 9 1.

Dfinition 4.12. On dit que deux tats i et j dune chane de Markov communiquent,
si i j et j i. On note i j.

Proposition 4.13. La relation de communication entre tats est une relation dquivalence.
On a donc :
i) (Rflexive) Tout tat i de la chane communique avec lui mme, i.e. i i ;
c
Jean-Yves Dauxois, Fvrier
2009

5. Classification des tats

53

ii) (Symtrique) Si un tat i communique avec un tat j, alors la rciproque est vraie,
i.e. i j j i;
iii) (Transitive) Si un tat i communique avec un tat j qui lui mme communique avec
un tat k, alors ltat i communique avec ltat k, i.e. si i j et j k alors
i k.
Preuve. Les proprits de rflexivit et de transitivit sont obtenues avec les rsultats
obtenus prcdemment sur la relation daccessibilit (Cf. proposition 4.11). La symtrie
dcoule directement de la dfinition de la relation de communication.
2
On a vu que tout tat dune chane de Markov communique avec lui mme, puisque lon
(0)
(n)
a pi,i = 1. En revanche, sil existe n > 0, tel pi,i > 0, alors ltat i est dit tat de retour et
tat de non retour dans le cas contraire.
On peut utiliser la relation dquivalence quest la relation de communication pour rpartir
les diffrents tats dune chane de Markov en classes dquivalence. On dfinit une classe
dquivalence comme lensemble des tats qui communiquent entre eux. Deux tats de deux
classes diffrentes ne peuvent alors communiquer entre eux (sinon on aurait faire la mme
classe). En revanche, il se peut que lon puisse aller dune classe une autre, mais le retour
dans la classe prcdente ne sera plus jamais possible (sinon les deux classes formeraient une
mme classe).
Dfinition 4.14. Une chane de Markov est dite irrductible si elle ne contient quune
seule classe dquivalence, autrement dit si tous les tats de la chane communiquent entre eux.

Exercice 4.12. Dterminer quelles sont les chanes irrductibles parmi

les exemples prcdents : la marche alatoire simple (Cf. Exemple 2.1), la
fortune du joueur A contre le joueur B (Cf. Exemple 2.4), le modle de diffusion dEhrenfest (Cf. Exemple 2.5), la marche alatoire multidimensionnelle
(Cf. Section 2.3). Si certaines chanes ne sont pas irrductibles donner leurs
classes dquivalence.

Preuve/Solution de lexercice.
La marche alatoire simple (Cf. Exemple 2.1), le modle de diffusion dEhrenfest (Cf.
Exemple 2.55), la marche alatoire multidimensionnelle (Cf. Section 2) sont des exemples de
chanes irrductibles.
En revanche la fortune du joueur A contre le joueur B (Exemple 2.4) ne constitue pas une
chane irrductible puisquelle est constitue de trois classes : {0}, {1, 2, . . . , a 1} et {a}. 3

c
Jean-Yves Dauxois, Fvrier
2009

54

Chapitre 4. Chanes de Markov

Exercice 4.13. Considrons la

{1, 2, 3, 4, 5} de matrice de passage :

1/3 2/3
2/5 2/5

0
P =
0
0
0
0
0

chane de Markov espace dtats E =

0
0
0
1/5 0
0
1/2 1/4 1/4
1/2 0 1/2
0
0
1

1) Donner son graphe de Markov.

2) Donner ses classes dquivalence. Prciser laccessibilit entre classes.

Solution de lexercice.
1) Son graphe de Markov est donn par la Figure 8.

Figure 8. Graphe de Markov de lExercice 4.4.13.

2) Elle comporte trois classes :C1 = {1, 2}, C2 = {3, 4} et C3 = {5}. Laccessibilit entre
les classes est donne par : C1 C2 C3 .
3
Dfinition 4.15. On dit quune classe dquivalence C pour une chane de Markov est
ferme si lon a :
(i j et i C) = j C,
On dit aussi que la classe C est absorbante.
Ainsi une fois que la chane atteint un des tats de la classe ferme C, elle ne quitte plus
cette classe.
6. Priodicit
Dfinition 4.16. La priode dun tat de retour i, que lon note d(i), est le P.G.C.D. de
(n)
tous les entiers n > 0 pour lesquels on a : pi,i > 0. Si lon a d(i) = 1, alors ltat i est dit
(n)

apriodique, sinon il est dit de priode d(i). Si, pour un tat i, on a pi,i = 0 pour tout n, alors
on pose d(i) = +.
c
Jean-Yves Dauxois, Fvrier
2009

7. Priodicit

55

La priode dun ltat permet de savoir si le temps entre deux passage par cet tat est, ou
nest pas, multiple dun temps minimum. La plupart des chanes sont apriodiques. Mais il
est tout de mme ais de trouver des chanes priodiques.

Exercice 4.14. tudier la priodicit des tats des chanes suivantes

(en dissociant ventuellement entre les valeurs possibles des probabilits quand
celles-ci ne sont pas spcifies).
1) Chane deux tats (Cf. Section 2.1)
2) Marche alatoire simple (Cf. Exemple 2.1).
3) Joueur A contre joueur B (Cf. Exemple 2.4).
4) Modle de diffusion dEhrenfest (Cf. Exemple 2.5).

Solution de lexercice.
1) Si 0 p, q < 1 alors d(i) = 1, pour i = 1, 2. De mme, si p = 1 et 0 < q < 1 ou si q = 1
et 0 < p < 1. Si p = 1 et q = 0 alors d(1) = + et d(2) = 1. Rciproquement, Si q = 1 et
p = 0, alors d(2) = + et d(2) = 1. Enfin, si p = q = 1, alors d(i) = 2 pour i = 1, 2.
2) Tous les tats ont toujours mme priode. Cette dernire est gale 2 si 0 < p < 1. En
revanche, si p est gal 0 ou 1, alors la priode est infinie.
3) On a toujours : d(0) = d(a) = 1. Si 0 < p < 1 alors d(i) = 2, pour i {1, . . . , a 1}.
Si p(1 p) = 0 alors d(i) = +, pour i {1, . . . , a 1}.
4) d(i) = 2, pour tout i = 0, . . . , a.
3
Proposition 4.17. Si la priode dun tat est finie alors tout autre tat qui communique
avec celui-ci est de mme priode. La priode est donc la mme pour tous les lments dune
mme classe.
(n)

Preuve. Dune part si i j, alors il existe deux entiers n et m tels que : pi,j > 0 et
(m)

pi,j > 0. Dautre part si lon a d(i) = d < + alors il existe au moins un entier k tel que
(k)

(m+n+k)

pi,i > 0. Pour nimporte lequel de ces entiers k on a alors : pj,j

(2k)

(m) (k) (n)

pj,i pi,i pi,j > 0.

(m+n+2k)

Mais ayant galement pi,i > 0, on obtient aussi pj,j

> 0. Ainsi la priode d(j) de ltat
j divise la fois m + n + k et m + n + 2k et divise donc sa diffrence k. On a donc montr
que tout k divisible par d(i) lest galement par d(j), donc d(j) divise d(i). Tout ceci tant
parfaitement symtrique, on a aussi d(i) qui divise d(j). Ce qui prouve le rsultat voulu. 2
Donnons enfin un rsultat que nous ne dmontrerons pas. Sa dmonstration repose principalement sur un rsultat en thorie des nombres sur les pgcd.
Lemme 4.18. Un tat i dune chane de Markov est apriodique si, et seulement si, on a
pour tout entier n suffisamment grand
(n)

pi,i > 0.
c
Jean-Yves Dauxois, Fvrier
2009

56

Chapitre 4. Chanes de Markov

7. Temps datteinte, tats rcurrents et transients

Dfinition 4.19. Soit i dans E un tat quelconque de la chane de Markov (Xn ). On

appelle temps datteinte de ltat i (ou temps de premier passage ltat i), la v.a. Ti dfinie
par
Ti = inf{n 1 : Xn = i},
avec la convention inf = +.
Il est clair que cette v.a. est un temps darrt par rapport la filtration naturelle F de la
chane (Xn ) (Cf. Chapitre ??).
Pour deux tats i et j dans E, notons fi,j la probabilit que, partant de ltat i, la chane
passe au moins une fois par ltat j, i.e.
fi,j = P (Tj < +)|X0 = i).
La probabilit fi,i est donc la probabilit que, partant de ltat i, la chane retourne ltat i
en un temps fini.
(n)
Notons galement fi,j la probabilit que, partant de ltat i la chane aille, pour la premire
fois, ltat j au temps n, i.e.
(n)

fi,j = P (Tj = n|X0 = i) = P (Xn = j, Xk 6= j, k = 1, . . . n 1|X0 = i),

(0)

avec la convention fi,j = 0.

Proposition 4.20. Pour tout tats i et j et tout entier n 1, on a :
n
X
(n)
(k) (nk)
pi,j =
fi,j pj,j .
k=0

Exercice 4.15. Dmonstration de cette proposition.

1) Montrer que lon peut crire :
(n)
pi,j

n1
X

(nk) (k)
fi,j

pj,j

(n)

+ fi,j .

k=1

2) Conclure.

c
Jean-Yves Dauxois, Fvrier
2009

7. Temps datteinte, tats rcurrents et transients

57

Preuve/Solution de lexercice.
1) Pour tout (i, j) dans E 2 , on a :
(n)

pi,j

= P (Xn = j|X0 = i) = P ({Xn = j}, nk=1 {Tj = k}|X0 = i)

=

n
X
k=1
n1
X
k=1
n1
X
k=1
n1
X
k=1
n1
X

P ({Xn = j}, {Tj = k}|X0 = i)

(n)

P ({Xn = j}, {Tj = k}|X0 = i) + fi,j

(n)

P ({Xn = j}|{Tj = k}, X0 = i)P ({Tj = k}|X0 = i) + fi,j

(n)

P ({Xn = j}|Xk = j)P ({Tj = k}|X0 = i) + fi,j

(nk) (k)
fi,j

pj,j

(n)

+ fi,j ,

k=1

o lavant dernire galit est justifie par les formules vues en Section 4.
(0)
(0)
2) Comme on a : pj,j = 1 et fi,j = 0, on peut crire
(n)

pi,j =

n
X

(k) (nk)

fi,j pi,j

k=0

ce quil fallait dmontrer.

Dfinissons maintenant, pour tout n dans N, les fonctions gnratrices des suites de proba(n)
(n)
bilits (pi,j )nN et (fi,j )nN respectivement par :
Pi,j (s) =
Fi,j (s) =

+
X
n=0
+
X

(n)

pi,j sn , |s| 1;
(n)

fi,j sn , |s| 1.

n=0

Remarquons que ces sries sont absolument convergentes, pour |s| < 1, puisque les probabilits
(n)
(n)
pi,j et fi,j sont majores par 1.
Proposition 4.21. Pour tout couple (i, j) dans E 2 et pour tout |s| < 1, on a :
Pi,i (s) =

1
et Pi,j (s) = Fi,j (s)Pj,j (s),
1 Fi,i (s)

ce qui peut tre rsum par la formule :

Pi,j (s) = i,j + Fi,j (s)Pj,j (s).
c
Jean-Yves Dauxois, Fvrier
2009

58

Chapitre 4. Chanes de Markov

Preuve. En utilisant la proposition prcdente, on peut crire, pour tout i dans E et tout
|s| < 1:
Pi,i (s) =

+
X

(n)
pi,i sn

=1+

n=0

= 1+

+
X

(n)

pi,i sn

n=1
+
X

n
X

n=1

k=0

!
(k) (nk)
fi,i pi,i

s =1+

+ X
n
X
n=0

!
(k) (nk)
fi,i pi,i

sn

k=0

= 1 + Pi,i (s)Fi,i (s),

(0)

o lavant dernire galit est justifie par la nullit de fi,i et la dernire nest que lutilisation
dune formule classique de multiplication des sries entires1.
Lautre formule se dmontre exactement de la mme manire.
2
Dfinition 4.22. On dit quun tat i dune chane de Markov est rcurrent si, partant
de ltat i, la probabilit que cette chane retourne ltat i en un temps fini est gale 1, i.e.
si fi,i = 1. Sinon ltat est dit transient ou transitoire (on a alors fi,i < 1).
Autrement dit un tat rcurrent est tel que P (Ti < +|X0 = i) = 1. Le temps de retour
ltat i est donc p.s. fini. En revanche un tat transitoire est tel que : P (Ti < +|X0 = i) <
1 P (Ti = +|X0 = i) > 0, ce qui revient dire quil y a une probabilit strictement
positive que la chane ne repasse jamais par ltat transient i.

Exercice 4.16. Pour les chanes de Markov suivantes, donner les tats
rcurrents et transients.
1) Fortune du joueur A contre joueur B (Cf. Exemple 2.4).
2) Chane de Markov de lExercice 4.13.

Solution de lexercice.
1) Pour cette chane, les tats 0 et a sont absorbants donc rcurrents puisque lon a :
1 = f0,0 = p0,0 = fa,a = pa,a .
Les autres tats sont transitoires. En effet on a, par exemple, pour ltat 1 :
P (T1 = +|X0 = 1) P (X1 = 0|X0 = 1) = q > 0,
puisque ltat 0 est absorbant.
2) Ltat 5 est rcurrent car absorbant (vident), tous les autres sont transitoires. En effet,
par exemple, on a pour ltat 1 :
2 1
f1,1 P (X2 = 3, X1 = 2|X0 = 1) = > 0.
3 3
Les autres se montrent de la mme manire.
3
1On rappelle que lon a :
+
X
k=0

!
k

ak s

+
X
l=0

!
l

bl s

+
k
X
X
k=0

!
ak bkl

l=0

c
Jean-Yves Dauxois, Fvrier
2009

sk .

7. Temps datteinte, tats rcurrents et transients

59

Proposition 4.23. Un tat i dune chane de Markov est rcurrent si, et seulement si, on
a:
+
X

(n)

fi,i = 1.

n=1

Il est transient si, et seulement si,

+
X

(n)

fi,i < 1.

n=1

Exercice 4.17. Dmontrer cette proposition.

Solution de lexercice. Il suffit de remarquer que lon a :

fi,j

= P (Tj < +|X0 = i) = P (+

n=1 {Tj = n})|X0 = i)
=

+
X

P ({Tj = n})|X0 = i) =

n=1

+
X

(n)

fi,j

n=1

et dappliquer cette formule i = j.

Afin de donner un autre critre, caractrisant la rcurrence, introduisons un lemme technique.

Lemme 4.24. (Lemme dAbel)
i) Si une srie de terme gnral an est convergente de somme gale a, i.e.
+
X

an = a < +,

n=0

alors on a :
+
X

lim

s1

an sn =

n=0

+
X

an = a.

n=0

ii) Si une srie de terme gnral an , tous positifs, est telle que
lim

s1

+
X

an sn = a +,

n=0

alors on a :
+
X

an = a +.

n=0

Nous ne dmontrons pas ce lemme, que lon peut trouver dans nimporte quel bon livre
danalyse.
Nous sommes maintenant en mesure de donner une autre caractrisation de la rcurrence.
c
Jean-Yves Dauxois, Fvrier
2009

60

Chapitre 4. Chanes de Markov

Thorme 4.25. Un tat i dans E lespace des tats dune chane de Markov est rcurrent
si, et seulement si, lon a :
+
X
(n)
pi,i = +.
n=0

Il est donc transient si la srie prcdente est convergente.

Exercice 4.18. Dmontrer ce Thorme. (Ind. On utilisera, autant

pour la partie ncessaire que pour la partie suffisante, le lemme dAbel et la
proposition prcdente)

Preuve/Solution de lexercice. Montrons en premier lieu que cette condition est ncessaire. Supposons donc que ltat i est rcurrent. Daprs la proposition 4.23, on sait que :
+
X

(n)

fi,i = 1.

n=1

En utilisant le i) du lemme dAbel, on a alors :

lim

+
X

s1

(n)

fi,i sn = lim Fi,i (s) = 1.

s1

n=0

Ainsi, grce au lemme 4.21, il vient :

lim Pi,i (s) = lim

s1

s1

+
X

(n)

pi,i sn = +.

n=0

Lutilisation du point ii) du lemme dAbel, nous permet de conclure que :

+
X

(n)

pi,i = +,

n=0

ce qui tait le rsultat dsir.

Pour dmontrer que cette dernire galit est suffisante, supposons que ltat i soit transient, cest dire que :
+
X
(n)
fi,i < 1.
n=1

En raisonnant de manire similaire prcdemment on obtient que

lim Pi,i (s) = lim

s1

s1

+
X

(n)

pi,i sn < +,

n=0

ce qui, grce au ii) du lemme dAbel donne

+
X

(n)

pi,i < +.

n=0

Par contrapose, on obtient bien le caractre suffisant du critre.

c
Jean-Yves Dauxois, Fvrier
2009

7. Temps datteinte, tats rcurrents et transients

61

Remarquons, que daprs leurs dfinitions tout tat de non retour est transient et tout tat
absorbant est rcurrent. Ceci est facilement confirm par le fait quun tat de non retour est
(0)
(n)
tel que pi,i = 1 et pi,i = 0, pour tout n. La srie de la proposition 4.25 est donc trivialement
convergente. Pour un tat absorbant, cette srie est bien sr divergente puisque tous les termes
de la srie sont gaux 1.
Corollaire 4.26. Si un tat j dans E est rcurrent alors on a, pour tout tat i tel que
ij :
+
X
(n)
pi,j = +.
n=0

En revanche, si ltat j est transient, on a pour tout tat i de E :

+
X

(n)

pi,j < +.

n=0

Il en dcoule, dans ce cas, que lon a galement, pour tout i dans E :

(n)
lim p
n+ i,j

= 0.

Exercice 4.19. Dmonstration de ce Corollaire.

1) Supposons dans un premier temps j transient. Montrer, en utilisant
en particulier le lemme dAbel, que
fi,j
lim Pi,j (s) =
< +.
1 fj,j
s1
En utilisant nouveau le lemme dAbel, montrer que le terme gnral de la
P
(n)
srie +
n=0 pi,j converge vers 0.
2) On suppose maintenant j rcurrent. Montrer, toujours en utilisant le
lemme dAbel, que :
fi,j
.
lim Pi,j (s) =

fj,j
s1
3) Montrer que la limite prcdente est infinie.
4) Achever en utilisant nouveau le lemme dAbel.

Preuve/Solution de lexercice.
1) Supposons dans un premier temps que ltat j soit transient. On sait, daprs le
thorme 4.21, que lon a
Fi,j (s)
Pi,j (s) =
.
1 Fj,j (s)
P
P+ (n)
(n)
Or les sries +
n=0 fi,j et
n=0 fj,j sont convergentes de sommes respectivement gales
fi,j et fj,j toutes les deux majores par 1 (puisque ce sont des probabilits). Le lemme dAbel
utilis pour ces deux sries nous permet dcrire que :
lim Pi,j (s) =

s1

fi,j
lims1 Fi,j (s)
=
< +,
1 lims1 Fj,j (s)
1 fj,j

c
Jean-Yves Dauxois, Fvrier
2009

62

Chapitre 4. Chanes de Markov

puisque le numrateur, comme probabilit, est major par un et le dnominateur 1 fj,j est
strictement positif, par transience de ltat j. En utilisant le ii) du lemme dAbel, il vient
alors que :
+
X
fi,j
(n)
< +.
pi,j =
1 fj,j
n=0

Le terme gnral de la srie est alors bien sr convergent vers 0.

2) Dans le cas o ltat j est rcurrent, on fait un raisonnement tout fait similaire. Ainsi,
par les mmes arguments, on montre que :
lims1 Fi,j (s)
fi,j
.
lim Pi,j (s) =
=
1 lims1 Fj,j (s)
1 fj,j
s1
3) Par rcurrence de ltat j, on a : fj,j = 1. De plus, puisquil sagit dune probabilit, le
terme fi,j est major par 1. Soit maintenant un tat i tel que i j. Il existe donc un entier
(n)
n tel que pi,j > 0. On a alors :
(n)

fi,j = P (Tj < +|X0 = i) pi,j > 0.

Ayant donc en rsum fj,j = 1 et 0 < fi,j 1, la limite prcdente est donc infinie.
4) En utilisant le ii) du lemme dAbel, on en dduit que
+
X

(n)

pi,j =

n=0

fi,j
= ,
1 fj,j
2

ce qui achve notre dmonstration.

Le thorme 4.25 nous permet de voir que, partant dun tat i, lesprance du nombre de
retour cet tat est infinie si et seulement si ltat est rcurrent. En effet, notons
Ni =

+
X

1l{Xn =i} .

n=0

Par le thorme de Tonelli, on peut inverser esprance et somme pour obtenir :

Ei (Ni ) =

+
X

(n)

pi,i ,

n=0

o Ei est lesprance pour la loi conditionnelle {X0 = i}. Daprs la proposition prcdente,
la partie droite de lgalit est infinie si, et seulement si, ltat i est rcurrent.
Ce rsultat est confirm par la proposition suivante.
Proposition 4.27. Un tat i est rcurrent ou transient suivant que la probabilit
P (Xn = i pour une infinit de n|X0 = i)
est gale, respectivement, 1 ou 0.

c
Jean-Yves Dauxois, Fvrier
2009

7. Temps datteinte, tats rcurrents et transients

63

Exercice 4.20. Dmonstration de cette Proposition.

1) Soit QN
i,i la probabilit que, partant de ltat i, la chane repasse au
moins N fois par cet tat. En dcoupant suivant les valeurs de Ti , montrer
que lon a :
N 1
QN
i,i = fi,i Qi,i .
En dduire que :
N
QN
i,i = (fi,i ) .

2) Conclure en considrant la limite, quand N +, de ces probabilits

QN
.
i,i

Preuve/Solution de lexercice. Notons QN

i,i la probabilit que, partant de ltat i, la
chane repasse au moins N fois par cet tat. On a :
QN
i,i = P ({Ni N + 1}|X0 = i)
= P ({Ni N + 1}, +
k=1 {Ti = k}|X0 = i)
=

+
X
k=1
+
X

P ({Ni N + 1}, {Ti = k}|X0 = i)

P (Ni N + 1|Xk = i)P (Ti = k|X0 = i)

k=1

+
X

(k)

1
N 1
QN
i,i fi,i = fi,i Qi,i .

k=1

En ritrant cette formule, on obtient :

N 1
2
QN
= (fi,i )2 QN
= = (fi,i )N 1 Q1i,i .
i,i = fi,i Qi,i
i,i

Comme on a : Q1i,i = fi,i , il vient :

N
QN
i,i = (fi,i ) .

En remarquant que les vnements considrs dans les probabilits QN

i,i forment une suite
dcroissante, on peut crire :
lim QN
i,i Qi,i = P (Xn = i pour une infinit de n|X0 = i).

N +

Ainsi, la probabilit Qi,i est gale 1 si, et seulement si, fi,i = 1, ou encore, daprs la
proposition 4.23, si, et seulement si, ltat i est rcurrent. La transience de ltat i est nous
lavons vu, quivalente fi,i < 1, ce qui daprs ce qui prcde est equivalent Qi,i = 0. 2
Thorme 4.28. Pour une chane de Markov irrductible et rcurrente, on a pour tout
tat (i, j) dans E 2 :
fi,j = P (Tj < +|X0 = i) = 1,
ce qui implique que pour tout j de E on a :
P (Tj < +) = 1.
c
Jean-Yves Dauxois, Fvrier
2009

64

Chapitre 4. Chanes de Markov

Preuve. La classe tant rcurrente, daprs la proposition 4.27, on peut crire, pour m
quelconque :
1 = P (Xn = j pour une infinit de n|X0 = j)
P (Xn = j pour un n m + 1|X0 = j) 1,
o la premire ingalit est d :
{Xn = j pour une infinit de n} = {m, n m : Xn = j}
= mN nm {Xn = j} nm {Xn = j},
pour m quelconque dans N. Les deux probabilits prcdentes sont ainsi gales. On en dduit
(m)
que, en prenant m tel que pj,i > 0, on a :
1 = P (Xn = j pour une infinit de n|X0 = j)
= P (Xn = j pour un n m + 1|X0 = j)
X
=
P (Xn = j pour un n m + 1|Xm = k)P (Xm = k|X0 = i)
kE

(m)

P (Tj < +|X0 = k)pj,k ,

kE

o lon a utilis la proprit de Markov pour obtenir la dernire galit. Mais la matrice P (m)
tant stochastique, on a dj
X (m)
pj,k = 1,
kE

ce qui implique ncessairement que fi,j = P (Tj < +|X0 = k) = 1, pour tout tat k dans E.
Quand au dernier rsultat du thorme, il sobtient rapidement en dcomposant suivant
les valeurs possibles pour X0 , :
X
X
P (Tj < +) =
P (Tj < +|X0 = i)P (X0 = i) =
fi,j P (X0 = i) = 1.
iE

iE

puisque la loi initiale est forcment une probabilit.

Proposition 4.29. La rcurrence est une proprit de classe, i.e. :
(i j et i rcurrent) = j rcurrent.

Exercice 4.21. Dmontrer cette Proposition. (On pourra utiliser la

proposition 4.25)

Preuve/Solution de lexercice. Soient i et j deux tats qui communiquent. Par dfinition, il existe donc m et n dans N tels que :
(m)

(n)

pi,j > 0 et pj,i > 0.

(m+n+k)

On a alors, en utilisant la minoration classique pj,j

+
X
k=0

(m+n+k)

pj,j

+
X

(n) (k) (m)

(n) (k) (m)

pj,i pi,i pi,j :

(n) (m)

pj,i pi,i pi,j = pj,i pi,j

k=0
c
Jean-Yves Dauxois, Fvrier
2009

+
X
k=0

(k)

pi,i = +,

8. Temps datteinte, tats rcurrents et transients

65

puisque ltat i est suppos rcurrent. Ltat j est donc lui aussi rcurrent.2

Exercice 4.22. tude de la marche alatoire simple (Cf. Exemple 2.1).

1) Considrer le cas de ltat 0. Calculer les valeurs de pn0,0 , pour n N.
2) On pourra utiliser la proposition 4.25 et la formule Stirling pour conclure sur ltat 0. (Ind. La rponse pourra varier en fonction des valeurs de
p)
3) Quen est-il des autres tats ?

Solution de lexercice. Daprs sa dfinition la marche alatoire simple est telle que,
pour tout n dans N, on a :
(2n+1)

p0,0

(2n)

n n
= 0 et p0,0 = C2n
p (1 p)n .

En utilisant la formule de Stirling

n!

 n n

2n
,
e

quand n +, on a :
(2n)
p0,0

2 n

2n 2n
e
pn (1


n 2n
e

2n

p)n =

[4p(1 p)]n

.
n

Or il est ais de vrifier que lon a p(1 p) 1/4 avec galit seulement dans le cas o
p = 1/2. Si lon est dans cette dernire situation, alors la srie
+
X

(n)

p0,0 =

n=0

+
X

(2n)

p0,0

n=0

est de mme nature que la srie

+
X

n
n=0
qui est divergente. Ainsi daprs la proposition 4.25, ltat 0 est rcurrent. Ayant vu quune
marche alatoire simple est irrductible, i.e. tous les tats communiquent entre eux, et que
la rcurrence est une proprit de classe, tous les tats de la marche alatoire simple sont
rcurrents.
Supposons maintenant que lon ait p 6= 1/2. Notons alors r = 4p(1 p) < 1. La srie
+
X

(n)

p0,0

n=0

est alors de mme nature que la srie

+
X

rn

n=0

que lon sait tre convergente pour r < 1. La proposition 4.25 nous permet de conclure que
ltat 0 est transient. Tous les tats de la marche alatoire simple sont alors transients dans
le cas o p 6= 1/2.
3
c
Jean-Yves Dauxois, Fvrier
2009

66

Chapitre 4. Chanes de Markov

8. Proprit de Markov forte

Donnons la dfinition dun temps darrt associ une filtration, notion qui sera nouveau
tudie dans le Chapitre ?? sur les martingales.
Dfinition 4.30. Soit (Fn ) une filtration sur un espace probabilis (, A, P ). Une appli est dite temps darrt relativement la filtration (Fn ) si
cation T : N
n N : {T n} Fn
ou encore de manire quivalente si
n N : {T = n} Fn
Dfinissons la tribu des vnements antrieurs un temps darrt T .
Dfinition 4.31. Soit T un temps darrt relativement une filtration (Fn ). On appelle
tribu des vnements antrieurs T la tribu FT dfinie par :
FT = {A F : n N on ait A {T n} Fn },
o la tribu F est dfinie par
F = n Fn .
On peut montrer que la tribu FT est galement telle que
FT = {A F : n N on ait A {T = n} Fn }.
On peut maintenant donner la proprit de Markov forte associe une chane de Markov.
Lide, simple, est de montrer que lon a toujours la proprit de Markov quand on ne conditionne plus en un temps fix, disons n quand on conditionne par rapport {Xn = i}, mais
quand on conditionne en un temps alatoire donn par un temps darrt T , donc quand on
conditionne par rapport un vnement du type {XT = i}. Nous formulons cette proprit
dans sa forme plus gnrale mettre en relation avec les formules de conditionnement obtenues
en section 4.
Thorme 4.32. (Proprit de Markov forte) Soit T un temps darrt relativement
la filtration naturelle associe une chane de Markov (Xn ). Pour tout vnement A de la
tribu FT tel que P (T < +, A, XT = i) > 0 on a :
P (XT +1 = j1 , . . . , XT +k = jk |T < +, A, XT = i)
= P (X1 = j1 , . . . , Xk = jk |X0 = i)

Exercice 4.23. Dmonstration de ce Thorme.

1) Montrer, en justifiant bien les tapes de votre dmonstration, que lon
peut crire :
P (XT +1 = j1 , . . . , XT +k = jk , T < +, A, XT = i)
+
X
=
P (Xn+1 = j1 , . . . , Xn+k = jk |Xn = i)P (T = n, A, Xn = i).
n=0

2) En dduire que lon a :

P (XT +1 = j1 , . . . , XT +k = jk , T < +, A, XT = i)
= P (X1 = j1 , . . . , Xk = jk |X0 = i)P (T < +, A, Xn = i)
c
Jean-Yves Dauxois, Fvrier
2009

9. Rcurrence positive et rcurrence nulle

67

et conclure.

Solution de lexercice. On a en effet

P (XT +1 = j1 , . . . , XT +k = jk , T < +, A, XT = i)
+
X
=
P (XT +1 = j1 , . . . , XT +k = jk , T = n, A, XT = i)
=

n=0
+
X
n=0
+
X

P (Xn+1 = j1 , . . . , Xn+k = jk , T = n, A, Xn = i)
P (Xn+1 = j1 , . . . , Xn+k = jk |T = n, A, Xn = i)P (T = n, A, Xn = i).

n=0

Dans cette dernire somme les termes non nuls sont seulement ceux pour lesquels on a :
P (T = n, A, Xn = i) > 0. Or sous cette condition et en utilisant une formule vue en section
4, on peut crire :
P (Xn+1 = j1 , . . . , Xn+k = jk |T = n, A, Xn = i)
= P (Xn+1 = j1 , . . . , Xn+k = jk |Xn = i)
puisque lvnement {T = n} A est dans la tribu Fn par dfinition de la tribu arrte FT .
Lhomognit en temps de la chane de Markov nous donne alors :
P (Xn+1 = j1 , . . . , Xn+k = jk |T = n, A, Xn = i)
= P (X1 = j1 , . . . , Xk = jk |X0 = i).
On a donc
P (XT +1 = j1 , . . . , XT +k = jk , T < +, A, XT = i)
+
X
=
P (X1 = j1 , . . . , Xk = jk |X0 = i)P (T = n, A, Xn = i)
n=0

= P (X1 = j1 , . . . , Xk = jk |X0 = i)

+
X

P (T = n, A, Xn = i)

n=0

= P (X1 = j1 , . . . , Xk = jk |X0 = i)P (T < +, A, Xn = i),

ce qui, en divisant par P (T < +, A, Xn = i) suppose strictement positive, nous donne le
rsultat voulu.
2
On tire de ce rsultat que, conditionnellement {T < } et {XT = i}, le processus
(XT +n ) est encore une chane de Markov avec pour matrice de passage la mme matrice P
que la chane (Xn ) et pour loi initiale la loi de dirac en i.
9. Rcurrence positive et rcurrence nulle
Rappelons quun tat i est dit rcurrent si fi,i = 1 et transient si fi,i < 1. Nous avons vu
que dans ces deux cas le temps de retour ltat i est respectivement p.s. fini et infini avec
une probabilit non nulle. Intressons nous maintenant lesprance de ce temps de retour.

c
Jean-Yves Dauxois, Fvrier
2009

68

Chapitre 4. Chanes de Markov

Dfinition 4.33. Pour tout tat i dune chane de Markov, on dfinit le temps moyen
de rcurrence i par :
(
+
si i est transient;
P
i = Ei (Ti ) = E(Ti |X0 = i) =
(n)
nf
si i est rcurrent.
n1
i,i
Puisque, comme nous venons de le rappeler, pour un tat transient on a P (Ti = +|X0 =
i) > 0, lesprance du temps de retour i est infinie, i.e. i = Ei (Ti ) = +. En revanche si
ltat i est rcurrent, on peut avoir un temps moyen de rcurrence i fini ou infini.
Dfinition 4.34. Un tat rcurrent dune chane de Markov est dit rcurrent nul si
i = + et rcurrent positif (ou non nul) si i < +.
Lesprance du temps de retour un tat transient tant infinie, on rencontre dans certains
ouvrages le terme redondant dtat transient nul. Nous nutiliserons pas cette terminologie car
elle pourrait laisser sous-entendre quil existe des tats transients positifs, ce qui est impossible
comme nous venons de le voir. Tout tat transient est forcment nul.
Les tats rcurrents nuls sont donc entre les tats transients et les tats rcurrents positifs.
Ils sont rcurrents mais leur temps moyen de rcurrence est infini comme les tats transients.
Le critre suivant, que nous ne dmontrerons pas, permet de caractriser la positivit dun
tat rcurrent.
Thorme 4.35. (Critre de nullit) Un tat rcurrent dune chane de Markov est nul
si, et seulement si,
(n)
lim pi,i = 0.
n+

Thorme 4.36. La positivit, ou la nullit, est une proprit de classe.

Exercice 4.24. Dmontrer ce Thorme. (Ind. On pourra utiliser le

Thorme 4.35)

Solution de lexercice. Soit i un tat rcurrent nul et j un autre tat, appartenant la

mme classe que i. Puisque i et j communiquent entre eux, il existe des entiers n et m tels
que :
(m)
(n)
pi,j > 0 et pj,i > 0.
De lingalit maintenant classique
(m+n+k)

pi,i

(m) (k) (n)

pi,j pi,i pj,i ,

vraie pour tout k dans E, on tire que la nullit de ltat i implique celle de ltat j.

Ainsi une classe dquivalence dune chane de Markov est soit transiente, soit rcurrente
nulle, soit rcurrente positive. En revanche, si lespace des tats E de la chane de Markov est
fini, on ne peut trouver dtat, et donc bien sr de classe, rcurrente nulle.

c
Jean-Yves Dauxois, Fvrier
2009

10. Rcurrence positive et rcurrence nulle

69

Proposition 4.37. Soit (Xn ) une chane de Markov sur un espace dtats E fini. Elle
possde alors au moins un tat rcurrent et les tats rcurrents sont tous positifs.
Preuve. Supposons que tous les tats de la chane soient transients. Daprs le corollaire
4.26 on a pour tout (i, j) dans E 2 :
(n)
lim p
n+ i,j

= 0.

Ainsi, puisque E est fini, on peut crire :

X (n) X
(n)
lim
pi,j =
lim pi,j = 0,
n+

jE

jE

n+

ce qui est bien sr en contradiction avec lgalit :

X (n)
pi,j = 1,
jE

pour tout n dans N.

Il existe donc au moins un tat rcurrent pour cette chane et soit i cet tat. De deux
choses lune : soit il est seul dans sa classe, soit il nest pas seul. Dans le premier cas, il
(n)
communique uniquement avec lui mme, alors ncessairement on pi,i = 1 pour tout n et ltat
i donc, daprs le critre de nullit, est rcurrent positif.
Dans le second cas, il communique avec au moins un autre tat j diffrent de lui mme.
Supposons que cette classe rcurrente, note C, soit de plus nulle. Ltat i tant accessible de
(m)
ltat j, il existe au moins un entier m tel que pj,i > 0. On a alors, pour tout entier n :
(m+n)

pi,i

(n) (m)

pi,j pj,i .

Puisque ltat i est suppos rcurrent nul, le critre de nullit assure la convergence vers 0
(n)
du terme gauche dans lingalit, quand n tend vers + et donc galement celle de pi,j ,
toujours quand n tend vers +. Or la classe C tant de cardinal fini (puisque lensemble des
tats E de la chane est suppos fini), on en dduit que :
X (n)
lim
pi,j = 0.
n+

jC

Or ceci est en contradiction avec le fait que lon ait pour tout n :
X (n) X (n)
1=
pi,j =
pi,j ,
jE

jC

o la dernire galit est justifie par limpossibit de quitter une classe rcurrente. La classe
rcurrente C ne peut donc tre nulle et est donc positive, ce qui est bien le rsultat cherch.2
Il nest pas ncessaire de dmontrer le corollaire suivant tout fait vident.
Corollaire 4.38. Une chane de Markov irrductible sur un espace fini est forcment
rcurrente positive.
c
Jean-Yves Dauxois, Fvrier
2009

70

Chapitre 4. Chanes de Markov

10. Loi stationnaire et thormes limites

partir de maintenant, on va se poser la question de la convergence de la chane de

Markov. Bien sr, sauf dans des cas trs particuliers, la chane de Markov (Xn ) ne convergera
pas vers un tat donn. Mais en revanche, il nest pas injustifi desprer que, sous de bonnes
conditions, la suite (Xn ) converge en loi vers une loi limite.
On verra que lexistence dune telle loi limite est trs lie la notion de loi stationnaire
que nous allons maintenant dfinir.
10.1. Loi stationnaire.
Dfinition 4.39. Soit (Xn ) une chane de Markov valeurs dans une espace dtat discret
E. Un vecteur colonne de probabilits = (n )nE , donc tel que
X
n 0, n E et
n = 1,
nE

est dit loi (ou distribution) stationnaire si lon a :

= P = P,
o A est la matrice transpose de la matrice A. Autrement dit cette loi est dite stationnaire
si, pour tout j dans E on a
X
j =
i pi,j .
iE

On parle galement de loi invariante ou de loi dquilibre.

Remarquons que lon aurait pu dire que est un vecteur propre droite de la matrice P
avec 1 pour valeur propre droite.
Une telle loi est dite stationnaire car si la loi initiale de la chane, i.e. la loi de la v.a. X0 ,
est alors celle de Xn , pour tout n, est encore . En effet, constatons dj que pour la loi de
la v.a. X1 on a, pour tout k dans E :
X
X
P (X1 = k) =
P (X1 = k, X0 = n) =
pn,k n = k ,
nE

nE

o la dernire galit est justifie par linvariance de la loi . La loi de la v.a. X1 est donc
galement . La loi de X1 est donc toujours donne par P et, dans le cas dune loi initiale
stationnaire, est gale encore .
Maintenant, constatons que lon a :
(P )2 = P ( P ) = P =
et, par rcurrence vidente, pour tout n dans N :
(P )n = .
Or en faisant le mme raisonnement que prcdemment, la loi de la chane linstant n, i.e.
la loi de la v.a. Xn , est P n qui est donc encore gale . La loi des Xn nvolue donc pas
avec le temps. Et bien sr dans un tel cas, la loi est galement la loi limite de la chane.
En fait on peut montrer bien plus. Dans le cas o la loi initiale est une loi stationnaire, alors
le processus (Xn ) est stationnaire au sens fort, comme dfinie dans le cours "Introduction aux
Processus Stochastiques". En effet, pour tout k dans N, pour tout vecteur dentiers (n1 , . . . , nk )
c
Jean-Yves Dauxois, Fvrier
2009

10. Loi stationnaire et thormes limites

71

tels que n1 < < nk et tout vecteur (i1 , . . . , ik ) dans E k , on a, par homognit de la chane
et pour tout n :
(n n

(n n1 )

k
k1
pi1 ,i22
P (Xm+n1 = i1 , . . . , Xm+nk = ik ) = pik1
,ik

i1

= P (Xn1 = i1 , . . . , Xnk = ik ).
Ainsi on a, pour tout k dans N, pour tout vecteur dentiers (n1 , . . . , nk ) tels que n1 < < nk
et tout entier m :
L(Xn1 , . . . , Xnk ) = L(Xm+n1 , . . . , Xm+nk ),
ce qui prouve bien que le processus est stationnaire au sens fort.
Le thorme qui suit formule diffremment le rsultat que nous venons dobtenir.
Thorme 4.40. Soit (Xn )nN une chane de Markov de matrice de passage P et de loi
initiale stationnaire. Alors, pour tout entier m, le processus translat (Xm+n )nN est une
chane de Markov de matrice de passage P (rien de neuf ici !) et de loi intiale . Autrement
dit, les deux chanes de Markov ont mme loi.
Lappellation loi dquilibre peut tre dj pressentie par thorme qui suit. Elle sera
encore plus claire quand nous verrons les thormes limites.
Thorme 4.41. Soit (Xn ) une chane de Markov espace dtats E fini. Supposons que
pour un tat i de E on ait, quand n tend vers + :
(n)

pi,j j , pour tout j dans E.

Alors la loi est ncessairement une loi stationnaire.
Preuve. Les sommes qui suivent tant finies, on peut crire :
X (n)
X
X
(n)
pi,j = 1,
j =
lim pi,j = lim
jE

jE

n+

n+

jE

ce qui prouve que est bien une loi de probabilit sur E. Par ailleurs, ayant pour tout (i, j)
dans E 2 et tout n dans N
X (n1)
(n)
pi,j =
pi,k pk,j ,
kE

il vient :
(n)

j = lim pi,j = lim

n+

n+

(n1)

pi,k

pk,j =

kE

X
kE

(n1)

lim pi,k

n+

ce qui prouve que la loi est bien stationnaire.

pk,j =

k pk,j ,

kE

Il est important de noter quil nexiste pas toujours une loi stationnaire. Il en est ainsi
par exemple dans le cas dune marche alatoire simple avec p = 1 (et donc q = 0). En effet
dans ce cas, comme pi,j est non nul seulement si j = i + 1, lquation que doit vrifier une loi
stationnaire
X
j =
i pi,j , j Z,
iE

implique que j = j1 et que donc tous les j sont gaux une constante. La mesure
discrte ainsi obtenue sur Z nest bien sr pas une probabilit. Constatons galement que
pour une marche alatoire simple gnrale (i.e sur Z avec p [0, 1]) on a, pour tout (i, j) Z2 ,
c
Jean-Yves Dauxois, Fvrier
2009

72

Chapitre 4. Chanes de Markov

(n)

la convergence de pi,j vers 0 quand n tend vers +. Mais la mesure ainsi obtenue est
effectivement invariante mais nest toujours pas une probabilit sur Z. Le thorme prcdent
est donc uniquement vrai dans le cas dun espace des tats fini.
linverse il existe des chanes de Markov possdant une infinit de loi stationnaire.
Exercice 4.25. Dmontrer que pour la chane modlisant le jeu entre
A et B (Cf. Exemple 2.4), il existe une infinit de loi stationnaires et donner
leurs formes.

Solution de lexercice.
On vrifie aisment que nimporte quelle probabilit sur {0, 1, . . . , a} de la forme =
(, 0, . . . , 0, 1 ) est stationnaire pour cette chane.
3
Cas des matrices bistochastiques.
Une matrice stochastique P est dite bistochastiques si la somme de ses colonnes vaut
aussi 1. Cest par exemple le cas pour une matrice de transition P qui serait symtrique.
Notons 1l le vecteur colonne sur E ayant toutes ses composantes gales 1. Si P est
bistochastique, ce vecteur 1l est alors naturellement vecteur propre droite de P i.e.
P 1l = 1l.
Ainsi, le vecteur 1l est une mesure invariante pour la chane mais ce nest bien sr pas une
probabilit. Dans le cas o E est infini, tout vecteur de la forme c1l o c R+ est toujours
une mesure invariante mais pas une probabilit.
En revanche, si E est fini, alors en prenant c = 1/Card(E), on obtient une loi invariante.
Ainsi par exemple, toute chane de Markov sur E fini ayant une matrice symtrique admet
une loi invariante.

Exercice 4.26. tude de la marche deux tats.

1) Montrer que lon peut crire
(n+1)

= (1 p)p1,1 + q (1 p1,1 ) = p1,1 (1 p q) + q

(n+1)

= p (1 p1,2 ) + (1 q)p1,2 = p1,2 (1 p q) + p

(n+1)

= (1 p)p2,1 + q (1 p2,1 ) = p2,1 (1 p q) + q

(n+1)

= p (1 p2,2 ) + (1 q)p2,2 = p2,2 (1 p q) + p

p1,1
p1,2
p2,1
p2,2

(n)

(n)

(n)

(n)

(n)

(n)

(n)

(n)

(n)

(n)

(n)

(n)

2) Rsoudre ce systme dquation de rcurrence du premier ordre (dans

les cas non triviaux, cest dire quand p et q sont ni tous les deux gaux
0, ni tous les deux gaux 1).
3) Faire tendre n + pour obtenir une loi stationnaire.

c
Jean-Yves Dauxois, Fvrier
2009

10. Loi stationnaire et thormes limites

73

Solution de lexercice.
1) Rappelons que sa matrice de transition est


1p
p
P =
q
1q
En utilisant la relation P n+1 = P n P , on obtient les relations
(n+1)

= (1 p)p1,1 + q p1,2

(n)

(n+1)

= p p1,1 + (1 q)p1,2

(n+1)

= (1 p)p2,1 + q p2,2

(n+1)

= p p2,1 + (1 q)p2,2

p1,1

(n)

(n)

p1,2

(n)

(n)

p2,1

(n)

(n)

p2,2

(n)

Dautre part, on sait que lon a pour tout n on a :

(n)

(n)

(n)

(n)

p1,1 + p1,2 = p2,1 + p2,2 = 1.

On dduit de ces deux systmes dquations que lon a :
(n+1)

= (1 p)p1,1 + q (1 p1,1 ) = p1,1 (1 p q) + q

(n+1)

= p (1 p1,2 ) + (1 q)p1,2 = p1,2 (1 p q) + p

(n+1)

= (1 p)p2,1 + q (1 p2,1 ) = p2,1 (1 p q) + q

(n+1)

= p (1 p2,2 ) + (1 q)p2,2 = p2,2 (1 p q) + p

p1,1
p1,2
p2,1
p2,2

(n)

(n)

(n)

(n)

(n)

(n)

(n)

(n)

(n)

(n)

(n)

(n)

2) Effectuons maintenant un rappel sur la rsolution dune quation de rcurrence du

premier ordre. Soit donc une quation de rcurrence de la forme :
xn+1 = axn + b
rsoudre. Rsolvons dabord lquation sans terme constant, i.e.
yn+1 = a yn .
La solution est bien videmment
yn = A an .
Cherchons maintenant une constante solution de la premire quation. Elle doit vrifier
lquation c = a c + b et est donc gale b/(1 a). Ainsi la solution gnrale de lquation est
xn = A an + b/(1 a).
Ce rappel fait, revenons maintenant la rsolution de nos quatre quations de rcurrence
(n)
(n)
(n)
(n)
et dterminons leurs solutions : p1,1 , p1,2 , p2,1 , p2,2 . Nous nous intressons seulement aux
cas non dgnrs o les rels p et q sont ni tous les deux gaux 0, ni tous les deux gaux
1. La premire quation est donc :
(n+1)

p1,1

(n)

= p1,1 (1 p q) + q,

ce qui, daprs le rappel que nous venons de faire, est de solution de forme gnrale :
q
(n)
.
p1,1 = A (1 p q)n +
p+q
(0)

La condition initiale p1,1 = 1 nous impose davoir :

q
p
1=A+
, et donc A =
.
p+q
p+q
c
Jean-Yves Dauxois, Fvrier
2009

74

Chapitre 4. Chanes de Markov

Finalement la solution de lquation cherche est :

q
p
(n)
(1 p q)n +
.
p1,1 =
p+q
p+q
De la mme manire on obtient les solutions des autres quations de rcurrence :
p
p
(n)
p1,2 =
(1 p q)n +
p+q
p+q
p
q
(n)
p2,1 =
(1 p q)n +
p+q
p+q
p
p
(n)
n
p2,2 =
(1 p q) +
p+q
p+q
3) Ayant bien sr |1 p q| < 1, les limites de ces probabilits quand n tend vers +
sont donnes par la matrice :
 q
p 

p+q
p+q
P =
q
p
p+q

p+q

Le thorme prcdent nous permet daffirmer que la loi de probabilit sur E = {1, 2} dfinie
par = (q/(p + q), p/(p + q)) est ncessairement une mesure invariante sur E. Constatons au
(n)
passage que la limite des pi,j ne dpend effectivement pas de i.
3

Exercice 4.27. Considrons une chane de Markov (Xn ) valeurs

dans E = {1, 2, 3}, dont le graphe de Markov est donn dans la Figure 9 :

Figure 9. Graphe de Markov de lExercice 4.27

1) Donner la matrice de transition de cette chane.
2) Trouver une loi stationnaire (Ind. Ici on pourra partir directement de
la dfinition). Est-elle unique ?

Solution de lexercice.
1) La matrice de passage est

0
1
0
P = 0 1/2 1/2 .
1/2 0 1/2
c
Jean-Yves Dauxois, Fvrier
2009

10. Loi stationnaire et thormes limites

75

2) Cherchons sil existe une ou des lois stationnaires pour une telle chane. Une telle loi
doit par dfinition vrifier lquation P = , ce qui nous donne le systme dquations :


1 = 12 3
1 = 12 3
1

.
2 = 1 + 2 2
2 = 3

3 = 21 2 + 12 3
Comme on doit avoir 1 + 2 + 3 = 1, lunique solution du systme est (1/5, 2/5, 2/5). Ainsi
il existe une unique loi stationnaire donne par = (1/5, 2/5, 2/5) pour une telle chane
de Markov sur le triangle.
3
10.2. Loi stationnaire et chane irrductible.
Thorme 4.42. Une chane de Markov irrductible admet une distribution stationnaire
si, et seulement si, elle est rcurrente positive. Dans ce cas, la distribution est unique et
est dfinie, pour tout i dans E, par :
1
i = .
i
Une chane irrductible ne peut donc la fois tre transiente et possder une distribution
stationnaire. Or on sait que la marche alatoire simple est irrductible et transiente dans le
cas o p 6= 1/2. Pour une telle chane il nexiste donc pas de loi stationnaire.
Corollaire 4.43. Une chane de Markov irrductible sur un espace dtat fini E admet
une unique loi stationnaire . Celle-ci est telle que, pour tout i dans E, on ait :
1
i = .
i
Soit k un tat fix dans E et, pour chaque tat i on dfinit lesprance du nombre de visites
de ltat i entre deux visites de ltat k (on dira plus simplement le nombre moyen de visites...
mme si ce nest pas mathmatiquement la mme chose) par :
!
!
TX
TX
k 1
k 1
i (k) = Ek
1l{Xn =i} = E
1l{Xn =i} |X0 = k .
n=0

n=0

On peut alors montrer que lon a, pour tout couple (i, k) dans E 2 :
i
k
i (k) =
=
.
i
k
10.3. thormes limites. On peut maintenant sattaquer au problme de la convergence
de la chane de Markov vers une situation dquilibre. On sintresse donc dterminer les
(n)
situations o lon a la convergence, pour tout i dans E, des pi,j , pour j E, quand n tend
vers + ou encore la convergence des P (Xn = j) quand n tend vers +.
Il est important dans un premier temps de souligner que la priodicit de la chane peut
tre source de problme dans cet objectif de convergence vers lquilibre. En effet considrons
le cas trs simple de la chane de Markov deux tats, i.e. valeurs dans E = {1, 2}, avec
p1,2 = p2,1 = 1. Le graphe dune telle chane est donn dans la Figure 10 :
c
Jean-Yves Dauxois, Fvrier
2009

76

Chapitre 4. Chanes de Markov

Figure 10. Graphe de la Chane de Markov deux tats de priode 2

Il est vident que lon a
(n)
p1,1

(n)
p2,2

(n)
p2,1

0 si n est impair
1 si n est pair

1 si n est impair
0 si n est pair

et
(n)
p1,2

(n)

On ne peut donc pas esprer une convergence des pi,i vers des limites i , pour i = 1, 2,
et donc une convergence de la chane de Markov vers une situation dquilibre. Et pourtant
cette chane admet une loi stationnaire : = (1/2, 1/2)0 .
Cest pourquoi nous allons ici nous restreindre aux chanes de Markov apriodiques. Mais
cela dit, il existe des rsultats pour les chanes priodiques.
Dfinition 4.44. On dit quun tat dune chane de Markov est ergodique sil est rcurrent
positif et apriodique.
On note que lergodicit est une proprit de classe, puisque la rcurrence positive et la
priodicit le sont. Une chane de Markov irrductible rcurrente positive et apriodique est
dite simplement chane de Markov ergodique.
Thorme 4.45. Soit (Xn )nN une chane de Markov ergodique (i.e. irrductible rcurrente positive et apriodique) de loi initiale 0 quelconque. On a alors, pour tout j dans E :
1
, quand n +.
P (Xn = j) j =
j
En particulier, on a pour tout (i, j) dans E 2
(n)

pi,j j , quand n +.
10.4. Inversion du temps. Daprs sa dfinition, une chane de Markov est telle que le
pass et le futur sont indpendants, conditionnellement au prsent. Pour sen convaincre soient
(i, j, k) un triplet dtats dune chane de Markov valeurs dans une espace E dnombrable.
Pour tout entier n, on a bien :
P (Xn+1 = k, Xn1 = j|Xn = i)
= P (Xn+1 = k|Xn1 = j, Xn = i)P (Xn1 = j|Xn = i)
= P (Xn+1 = k|Xn = i)P (Xn1 = j|Xn = i).
Cette proprit tant symtrique, on se pose naturellement la question de ce que lon
obtiendrait en inversant le temps. Soit donc (Xn )nZ une chane de Markov, de matrice de
transition P , irrductible, rcurrente positive et de loi stationnaire (on sait quil en existe
c
Jean-Yves Dauxois, Fvrier
2009

10. Loi stationnaire et thormes limites

77

une et une seule). Supposons que, pour tout n, la loi de Xn soit . Notons que cette hypothse
est plus forte que de demander que la loi de X0 soit (cette dernire ne permettant davoir
la loi pour les Xn pour uniquement n 0). On dfinit alors la chane inverse en temps
(Yn )nZ par :
Yn = Xn ,
pour n Z. Montrons que (Yn ) est alors encore une chane de Markov et que pour tout n la
loi de Yn est galement . Que la loi de Yn soit pour tout n est trivial. Pour le caractre
markovien, on a en effet, pour tout n Z, tout k N et tout (in+1 , in , in1 , . . . , ink ) E k+1 :

=
=
=
=
=

P (Yn+1 = in+1 |Yn = in , Yn1 = in1 , . . . , Ynk = ink )

P (Yn+1 = in+1 , Yn = in , Yn1 = in1 , . . . , Ynk = ink )
P (Yn = in , Yn1 = in1 , . . . , Ynk = ink )
P (Xn1 = in+1 , Xn = in , Xn+1 = in1 , . . . , Xn+k = ink )
P (Xn = in , Xn+1 = in1 , . . . , Xn+k = ink )
in+1 pin+1 ,in pin ,in1 pink+1 ,ink
in pin ,in1 pink+1 ,ink
in+1 pin+1 ,in
P (Xn1 = in+1 , Xn = in )
=
in
P (Xn = in )
P (Yn+1 = in+1 |Yn = in ),

et (Yn ) est donc bien une chane de Markov.

Dfinition 4.46. On dit que la chane de Markov (Xn )nZ est rversible si la chane
inverse en temps (Yn )nZ associe (Xn ) a la mme matrice de passage que cette dernire.
Thorme 4.47. La chane de Markov (Xn )nZ est rversible si, et seulement si il existe
une probabilit telle que, pour tout couple (i, j) de E, on a :
i pi,j = j pj,i .
Une loi de probabilit , sur E, vrifiant cette proprit est dite loi rversible pour la chane
(Xn ) de matrice de passage P .
Preuve. Notons Q = (qi,j )(i,j)E 2 la matrice de passage de la chane (Yn )nZ . On a :
qi,j

= P (Yn+1 = j|Yn = i)
= P (Xn1 = j|Xn = i)
pj,i j
=
,
i

en utilisant le mme genre de raisonnement que ci-dessus. On a alors clairement qi,j = pi,j si,
et seulement si : i pi,j = j pj,i .
2
Un des intrts de cette proprit de rversibilit est de donner une manire aise (mais
qui ne marche pas toujours) pour dterminer une loi stationnaire associe une chane de
Markov.
Thorme 4.48. Si une chane de Markov irrductible (Xn ) possde une loi rversible
alors elle est rcurrente positive avec pour unique loi stationnaire .
c
Jean-Yves Dauxois, Fvrier
2009

78

Chapitre 4. Chanes de Markov

Preuve. Supposons que la chane irrductible (Xn ) possde une loi rversible . On a
alors :
X
X
i pi,j =
j pj,i
iE

iE

= j

pj,i = j ,

iE

et on a bien P = . La chane possde donc une loi stationnaire. Comme elle est irrductible, on sait quelle est rcurrente positive et que la loi stationnaire est unique, ce qui
achve la dmonstration.
2
Voyons maintenant quelques exemples.

Exercice 4.28. On considre la chane de Markov valeurs dans E =

{1, 2, 3} et de matrice de passage

0 2/3 1/3
P = 1/3 0 2/3
2/3 1/3 0
1)
2)
3)
4)
5)

Donner le graphe de Markov.

Existe-t-il une loi stationnaire ? Si oui, est-elle unique ?
Dterminer la loi stationnaire si cette dernire existe.
La chane est-elle rversible ?
Conclure.

Solution de lexercice.
1) Son graphe est donn par la Figure 11.

Figure 11. Graphe de la chane de Markov de lExercice 4.28

2) La chane est irrductible sur un espace E fini. Daprs le cours, il existe donc une
unique loi stationnaire .
3) Comme la matrice est bistochastique, on a
=

1
1l = (1/3, 1/3, 1/3) .
CardE

c
Jean-Yves Dauxois, Fvrier
2009

10. Loi stationnaire et thormes limites

79

4) En utilisant la formule obtenue dans le thorme 4.47, la chane de Markov (Yn ) inversion
en temps de la chane (Xn ) est de matrice de passage :
Q = P
Comme la matrice P nest pas symtrique, la chane (Xn ) nest pas rversible (Q 6= P ).
5) Toutes les chanes ne sont pas rversibles, mme celles possdant une loi stationnaire. 3

Exercice 4.29. Reprenons la chane de Markov modlisant la fortune

du joueur A contre B (Cf. Exemple 2.4).
1) Dterminer une loi rversible.
2) Conclure.

Solution de lexercice.
1) Rappelons que lon a pour une telle chane :

p
= p, pour i = 1, . . . , a 1

i,i+1
pi,i1 = q, pour i = 1, . . . , a 1
p0,0 = pa,a = 1

p0,1 = pa,a1 = 0
Si une telle loi rversible existe, elle doit, daprs le thorme 4.47, vrifier le systme
dquations :
(
 
i p = i+1 q i+1 = pq i , pour i = 1, . . . , a 2
,
0 = 1 q = a1 p
ce qui nous donne = (, 0, . . . , 0, 1 ) , o [0, 1].
2) On retrouve bien la loi stationnaire calcule prcdemment.

Exercice 4.30. Intressons nous maintenant une chane de Markov,

trs proche de la prcdente, toujours valeurs dans {0, 1, . . . , a 1, a} mais
cette fois-ci avec matrice de transition :

q p 0 0
..

q 0 p 0
.

..

0 q 0 p
0
.
. . .
..
..
..
..
. . .

.
.
.
.
. . .

P = .. ..

.
.
q
0
p
0

. . .
..
..
..
..
.. .. ..
.
.
.
.

. . .

..

.. .. ..
.
q
0
p

.. ..
..
0 . .
.
0
q
p
c
Jean-Yves Dauxois, Fvrier
2009

80

Chapitre 4. Chanes de Markov

On a donc dans ce cas :

pi,i+1 = p, pour i = 0, . . . , a 1
pi,i1 = q, pour i = 1, . . . , a

p0,0 = q et pa,a = p
Dterminer une loi stationnaire si elle existe. (Ind. On pourra dissocier
les rsultats suivant les valeurs de p)

Solution de lexercice.
Une loi rversible pour une telle chane, si elle existe, doit vrifier le systme dquations :
i p = i+1 q, pour i = 0, . . . , a 1,
ce qui nous donne
 i
p
.
i = 0
q
Cherchant une loi de probabilit, il nous faut prendre 0 de manire avoir
a
X
i = 1,
i=0

i.e
(

1( pq )a+1
1 pq

(a + 1)0

= 1 si p 6= q
= 1 si p = q = 1/2

ce qui nous donne

0 =

0 =

1 pq
1( pq )a+1
1
a+1 si p

si p 6= q
= q = 1/2

et donc la loi rversible, et galement stationnaire daprs le thorme prcdent, est :

1 pq
(1, p/q, (p/q)2 , . . . , (p/q)a ) ,
=
1 ( pq )a+1
dans le cas o p 6= q et
=

1
(1, . . . , 1) ,
a+1

dans le cas o p = q.
On serait tent de dire que, si p est plus grand que q, la chane se dcale progressivement
vers a et que par consquent la chane inverse en temps irait, elle, plutt vers 0. Mais
seulement la premire affirmation est justifie. En effet, la chane inverse nest considre
quen tat dquilibre pour la chane initiale, qui est, dans le cas o p est largement plus
grand que q, concentre autour de la valeur a (et par symtrie vidente autour de 0 si p est
largement plus petit que q). La chane reste ainsi le plus souvent proche de ltat a, tout en
faisant de brves excursions vers la gauche (i.e. en direction de 0). Ce comportement est bien
sr symtrique en temps, ce qui signifie que la chane inverse reste elle aussi le plus souvent
proche de a.
3
Donnons une interprtation intuitive de la stationnarit et de la rversibilit. Soit (Xn )
une chane de Markov espace dtats E. Supposons que lon observe un (trs !) grand
nombre de trajectoires de cette chane en tat dquilibre. un instant n, la proportion de
c
Jean-Yves Dauxois, Fvrier
2009

11. Bibliographie

81

trajectoires tant dans ltat i est donc i o est la loi dquilibre. linstant suivant, soit
n + 1, la proportion de ceux qui partent de i (ce qui ne veut pas forcment dire quil le quitte)
est donc i . La proportion de ceux qui arrivent ltat i (mme si ils y taient dj) est :
X
j pj,i .
j

Cette chane est rellement en quilibre ou en tat stationnaire si ces deux proportions sont
gales. Cest dire si lon a bien :
X
i =
j pj,i .
j

La proprit de rversibilit est, elle, plus exigeante. Elle demande que la proportion de ceux
qui quittent ltat i pour aller vers ltat j soit la mme que celle de ceux qui font le trajet
inverse, i.e. i pi,j = j pj,i . On pourrait parler dquilibre local, ce qui est bien plus fort que
lquilibre (global) considr prcdemment.
10.5. Thorie ergodique. La notion de thorie ergodique peut tre utilise en rfrence
un comportement limite de la chane mais aussi en rfrence un comportement limite
des moyennes sur une priode. Plus prcisment on sintresse pour une chane en rgime
stationnaire, la proportion de temps pass dans chaque tat. Cest ce que nous voulons
tudier dans cette section.
Considrons Ni (n) le nombre de visites de ltat i queffectue la chane (Xn ) avant le temps
n, i.e.
n1
X
1l{Xk =i} .
Ni (n) =
k=0

et Ni (n)/n la proportion de temps pass par la chane dans ltat i avant le temps n.
Thorme 4.49. Soit (Xn ) une chane de Markov valeurs dans un espace dnombrable
E, irrductible et de loi initiale 0 quelconque. On a alors, pour tout tat i de E, on a p.s. :
1
Ni (n)
=
lim
n+
n
i
o i = Ei (Ti ) est toujours le temps moyen de retour ltat i.
De plus, si la chane est rcurrente positive, alors pour toute fonction f borne de E vers
R, on a p.s.
n1
1X
lim
f (Xk ) = f,
n+ n
k=0

o
f =

Z
i f (i) =

f d

iE

et est lunique distribution stationnaire associe la chane.

11. Bibliographie
Dominique Foata et Aim Fuchs. Processus Stochastiques. Dunod 2004.
Valrie Girardin et Nikolaos Limnios. Probabilits. Vuibert 2001.
Karlyn, S. and H. Taylor. A First Course in Stochastic Processes. Academic Press,
San Diego, 1975.

c
Jean-Yves Dauxois, Fvrier
2009

CHAPITRE 5

Esprances conditionnelles

83

84

Chapitre 5. Esprances conditionnelles

1. Introduction

Soit (, A, P ) un espace probabilis et B un vnement de la tribu A tel que : p(B) > 0.

On sait dfinir la probabilit conditionnelle B, note P (|B), par :
P (A|B) =

P (A B)
.
P (B)

Si X est une v.a. positive, on peut naturellement dfinir son esprance conditionnelle B
par :
Z
E(X|B) = X()dP (|B),
cest dire lesprance de X prise par rapport la probabilit conditionnelle P (|B). On peut
montrer que cette esprance conditionnelle vrifie lgalit (parfois utile pour les calculs) :
Z
E(X1lB )
1
E(X|B) =
(1)
X()dP ().
=
P (B)
P (B) B
En effet cette formule est trivialement vrifie pour toute v.a. indicatrice de la forme X = 1lA .
Ce nest rien dautre que la formule classique des probabilits conditionnelles rappele cidessus. Grce la linarit de lesprance, cette formule est donc vrifie galement pour
toute fonction tage de la forme
n
X
Xn =
i 1lAi ,
i=1

o les i sont des rels positifs et les Ai des vnements disjoints de la tribu A. On sait
que toute fonction mesurable positive peut tre crite comme limite croissante de fonctions
tages positives. Ainsi, toujours par linarit de lesprance et avec le soutien supplmentaire
du thorme de convergence monotone, la formule (1) est bien vraie pour toute v.a. positive.
Pour toute v.a. intgrable (et non ncessairement positive), on peut alors utiliser lquation (1) pour dfinir son esprance conditionnelle B. On crit en effet X = X + X
avec X + = max(X, 0) et X = max(X, 0). Daprs ce qui prcde, on sait dfinir et les
esprances conditionnelles E(X + |B) et E(X |B). Elles vrifient lquation (1), ce qui, puisque
X est suppose intgrable, assure quelles sont toutes les deux finies. On peut alors dfinir
E(X|B) par E(X|B) = E(X + |B) E(X |B) et avoir la formule (1) galement vrifie pour
une v.a. intgrable.
Considrons maintenant une v.a. Y discrte, i.e. valeurs dans un ensemble E =
{y1 , y2 , . . . , yk , . . .} au plus dnombrable. Daprs ce qui prcde on peut dfinir, pour toute
variable X intgrable, lesprance conditionnelle
E(X|{Y = yk }),
pour tout yk de E. On a ici aussi, comme prcdemment :
Z
E(X1l{Y =yk } )
1
(2)
X()dP ().
E(X|{Y = yk }) =
=
P (Y = yk )
P (Y = yk ) {Y =yk }
Notons alors h la fonction de E vers R dfinie par :
h(yk ) = E(X|{Y = yk })
c
Jean-Yves Dauxois, Fvrier
2009

2. Esprance conditionnelle

85

et considrons h(Y ) la compose de h avec la v.a. Y . On peut alors crire, pour tout vnement
B sur la tribu E mise sur E :
Z
Z
E(h(Y )1l{Y B} ) =
h(Y ())dP () =
h(yk )dPY (yk )
{:Y ()B}

h(yk )P (Y = yk ) =

yk B

{yk B}

E(X1l{Y =yk } ) = E(X1l{Y B} ),

yk B

o la seconde galit est due au thorme du transport et la quatrime lquation (2).

Ainsi, cette fonction h(Y ), que lon note E(X|Y ), est dune part, daprs le lemme de
Doob, une fonction (Y ) mesurable (o (Y ) est la tribu engendre par la v.a. Y ) et dautre
part telle que :
E(E(X|Y ))1lA ) = E(X1lA ),
pour tout A de (Y ). Nous verrons que cette proprit est caractristique de lesprance
conditionnelle que nous construirons justement par cette double proprit.
2. Esprance conditionnelle
Sur un espace probabilis (, A, P ), on considre une tribu B inclue dans A telle que les
ngligeables de A soient aussi ceux de B (i.e. ceux de A sont inclus dans la tribu B).
Soit L2 (, A, P ) la classe des v.a.r. A-mesurables et de carr intgrables. Rappelons que
les lments de cette classe sont dfinis une galit p.s. prs. Rappelons galement que cet
espace est un espace de Hilbert pour le produit scalaire dfini par :
hX, Y iL2 = E(XY ),
pour X et Y dans L2 (, A, P ).
Lespace L2 (, B, P ) est un sous espace de Hilbert ferm dans L2 (, A, P ). On peut ainsi
dfinir lesprance conditionnelle pour des v.a.r. de carr intgrables grce la notion de
projection orthogonale dans les espaces de Hilbert.
Dfinition 5.1. Soit X une v.a.r. de L2 (, A, P ). On appelle esprance conditionnelle
de X conditionnelle B, note E(X|B), la projection orthogonale de X sur L2 (, B, P ).
On peut caractriser lesprance conditionnelle grce au thorme suivant.
Thorme 5.2. Lesprance E(X|B) est lunique v.a.r. Z de carr intgrable et B-mesurable
telle que
Y L2 (, B, P ) : E(XY ) = E(ZY ).
Preuve. Les proprits de la projection sur les espaces de Hilbert permettent daffirmer
que la projection Z de X sur L2 (, B, P ) est lunique lment de L2 (, B, P ) tel que
X ZL2 L2 (, B, P )
i.e. Z est lunique lment de L2 (, B, P ) tel que
hX Z, Y iL2 = 0, Y L2 (, B, P )

E(XY ) = E(ZY ), Y L2 (, B, P ),
2

ce qui achve la preuve.

Il est important de bien noter que lesprance conditionnelle E(X|B) nest dfinie qua une
galit p.s. prs (plus prcisment lunicit nest vraie qu une galit p.s. prs).
c
Jean-Yves Dauxois, Fvrier
2009

86

Chapitre 5. Esprances conditionnelles

Considrons maintenant un cas particulier important. Supposons que la tribu B soit la

tribu (Y ) engendre par une v.a. Y valeurs dans un espace E. On sait, daprs le Lemme de
Doob, que toute v.a. (Y )-mesurable scrit sous la forme h(Y ) o h une fonction mesurable
de E vers R. Ainsi E(X|(Y )), que lon note plus simplement E(X|Y ), scrit aussi sous la
forme h(Y ).
Proposition 5.3. (Proprits lmentaires de lesprance conditionnelle)
(1) Lesprance conditionnelle est linaire ;
(2) Si on a X = x p.s., pour x fix de R, alors E(X|B) = x ;
(3) Si la v.a.r. X est indpendante de la tribu B, alors E(X|B) = E(X) ;
(4) Si Z est une variable B-mesurable, alors on a p.s. : E(ZX|B) = ZE(X|B) ;
(5) Pour toute v.a.r. X positive, on a p.s. : E(X|B) 0 ;
(6) On a p.s. : |E(X|B)| E(|X||B)
(7) On a : E(E(X|B)) = E(X).

Exercice 5.1. Dmontrer cette proposition. (Ind. On utilisera trs

souvent la caractrisation donne par le Thorme 5.2. Pour le point 5, on
pourra, en utilisant la proprit de lesprance conditionnelle, montrer que
P (E(X|B) < 1/n) = 0, pour tout n N. Pour le point 6, on pourra
considrer les parties positives X + et ngatives X de X)

Preuve/solution de lexercice.
1) vident puisque lesprance conditionnelle est une projection. On peut galement le
retrouver en utilisant le Thorme 5.2.
2) La v.a.r. Z gale p.s. x est bien dans L2 (, B, P ) et telle que E(XY ) = E(ZY ) pour
tout Y de L2 (, B, P ). Elle convient donc comme esprance conditionnelle et, par unicit,
cest uniquement elle.
3) On prend ici Z = E(X) qui est aussi une variable de L2 (, B, P ). Par indpendance,
on a bien :
E(XY ) = E(X)E(Y ) = E(E(X)Y ),
2
pour tout Y de L (, B, P ). La v.a.r. Z ainsi dfinie convient bien et par unicit, cest bien
elle.
4) On note Z1 = ZE(X|B). Cette v.a.r. est bien B-mesurable et de carr intgrable
puisque Z est borne et que E(X|B) est dans L2 (, B, P ). Pour tout Y de L2 (, B, P ), on a :
E(Z1 Y ) = E(Y ZE(X|B)) = E(Y ZX),
puisque Y Z est B-mesurable et de carr intgrable. Par unicit on a alors :
E(ZX|B) = ZE(X|B).
Cette proprit souligne que, conditionnellement B, la v.a.r. Z est connue et se comporte
alors comme une constante dans lesprance conditionnelle.
5) Notons Z = E(X|B) et An = {Z < 1/n} qui est un vnement de B. La fonction
indicatrice de cet vnement est donc B-mesurable et on peut crire :
1
0 E(X1lAn ) = E(Z1lAn ) P (An ) 0.
n
c
Jean-Yves Dauxois, Fvrier
2009

2. Esprance conditionnelle

87

On a donc ncessairement P (An ) = 0, pour tout n de N. Par croissance de la suite des

vnements (An ) on a :
P (n An ) = 0 P (Z < 0) = 0
et la v.a.r. Z est donc bien p.s. positive.
6) On sait que lon peut crire : X = X + X et |X| = X + + X . Ainsi, il vient :
|E(X|B)| = |E(X + |B) E(X |B)| |E(X + |B)| + |E(X |B)| = E(X + + X |B) = E(|X||B).
7) On sait que lon doit avoir pour tout Y de L2 (, B, P ) :
E(Y E(X|B)) = E(XY ).
Il suffit de prendre pour Y la v.a.r. p.s. gale 1 (qui est bien dans L2 (, B, P )) pour obtenir
le rsultat.
2
On peut maintenant tendre la notion desprance conditionnelle au cas des v.a.r. positives
ou intgrables et non ncessairement dans L2 (, A, P ). Commenons par le cas des variables
positives.
+ (, A, P ) lespace des classes dquivalence des v.a. de (, A, P )
Thorme 5.4. Notons L
+

vers R = [0, +] et L+ (, B, P ) le sous espace de ces classes dquivalence qui soient Bmesurables.
+ (, A, P ), il existe un lment unique de L
+ (, B, P ) tel que :
Pour tout X de L
E(ZY ) = E(XY ),

pour tout Y de L+ (, B, P ). La v.a. Z est alors note E(X|B).

On est oblig de considrer des v.a. non ncessairement p.s. finies car on sait que mme si
une v.a. est p.s. finie, son esprance conditionnelle ne lest pas forcment.

Exercice 5.2. Dmonstration de ce thorme.

On considre la suite de v.a. positives (Xn ) dfinies pour tout n par
Xn = X n = inf{X, n}.
1) Montrer que lon peut dfinir, pour tout n, la v.a. Zn telle que :
Zn = E(Xn |B).
2) Montrer que la suite (Zn ) est une suite de v.a. positives, croissante
vers une v.a. Z positive et B-mesurable.
3) Montrer que lon a, pour toute v.a. Y positive et B-mesurable :
E(Xn Y ) = E(Zn Y ).
(Ind. on pourra considrer la suite (Yp ) o Yp = Y p)
4) En dduire que lon a, pour tout Y positive et B-mesurable :
E(XY ) = E(ZY ).
5) On sattache maintenant prouver lunicit de Z ainsi dfinie. Supposons quil existe Z1 et Z2 vrifiant le point 4 prcdent. Montrer, en utilisant ce dernier point, que lon a ncessairement P (Z1 a < b Z2 ) = 0,
pour tout couple de rels (a, b) tel que 0 a < b.
6) En dduire que lon a ncessairement : P (Z1 6= Z2 ) = 0 et donc bien
lunicit de lesprance conditionnelle.

c
Jean-Yves Dauxois, Fvrier
2009

88

Chapitre 5. Esprances conditionnelles

Preuve/solution de lexercice.
1) La v.a. Xn est, pour tout n, positive et borne. Elle est donc dans L2 (, A, P ). Par
dfinition de lesprance conditionnelle dans L2 , il existe donc, pour tout n, une unique v.a.
Zn = E(Xn |B) de L2 (, B, P ).
2) Comme (Xn ) est une suite de v.a. positives p.s. croissante, par la proprit 5 de la
Proposition 5.3, la suite (Zn ) est galement une suite de v.a. positives, B-mesurables. Elle est
croissante vers une v.a. Z positive et B-mesurable (comme suite de v.a. B-mesurables).
3) Les v.a. (Yp ) sont dans L2 (, B, P ). Daprs la dfinition de lesprance conditionnelle,
on a donc, pour tout n et tout p : E(Xn Yp ) = E(Zn Yp ). La croissance de Yp vers Y quand
p tend vers + (et la suite Xn tant borne) assure la convergence monotone croissante de
Xn Yp vers Xn Y et celle de Zn Yp vers Zn Y . Par le thorme de convergence monotone on a
donc : E(Xn Y ) = E(Zn Y ), pour tout n.
4) On fait exactement le mme raisonnement quau point prcdent en faisant tendre cette
fois-ci n vers +.
5) La v.a. 1l{Z1 a<bZ2 } tant B-mesurable (puisque Z1 et Z2 le sont), on peut crire :
aP (Z1 a < b Z2 ) E(Z1 1l{Z1 a<bZ2 } ) = E(Z2 1l{Z1 a<bZ2 } ) bP (Z1 a < b Z2 ),
lgalit du centre tant assure par la proprit de lesprance conditionnelle. On aboutit
une contradiction sauf si P (Z1 a < b Z2 ) = 0.
6) On peut crire :
[
{Z1 < Z2 } =
{Z1 a < b Z2 }.
(a,b)Q2 , a<b

Lvnement {Z1 < Z2 } est donc ngligeable par union dnombrable de ngligeables. Par
symtrie, on a P (Z1 > Z2 ) = 0 et donc P (Z1 6= Z2 ) = 0.
2
Corollaire 5.5. Avec les mmes notations quau Thorme 5.4, pour avoir Z = E(X|B)
il suffit davoir lune des conditions quivalentes suivantes :
lgalit E(ZY ) = E(XY ), pour toute v.a.r Y borne et B-mesurable ;
lgalit E(Z1lB ) = E(X1lB ), pour tout vnement B de B.

Exercice 5.3. Dmonstration de ce Corollaire.

Preuve/solution de lexercice.
+ (, B, P ) et dfinissons Yn = Y n. Par hypothse,
1) Soit Y une v.a. quelconque de L
on a donc :
E(ZYn ) = E(XYn )
Par le thorme de convergence monotone on obtient, en faisant tendre n vers +, la relation
E(ZY ) = E(XY ).
2) Supposons que Y soit une v.a.r. B-mesurable, positive et borne. On sait que Y peut
tre approche par une suite croissante de fonctions tages de la forme (avec des notations
qui se comprennent aisment) :
pn
X
Yn =
in 1lBin .
i=1
c
Jean-Yves Dauxois, Fvrier
2009

2. Esprance conditionnelle

89

Lhypothse et la linarit de lesprance conditionnelle assure que lon a pour tout n lgalit
E(ZYn ) = E(XYn ). Une nouvelle application du thorme de convergence monotone nous
remet dans le cas 1) et achve donc la preuve.
2
Enfin on peut dfinir lesprance conditionnelle pour des v.a.r. intgrables (et non ncessairement positives).
Thorme 5.6. Soit X une v.a.r. de L1 (, A, P ). Il existe une unique v.a.r. Z de
telle que pour tout v.a.r. B-mesurable borne Y on ait : E(XY ) = E(ZY ). La
v.a.r. Z ainsi dfinie est appele esprance conditionnelle B et est note E(X|B).

L1 (, B, P )

Exercice 5.4. Dmonstration de ce thorme.

1) On considre la suite de v.a.r. (Xn ) dfinie pour tout n par :
Xn = (X n) (n),
o a b = min{a, b} et a b = max{a, b}. Montrer que lon peut dfinir
pour tout n la v.a.r. Zn = E(Xn |B).
2) Montrer que lon a lingalit E|Zn Zm | E|Xn Xm | et en dduire
que la suite (Zn ) converge dans L1 vers une v.a.r. Z de L1 (, B, P )
3) Vrifier que la v.a.r. Z vrifie la proprit de lesprance conditionnelle, i.e. que lon a : E(XY ) = E(ZY ) pour toute v.a. B-mesurable borne
Y.
4) tablir lunicit (Ind. On pourra utiliser des ensemble de la forme
An = {Z1 + 1/n < Z2 }, o Z1 et Z2 sont deux candidats tre lesprance
conditionnelle E(X|B)).

Preuve/solution de lexercice.
1) Les v.a.r. de la suite (Xn ) sont bornes et donc toutes dans L2 (, A, P ). On peut donc
dfinir Zn = E(Xn |B), pour tout n.
2) On peut crire, pour tout n et m :
E|E(Xn |B) E(Xm |B)| = E|E(Xn Xm |B)|
E(E(|Xn Xm ||B)) = E|Xn Xm |.
De plus, la convergence p.s. de Xn vers X et lingalit |Xn X| 2|X| permettent
dappliquer le thorme de convergence domine pour obtenir la convergence dans L1 de Xn
vers X. La suite (Xn ) est donc de Cauchy dans L1 et par lingalit prcdente, la suite (Zn )
lest aussi. Lespace L1 tant complet (puisque de Banach), on a galement la convergence
dans L1 de Zn vers une limite que nous noterons Z.
3) On sait que les v.a.r. Xn sont dans L2 (, A, P ). De plus, toute v.a.r. B-mesurable
borne Y est galement dans L2 (, A, P ). Par proprit de lesprance conditionnelle dans
L2 , on a donc : E(Xn Y ) = E(Zn Y ).
Maintenant, la v.a. Y tant suppose borne, les convergences vues prcdemment entranent celles de Xn Y vers XY et de Zn Y vers ZY , toujours dans L1 . On en dduit que
E(Xn Y ) EXY et E(Zn Y ) EZY,
c
Jean-Yves Dauxois, Fvrier
2009

90

Chapitre 5. Esprances conditionnelles

quand n +. Les termes des deux sries tant gaux pour tout n, on a bien le rsultat
annonc.
4) Soient Z1 et Z2 deux v.a.r. de L1 (, B, P ) telles que :
E(XY ) = E(Z1 Y ) = E(Z2 Y ),
pour tout Y de L1 (, B, P ). En dfinissant les vnements An = {Z1 + 1/n < Z2 } pour tout
n, les v.a.r. 1lAn sont B-mesurables bornes pour tout n et on a donc
E(Z2 1lAn ) = E(Z1 1lAn ) E((Z2 1/n)1lAn ) = EZ2

1
P (An ).
n

Mais comme la v.a.r. Z2 est dans L1 (, B, P ), lesprance E(Z2 1lAn ) est finie. Lingalit
prcdente implique alors que lon a : P (An ) = 0, pour tout n. On en dduit que lvnement
n An est galement ngligeable et donc que lon a P (Z1 < Z2 ) = 0. Par symtrie on a P (Z1 >
Z2 ) = 0 et donc P (Z1 6= Z2 ) = 0, ce qui prouve bien lunicit de lesprance conditionnelle
dans L1 .
2
Proposition 5.7. Soit X une v.a.r. de L1 (, A, P ) et C une classe de fonctions Bmesurables bornes stable par multiplication qui engendre la tribu B (i.e. telle que (C) = B)).
Alors, pour quun lment Z de L1 (, A, P ) soit gal lesprance conditionnelle E(X|B),
il suffit que lon ait la relation E(XY ) = E(ZY ) pour tout Y de C.

Exercice 5.5. Dmontrer ce thorme.

Preuve/solution de lexercice. Ce nest quune utilisation du thorme des classes

monotones (version fonctionnelle) rappel au Chapitre 1. En effet, notons
H = {Y v.a.r. borne : E(XY ) = E(ZY )}.
Il sagit dun espace vectoriel qui contient les constantes et qui est stable par limite croissante borne puisque, si (Yn ) est une suite de v.a. croissante vers Y borne, le thorme de
convergence domine nous assure les convergences
E(XYn ) E(XY ) et E(ZYn ) E(ZY ),
quand n + et la limite Y est alors galement bien dans H.
Par hypothse lensemble H contient lensemble C. Par le thorme des classes monotones, lespace H contient toutes les fonctions (C)-mesurables bornes, cest dire toute les
v.a. B-mesurables bornes, et Z est donc bien lesprance conditionnelle E(X|B) grce au
Thorme 5.6.
2
Cette proposition permet souvent de simplifier les calculs en vrifiant la proprit caractristique pour les esprances conditionnelles en considrant seulement une partie (gnratrice)
des fonctions B-mesurables bornes. Il en est ainsi par exemple dans les cas suivants :
Si C est un ensemble dvnements de A qui engendre B (i.e. B = (C)) , alors il
suffit de vrifier E(X1lC ) = E(Z1lC ) pour tout C de C.
c
Jean-Yves Dauxois, Fvrier
2009

2. Esprance conditionnelle

91

Si B = (U ), o U est une v.a.r sur (, A, P ), alors il suffit de vrifier E(XY ) =

E(ZY ) pour toutes les fonctions Y de la forme Y = exp(iU ) pour dans R, ou
bien pour toutes les fonctions Y de la forme Y = 1lU [a,b] , pour tout intervalle [a, b],
ou bien encore pour toutes fonctions Y de la forme Y = 1l{U a} , pour a dans R (ou
seulement dans Q)
Si B = (U ), o U est une v.a.r borne (resp. p.s. positive) sur (, A, P ), il suffit de
vrifier la proprit pour toutes les fonctions Y de la forme Y = exp(U ) pour
dans R (resp. dans R+ ).
Notons que les proprits lmentaires mentionnes dans la Proposition 5.3 au sujet de
lesprance conditionnelle dans L2 restent galement vraies pour les v.a. positive ou dans L1 .
Nous allons maintenant voir une srie de nouvelles proprits pour lesprance conditionnelle, dont certaines montrent que lesprance conditionnelle se comporte souvent de manire
trs analogue lesprance classique.
Proposition 5.8. Lesprance conditionnelle vrifie les proprits suivantes.
(1) (Ingalit de Jensen) Pour toute v.a.r. X de L1 , toute fonction , convexe, de R
vers lui mme et telle que (X) soit dans L1 , on a
(E(X|B)) E((X)|B), p.s.
On a la mme ingalit si X est positive et convexe de R+ vers lui mme.
(2) (Variance conditionnelle) Pour une v.a.r. de L2 , on a p.s. :
E(X 2 |B) (E(X|B))2 = E[(X E(X|B))2 |B].
Cette v.a.r. est appele variance conditionnelle et est note 2 (X|B).
(3) (Ingalit de Hlder) Soient p et q des rels de ]1, +[ tels que 1/p + 1/q = 1 et
soient X et Y des v.a.r. respectivement dans Lp (, A, P ) et Lq (, A, P ). On a sur
tout :
|E(XY |B)| (E(|X|p |B))1/p (E(|Y |q |B))1/q .
(4) (Convergence monotone) Soit (Xn ) une suite de v.a. positives qui converge en
croissant vers une v.a. X. On a alors p.s. la convergence croissante suivante :
E(Xn |B) E(X|B), quand n +.
(5) (Ingalit de Fatou) Pour toute suite (Xn ) de v.a. positives on a p.s. :
E(lim inf Xn |B) lim inf E(Xn |B).
n

(6) (Convergence domine) Pour toute suite (Xn ) de v.a. positives telle que
p.s.

Xn X, quand n + et |Xn | Y , pour tout n, avec E(Y |B) < +,

on a :

p.s.

E(Xn |B) E(X|B).

(7) (Conditionnement successifs) Pour deux sous tribus C et B de A telles que C
B A on a
E(X|C) = E(E(X|B)|C) E(X|B|C) = E(X|C|B).
En revanche si lon na pas une relation dinclusion dans un sens ou dans un autre
entre les tribus C et B, les esprances conditionnelles E(X|B|C) et E(X|C|B) sont en
gnral diffrentes.
c
Jean-Yves Dauxois, Fvrier
2009

92

Chapitre 5. Esprances conditionnelles

Si de plus lesprance conditionnelle E(X|B) est C-mesurable, alors on a : E(X|B) =
E(X|C).

Exercice 5.6. Dmonstration de ce thorme.

1) Prouver lingalit de Jensen en se souvenant quune fonction est
convexe si et seulement si elle est telle que :
(x) = sup (ax + b),
(a,b)A

o A = {(a, b) : y, ay + b (y)}.
2) Montrer la proprit des variances conditionnelles.
3) Montrer en premier lieu que les esprances conditionnelles prsentes
dans la formule sont bien dfinies dans L1 . Appliquer ensuite lingalit
1
1
xy xp + y q ,
p
q
vraie pour tout x et y de R+ , aux v.a.
|X|
|Y |
et
.
1/p
p
[E(|X| |B)]
[E(|Y |q |B)]1/q
pour tablir lingalit :
E(|XY ||B)
1,
[E(|X|p |B)]1/p [E(|Y |q |B)]1/q
sur lensemble B = {E(|X|p |B) > 0 et E(|Y |q |B) > 0}. Terminer en montrant que lingalit est trivialement vrifie sur le complmentaire de B.
On pourra utiliser les ensembles de la forme : BX = {E(|X|p |B) = 0} et
BY = {E(|Y |q |B) = 0}.
4) Dmontrer la proprit de convergence monotone pour lesprance conditionnelle.
5) Pour tablir le rsultat du type Lemme de Fatou, on pourra considrer les suites (Yn ) et (Zn ) dfinies par
Yn = inf Xp et Zn = inf E(Xp |B).
pn

pn

6) a) Considrer une suite (Xn ) de v.a. positives telle que Xn Y o

Y est une v.a. dont lesprance conditionnelle B est borne par un entier
N , i.e. telle que E(Y |B) N < +. Montrer alors que la convergence p.s.
de Xn vers 0, entrane la convergence :
p.s.

E(Xn |B) 0, quand n +.

On pourra considrer la suite (Un ) dfinie par
Un = sup E(Xp |B),
pn

et montrer quelle est convergente vers une v.a. U desprance nulle.

b) Dduire de ce qui prcde que lon a la convergence annonce dans le
thorme si lon rajoute lhypothse que la v.a. majorante Y est desprance
conditionnelle E(Y |B) borne.
c
Jean-Yves Dauxois, Fvrier
2009

2. Esprance conditionnelle

93

c) Utiliser le rsultat prcdent pour tablir que cette convergence des

esprances conditionnelles est en fait obtenue ds que lesprance conditionnelle E(Y |B) est finie (et non ncessairement borne). On pourra utiliser une
suite (Xn0 ) dfinie, pour tout n, par Xn0 = Xn 1lAN , o AN = {E(Y |B) < N }
et N est un entier quelconque.
7) Dmontrer directement ces formules de conditionnement successifs.

Preuve/solution de lexercice.
1) Daprs le proprit rappele pour une fonction convexe, on peut crire :
(E(X|B)) =

sup (aE(X|B) + b) = sup E(aX + b|B)

(a,b)A

(a,b)A

sup E((X)|B) = E((X)|B).

(a,b)A

2) On peut crire :
h
i



E (X E(X|B))2 |B = E X 2 2XE(X|B) + E2 (X|B) |B
= E(X 2 |B) + E2 (X|B) 2E2 (X|B)
= E(X 2 |B) E2 (X|B).
3) Puisque les v.a. X et Y sont respectivement dans Lp et Lq , les v.a. X p et Y q sont dans
De plus, daprs lingalit de Hlder pour les esprances classiques, le produit XY est
dans L1 . On peut donc bien dfinir les esprances conditionnelles de ces v.a. dans L1 .
Maintenant, sur lensemble B = {E(|X|p |B) > 0 et E(|Y |q |B) > 0}, les v.a.
L1 .

|Y |
|X|
et
[E(|X|p |B)]1/p
[E(|Y |q |B)]1/q
sont bien dfinies et positives. On peut alors leur appliquer lingalit rappele dans lnonc
pour obtenir, sur lensemble B :
|Y |
|X|p
|Y |q
|X|

+
.
pE(|X|p |B) qE(|Y |q |B)
[E(|X|p |B)]1/p [E(|Y |q |B)]1/q
Lvnement B tant B-mesurable, en prenant lesprance conditionnelle de lingalit prcdente on obtient, toujours sur B :
E(|XY ||B)
1 1
+ = 1,
1/p
1/q
p
q
p
q
[E(|X| |B)] [E(|Y | |B)]
ce qui, grce la proprit 6) de la Proposition 5.3, prouve sur lvnement B lingalit de
Hlder dsire.
Considrons maintenant lvnement BX = {E(|X|p |B) = 0}. Cet vnement est dans B
et par proprit des esprances conditionnelles, on a :
E(|X|p 1lBX ) = E(E(|X|p |B)1lBX ) = 0,
ce qui implique que la v.a. |X|p 1lBX est p.s. nulle. On en tire que
E(|XY |1lBX |B) = 0
et lingalit de Hlder est alors trivialement vrifie sur BX , les deux cots de lingalit
tant nuls. Il en est par symtrie vidente de mme sur BY = {E(|Y |q |B) = 0}. Comme on a
= B BX BY , lingalit de Hlder est toujours vraie.
c
Jean-Yves Dauxois, Fvrier
2009

94

Chapitre 5. Esprances conditionnelles

4) Soit (Xn ) une suite dfinie comme dans le thorme et notons (Yn ) la suite dfinie,
pour tout n, par Yn = E(Xn |B). Par proprits de lesprance conditionnelle, cette dernire
constitue une suite de v.a. positives, B-mesurables et croissante vers une v.a. Y qui est Bmesurable et valeurs dans [0, +]. Or, pour tout n et tout B de B, on a : E(Xn 1lB |B) =
E(Yn 1lB |B). Par le thorme de convergence monotone pour les esprances classiques, le terme
de gauche converge en croissant vers E(X1lB |B) et celui de droite vers E(Y 1lB |B), ce qui prouve
que Y nest autre que lesprance conditionnelle E(X|B) et la dmonstration est acheve.
5) Les suites (Yn ) et (Zn ), dfinies dans lnonc de lexercice, convergent en croissant
respectivement vers lim inf n Xn et lim inf n E(Xn |B). Par ailleurs, la monotonie de lesprance
conditionnelle nous assure que lon a
E(Xp |B) E(Yn |B),
pour tout p n et donc :
Zn E(Yn |B),
pour tout n. Par le thorme de convergence monotone que nous venons de dmontrer au
point 4), le terme de droite converge en croissant vers E(lim inf n Yn |B). En faisant tendre
n vers + des deux cots de lingalit prcdente, on obtient lingalit de Fatou pour les
esprances conditionnelles.
6) a) Considrons la suite (Un ) dfinie, pour tout n, par
Un = sup E(Xp |B).
pn

Comme cette suite est dcroissante et positive elle est convergente vers une v.a. U galement
positive. Or on a :
E(Un ) = E(sup E(Xp |B)) E(E(sup Xp |B)) = E(sup Xp ).
pn

pn

pn

Mais la convergence p.s. de la suite (Xn ) vers 0 entrane celle de (suppn Xp ) vers 0. Comme
chaque lment de cette dernire suite est majore par la v.a. Y qui est telle que E(Y ) =
E(E(Y |B)) N , le thorme de convergence domine classique assure alors la convergence :
E(sup Xp ) 0, quand n +.
pn

Cette dernire convergence associe lingalit prcdemment tablie, montre que lon a
la convergence de E(Un ) vers 0. La variable limite U de la suite positive (Un ) est donc positive
et desprance nulle. Elle ne peut tre diffrente de 0. On a donc bien la convergence :
p.s.

E(Xn |B) 0, quand n +.

b) Soit maintenant une suite (Xn ) de v.a. de signe quelconque mais telle que :
p.s.

Xn X, quand n + et |Xn | Y , pour tout n, avec E(Y |B) N < +,

o N est un entier fix.
On a naturellement la convergence
p.s.

Xn X 0
et les majorations p.s.
|Xn X| 2Y et E(2Y |B) 2N.
Daprs le point a) prcdent nous avons donc la convergence
p.s.

|E(Xn X|B)| E(|Xn X||B) 0,

c
Jean-Yves Dauxois, Fvrier
2009

2. Esprance conditionnelle

95

ce qui prouve bien le rsultat attendu.

c) Soit enfin une suite (Xn ) de v.a. qui vrifie les proprits du point b) prcdent
lexception de lesprance conditionnelle qui est ici suppose finie (et non borne), i.e.
E(Y |B) < +.
Introduisons la suite (Xn0 ) dfinie, pour tout n, par Xn0 = Xn 1lAN , o AN = {E(Y |B) < N }
pour un entier N quelconque. On a bien sr
p.s.

Xn0 X 0 = X1lAN .
De plus, pour tout n, la v.a. |Xn0 | est majore par la v.a. Y 0 = Y 1lAN qui est telle que, p.s. :
E(Y 0 |B) = 1lAN E(Y |B) N,
puisque lvnement AN est lment de B. Le rsultat du point b) prcdent permet dassurer
la convergence :
p.s.
E(Xn |B)1lAN E(X|B)1lAN .
Lgalit
= N N AN
et la linarit de lesprance conduisent alors la conclusion du thorme.
7) Notons Y = E(X|B) et Z = E(Y |C). Il sagit de montrer que lon a Z = E(X|C).
Soit C un lment quelconque de C. Par dfinition de Z puis par dfinition de Y on peut
crire :
E(Z1lC ) = E(Y 1lC ) = E(E(X|B)1lC ) = E(E(X1lC |B)) = E(X1lC ),
ce qui prouve que Z = E(X|C).
Enfin la dernire affirmation est aisment obtenue en remarquant que lesprance conditionnelle E(X|B) sort de lesprance conditionnelle C si elle C-mesurable.
2
Voyons maintenant le lien avec les lois conditionnelles vues en cours de base de Probabilits.
Supposons que Z soit une v.a. de dans R telle que sa loi soit absolument continue par rapport
une mesure 1 sur R. Soit galement X une v.a. de vers un ensemble E de loi absolument
continue par rapport une mesure 2 sur E. Supposons enfin que la loi du couple alatoire
(Z, X) soit absolument continue par rapport la mesure produit 1 2 et de densit f (z, x).
La densit de la v.a. X par rapport la mesure 2 est alors donne par
Z
g(x) =
f (z, x)1 (dz)
R

On sait dfinir la densit conditionnelle de Z sachant X par

f (z, x)
h(z, x) =
g(x)
pour x tel que g(x) ne soit pas nul (on peut dfinir cette densit conditionnelle sur tout E en
donnant la valeur 1, par exemple, quand g(x) = 0).
Lemme 5.9. Avec les hypothses prcdentes sur le couple de v.a. (Z, X) on peut crire,
pour toute v.a. telle que (Z) soit intgrable :
E((Z)|X) = k (X)
avec

Z
k (x) =

(z)h(z, x)1 (dz),

R

pour tout x de E.
c
Jean-Yves Dauxois, Fvrier
2009

96

Chapitre 5. Esprances conditionnelles

Exercice 5.7. Dmontrer ce rsultat.

Preuve/solution de lexercice. Daprs le Lemme de Doob, la v.a. k (X) est (X)mesurable. Il nous faut donc seulement montrer que lon a pour toute v.a. (X)-mesurable
Y :
E(k (X)Y ) = E((Z)Y ).
Or, Y tant (X)-mesurable, il existe daprs le lemme de Doob une fonction telle que
Y = (X).
On en est donc dduit montrer que lon a pour toute fonction mesurable borne :
E(k (X)(X)) = E((Z)(X)).
Or, on peut crire :
Z Z

Z
E(k (X)(X)) =


(z)h(z, x)1 (dz) (x)g(x)2 (dx)

k (x)(x)g(x)2 (dx) =
x
z
Z Z
=
(x)(z)h(z, x)g(x)1 (dz)2 (dx)
ZxZ z
=
(x)(z)f (z, x)1 (dz)2 (dx)
= E((Z)(X)).

La variable k (X) convient. Elle est donc lunique ( une galit p.s. prs) solution.

c
Jean-Yves Dauxois, Fvrier
2009

CHAPITRE 6

Martingales

97

98

Chapitre 6. Martingales
1. Martingales
1.1. Filtrations et temps darrt.

Dfinition 6.1. Une filtration sur un espace probabilis (, F, P ) est une suite croissante
(Fn ) de sous tribus de F, i.e., pour tout n, les sous tribus Fn et Fn+1 de F sont telles que :
Fn Fn+1 .
De plus on dfinit :
F = n Fn (n Fn ),
Dans cette dfinition on utilise donc la notation F G pour signifier la tribu engendre
par lunion de deux tribus F et G (on sait que lunion de deux tribus ne donne pas forcment
une tribu).
On supposera dans la suite que la tribu F0 contient tous les ngligeables de F .
Exemple fondamental de filtration : la filtration naturelle associe un processus. Soit (Xn ) une suite de v.a.r. sur (, F, P ). Dfinissons, pour tout n, la tribu
Fn = (X0 , . . . , Xn ).
La filtration ainsi construite est appele filtration naturelle associe au processus (Xn ).
Dfinition 6.2. Soit (Fn ) une filtration sur un espace probabilis (, F, P ). Un processus
(Xn )n0 est dit adapt la filtration (Fn ) si la v.a. Xn est Fn -mesurable, pour tout n.
Naturellement la filtration naturelle associe au processus (Xn ) est la plus petite filtration
le rendant adapt.
N {+} est appele (Fn )-temps
Dfinition 6.3. Une application T de vers N
darrt (t.d.a.) si on a :
1) n N : {T n} = { : T () n} Fn ,
ou encore de manire quivalente si :
2) n N : {T = n} Fn .

Exercice 6.1. Dmontrer lquivalence nonce dans la Dfinition 6.3.

Solution de lexercice. Pour montrer que 1) implique 2), il suffit de remarquer que lon
a, pour tout n :
{T = n} = {T n} \ {T n 1}.
Le premier terme droite de lgalit est dans Fn par dfinition dun t.d.a. et le second dans
Fn1 . Par croissance des tribus dans une filtration et par proprit des tribus, lvnement de
gauche est donc bien dans Fn .
Pour la rciproque on utilise nouveau la croissance des tribus dans une filtration et
lgalit
{T n} = {T = 0} {T = 1} {T = n},
vraie pour tout n.
3
c
Jean-Yves Dauxois, Fvrier
2009

1. Martingales

99

Il est important de bien se convaincre que si T est un t.d.a. alors on a

n : {T n} Fn
mais que cette proprit nest pas suffisante pour que T soit un t.d.a.
Intuitivement un t.d.a. est une horloge, un temps o lon dcide de continuer ou darrter
un jeu par exemple. Naturellement, si la triche nest pas possible, la dcision de sarrter la
nime partie ne peut se baser que sur la connaissance des rsultats des parties prcdentes.
De mme, en bourse, la dcision de vendre ou dacheter une action ne peut dpendre que du
pass du cours de cette action, et pas du futur sous peine dtre accus de dlit diniti !

Exercice 6.2. Soit (Xn ) un processus (Fn )-adapt de (, F, P ) vers

un espace probabilisable (E, E). Soit A un vnement de la tribu E et les v.a.
T1 et T2 dfinies par :
T1 = inf{n N : Xn A},
T2 = sup{n N : Xn A}.
Les v.a. T1 et T2 sont-elles des t.d.a. ?

Solution de lexercice. On peut crire

{T1 n} = {X0 A} {X1 A} {Xn A},
et en dduire facilement que T1 est un t.d.a. En revanche, on peut seulement crire

{T1 = n} = p1 {Xn+p A},

ce qui na aucune raison, a priori, dtre dans la tribu Fn .

Exercice 6.3. Soit T un (Fn )-t.d.a.

1) Montrer que lon a :
{T = } F .
2) Montrer que T + 1 est galement un t.d.a. En est-il de mme pour
T 1 ?
3) Montrer que si S est un autre (Fn )-t.d.a., alors les v.a. max(T, S),
min(T, S) et T + S sont encore des t.d.a.

Solution de lexercice.
1) Il suffit de noter que lon peut crire
{T < } = n {T = n}.
Chaque vnement de droite tant dans F , le complmentaire de lvnement {T = } est
donc galement dans F .
c
Jean-Yves Dauxois, Fvrier
2009

100

Chapitre 6. Martingales

Ceci nous permet de comprendre pourquoi, dans certains ouvrages, on peut trouver la
condition
: {T n} Fn .
n N
2) On a :
{T + 1 = n} = {T = n 1} Fn1 Fn
ce qui montre T + 1 est bien un t.d.a. En revanche, on a :
{T 1 = n} = {T = n + 1} Fn+1
et cet vnement na donc lui, a priori, aucune raison dtre dans la tribu Fn .
3) Les galits
{max(T, S) n} = {T n} {S n}
{min(T, S) > n} = {T > n} {S > n}
{T + S = n} = nk=0 {T = k} {S = n k}
permettent aisment dtablir ce rsultat.

Lemme 6.4. La v.a. T est un (Fn )-t.d.a. si, et seulement si, le processus (Xn ), dfini en
tout n par Xn = 1l{T n} , est (Fn )-adapt. Dans ce cas, on a
T = inf{n N : Xn = 1}.
La dmonstration de ce lemme est triviale et laisse au lecteur.
Dfinition 6.5. On appelle tribu des vnements antrieurs un (Fn )-t.d.a., la tribu FT
dfinie par
FT = {A F : n N, A {T n} Fn }.
Cest une exercice facile que de vrifier que FT est effectivement une tribu.
Proposition 6.6.
Si T est un t.d.a. p.s. constant gal k, alors la tribu FT nest autre que la tribu Fk .
Un vnement A est dans FT si, et seulement si, on a, pour tout n, lvnement
A {T = n} dans Fn .

Exercice 6.4. Dmontrer cette proposition.

Preuve/Solution de lexercice.
1) Si T est p.s. gal k, on a pour tout A de F les galits :
A {T n} = , si k > n
A {T n} = A, si k n.
Ainsi, on peut crire :
A FT n : A {T n} Fn n k : A Fn A nk Fn = Fk .
c
Jean-Yves Dauxois, Fvrier
2009

1. Martingales

101

2) Pour la condition ncessaire, il suffit de remarquer que lon a :

A {T = n} = A {T n} {T n 1}
qui est dans Fn puisque les vnements A {T n} et {T n 1} le sont.
Pour la condition suffisante, on utilise les galits


A {T n} = A np=1 {T = p} = np=1 (A {T = p}) ,
qui montrent que lvnement gauche de lgalit est dans Fn puisque chaque lment dans
lunion de droite est dans Fp , pour p n.
2
Proposition 6.7. On a les proprits suivantes :
(1) Si T et S sont deux t.d.a., on a :
S T FS FT .
p.s.

(2) Pour tout t.d.a. S et T , on a :

FS FT = FST .
(3) Pour tout t.d.a. S et T , on a :
FS FT = FST .
(4) Si (Tn ) est une suite de t.d.a. dcroissante vers T , alors T est un t.d.a. et on a :
FT = n FTn .
(5) Si (Tn ) est une suite de t.d.a. croissante vers T , alors T est un t.d.a. et on a :
FT = n FTn .

Exercice 6.5. Dmontrer les points 1, 2 et 4 de cette proposition (Ind.

pour les points 2 et 4 on pourra procder par double inclusion). Les autres
points sont un peu plus dlicats dmontrer et leurs preuves ne seront pas
dtailles dans ce polycopi.

Preuve/Solution de lexercice.
1) Soit N le ngligeable en dehors duquel on a S() T (). On peut crire, pour tout
vnement A de FS :


.
A {T n} = (A {T n} N ) A {T n} N
Le premier terme dans lunion de droite est ngligeable, donc par hypothse dans F0 et, par
croissance de la filtration, dans Fn . Le second terme peut scrire sous la forme :

A {S n} {T n} N
ce qui prouve quil est dans Fn , puisque A est dans FS , que T est un t.d.a. et que N est dans
Fn .
2) Daprs le point prcdent, la tribu FST est inclue dans FS aussi bien que dans FT .
Elle est donc inclue dans FS FT .
c
Jean-Yves Dauxois, Fvrier
2009

102

Chapitre 6. Martingales
Considrons maintenant un vnement A de FS FT . On peut crire
A {S T n} = (A {T n}) (A {S n}) .

Il sagit bien dun vnement de Fn puisque chaque terme de lunion est dans Fn par dfinition
dune tribu des vnements antrieurs un t.d.a. Lvnement A est donc bien dans FST , ce
qui prouve linclusion inverse et donc lgalit
FS FT = FST .
4) Soit (Tn ) une suite de t.d.a. dcroissante vers T . Lgalit
[
{T k} = {Tn k},
n

vraie pour tout k, montre bien que T est un t.d.a. puisque chaque terme de droite est dans
Fk . De plus, lingalit T Tn , vraie pour tout n, implique linclusion de FT dans FTn et
donc
\
FT
FTn .
n

Rciproquement, soit A un vnement de n FTn . Lgalit, pour tout k,

[
A {T k} =
(A {Tn k})
n

montre bien que A est un lment de FT puisque chaque terme dans lunion de droite est dans
Fk .
2
Proposition 6.8. Une v.a. Z est FT mesurable si, et seulement si, pour tout entier k, la
v.a. Z1l{T k} est Fk mesurable.

Exercice 6.6. Dmonstration de cette proposition. Autant pour la

condition ncessaire que pour la condition suffisante, on pourra utiliser le
thorme des classes monotones en se restreignant dans un premier temps
aux variables bornes. Lextension aux variables quelconques se fait ensuite
par des arguments classiques dj utiliss dans la Chapitre 5 sur les esprances conditionnelles.

Preuve/Solution de lexercice.
Condition ncessaire. Lensemble
H = {v.a. Z bornes : Z1l{T k} est Fk -mesurable, pour tout k N}
constitue un espace vectoriel de fonctions bornes, contenant les constantes et stable par limite
monotone borne. De plus lensemble
C = {Z = 1lA : A FT }
est une classe de fonctions relles bornes stable par multiplication. Par dfinition de FT ,
lensemble C est inclus dans H et, daprs le thorme des classes monotones, il en est de
mme pour lensemble de toutes les fonctions (C)-mesurables bornes. Ainsi toute v.a. Z qui
est FT -mesurable borne est telle que, pour tout k dans N, la v.a. Z1l{T k} est Fk -mesurable.
c
Jean-Yves Dauxois, Fvrier
2009

1. Martingales

103

Considrons maintenant une v.a. positive, FT -mesurable, non ncessairement borne, et la

suite (Zp ) de v.a. dfinies par : Zp = Z p, pour tout p de N. Les v.a. Zp sont FT -mesurables
bornes et donc telles que, pour tout k et tout p de N, la v.a. Zp 1l{T k} est Fk -mesurable.
Ceci et la convergence de la suite (Zp ) vers Z implique que, pour tout k, la v.a. Z1l{T k} est
Fk -mesurable. Pour terminer la dmonstration et tendre le rsultat aux v.a. FT -mesurables
Z de signe quelconque, il suffit de considrer les parties positives Z + et ngatives Z de Z et
dappliquer le rsultat prcdent pour constater que
Z1l{T k} = Z + 1l{T k} Z 1l{T k}
est Fk -mesurable, pour tout k de N.
Condition suffisante. Rciproquement, on considre les ensembles
H = {Z : Z FT -mesurable borne}
et
C = {Z = 1lA : k N, A {T k} Fk }
et on raisonne de manire trs similaire celle utilise pour tablir la condition ncessaire. 2
Proposition 6.9. Si (Xn ) est une suite (Fn )-adapte, alors, pour tout t.d.a. T , la v.a.
XT dfinie, pour tout de par XT () = XT () (), est FT -mesurable.

Exercice 6.7. Dmontrer cette proposition (Ind. On pourra dcouper

suivant les valeurs prises par le t.d.a. T ).

Preuve/Solution de lexercice.
On peut crire
X
XT =
Xk 1l{T =k} + X 1l{T =} .
kN

Ainsi, pour tout k de N, la v.a.

XT 1l{T k} =

k
X

Xp 1l{T =p} ,

p=0

apparat clairement comme Fk -mesurable, ce qui prouve, grce la Proposition 6.8, que XT
est FT -mesurable.
2
1.2. Martingales, Sousmartingales et Surmartingales.
1.2.1. Dfinition.
Dfinition 6.10. Un suite de v.a. (Xn ) de vers R est dite une martingale relativement
une filtration (Fn ) (ou (Fn )-martingale) si elle vrifie les proprits suivantes :
(1) (Xn ) est un processus (Fn )-adapt ;
(2) E|Xn | < +, pour tout n dans N ;
(3) (proprit de martingale) E(Xn |Fn1 ) = Xn1 , pour tout n 1.
Le processus (Xn ) est appel sousmartingale (resp. surmartingale) si les proprits 1) et
2) sont respectes conjointement avec lingalit E(Xn |Fn1 ) Xn1 (resp. E(Xn |Fn1 )
Xn1 ), pour tout n 1.
c
Jean-Yves Dauxois, Fvrier
2009

104

Chapitre 6. Martingales

On constate que, dans le cas dune martingale, la condition 1) est automatiquement assure ds que la condition 3) lest. Il y a donc redondance. En revanche, dans le cas dune
sousmartingale ou dune surmartingale, la condition 1) est ncessaire car non assure par la
condition 3). Par ailleurs on note que bien videmment (Xn ) est une surmartingale si, et
seulement si, le processus (Xn ) est une sousmartingale.
Il apparat clairement que la suite des esprances dune martingale est constante alors
quelle est croissante (resp. dcroissante) pour une sousmartingale (resp. surmartingale).
Les martingales sont utilises pour modliser les jeux de hasard quitables. Supposons en
effet qu un jeu de hasard, la v.a. Xn reprsente la fortune dun joueur la nime partie. La
proprit de martingale stipule que, si le joueur a la connaissance de lvolution passe de sa
fortune (cest dire jusquau temps n 1) alors lesprance de la valeur de sa fortune aprs
la partie suivante (la nime) est gale celle actuelle (i.e. n 1). En moyenne ses gains
restent inchangs.
Proposition 6.11. Si (Xn ) est une (Fn )-martingale, on a alors, pour tout m < n :
E(Xn |Fm ) = Xm .
La preuve est immdiate.
Remarquons que si X = (Xn ) est une martingale et si U est une v.a. F0 -mesurable et
dans L1 , alors le processus X U = (Xn U ) est encore une martingale. Cest pourquoi, on
pourra se restreindre ltude des martingales nulles en 0 (quitte soustraire sa valeur initiale
X0 ).
1.2.2. Exemples classiques de martingales.
Exercice 6.8.
1) (Somme de v.a. indpendantes et centres) Soit (Yn ) une suite de
v.a.r. indpendantes, centres et dans L1 . Montrer que le processus (Sn ),
dfini pour tout n par
n
X
Sn =
Yk ,
k=0

est une martingale par rapport une filtration que lon prcisera.
2) (Produit de v.a. positives, indpendantes et desprance 1) Soit (Xn )
une suite de v.a.r. indpendantes, positives et telles que E(Xn ) = 1, pour
tout n de N. Montrer que le processus (Mn ) dfini, pour tout n, par :
n
Y
Mn =
Xk
k=1

est une martingale par rapport la filtration naturelle associe au processus

(Xn ). Que se passe-t-il si lon a pour tout n de N : E(Xn ) 1 ? Mme
question si lon a : E(Xn ) 1, pour tout n de N.
3) (Accumulation dinformation sur une v.a.) Soit (Fn ) une filtration
sur un espace probabilis (, F, P ) et X une v.a. intgrable sur cet espace.
Pour tout n dans N, dfinissons Mn = E(X|Fn ), qui est, au sens de la
projection dans L2 , la meilleure estimation de X partir de Fn . Montrer
que (Mn ) est une (Fn )-martingale. On parle de Martingale de Doob.

c
Jean-Yves Dauxois, Fvrier
2009

1. Martingales

105

Solution de lexercice.
1) Prenons pour filtration (Fn ), la filtration naturelle associe au processus (Yn ), i.e. telle
que, pour tout n, on ait Fn = (Y0 , Y1 , . . . , Yn ). Le processus (Sn ) est naturellement (Fn )adapt et dans L1 . Par ailleurs,
E(Sn |Fn1 ) = E(Sn1 + Yn |Fn1 ) = Sn1 + E(Yn ) = Sn1 ,
o lavant dernire galit est due la Fn1 -mesurabilit de Sn1 et lindpendance entre
Yn et Fn1 . Ainsi, (Sn ) est bien une (Fn )-martingale.
2) La suite (Mn ) est videmment (Fn )-adapte et, grce lindpendance, dans L1 . De
plus, on peut crire :
E(Mn |Fn1 ) = E(Mn1 Xn |Fn1 ) = Mn1 E(Xn |Fn1 ) = Mn1 ,
puisque la v.a. Xn est indpendante de de Fn1 et desprance 1.
En revanche, si lon a E(Xn ) 1 (resp. E(Xn ) 1), pour tout n de N, la suite (Mn ) est
une (Fn )-sousmartingale (resp. surmartingale).
3) La suite (Mn ) est clairement (Fn )-adapte. Grce lingalit de Jensen pour les
esprances conditionnelles il vient :
E|Mn | = E (|E(X|Fn )|) E (E(|X||Fn )) = E|X|,
ce qui prouve que Mn est dans L1 puisque X lest. Enfin on a :
E(Mn |Fn1 ) = E(E(X|Fn )|Fn1 ) = E(X|Fn1 ) = Mn1 ,
et la proprit de martingale est bien vrifie.

1.2.3. Processus prvisibles et version discrte de lintgrale stochastique.

Dfinition 6.12. Soit H = (Hn ) un processus temps discret et (Fn ) une filtration sur
lespace (, F, P ). Le processus H est dit (Fn )-prvisible si, pour tout n, la v.a. Hn est
Fn1 -mesurable.
Intuitivement, un processus prvisible H est tel que Hn est connu au temps n 1.
Dfinition 6.13. Soit (Fn ) une filtration sur lespace (, F, P ). Soit (Hn ) et (Xn ) deux
processus sur cet espace. La transforme de martingale du processus X par le processus H
est le processus not H X et dfini, pour tout n dans N, par :
n
X
H Xn =
Hk (Xk Xk1 ).
k=1

Thorme 6.14. On se donne une filtration (Fn ) sur lespace (, F, P ), un processus

(Fn )-prvisible (Hn ) et (Xn ) une (Fn )-martingale (resp. sousmartingale, surmartingale)
Si le processus (Hn ) est born, i.e. si il existe K dans R+ tel que |Hn ()| K, pour tout
de et tout n de N, alors la transforme de martingale (H X) est une martingale (resp.
sousmartingale, surmartingale) nulle en 0.
On a le mme rsultat si (Hn ) nest pas born mais dans L2 ainsi que (Xn ).
On peut voir dans ce cas la transforme de martingale comme une version discrte de
lintgrale stochastique, notion qui sera tudie en temps continu en Master 2.

c
Jean-Yves Dauxois, Fvrier
2009

106

Chapitre 6. Martingales

Exercice 6.9. Dmontrer ce thorme.

Preuve/Solution de lexercice.
Le processus (H X) est adapt puisque, pour tout n,
H Xn =

n
X

Hk (Xk Xk1 )

k=1

est clairement Fn -mesurable. De plus, on a :

n
X
E|H Xn | K
E|Xk Xk1 | < +,
k=1

L1 .

puisque H est born et (Xn ) dans

On remarque ici que si, H nest plus born mais dans
2
L ainsi que X, alors le processus H X reste dans L1 .
Enfin, on peut crire :
E(HXn HXn1 |Fn1 ) = E(Hn (Xn Xn1 )|Fn1 ) = Hn E(Xn Xn1 |Fn1 ) = 0, (resp. , ),
ce qui prouve la proprit de martingale pour la transforme de martingale.

Les transformes de martingales et la proprit de martingale quelles vrifient trouvent

une interprtation intuitive en thorie des jeux. Supposons en effet que Xn Xn1 reprsente
le gain net dun joueur par unit mise la nime partie dun jeu de hasard. Comme on
la dit prcdemment, une partie quilibre revient supposer que (Xn ) est une martingale.
En revanche, sil sagit dune sousmartingale (resp. surmartingale), i.e. telle que E(Xn
Xn1 |Fn1 ) 0 (resp. E(Xn Xn1 |Fn1 ) 0), alors le jeu est favorable (resp. dfavorable)
au joueur qui a des gains desprance positive (resp. ngative).
Soit maintenant Hn la mise du joueur pour la nime partie. Il est naturel dautoriser quil
choisisse sa mise en se basant sur lhistoire des parties prcdentes (on ne peut lui reprocher...
mme si lon verra que cela ne modifiera pas ses gains en esprance). En revanche, sans triche
possible, il ne pourra utiliser linformation quapportera la nime partie au moment de faire
sa mise. Cest pourquoi, on supposera naturellement que le processus des mises (Hn ) est
prvisible.
Le gain de ce joueur la nime partie est donc modlis par la quantit Hn (Xn Xn1 ) et
ses gains cumuls depuis le dbut de la partie par H Xn . Le thorme prcdent nous assure
quen esprance ses gains sont constants et nuls.
1.2.4. Martingale arrte et Thorme darrt pour les martingales. Soit (Xn ) une (Fn )martingale, nulle en 0, et T un (Fn )-t.d.a. Considrons le processus (Hn ) dfini par :
Hn = 1l{nT } .
Ce processus est (Fn )-prvisible puisque lon a
{n T } = {T n 1}.
Dans ce cas, la transforme de martingale de (Xn ) par (Hn ), dexpression pour tout n
H Xn = 1l{1T } (X1 X0 ) + + 1l{nT } (Xn Xn1 ),
c
Jean-Yves Dauxois, Fvrier
2009

1. Martingales

107

est gale, sur {T () = k}, Xn () si n k et Xk () = XT () () si n > k. Ainsi, on peut

crire :
H Xn = XT n .
On parle de martingale arrte et, daprs le Thorme 6.14, il sagit aussi dune martingale.
Do la dfinition et le corollaire au Thorme 6.14 qui suivent.
Dfinition 6.15. Soit (Xn ) une (Fn )-martingale et T un (Fn )-t.d.a. Le processus (XnT )
dfini en tout n de N par XnT = XT n est appel martingale arrte au temps T .
Notons que lon peut galement parler de processus arrt un t.d.a. mme si le processus
nest pas une martingale.
Corollaire 6.16. Si T est un (Fn )-t.d.a. et (Xn ) une (Fn )-martingale (resp. sousmartingale, surmartingales) nulle en 0 alors le processus arrt (XnT ) est encore une martingale (resp.
sousmartingale, surmartingale). De plus, on a :
EXT n = E(X0 ) = 0, (resp. , ),
pour tout n.
Cest une application directe du Thorme 6.14.
Proposition 6.17. Soit T est un (Fn )-t.d.a. et (Xn ) une (Fn )-martingale. La (Fn )martingale (XnT ) est aussi une (FT n )-martingale.

Exercice 6.10. Dmontrer cette proposition.

Preuve/Solution de lexercice. Puisque (XnT ) est une (Fn )-martingale, on a :

E(XT n |Fp ) = XT p ,
pour tout p n. Linclusion FT p Fp et la FT p -mesurabilit de XT p implique (Cf.
Proposition 5.8 sur les proprits de lesprance conditionnelle) que lon a :
E(XT n |FT p ) = XT p ,
2

pour tout p n.

Revenons maintenant sur lun des rsultats donn par le Corollaire prcdent, savoir
que pour une martingale arrte (XnT ), on a EXT n = E(X0 ) = 0. On peut naturellement se
demander si lon peut avoir le mme style de rsultat en ne considrant pas la v.a. XT n mais
la v.a. XT . Cest dire a-t-on
EXT = E(X0 ) = 0 ?
Et ventuellement, si ce nest pas toujours le cas, sous quelles conditions peut avoir ce rsultat ?
On va dabord aisment se convaincre quun tel rsultat nest pas toujours vrai. Considrons en effet (Xn ) une marche alatoire symtrique sur Z, dmarrant 0. On sait que lon
peut reprsenter cette marche alatoire sous la forme
n
X
Xn =
k ,
k=1
c
Jean-Yves Dauxois, Fvrier
2009

108

Chapitre 6. Martingales

o (n ) est une suite de v.a. i.i.d. de loi de Rademacher, cest dire de loi 12 (1 + 1 ).
Le processus (Xn ) apparat alors clairement comme une martingale, nulle en 0. Daprs le
Corollaire prcdent on sait que, pour tout (Fn )-t.d.a. T , o (Fn ) est la filtration naturelle
associe au processus (Xn ), on a
EXT n = E(X0 ) = 0,
pour tout n. Considrons le t.d.a. T = inf{n : Xn = 1} (cest bien un t.d.a. daprs une
proprit vue dans la premire section de ce chapitre). Lgalit prcdente est vrifie pour
ce t.d.a., mais en revanche elle ne lest pas si on remplace T n par T . En effet la v.a. XT
tant p.s. gale 1, on a :
1 = E(XT ) 6= E(X0 ) = 0.
Nous allons voir que dans ce cas le Thorme darrt ne sapplique pas.
Thorme 6.18. Thorme darrt
Soit (Fn ) une filtration sur un espace probabilis (, F, P ), un (Fn )-t.d.a. T et (Xn ) une
(Fn )-martingale (resp. sousmartingale, surmartingale).
La v.a. XT est intgrable et on a
EXT = EX0 , (resp. , ),
si lune des conditions suivantes est vrifie :
T est un t.d.a. born, i.e. il existe k tel que P (T k) = 1 ;
X est borne, i.e. il existe K dans R+ tel que |Xn ()| K pour tout n et tout , et
T est p.s. fini ;
T est desprance finie et il existe K de R+ tel que |Xn () Xn1 ()| K, pour
tout n et tout .

Exercice 6.11. Dmontrer ce Thorme (Ind. on pourra utiliser le

thorme de convergence domine pour tablir le rsultat dans le cas des
deux dernires conditions).

Preuve/Solution de lexercice.
1) On sait que lon a, pour tout n :
EXT n = EX0 .
En prenant n = k, on obtient le rsultat.
2) Puisque T est p.s. fini, on a
p.s.

XT n XT ,
quand n tend vers +. La suite de v.a. (XT n ) tant intgrable puisque borne, on peut
appliquer le thorme de convergence domine pour obtenir
EXT n EXT ,
quand n +. cette convergence et lgalit, pour tout n, de EXT n avec EX0 permet
dtablir le rsultat annonc.
c
Jean-Yves Dauxois, Fvrier
2009

1. Martingales

109

3) En remarquant que lon a



n
TX



|XT n X0 | = 
(Xk Xk1 ) KT


k=1

et que T est intgrable par hypothse, on obtient nouveau le rsultat en appliquant le

thorme de convergence domine.
2
Thorme 6.19. Autre version du thorme darrt
Si (Xn ) est une (Fn )-martingale et T un (Fn )-t.d.a. born par k, on a alors :
E(Xk |FT ) = XT .

Exercice 6.12. Dmontrer ce Thorme (Ind. En dcoupant suivant

les valeurs de T , on pourra montrer directement que lon a E(Xk |FT ) = XT ).

Preuve/Solution de lexercice.
Puisque T est p.s. born par k, on peut crire :
p.s.

XT =

k
X

Xp 1l{T =p} .

p=0

Soit alors A un vnement de la tribu FT , il vient :

E(XT 1lA ) =

k
X
p=0

E(Xp 1l{T =p} 1lA ) =

k
X

E(Xk 1l{T =p} 1lA ) = E(Xk 1lA ),

p=0

o la seconde galit est justifie par lappartenance de {T = p}A la tribu Fp (par dfinition
de FT ) et lgalit Xp = E(Xk |Fp ). On a donc bien montr que lon a E(Xk |FT ) = XT . 2
1.2.5. Dcomposition de Doob dune sousmartingale.
Thorme 6.20. (Dcomposition de Doob)
1) Soit X = (Xn ) un processus (Fn )-adapt et intgrable. Il admet alors la dcomposition
suivante
X = X0 + M + A,
o M est une martingale nulle en 0 et A un processus prvisible galement nul en 0. Cette
dcomposition est unique une indistinguabilit prs (Cf Chapitre 2), au sens o si il existe
et A vrifiant la mme quation, on a P (n : Mn = M
n , An = An ) = 1.
M
2) Le processus X = (Xn ) est une sousmartingale si, et seulement si, le processus A est
un processus croissant, i.e. tel que : P (n : An An+1 ) = 1.

c
Jean-Yves Dauxois, Fvrier
2009

110

Chapitre 6. Martingales

Exercice 6.13. Dmontrer ce Thorme (Ind. Dans la premire question on pourra construire le processus (An ) partir des quantits E(Xn
Xn1 |Fn1 )).

Preuve/Solution de lexercice.
1) Dfinissons le processus (An ), nul en zro et tel que
An An1 = E(Xn Xn1 |Fn1 ).
Ce processus est bien (Fn )-prvisible et intgrable. Soit maintenant (Mn ) le processus dfini
pour tout n par : Mn = Xn X0 An . Il est naturellement adapt et intgrable. On a :
E(Mn Mn1 |Fn1 ) = E(Xn Xn1 |Fn1 ) (An An1 ) = 0,
ce qui prouve quil sagit bien dune martingale (videmment nulle en 0).
Pour dmontrer lunicit de la dcomposition, supposons quil existe deux autres processus
(A0n ) et (Mn0 ) avec les mmes proprits et tels que lon ait galement : Xn = X0 + Mn0 + A0n .
On a alors :
0
A0n A0n1 = Xn Xn1 (Mn0 Mn1
).

En prenant lesprance conditionnelle Fn1 de cette galit, on obtient :

0
A0n A0n1 = E(A0n A0n1 |Fn1 ) = E(Xn Xn1 |Fn1 ) E(Mn0 Mn1
|Fn1 ) = An An1 ,

puisque (Mn0 ) est galement une martingale. Les deux processus (An ) et (A0n ) sont donc gaux,
puisquils ont des accroissements gaux et la mme valeur initiale 0. Les deux processus (Mn )
et (Mn0 ) sont alors galement gaux.
2) Si le processus (Xn ) est une sousmartingale, la dfinition des accroissements du processus
(An ) montre quils sont p.s. positifs. Rciproquement, si lon peut crire : Xn = X0 +Mn +An
avec un processus prvisible (An ) croissant, il vient :
E(Xn Xn1 |Fn1 ) = E(Mn Mn1 |Fn1 ) + E(An An1 |Fn1 ) = 0 + An An1 0,
et le processus (Xn ) est bien une sousmartingale.

On peut trouver un exemple dapplication de la dcomposition de Doob dans ce que lon

appelle le crochet dune martingale. Prenons en effet (Mn ) une (Fn )-martingale dans L2 , nulle
en 0 et considrons le processus (Mn2 ). Lingalit de Jensen nous donne
2
E(Mn2 |Fn1 ) E2 (Mn |Fn1 ) = Mn1
,

et montre ainsi que le processus (Mn2 ) est une (Fn )-sousmartingale. Grce la dcomposition
de Doob, on sait quil existe une martingale N nulle en zro et un processus prvisible croissant
A, galement nul en zro, tel que : M 2 = N + A. Le processus A est appel crochet de la
martingale M et est not hM i.

c
Jean-Yves Dauxois, Fvrier
2009

2. Martingales bornes dans L1

111

1.2.6. Filtration inverse et martingale inverse.

Dfinition 6.21. Une suite dcroissante de tribus (Fn ) sur un espace (, F, P ) et telle
que F = n Fn est dite filtration inverse.
On supposera toujours que F contient tous les ngligeables de F0 .
Dfinition 6.22. Soit (Fn ) une filtration inverse sur un espace (, F, P ) probabilis. Un
processus (Mn ) est dit (Fn )-martingale inverse si lon a :
(1) E(Mn |Fn+1 ) = Mn+1 , pour tout n ;
(2) (Mn ) est (Fn )-adapt ;
(3) E|Mn | < +, pour tout n.
2. Martingales bornes dans L1
2.1. Dfinition.
Dfinition 6.23. Soit (Fn ) une filtration sur un espace probabilis (, F, P ). Une (Fn )martingale (ou sousmartingale ou encore surmartingale) est dite borne dans L1 si lon a :
sup E|Xn | < +.
n

Exercice 6.14.
1) Montrer quune martingale positive est borne dans L1 .
2) Montrer quune surmartingale positive est galement borne dans L1 .

Solution de lexercice.
1) On a
E|Xn | = EXn = EX0 < +,
pour tout n de N.
2) Comme on a
EXn = E(E(Xn |F0 )) EX0 ,
il vient
E|Xn | = EXn EX0 < +,
2

pour tout n.

2.2. Convergences. Pour tablir un rsultat de convergence p.s., il faut en premier introduire un lemme de Doob sur les montes effectues par une martingale. Plusieurs mthodes
de preuve sont possibles pour ce rsultat. Nous choisissons celle utilisant linterprtation des
martingales en thorie des jeux.
Soit donc (Xn ) un processus tel que Xn Xn1 reprsente le gain par unit de temps
mise pour la nime partie. Et considrons la stratgie de jeu suivante :

c
Jean-Yves Dauxois, Fvrier
2009

112

Chapitre 6. Martingales
Choisir deux rels a et b tels que a < b.
Rpter sans arrt :
dbut de boucle
Ne pas miser tant que X nest pas pass en dessous de a.
Une fois que X est pass en dessous de a, miser une unit tant que
lon est en dessous de b.
Une fois que X est pass en dessus de b, arrter de miser.
fin de boucle
Cette stratgie peut tre modlise par le processus prvisible H = (Hn ) dfini par :
H1 = 1l{X0 <a} et, pour tout n, Hn = 1l{Hn1 =1} 1l{Xn1 b} + 1l{Hn1 =0} 1l{Xn1 <a} .

Comme nous lavons dj dit, les gains cumuls sont donns par la transforme de martingale
de X par H, not H X.
Un exemple de ralisation dune telle partie et de la stratgie adopte est donne dans la
Figure 1.

Figure 1. Exemple de partie de hasard avec stratgie de montes. Les points

blancs reprsentent les parties sans mise et les noirs avec mise.
Introduisons la suite des t.d.a. dfinis par les relations :
S1 = inf{n : Xn < a},
T1 = inf{n > S1 : Xn > b},
..
.
Sp = inf{n > Tp1 : Xn < a},
Tp = inf{n > Sp : Xn > b},
et notons UN [a, b] le nombre de montes entre a et b ralises par (Xn ) au temps N . On a :
X
UN [a, b] =
1l{Tp N } .
p
c
Jean-Yves Dauxois, Fvrier
2009

2. Martingales bornes dans L1

113

En consultant ventuellement la Figure 1, il apparat clairement que, grce la stratgie choisie

par le joueur, chaque monte augmente ses gains dau moins b a. De plus, si au temps N
le joueur se trouve dans une priode de mise, deux situations peuvent se produire : soit lon
a XN > a, soit XN < a. Dans la premire situation, le gain du joueur est positif et donc
suprieur (XN () a) qui est nul. Dans la seconde, son gain peut tre ngatif, mais est
de toute faon major en valeur absolue par (XN () a) . Ainsi la perte du joueur, due
linterruption de la partie au temps N avant quil nait achev "sa monte", est de toute faon
infrieure (XN () a) . On a donc la formule :
YN () = H XN () (b a)UN [a, b] (XN () a) .
Lemme 6.24. Lemme de Doob sur les montes
Soit (Xn ) une (Fn )-surmartingale et UN [a, b] le nombre de montes entre a et b jusquau
temps N pour cette surmartingale. Alors :
(b a)E (UN [a, b]) E[(Xn () a) ].

Exercice 6.15.
Dmontrer ce lemme.

Preuve/Solution de lexercice. Le processus (Hn ) est (Fn )-prvisible, born et positif.

On sait que la transforme de martingale H X est une surmartingale. On a donc EYN 0
et en utilisant la minoration sur YN vue prcdemment, on obtient le rsultat.
2
Corollaire 6.25. Soit (Xn ) une surmartingale borne dans L1 et a < b deux rels.
Notons
U [a, b] = lim UN [a, b].
N +

On a alors
(b a)E (U [a, b]) |a| + sup E|Xn |
n

et donc P (U [a, b] = ) = 0.

Exercice 6.16.
Dmontrer ce lemme.

Preuve/Solution de lexercice. Daprs le lemme prcdent, on a :

(b a)E (UN [a, b]) |a| + E|XN | |a| + sup E|Xn |.
n

Puisque la suite (UN [a, b])N est positive et croissante vers U [a, b], le thorme de convergence
monotone nous donne :
(b a)E (U [a, b]) |a| + sup E|Xn |
n

ce qui entrane que U [a, b] est p.s. fini.

c
Jean-Yves Dauxois, Fvrier
2009

114

Chapitre 6. Martingales

Thorme 6.26. Une martingale, sousmartingale, surmartingale borne dans L1 est p.s.
convergente, i.e.
p.s. : lim Xn = X .
n+

Exercice 6.17.
Dmonstration de ce thorme.
1) Montrer dans un premier temps que
p.s. : lim Xn = X ,
n+

On pourra pour cela utiliser les vnements de la forme

avec X dans R.
a,b = { : lim inf Xn () < a < b < lim sup Xn ()}.
n

2) En utilisant le Lemme de Fatou, on montrera que la v.a. limite X

est p.s. fini.

Preuve/Solution de lexercice.

1) En notant lensemble des de pour lesquels Xn () nest pas convergeant dans R,

on peut crire :
[
= { : lim inf Xn () < lim sup Xn ()} =
a,b .
n

(a,b)Q2 :a<b

Mais on a :
a,b { : U [a, b] = }
et on a vu dans le corollaire prcdent que la probabilit de ce dernier ensemble est nulle. Par
dnombrabilit des rationnels, lensemble est donc galement de probabilit nulle.
2) En utilisant le Lemme de Fatou, on peut crire :
E|X | = E(lim inf |Xn |) lim inf E|Xn | sup E|Xn |,
n

qui est fini puisque, par hypthse, la martingale (ou surmartingale ou sousmartingale) est
borne dans L1 . La v.a. X est donc bien p.s. fini.
2
Notons bien que lon na pas dit que la martingale (sousmartingale ou surmartingale) est
convergente dans L1 .

Corollaire 6.27. Une surmartingale (ou une martingale) positive est p.s. convergente.
Preuve. On a dj vu quune surmartingale (ou martingale) positive est borne dans L1 ,
do le rsultat grce au thorme prcdent.
2
c
Jean-Yves Dauxois, Fvrier
2009

3. Ingalit de Doob et consquences

115

3. Ingalit de Doob et consquences

Thorme 6.28. Ingalit de Doob
Soit (Xn ) une sousmartingale positive et notons Xn = suppn Xp .
Alors, pour tout > 0, on a :
Z

Xn dP.
P (Xn )
Xn

Exercice 6.18.
Dmonstration de ce thorme.
1) En considrant les t.d.a. T = inf{p : Xp } et S = T n, montrer
que lon a
XS 1l{T n} + Xn 1l{T >n} .
2) En appliquant convenablement un thorme darrt, en dduire le rsultat.

Preuve/Solution de lexercice.
1) On a, daprs la dfinition du t.d.a. T :
XS = XT 1l{T n} + Xn 1l{T >n} 1l{T n} + Xn 1l{T >n} .
2) En appliquant le thorme darrt au t.d.a. born S, il vient : EXS EXn . En prenant
lesprance de lingalit tablie la question prcdente, on obtient :
EXn P (T n) + E(Xn 1l{T >n} )

E(Xn 1l{T n} ) P (T n),

ce qui nous donne le rsultat, en remarquant que lon a : {T n} = {Xn }.

Corollaire 6.29. Ingalit de Kolmogorov
Soit (Xn ) une suite de v.a. de carr intgrables, centres et indpendantes. Dfinissons
Sn = X1 + . . . + Xn et Sn = sup Sn .
pn

Alors, pour tout a > 0 :

P (Sn a)

n
1 X
E(Xi2 ).
a2
i=1

Exercice 6.19.
Dmontrer ce Corollaire.

c
Jean-Yves Dauxois, Fvrier
2009

116

Chapitre 6. Martingales

Preuve/Solution de lexercice. Le processus (Sn ) est une martingale par rapport la

filtration naturelle associes au processus (Xn ). Comme on la vu en fin de Section 6.20, le
processus (Sn2 ) est donc une sousmartingale positive. On peut alors appliquer lingalit de
Doob pour obtenir :
P (Sn a) P ((Sn )2 a2 )

n
1 X
1
2
ES
=
EXi2 ,
a2 n a2
i=1

la dernire galit tant justifie par indpendance des (Xn ).

Corollaire 6.30.
= sup X est
1) Soit (Xn ) une sousmartingale positive et borne dans L1 . La v.a. X
n n
alors p.s. finie.
2) Soit (Xn ) une sousmartingale positive et dans Lp , pour un rel p > 1. On a alors :
||Xn ||Lp q||Xn ||Lp ,
o q est tel que : 1/q + 1/p = 1.

Exercice 6.20.
Dmonstration de ce Corollaire.
1) Montrer quen notant M = supn EXn qui est fini par hypothse, on a
pour tout > 0 :
M

P (X
)
.

En dduire le rsultat annonc dans le 1) du Corollaire.

2) Montrer que lon peut crire, pour tout n :
Z Xn
p
E(Xn ) p E(Xn
p2 d).
0

(Ind. On pourra utiliser le Thorme de Tonelli et lingalit de Doob).

En supposant dans un premier temps que la sousmartingale positive (Xn )
est borne, montrer que lon peut en dduire que lon a :
p
(E(Xn )p )1/p
(E(Xn )p )1/p .
p1
tendre ce rsultat au cas o (Xn ) nest pas borne.

Preuve/Solution de lexercice.
1) Lingalit de Doob nous donne, pour tout > 0 :
EXn
M

, implique la croissance des vnements de la forme

La croissance de la suite (Xn ) vers X
} quand n +. On a donc bien :
{Xn } vers {X
P (Xn )

P (X
)

M
.

c
Jean-Yves Dauxois, Fvrier
2009

4. Martingales bornes dans Lp , pour p > 1

117

Mais lgalit

{X
= } =

{X
n}
n

permet dobtenir
M
= 0.
n+ n

P (X
= ) = lim P (X
n) lim
n+

La v.a.
est donc bien p.s. finie. Autrement dit la suite (Xn ) est p.s. borne.
2) On peut crire :
!
Z +
Z Xn


p
p1
E 1l{Xn } p1 d
E(Xn ) = E
p d = p
0

E 1l{Xn } Xn

p2

Xn

d = pE Xn

p2

d .

De plus, on a :
Z
E Xn

Xn

!
p2 d

1
E Xn (Xn )p1 .
p1

Lingalit prcdente et celle de Hlder, nous donnent alors :

1
p
1 1
(E(Xn )p ) p (E(Xn )p ) p .
E(Xn )p
p1
Comme lon suppose dans un premier temps que Xn est borne, on peut diviser cette dernire
ingalit par son dernier terme droite pour obtenir :
1
1
p
(E(Xn )p ) p .
(E(Xn )p ) p
p1
Si la sousmartingale (Xn ) nest pas borne, on applique le rsultat prcdent la sousmartingale Ynk = Xn k qui est, elle, borne. On a donc, pour tout n :
1
1

p 
p
p
E(Ynk, )p

E(Ynk )p .
p1
La convergence croissante de (Ynk ) vers Xn , quand k + et le Thorme de convergence
monotone, permet dachever la dmonstration.
2

4. Martingales bornes dans Lp , pour p > 1

4.1. Dfinition et convergences.
Dfinition 6.31. Une martingale (sousmartingale ou surmartingale) (Xn ) est dite borne
dans Lp si :
sup ||Xn ||Lp < +.
n

c
Jean-Yves Dauxois, Fvrier
2009

118

Chapitre 6. Martingales

Thorme 6.32. Une martingale (resp. sousmartingale, surmartingale) borne dans Lp ,

pour un rel p > 1, est convergente p.s. et dans Lp , i.e.
Lp

Xn X , quand n +.
p.s.

De plus, on a :
Xn = E(X |Fn ) (resp. , ).

Exercice 6.21. Dmonstration de ce Thorme dans le cas dune martingale.

1) Montrer que (Xn ) converge p.s. vers une v.a. X , quand n tend vers
+.
2) En notant Xn = suppn |Xp |, montrer que

||X
||Lp q sup ||Xn ||Lp ,
n

o q est tel que 1/p + 1/q = 1.

3) Dduire du 1) et du 2) que lon a bien galement la convergence dans
Lp de (Xn ) vers X .
4) Montrer que si une suite (Un ) converge vers U dans L1 alors, on a
pour toute sous tribu B de F :
L1

E(Un |B) E(U |B), quand n +.

En dduire que Xn = E(X |Fn ).

Preuve/Solution de lexercice.
1) Puisque la martingale (Xn ) est borne dans Lp pour p > 1, elle est borne dans L1 et
donc p.s. convergente vers une v.a. X daprs un rsultat de la section prcdente.
2) Par lingalit de Jensen, on a dj vu que le processus |Xn | est une sousmartingale
positive. Le Corollaire 6.30 de lingalit de Doob, nous donne
||Xn ||Lp q ||Xn ||Lp q sup ||Xn ||Lp < +.
(Xn )

Comme la suite
converge en croissant vers
convergence monotone conduisent

n
,
X

lingalit prcdente et le thorme de

||X
||Lp q sup ||Xn ||Lp .
n

3) Daprs le 1), on a la convergence

p.s.

|Xn X |p 0, quand n +.
montre que la suite (|X X |p ) est majore par
Par ailleurs, lingalit |Xn X | 2X
n

1
une v.a. dans L . Par le thorme de convergence domine, on a donc :

E|Xn X |p 0, quand n +.
4) Lingalit de Jensen conduit :
E (|E(Un U |B)|) E (E(|Un U | |B)) = ||Un U ||L1 .
La convergence dans L1 de (Un ) entrane donc celle (E(Un |B)), toujours dans L1 , vers E(U |B).
c
Jean-Yves Dauxois, Fvrier
2009

4. Martingales bornes dans Lp , pour p > 1

119

En appliquant ce rsultat la suite (E(Xm |Fn ))m , pour n fix, on obtient

Xn = E(X |Fn )
puisque chaque terme de la suite est gal Xn par la proprit de martingales.

Corollaire 6.33. Soit (Fn ) une filtration et

F = Fn
n

la limite croissante des Fn . Soit X une v.a. dans Lp , pour p > 1.

On a alors :
Lp

E(X|Fn ) E(X|F ).
p.s.

Exercice 6.22. Dmonstration de ce Corollaire.

1) Notons Xn = E(X|Fn ) et Z = E(X|F ). Montrer que la suite (Xn )
converge p.s. et dans Lp vers une v.a. X .
2) Montrer que pour tout A dans n Fn , il existe un rang n0 tel que pour
tout n n0 on ait :
E(Xn 1lA ) = E(X1lA ).
En dduire que, pour tout A de n Fn , on a :
E(X1lA ) = E(X 1lA )
et achever la dmonstration du Corollaire.

Preuve/Solution de lexercice.
1) On sait que (Xn ) est une martingale. Par lingalit de Jensen pour les esprances
conditionnelles, on montre facilement quelle est borne dans Lp . Le thorme prcdent
assure alors sa convergence p.s. et dans Lp vers une v.a. terminale X .
2) Puisque A est dans n Fn , il existe un rang n0 tel que, pour tout n n0 , lvnement
A est dans Fn . Lgalit Xn = E(X|Fn ), permet alors dcrire pour tout n n0 :
E(Xn 1lA ) = E(X1lA ).
De plus la convergence dans L1 de (Xn ) vers X assure celle de (Xn 1lA ) vers X 1lA et donc
la convergence
E(Xn 1lA ) E(X 1lA ), quand n +.
De ces deux derniers rsultats, on tire lgalit
E(X1lA ) = E(X 1lA ),
pour tout A dans n Fn . Le thorme des classes monotones permet de terminer la dmonstration puisque lon sait que F est engendr par n Fn .
2
c
Jean-Yves Dauxois, Fvrier
2009

120

Chapitre 6. Martingales

4.2. Le cas particuliers des martingales dans L2 . Considrons (Mn ) une martingale
dans L2 . Remarquons en premier lieu quune telle martingale est accroissements orthogonaux
dans L2 . En effet, pour des entiers s t u v, on peut crire :
hMv Mu , Mt Ms iL2

= E ((Mv Mu )(Mt Ms )) = E (E ((Mv Mu )(Mt Ms )|Fu ))

= E ((Mt Ms )E ((Mv Mu )|Fu )) = 0.

Ainsi lgalit
M n = M0 +

n
X

(Mk Mk1 )

k=1

exprime Mn comme une somme de termes orthogonaux dans L2 et, daprs le thorme de
Pythagorre, on a :
(3)

E(Mn2 )

EM02

n
X

E(Mk Mk1 )2 .

k=1

On a alors le thorme suivant.

Thorme 6.34. Soit (Mn ) une martingale dans L2 . Cette martingale est borne dans
L2 si, et seulement si,
+
X
E(Mk Mk1 )2 < +,
k=1

ce qui est encore quivalent dire que :

L2

Mn M , quand n +.
Dans ce cas, la convergence est galement p.s.
Preuve.
En utilisant lgalit (3), il est vident que la martingale est borne dans L2 si, et seulement
si,
+
X

E(Mk Mk1 )2 < +.

k=1

Le reste est une application du Thorme 6.34.

Corollaire 6.35. Somme de v.a. indpendantes, centres et dans L2
Soit (Xn ) une suite de v.a. dans L2 , centres et indpendantes. Notons k2 = V arXk .
P
La srie +
k=1 Xk est p.s. convergente ds que
+
X

k2 < +.

k=1

Exercice 6.23. Dmontrer ce Corollaire.

c
Jean-Yves Dauxois, Fvrier
2009

4. Martingales bornes dans Lp , pour p > 1

121

Preuve/Solution
P de lexercice. Soit (Fn ) la filtration naturelle associe la suite (Xn )
et dfinissons Mn = ni=1 Xi , pour tout n 1 et M0 = 0. On sait que (Mn ) est une martingale
et les hypothses du Corollaire assurent quelle est dans L2 . On a alors :
n
X
2
E(Mn ) =
E(Mk Mk1 )2 .
k=1

En remarquant que
E(Mk Mk1 )2 = E(Xk )2 = k2 ,
le Thorme 6.34 permet dobtenir le rsultat.

c
Jean-Yves Dauxois, Fvrier
2009