Table des matières

Table des matières . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . I

1 Chaînes de Markov à temps discret . . . . . . . . . . . . . . . . . . . . . 1

1.1 Définitions 1
1.2 Propriétés fondamentales 4
1.2.1 Relation de Chapman-Kolmogorov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.2 Mesure de probabilité d’une chaîne de Markov et Régime transitoire . . 7
1.3 Classification des états et paramètres de performances 8
1.3.1 États accessibles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3.2 États récurrents et transients . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.3 Périodicité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4 Régime permanent et distribution limite 12
1.5 Distributions stationnaires 16

ESTIN B. ISSAADI
 I
1. Chaînes de Markov à temps discret

1.1
AD
Définitions
considère un processus stochastique { X n }n≥0 à espace d’état discret et à temps
e

O
N
in
SA
discret. L’espace d’état S, peut être de dimension finie ou infinie (mais dénom-
ed

brable car discret).

dr

ܵ
Ba

6
5
4
3
IS

2
1
݊
1 2 3 4 5 6 7 8

FIG. 1 − Processus stochastique à espace d’état discret et à temps discret.

Définition 1.1.1 Une chaîne de Markov à temps discret (CMTD) est une suite de
variables aléatoires { X n }n≥0 à valeurs dans un espace d’états S (fini ou infini)
dénombrable (habituellement représentés par les entiers 0, 1, 2, . . .) telle que
© ª © ª
P X n+1 = i n+1 | X n = i n , . . . , X 0 = i 0 = P X n+1 = i n+1 | X n = i n ,

pour tous les états i n+1 , i n , . . ., i 0 et tout entier n ≥ 0.

ESTIN B. ISSAADI
1.1 Définitions
1.3. Définitions 9 2

+1

0 1 2 3 n
n-1 n +1
FIG. 2. Illustrationde
2 − Illustration
FIGURE detransitions
transitions de
de l'instant
l’instant00ààl'instant n. n + 1.
l’instant

I
Autrement
En effet,dit,
en la probabilité
utilisant pour que
la définition la chaîne
de la soitconditionnelle
probabilité dans un certain
et laétat à la
( n + 1)-ième
propriétéétape du processus ne dépend donc que de l’état du processus à l’étape

AD
markovienne, on obtient
précédente (la n-ième étape) et pas des états dans lesquels il se trouvait aux étapes
Pr(Xn =in, Xn-1 = in-1 1... , Xo = io)
antérieures (les étapes j , pour tout j = 0, . . . , n − 1). D’une autre façon, l’état présent
=Pr (Xn =in 1 Xn-1 = in-11 ... ,Xo = io)
du processus, c’est à dire son état à l’instant n, résume toute l’information utile pour
X Pr (Xn-1 = in-li ... , Xo = io)
connaître son évolution future. Cette propriété fondamentale est connue sous le nom
= [Link] X Pr (Xn-1 = in-li Xn-2 = in-21 ... , Xo = io)
de propriété de Markov. On dira parfois aussi qu’un tel processus est sans mémoire
= [Link] X Pin- 2 ,in-l X • • • X Pio,ii X Pr (Xo = io).
ou non héréditaire.
La dernière égalité est obtenue par récurrence sur l'entier n ~ 0, et ce pour
tous les états io, ... , in.
e

Notons par p i j ( n) la probabilité que le processus soit dans j à l’instant n + 1 étant

in
SA
donné qu’il se
1.3.2 trouve dans
Matrice i à l’instant
de transition enn n: pas
ed

La matrice de transition en n pas©pour tout n ~ 1 est ª la matrice p(n) dont

dr

p i j ( n) = P X n+1 = j | X n = i . (1.1)
l'entrée sur la rangée i et dans la colonne j est donnée par
Ba

~~n) = Pr (Xn
C’est la probabilité conditionnelle 1 Xo = i) , fasse une transition de i vers j ;
que =lej processus
on l’appellera par la suite probabilité de transition à une étape.
pour tous les états i et j. Par stationnarité, on a

~~n) = de
Définition 1.1.2 La chaîne PrMarkov j j Xk
(Xn+k = est i),
dite= homogène (dans le temps), si la
IS

probabilité k ~ [Link]
pour tout (1.1) dépend
plus, on pas de propriétés
a les n. Soit ci-dessous.
© ª
p i j = P X n+1 = j | X n = i , ( n ≥ 0).
Propriété 1. 0 :::; ~~n) :::; 1 pour tous i, j.
On peut présenter les probabilités conditionnelles p i j sous forme matricielle.
Propriété 2. l:j ~~n) = 1 pour tout i.
Définition 1.1.3 La matrice
 
p 00 p 01 p 02 · · ·
P=
 
p 10 p 11 p 12 · · · 
.. .. ..
 
..
. . . .

est appelée matrice de passage (ou de transition) de la chaîne.

ESTIN B. ISSAADI
1.1 Définitions 3

Propriété 1.1.1 Toute matrice de transition P = ( p i j ) (( i, j ) ∈ S2 ) vérifie les proprié-

tés suivantes :
1. pour tout couple ( i, j ), on a : p i j ≥ 0 ;
2. pour tout i ∈ S , on a j∈S p i j = 1.
P

Une telle matrice carré P, est appelée matrice stochastique.

À toute matrice de transition, on peut lui associer son graphe. Les sommets du

I
graphe sont les différents états de la chaîne. Il y a une flèche, entre le sommet i et le
sommet j si et seulement si : p i j > 0.

AD
Exemple 1.1.1 (Disponibilité de deux machines).
Une unité de production comprend deux machines automatiques qui fonctionnent
indépendamment l’une de l’autre. Chaque machine a la fiabilité p au cours d’une
journée, ce qui signifie que sa probabilité de tomber en panne pendant cette
période est égale à 1 − p. Dans ce cas, elle sera réparée pendant la nuit et se retrou-
vera en état de marche le lendemain. Une seule machine peut être réparée à la fois.
in e

Soit X n le nombre de machines en panne au début de la n-ième journée. Alors

SA
{ X n }n≥0 est un processus stochastique à temps discret et à deux valeurs S = {0, 1}.
ed

En utilisant des méthodes élémentaires de calcul des probabilités, on établit que :

dr
Ba

p 00 ( n) = p2 + 2 p(1 − p) = p(2 − p)
p 01 ( n) = (1 − p)2
p 10 ( n) = p
p 11 ( n) = 1 − p;
IS

Les probabilités de transition sont donc indépendantes du temps :

p i j ( n) = p i j ( i, j ∈ S),

et on a clairement
p 00 + p 01 = p 10 + p 11 = 1.

La matrice des probabilités de transition et le graphe des transitions sont respec-

tivement donnés par à !
p(2 − p) (1 − p)2
P=
p 1− p

ESTIN B. ISSAADI
 1.2 Propriétés fondamentales 4

et par la figure suivante,

p10

p00 p11

p01

FIG. 4 − Graphe des transitions.

I
1.2 Propriétés fondamentales
1.2.1 Relation de Chapman-Kolmogorov

AD
On conserve les notations des paragraphes précédents : { X n }n≥0 est une chaîne
de Markov homogène, dont l’ensemble des états est S et la matrice de transition
P = ( p i j ) (( i, j ) ∈ S2 ).
Soit p(n)
ij
la probabilité que la chaîne de Markov passe de l’état i à l’état j en n
transitions ou étapes, on pose :

p(n)
© ª
ij
= P X n = j | X0 = i ,
e
pour tous les états i et j . Par homogénéité, on a
in
SA
ed

p(n)
© ª
ij
= P X n+k = j | X k = i , pour tout k ≥ 0.
dr

On pose également : P(n) = ( p(n) ) (( i, j ) ∈ S2 ). La matrice P(n) est appelée matrice de

Ba

ij
transition à n étapes.

Propriété 1.2.1 On a les propriétés ci-dessous :

1. 0 ≤ p(n)
ij
≤ 1 pour tous ( i, j ) ∈ S2 .
2. j∈S p(n) = 1 pour tout i ∈ S.
P
IS

ij
3. p i j = `∈S p(k)
(n) P
p(n−k) pour tout ( i, j ) ∈ S2 et pour tout 0 ≤ k ≤ n, avec
i` ` j
(
1, si i = j,
p(0)
ij
=
0, sinon.

En notation matricielle, on a P(n) = P(k) P(n−k) pour tout 0 ≤ k ≤ n, avec

P(0) = I , où I désigne la matrice identité.
4. P(n) = Pn pour tout n ≥ 0.
■

Les deux propriétés 1 et 2 signifient que la matrice de transition en n étapes est une
matrice stochastique.
La propriété 3, est appelée équation de Chapman-Kolmogorov, est obtenue comme

ESTIN B. ISSAADI
1.2 Propriétés fondamentales 5

suit :

p(n)
© ª
ij
= P X n = j | X 0 = i
X ©
P X n = j, X k = ` | X 0 = i
ª
=
`∈S
X ©
P X n = j | X k = `, X 0 = i P X k = ` | X 0 = i
ª © ª
=
`∈S
X ©
P X n = j | X k = ` P X k = ` | X0 = i
ª © ª
=
`∈S
X ©
P X n− k = j | X 0 = ` P X k = ` | X 0 = i
ª © ª
=
`∈S

I
p(n − k) (k)
X
= `j
p i` ,
`∈S

AD
pour tous ( i, j ) ∈ S2 et pour tout 0 ≤ k ≤ n.
En notation matricielle : P(n) = P(n−k) P(k) . avec,

P(0) = I
(0) ©
pi j = P X0 = j | X0 = i =
ª
(
1,
0,
si i = j,
sinon.

Enfin la propriété 4 est donnée comme suit :

ine
SA
P(1) = P
ed

P(2) = P(1) P(1) = P P = P2

dr

P(3) = P(2) P(1) = P2 P = P3

Ba

..
.
P(n) = P(n−1) P(1) = Pn P = Pn
IS

Le système d’équations de Chapman-Kolmogorov donné par la propriété 3, peut

s’écrire de façon plus générale :

p(m + n)
p(m) p(n)
X
ij
= i` `j
, (1.2)
`∈S

La relation matricielle est donnée par :

P(m+n) = Pm+n = Pm Pn = P(m) P(n) .

ESTIN B. ISSAADI
1.2 Propriétés fondamentales 6

Proposition 1.2.1 Soient k ≥ 0, n ≥ 1 deux entiers. Alors

© ª
P X k+n = j, . . . , X k+2 = j 2 , X k+1 = j 1 | X k = i
= p i j 1 p j 1 j 2 · · · p j n−1 j . (1.3)

La relation (1.3) définie la probabilité que la chaîne de Markov passe de l’état i à

l’état j en n étapes en passant par les états intermédiaires j 1 , . . ., j n−1 , c’est à dire
la probabilité de passer par le chemin i , j 1 , . . ., j n−1 , j .

I
Remarque 1.2.1 La probabilité que la chaîne de Markov passe de l’état i à l’état j
en n étapes, est la somme des probabilités d’emprunter tous les chemins possibles
de i vers j en n transitions,

AD p(n)
ij
=
X
j 1 ,..., j n−1 ∈S
p i j 1 p j 1 j 2 · · · p j n−1 j .

Exemple 1.2.2 Soit { X n }n≥0 une chaîne de Markov à temps discret sur les états 0
et 1 dont la matrice de transition P est donnée par
à !
(1.4)

0. 2 0 . 8
P=
e

0. 4 0 . 6
in
SA
ed

On veut connaître la probabilité que la C.M passe de ml’état 0 à l’état 0 en 4

dr

étapes.
On doit donc calculer
Ba

p(4)
© ª
00 = P X 4 = 0 | X 0 = 0 ,

qui est la composante (0, 0) de la matrice de transition en 4 pas.

à !4 à !
0.2 0.8 0.3344 0.6656
P(4) = P4 =
IS

= .
0.4 0.6 0.3328 0.6672

On conclut que p(4)

00 = 0.3344.

Pour calculer p(4)

00 , la probabilité d’aller de 0 à 0 en 4 étapes, nous pouvons
aussi utiliser la relation suivante :

p(4)
X
00 = p0 j1 p j1 j2 p j2 j3 p j3 0
j1 , j2 , j3
XXX
= p0 j1 p j1 j2 p j2 j3 p j3 0 .
j1 j2 j3

ESTIN B. ISSAADI
 1.2 Propriétés fondamentales 7

il suffit de constater qu’il y a 8 chemins possibles qui permettent d’aller de 0 à 0

en 4 étapes :

p1=0,0016

p2=0,0128

p3=0,0128

p4=0,0384

I
p5=0,0128

AD
La probabilité cherchée est donc p(4)
00 = p 1 + · · · + p 8 = 0.3344.
in e
p6=0,1024

p7=0,0384

p8=0,1152
SA
1.2.2 Mesure de probabilité d’une chaîne de Markov et Régime transitoire
ed

Nous introduisons maintenant les probabilités d’état

dr

πk ( n) = P X n = k , n ≥ 0 et k ∈ S;
© ª
Ba

la distribution de X n peut alors être écrite sous forme de vecteur ligne,

π( n) = π1 ( n), π2 ( n), . . . ,
¡ ¢
IS

dont la somme des termes vaut 1.

Ce vecteur π( n) dépend :
– de la matrice des transition P ;
– du vecteur des probabilités d’état initiales π(0) = π1 (0), π2 (0), . . . .
¡ ¢

Il s’agit donc de décrire l’évolution du processus depuis l’état initial jusqu’à l’étape
n, en passant par toutes les étapes intermédiaires :

0 1 ⋯ ⋯

FIG. 9 − Evolution détaillée du processus X n .

ESTIN B. ISSAADI
 1.3 Classification des états et paramètres de performances 8

D’après le théorème des probabilités totales, on a alors

ª X ©
π k ( n) = P X n = k =
© ª © ª
P X n = k | X n−1 = i P X n−1 = i ,
i ∈S

soit
X
π k ( n) = π i ( n − 1) p ik , (1.5)
i ∈S

Cette relation s’écrit sous forme matricielle :

π( n) = π( n − 1)P.

I
Il est clair qu’en appliquant n fois cette relation on obtient :

AD
Supposons que π(0) = (π0 (0), π1 (0)) = (1, 0).
π( n) = π(0)Pn .

Exemple 1.2.3 Considérons une C.M à valeurs dans E = {0, 1} de matrice de

transition :
P=
Ã
2/3 1/3
1/2 1/2
!

e
Donc :
in
SA
à !
ed

2/3 1/3
π(1) = π(0) P = (1, 0) = (2/3, 1/3)
1/2 1/2
dr

à !
Ba

11/18 7/18
π(2) = π(0) P = (1, 0)
2
= (11/18, 7/18)
7/12 5/12

ou bien, π(2) = π(1) P = (11/18, 7/18)

IS

1.3 Classification des états et paramètres de performances

1.3.1 États accessibles
Définition 1.3.1 On dit que l’état j est accessible à partir de l’état i , s’il existe un
entier n ≥ 0 tel que p(n)
ij
> 0. On écrit : i → j .

Pour n ≥ 1, p(n) p i j 1 p j 1 j 2 · · · p j n−1 j , et donc p(n)

P
ij
= j 1 ,..., j n−1 ∈S ij
> 0 si et seulement si il
existe au moins un chemin i , j 1 , . . ., j n−1 , j de i à j tel que

p i j 1 p j 1 j 2 · · · p j n−1 j > 0,

ou, de manière équivalente, si il existe un chemin orienté de i vers j dans le graphe

de transition.

ESTIN B. ISSAADI
1.3 Classification des états et paramètres de performances 9

Définition 1.3.2 On dit que deux états i et j communiquent et l’on écrit i ↔ j , si

on a à la fois : i → j et j → i .

Définition 1.3.3
– Un état i est appelé état de retour, s’il existe n ≥ 1 tel que p(n)
ii
> 0.
– Un état i est appelé état de non-retour, si pour tout n ≥ 1 on a p(n)
ii
= 0.
– Un état i est appelé état absorbant, si pour tout n ≥ 1 on a p(n)
ii
= 1.
– Une classe de communication C est fermée si, pour tout i ∈ C, il n’y a pas
de j ∉ C tel que l’état j est accessible à partir de l’état i , autrement dit, une

I
classe est fermée si aucune transition n’en sort.
– Si tous les états de S communiquent entre eux, la chaîne de Markov est dite
irréductible.

AD
Exemple 1.3.1 Considérons la chaîne de Markov, telle que S = 0, 1 et P =

son graphe de transition est comme suit :

e
ª ©
Ã
1 0
1 0
!

FIG. 10 − Graphe des transitions.

in
SA
ed

Dans cet exemple l’ensemble S des états se partitionne en deux classes distinctes,
C1 = 0 et C2 = 1 , on peut aller, de C2 à C1 , mais on ne peut retourner de C1 à
dr

© ª © ª

C2 .
Ba

Dans cet exemple, la classe C1 est fermée, l’état 0 est absorbant, l’état 1 est de
non-retour.
IS

Exemple 1.3.2 Considérons la chaîne de Markov, dont l’ensemble des états est
S = 0, 1, 2 , la matrice de transition
© ª

 
1/2 1/2 0
P=
 
1/2 1/4 1/4 et le graphe

0 1/3 2/3
FIG. 11 − Graphe des transitions.
Cette chaîne est irréductible, puisque elle n’est constituée que d’une seule
classe C = S d’états communicants.

ESTIN B. ISSAADI
 1.3 Classification des états et paramètres de performances 10

Exemple 1.3.3 Considérons la chaîne de Markov, dont l’ensemble des états est
S = 0, 1, 2, 3 , la matrice de transition
© ª

 
1/2 1/2 0 0
 
1/2 1/2 0 0 
P=
  et le graphe
1/4 1/4 1/4 1/4


0 0 0 1

I
ªFIG. 12 ª Graphe© des
© − ª transitions.

AD
La chaîne comporte trois classes C1 = 0, 1 , C2 = 2 et C3 = 3 . Tous les états
©

d’une même classe communiquent. Les deux classes C1 et C3 sont fermées. L’état 3
est absorbant.

Remarque 1.3.1 Toute chaîne de Markov non irréductible (réductible) possède au

moins une classe fermée.

1.3.2 États récurrents et transients

e
in
SA
Définition 1.3.4 Une classe est transitoire s’il est possible de sortir de cette classe
ed

mais dans ce cas, la chaîne ne pourra plus jamais y retourner.

dr

Définition 1.3.5 Une classe est récurrente s’il est impossible de la quitter.
Ba

Corollaire 1.3.4 Dans une classe d’états qui communiquent, tous les états sont
récurrents ou tous sont transients.
IS

Exemple 1.3.5 De façon évidente, la chaîne de Markov suivante n’est pas irréduc-
tible

ESTIN B. ISSAADI
 1.3 Classification des états et paramètres de performances 11

FIG. 13 − Graphe des transitions.

I
Cette chaîne comporte deux sous chaînes absorbantes (classes fermées) : C1 = {6, 7}
et C2 = {3, 4, 5}, tous les états de C1 et C2 sont récurrents.

1.3.3

AD
Périodicité
Il s’agit d’étudier dans quelles conditions le temps qui sépare deux retours au
même état j est (ou n’est pas) multiple d’un temps minimum. On introduit pour ce
faire la notion de période.
Définition 1.3.6 La période d ( j ) de l’état j ∈ S est par définition,

d ( j ) = d = p.g.c.d. n ≥ 1; p(n)
e
© ª
jj
>0 ,
in
SA
ed

avec la convention d ( j ) = +∞ s’il n’y a pas d’indice n ≥ 1 tel que p(n)

jj
> 0 (on ne
dr

revient pas en j , j est un état de non-retour).

Si d ( j ) = d ≥ 2, on dit que j est périodique de période d ;
Ba

Si d ( j ) = d = 1, l’état j est dit apériodique.

Définition 1.3.7 On appelle période d’un état le plus grand commun diviseur des
longueurs des cycles du graphe transition passant par cet état. On dit d’un état
IS

qu’il est apériodique lorsqu’il est de période 1.

Propriété 1.3.1 Si i est périodique de période d finie et si i ↔ j , j 6= i , alors j est

aussi périodique de période d . La propriété de périodicité est une propriété de
classe. ■

Exemple 1.3.6 Considérons la chaîne de Markov, à trois états 0, 1, 2, dont le

graphe associé est donné dans la figure ci-dessous, où toutes les flèches présentes
correspondent à des probabilités de transition strictement positives.

ESTIN B. ISSAADI
 1.4 Régime permanent et distribution limite 12

FIG. 15 − Graphe des transitions.

L’état 0 est de retour ; les chemins 0 → 1 → 0 et 0 → 1 → 2 → 0 ont pour lon-

gueurs 2 et 3, respectivement ; leur p.g.c.d. est d = 1 ; l’état 0 est donc apériodique.

I
Maintenant, la chaîne est irréductible. Les deux autres états 1 et 2 sont aussi
apériodiques, ce que l’on peut aussi vérifier directement.

AD
Exemple 1.3.7 Considérons la chaîne de Markov, dont l’ensemble des états est
S = 0, 1, 2, 3 , la matrice de transition
©



0
1
P=
ª

0 1/2 1/2
0 0


0 
 et le graphe
0 1 0 0 

e

in

0 1 0 0
SA
ed
dr

FIG. 16 − Graphe des transitions.

Tous les états communiquent. Il y a donc une seule classe (récurrente). Il y a
Ba

exactement deux chemins issus de 0 : 0 → 2 → 1 → 0 et 0 → 3 → 1 → 0, tous deux

de longueur 3. La classe est donc périodique de période 3.

1.4 Régime permanent et distribution limite

IS

L’analyse du régime permanant d’une chaîne de Markov consiste à s’intéresser à

la limite lorsque n tend vers l’infini du vecteur des probabilités π( n) :

π = lim π( n).
n→+∞

En termes formels, on dit qu’une chaîne de Markov converge vers π ou possède une
distribution limite π si :

π = π 1 , π2 , . . . , π k , . . . , π m ,
¡ ¢

avec,
πk = lim πk ( n) = lim P X n = k , k ∈ S.
© ª
n→+∞ n→+∞
Il s’agit de répondre aux deux questions :

ESTIN B. ISSAADI
1.4 Régime permanent et distribution limite 13

1. Cette limite existe-t-elle, est-elle unique ?

2. Et si oui, comment la calculer ?
La première question est complexe au même temps pertinente puisqu’il est possible
que la limite dépende de l’état de départ ou de la distribution initiale de la chaîne de
Markov. La réponse à la dernière question consiste à calculer le vecteur π( n) = π(0)Pn
et de faire tendre n vers l’infini dans son expression.

Exemple 1.4.1 (Une chaîne de Markov avec une distribution limite unique)
© ª © ª
Supposons que X n , n ≥ 0 est une chaîne de Markov à espace d’état 1, 2, 3 et de

I
matrice de transition :  
0.20 0.30 0.50
P=
 
0.10 0.00 0.90 .


AD n = 2 : P2 = 

0.55 0.00 0.45
Nous donnons ci-dessous les matrices de transition pour différentes valeurs de n :

0.3450 0.0600 0.5950
0.5150 0.0300 0.4550 ,


0.3575 0.1650 0.4775

0.3626 0.1207 0.5167

e




n = 4 : P4 = 
 
0.3558 0.1069 0.5373 ,
in


SA
0.3790 0.1052 0.5158
ed

 
dr

0.3704 0.1111 0.5185

n = 10 : P10 = 
 
0.3703 0.1111 0.5186 ,
Ba


0.3704 0.1111 0.5185
 
0.3704 0.1111 0.5185
n ≥ 11 : Pn = 
 
0 . 3704 0 . 1111 0 . 5185 .
 
0.3704 0.1111 0.5185
IS

Soit π(0) = π1 (0), π2 (0), π3 (0) la distribution initiale de la chaîne de Markov (bien
¡ ¢

évidemment π1 (0) + π2 (0) + π3 (0) = 1). On voit que :

π( n) = π(0)Pn = 0.3704, 0.1111, 0.5185 , n ≥ 11.

¡ ¢

Donc,
π = lim π( n) = 0.3704, 0.1111, 0.5185 .
¡ ¢
n→+∞

Exemple 1.4.2 (Une chaîne de Markov sans distribution limite)

ESTIN B. ISSAADI
1.4 Régime permanent et distribution limite 14
© ª © ª
Considérons une chaîne de Markov X n , n ≥ 0 à espace d’état 1, 2, 3 et de
matrice de transition :  
0 1 0
P=
 
0.10 0 0.90 .

0 1 0
Nous pouvons vérifier numériquement que, pour n ≥ 1 :
 
0.1000 0 0.9000
P2n = 
 
0 1 . 0000 0 ,
 

I
0.1000 0 0.9000
 
0 1.0000 0

AD
P2n−1 = 
 
0 . 1000 0 0. 9000 .
 
0 1.0000 0

Soit π(0) = π1 (0), π2 (0), π3 (0) = a 1 , a 2 , a 3 la distribution initiale de la chaîne de

¡ ¢ ¡ ¢
¡ ¢
Markov. On voit que la distribution de X n , n ≥ 1, est 0.1(a 1 + a 3 ), a 2 , 0.9(a 1 + a 3 )
¡ ¢
si n est pair et 0.1a 2 , a 1 + a 3 , 0.9a 2 si n est impair. Ainsi, la distribution de X n
ne s’approche pas d’une limite. Elle varie entre deux distributions qui dépendent
de la distribution initiale. La chaîne de Markov n’a pas de distribution limite.
ine
SA
ed

Exemple 1.4.3 (Une chaîne de Markov avec multiples distributions limites)

© ª © ª
Considérons une chaîne de Markov X n , n ≥ 0 à espace d’état 1, 2, 3 et de
dr

matrice de transition :
Ba

 
0.20 0.80 0
P=
 
0 . 10 0 . 90 0 .
 
0 0 1
En calculant les puissances matricielles Pn pour des valeurs croissantes de n,
IS

nous obtenons
 
0.1111 0.8889 0
lim Pn = 
 
0 . 1111 0 . 8889 0 .
n→+∞  
0 0 1.000

Cela implique que la distribution limite existe. Supposons à présent que la distri-
bution initiale est π(0) = π1 (0), π2 (0), π3 (0) = a 1 , a 2 , a 3 , et définissons
¡ ¢ ¡ ¢

π1 = 0.1111(a 1 + a 2 ),
π2 = 0.8889(a 1 + a 2 ),
π3 = a 3 .

ESTIN B. ISSAADI
1.4 Régime permanent et distribution limite 15

Nous constatons que c’est une distribution limite de { X n }n≥0 . Par conséquent, la
distribution limite existe mais n’est pas unique.

Définition 1.4.1 Une matrice de transition est régulière si et seulement si pour

certains n, Pn n’a pas de valeurs nulles (elle n’a que des termes strictement
positifs).

Théorème 1.4.4 Soit P la matrice de transition d’une chaîne de Markov régulière.

Alors il existe des membres π1 , . . . , πm > 0 dont la somme vaut 1, tels que,

I
 
π1 π 2 · · · π m

AD

π1 π2 · · · πm 

Pn −−−−−→ P∗ =  . . (1.6)
 
n→+∞  .. .
.. . .
. . .. 
 
π1 π 2 · · · π m

De plus, la chaîne de Markov possède une distribution limite π = (π1 , . . . , πm )

π( n) −−−−−→ π.
n→+∞

quelle que soit la distribution initiale π(0).

ine
SA
ed

Théorème 1.4.5 Si la valeur propre 1 de P est simple et les autres valeurs propres
dr

sont de module strictement inférieur à 1, alors les conclusions du théorème 1.4.4

Ba

sont valables.

Exemple 1.4.6 Considérons une chaîne de Markov de matrice

 
3/4 1/4 0
IS

P=
 
1/2 0 1/2

0 1 0

Le symbole + indiquant une valeur strictement positive, on trouve :

     
+ + + + + + + + +
P = + + 0  , P = + + + , P = + + +
2  3  4 
     
.
 
+ 0 + + + 0 + + +

D’après le théorème 1.4.4 la chaîne de Markov est donc convergente.

D’autre part, les valeurs propres de P sont λ1 = 1, λ2 = 1/2 et λ3 = −3/4, ce qui
confirme les conclusions en utilisant le théorème 1.4.5.

ESTIN B. ISSAADI
 1.5 Distributions stationnaires 16

Exemple 1.4.7 Soit la matrice stochastique

à !
3/4 1/4
P=
0 1

L’étude du graphe des transitions montre que pour tout n ≥ 1, p(n)

21 = 0, donc le
théorème 1.4.4 ne s’applique pas.
Mais les valeurs propres de P sont λ1 = 1, λ2 = 3/4 ce qui permet d’utiliser le
théorème 1.4.5, et de montrer que les hypothèses de ces deux théorèmes ne sont

I
pas équivalentes.

AD
1.5 Distributions stationnaires
Théorème 1.5.1 (Distributions stationnaire)
Soit π = π1 , π2 , . . . une loi de probabilité sur l’ensemble des états S. Elle est dite
¡ ¢

stationnaire, si et seulement si elle satisfait :

π i p i j , j ∈ S,
X
πj = (1.7)
i ∈S

et
in e
X
π j = 1. (1.8)
SA
j ∈S
ed

ou, de façon équivalente,

dr

π = π · P, avec π1 = 1.
Ba

le vecteur 1 est un vecteur colonne unitaire.

Théorème 1.5.2 (Existence de distributions stationnaires)

Pour une chaîne de Markov finie, il existe toujours au moins une distribution
IS

stationnaire. Ce n’est pas toujours le cas lorsque l’espace des états est infini.

Le critère d’unicité s’énonce ainsi dans le théorème suivant.

Théorème 1.5.3 (Unicité de la distribution stationnaire)
Une chaîne de Markov irréductible finie admet une unique distribution station-
naire, c’est à dire si elle comprend une seule classe récurrente.

Exemple 1.5.4 Considérons la chaîne de Markov définie sur S = 0, 1, 2 de matrice

© ª

ESTIN B. ISSAADI
1.5 Distributions stationnaires 17

de transition suivante :  
1/2 0 1/2
P=
 
1/4 1/2 1/4 

1/3 1/3 1/3
En traçant le graphe de transition, on remarque que la chaîne est irréductible
donc elle admet une unique distribution stationnaire :

1 1 1
2 π0 + 4 π1 + 3 π2 = π0 ,



1 1
2 π1 + 3 π2 = π 1 ,



I
1 1 1
2 π0 + 4 π1 + 3 π2 = π2 ,



π 0 + π 1 + π 2 = 1.



AD
De l’équation (2), on a π2 = 32 π1 , on remplace π2 par 32 π1 dans l’équation (1) on
trouve π0 = 32 π1 . En tenant compte de π0 + π1 + π2 = 1, on obtient π = 38 , 82 , 38 .
¡

Remarque 1.5.1 Dans le cas de plusieurs classes récurrentes, il existe une distri-
bution stationnaire pour chaque classe.

Lemme 1.5.1 Si l’état j est transient, alors π j = 0.

in e
¢

Ce lemme est encore vrai lorsque S est infini dénombrable.

SA
ed
dr

Nous allons maintenant nous intéresser à l’évaluation numérique des distribu-

tions limites. Le théorème suivant permet de ramener ce problème au calcul d’une
Ba

distributions stationnaire.
Corollaire 1.5.5 Une distribution limite, quand elle existe, est aussi une distribu-
tion stationnaire.
IS

Démonstration. D’après (1.5),

π i ( n − 1) p i j , j ∈ S.
X
π j ( n) =
i ∈S

En supposant que la distribution limite existe, alors par passage à la limite c’est à
dire en faisant tendre n vers l’infini, nous obtenons ce qui suit :
³ ´ X³ ´
lim π j ( n) = lim π i ( n − 1) p i j , j ∈ S.
n→+∞ n→+∞
i ∈S

D’où la relation :
π i p i j , j ∈ S.
X
πj =
i ∈S

j ∈S π j = 1, découle du fait que π est une distribution de probabilité.

P
L’équation ■

ESTIN B. ISSAADI
1.5 Distributions stationnaires 18

Définition 1.5.1 Un état récurrent et apériodique est dit ergodique.

Une chaîne finie irréductible (une seule classe récurrente), apériodique est dite
ergodique.

Théorème 1.5.6 Les états d’une classe de communication qui contient au moins
un état ergodique sont ergodiques.

Démonstration. On sait que les propriétés de récurrence et d’apériodicité sont des

propriétés de classe : l’ergodicité l’est donc aussi. Il suffit donc qu’un état de la classe

I
soit ergodique pour que la classe qui le contient le soit. ■

AD
Théorème 1.5.7 Toute chaîne ergodique possède une distribution limite unique,
qui coïncide avec l’unique distribution stationnaire π = π i de la chaîne.
¡ ¢

Exemple 1.5.8 Considérons la chaîne de Markov, dont l’ensemble des états est
S = 0, 1, 2, 3 , la matrice de transition
© ª

e
 
0 1 0 0
in
SA
 
0 0.9 0.1 0 
ed

P=
  et le graphe
0 0 0. 8 0 . 2 
dr

 
1 0 0 0
Ba

FIG. 19 − Graphe des transitions.

Tous les états communiquent entre eux, et donc la chaîne est irréductible.
IS

Puisque le nombre d’états est fini, la chaîne est récurrente positive. De plus,
p 11 = 0, 9 > 0, ce qui implique que la chaîne est apériodique, donc ergodique.
Dans ce cas, on a  
π0 π1 π 2 π 3
π0 π1 π 2 π 3 
 
lim Pn =  , (1.9)
n→+∞ π0 π1 π 2 π 3 
 

π0 π1 π 2 π 3

ESTIN B. ISSAADI
1.5 Distributions stationnaires 19

où π = (π0 , π1 , π2 , π3 ) satisfait π = πP, c’est à dire

π0 = π3 ,
π1 = π0 + 0.9π1 ,
π 2 = 0. 1π 1 + 0. 8π 2 ,
π 3 = 0. 3π 2 ,

avec π0 + π1 + π2 + π3 = 1. On a alors π0 + 10π0 + 5π0 + π0 = 1, d’où π0 = 1/17.

I
AD e
in
SA
ed
dr
Ba
IS

ESTIN B. ISSAADI
1.5 Distributions stationnaires 20

ESTIN B. ISSAADI