Feuille d’Exercices III

Processus Stochastiques

Exercice 1. Considérons un fort carré pourvu d’un poste de garde à chaque coin. Une seule sentinelle est de
garde ce jour-là. Elle a pour rôle de tromper l’ennemi et pour cela elle a l’ordre d’effectuer sa ronde de la manière
aléatoire suivante. Elle monte la garde 5 minutes dans un des quatre postes, puis elle tire à pile ou face une pièce
équilibrée ; si elle tire pile, elle se rend au premier poste sur sa gauche et si elle tire face, elle se rend au premier
poste sur sa droite. Elle y monte la garde 5 minutes et de nouveau elle tire à pile ou face le nouveau poste de garde
et ainsi de suite. On dénote Xn son poste après n événements.
1. Montrer que (Xn )n>0 est une chaîne de Markov. Donner sa matrice de transition et le graphe associé.

Solution. Les jets de pièce étant indépendants et son mouvement ne dépendant que de sa position présente.
On voit que
Xn+1 = f (Xn , Yn+1 )
et par le TP2 nous savons que c’est une chaîne de Markov. Commençons par son graphe Ce qui donne la

1
2
0 1
1
2
1 1 1 1
2 2 2 2
1
2
3 2
1
2

matrice de transition
1 1
 
0 2 0 2
1 1
0 0

2 2
P =
0 1 1

 2 0 2
1 1
2 0 2 0

2. Déterminer les classes d’équivalence ainsi que leur période.

Solution. On voit que tous les états communiquent donc la chaîne est irréductible, il n’y a qu’une seule classe
d’équivalence. De plus, de 0, nous pouvons soit faire un chemin puis revenir qui est donc un chemin de
longueur pair, ou faire un cycle autour du carré qui est de longueur 4. Ainsi, nous voyons que la période est
2.

3. La chaîne est-elle récurrente ? transiente ?

Solution. Nous savons qu’une chaîne de Markov irréductible dans un espace d’états fini est récurrente, donc
la chaîne est récurrente.

Exercice 2. Dans un certain pays, il ne fait jamais beau deux jours de suite. Si un jour il fait beau, le lendemain
il peut neiger ou pleuvoir avec autant de chances. Si un jour il pleut ou il neige, il y a une chance sur deux qu’il y
ait changement de temps le lendemain, et s’il y a changement, il y a une chance sur deux que ce soit pour du beau
temps.
1. Former, à partir de cela, une chaîne de Markov et en déterminer sa matrice de transition
 Solution. Il suffit de construire la matrice de transition puisque les règles du lendemain ne dépendent que
du jour présent. Nous avons trois états S = {S, P, N}. On construit la matrice à partir des règles données
sachant que la somme de chaque ligne doit donner 1.
0 21 12
 

P =  14 21 14 
 
1 1 1
4 4 2

2. Si un jour il fait beau, quel est le temps le plus probable pour le surlendemain?
2
Solution. Nous voulons calculer P (X2 = Y |X0 = S) = PSY avec Y = P, N. Calculons ainsi la première ligne
2
de P ,  
2 1 3 3
PS· = , , .
4 8 8
On voit donc que si il fait beau, le temps le plus probable pour le surlendemain est soit la pluie ou la neige.

3. Si on suppose que l’on a que deux états (beau temps et mauvais temps), déterminer la matrice de transition
de la nouvelle chaîne ainsi obtenue.

Solution. On voit que s’il fait beau temps alors on est garanti qu’il ne fasse pas beau le lendemain, en
revanche, s’il ne fait pas beau alors on la même chance qu’il fasse beau que l’autre chaîne, c’est-à’dire 14 , et
ainsi " #
0 1
Q= 1 3
4 4

4. Dans ce cas, donner la matrice de transition a n pas.

Solution. On veut diagonaliser la matrice Q pour obtenir Qn . On sait que le vecteur [1, 1]> est un vecteur
propre pour la valeur propre 1. On peut obtenir la deuxième valeur propre en utilisant la trace,
3 1
Tr(A) = =1− .
4 4
Donc la deuxième valeur propre est − 41 . Pour obtenir un vecteur propre nous avons, avec la première ligne,
1
u2 = − u1
4
et nous pouvons donc choisir  
−4
u= .
1
Nous obtenons donc la matrice de vecteurs propres
   
1 −4 1 1 4
U= , U −1 = .
1 1 5 −1 1
Finalement
" #" #" # " #" #
1 1 −4 1 0 1 4 1 1 1 1 4
 
n 1 0 5
Q = = = 1 1
5 1 1 0 1
(−4)n −1 1 5 1 1
(−4)n −1 1 5 1 − (−4)n 4+ (−4)n
Exercice 3. On dispose de 2 machines identiques fonctionnant indépendamment et pouvant tomber en panne au
cours d’une journée avec la probabilité q = 14 . On note Xn le nombre de machines en panne au début de la n-ième
journée.
1. On suppose que, si une machine est tombée en panne un jour, elle est réparée la nuit suivante et qu’on ne
peut réparer qu’une machine dans la nuit. Montrer que l’on peut définir ainsi une chaîne de Markov dont on
déterminera le graphe, la matrice de transition.

Solution. Commençons par l’espace des états, nous voyons que S ⊂ {0, 1, 2} puisqu’il n’y a que deux machines
mais comme une machine est réparée dans la nuit on ne peut pas avoir 2 machines en panne et ainsi S = {0, 1}.
On remarque aussi que le nombre de machines en panne le lendemain ne dépend que du nombre de machines
en panne présentement et les possibilités indépendantes qu’une ou deux machines soit tombées en panne. On
est encore dans le cadre du TP1 et on voit que l’on a une chaîne de Markov.
Pour calculer la matrice de transition, nous avons

P00 = (1 − q)2 + 2q(1 − q) = 1 − q 2 .

En effet, soit aucune machine n’est tombé en panne, ou une d’entre elles est tombées en panne (et est réparée
dans la nuit).
P11 = q
puisqu’il faut que la machine qui fonctionne tombe en panne. Ainsi

1 − q2 q2
 
P =
1−q q

ou encore

1 − q2 q

q2
0 1
1−q

2. Donner une distribution stationnaire de X.

Solution. On cherche une solution à

   
π1 π2 P = π1 π2 , π1 + π2 = 1

ou encore  2
 (1 − q )π1 + (1 − q)π2 = π1 1−q
(
 π1 = 1−q+q 2
q 2 π1 + qπ2 = π2 ⇔ q2
 π2 = 1−q+q 2
π1 + π2 = 1


3. Mêmes questions en supposant qu’une machine en panne n’est réparée que le lendemain, le réparateur ne
pouvant toujours réparer qu’une machine dans la journée.
 Solution. Pour la même raison qu’à la question précédente, on a bien une chaîne de Markov. Le nombre de
machines en panne demain ne dépend bien que du nombre de machines en panne aujourd’hui et les deux
événements indépendants de tout le reste qui nous donne si une machine tombe en panne. En revanche, il
est maintenant possible d’avoir les deux machines en panne et ainsi S = {0, 1, 2}.
On calcule la matrice de transition, tout d’abord nous avons Q00 = (1 − q)2 , le cas où les deux machines ne
tombent pas en panne. De plus Q01 = 2q(1 − q), une des deux machines tombent en panne. On remarque
que cela nous donne Q02 = q 2 , les deux machines tombent en panne.
Pour la deuxième ligne, nous commençons avec une machine en panne que le réparateur va réparer aujourd’hui.
Ainsi Q10 = 1−q, l’autre machine continue de fonctionner, Q11 = q l’autre machine tombe en panne et Q12 = 0
puisque le réparateur va réparer une des deux machines.
Enfin si les deux machines sont en panne alors le réparateur va réparer une des deux machines et on obtient
Q21 = 1.
Cela nous donne
(1 − q)2 2q(1 − q) q 2
 

Q=  1−q q 0.
0 1 0
Et le graphe

(1 − q)2 q

2q(1 − q)
0 1
(1 − q)
q2 1

Pour la distribution stationnaire, on calcule de même le système

   
π0 π1 π2 P = π0 π1 π2 , π0 + π1 + π2 = 1

et on obtient  1−q

 π0 = 1+q−q 3

2q−q 2
π1 = 1+q−q 3

q 2 −q 3

π2 =

1+q−q 3

4. Le réparateur, de plus en plus paresseux, met maintenant 2 jours pour réparer une seule machine. Montrer
que (Xn )n>0 n’est plus une chaîne de Markov, mais que l’on peut construire un espace de 5 états permettant
de décrire le processus par une chaîne de Markov dont on donnera le graphe des transitions. Calculer la
probabilité que les 2 machines fonctionnent après n jours pour n = 1, n = 2 et n = 3 si elles fonctionnent
initialement.

Solution. On peut essayer de calculer deux probabilités qui vont avoir le même présent mais des passés
différents avec des probabilités différentes. Par exemple,

P (Xn+1 = 2|Xn = 2, Xn−1 = 2) = 0, P (Xn+1 = 2|Xn = 2, Xn−1 = 0) = 1.

 En effet, dans le premier cas nous avons trois fois de suite deux machines en panne, ce qui est impossible
puisque le réparateur en aurait au moins réparé une. Dans l’autre cas, nous sommes passés d’aucune machine
en panne, aux deux machines en panne, le réparateur va donc commencer à réparer une des machines ce qui
va lui prendre deux jours.
On introduit ainsi les 5 états suivants
0: Les deux machines fonctionnent,
1: Une machine fonctionne et on va commencer à travailler sur l’autre’ machine,
1̄ : Une machine fonctionne et on a déjà commencé à travailler sur la deuxième machine,
2: Les deux machines sont en panne et on n’a pas commencé à travailler dessus,
2̄ : Les deux machines sont en panne et on a déjà commencer à travailler sur l’une d’entre elles.

Alors dans ce cas, on peut construire la matrice de transition

(1 − q)2 2q(1 − q) q2
 
0 0
 0
 0 (1 − q) 0 q
R=  1 − q q 0 0 0
 0 0 0 0 1
0 1 0 0 0

et le graphe

0 1̄

2 2̄

On veut calculer tout d’abord

P (X1 = 0|X0 = 0) = R00 = (1 − q)2 .
Ensuite,
2
P (X2 = 0|X0 = 0) = R00 = (1 − q)4 .
Enfin,
X X
3 2 2
P (X3 = 0|X0 = 0) = R00 = R0i Ri0 = R00 (1 − q)2 + R021̄ (1 − q) = (1 − q)6 + (1 − q) R0i Ri1̄
i∈S i∈S

= (1 − q)6 + 2q(1 − q) 3

où dans la troisième égalité, nous avons utilisé le fait qu’il n’y a que deux entrées non nulles dans la colonne
0, et dans la dernière égalité nous avons utilisé le fait qu’il n’y a qu’une seule entrée non nulle dans la colonne
1̄.

Exercice 4. On considère la chaîne de Markov suivante

3 2
 
0 5 5
3 2 3 
P =  10 5 10 

0 0 1
 1. Dessiner le graphe de la chaîne.

Proof.

0 1

2. Y-a-t-il un état absorbant, si oui lequel et pourquoi?

Proof. Oui, on voit que 2 est un état absorbant (et le seul) puisque

P (Xn+1 = 2|Xn = 2) = 1.

3. En conditionnant sur le premier pas calculer les temps moyens pour la chaîne d’être absorbé par l’état
absorbant en commençant par chacun des deux autres états.

Proof. On veut calculer  

τi = E min{Xn = 2} X0 = i , i ∈ {0, 1, 2}.
n>0

Tout d’abord, nous voyons clairement que τ2 = 0. Pour les deux autres nous conditionnant sur le premier
pas, ainsi nous avons
3 2 3
τ1 = 1 + τ0 + τ1 + τ2 ⇐⇒ 3τ0 − 6τ1 = −10.
10 5 10
L’autre équation nous donne
3 2
τ0 = 1 + τ1 + τ2 ⇐⇒ 5τ0 − 3τ1 = 5
5 5
On obtient donc
20 65
τ0 = , τ1 = .
7 21

Exercice 5. On considère la chaîne de Markov X sur deux états 0, 1 dont la matrice de transition P est donnée
par  
1−p p
P =
q 1−q
avec 0 < p, q < 1.

1. Classifier les états de la chaîne.

Proof. On remarque que tous les états communiquent entre eux donc la chaîne est apériodique. De plus,
P00 > 0 par exemple donc la période est 1 et la chaîne est apériodique. Comme l’espace des états est fini, la
chaîne est récurrente.
2. Déterminer la probabilité stationnaire.

Proof. On fait le calcul πP = π qui nous donne le système,


 (1 − p)π1 + qπ2 = π1 q
(
π1 = p+q ,

qπ2 = pπ1 ,
pπ1 + (1 − q)π2 = π2 ⇐⇒ ⇐⇒ p
π1 + π2 = 1. π2 = p+q .
π1 + π2 = 1.


Oskar Perron Ferdinand Georg Frobenius

(1880–1975) (1849–1917)