MAT3185 - Probabilité et processus
stochastique
Fiche de TD numéro 4
Chaı̂nes de Markov à temps discret et espace d’états fini ou dénombrable
Exercice 1 : Dans un certain pays, il ne fait jamais beau deux jours de suite. Si un jour
il fait beau, le lendemain il peut neiger ou pleuvoir avec autant de chances. Si un jour il pleut
ou il neige, il y a une chance sur deux qu’il y ait changement de temps le lendemain, et s’il y a
changement, il y a une chance sur deux que ce soit pour du beau temps.
1. Former, à partir de celà, une chaı̂ne de Markov et en déterminer sa matrice de transition.
2. Si un jour il fait beau, quel est le temps le plus probable pour le surlendemain?
3. Si on suppose que l’on a que deux états (beau temps et mauvais temps), déterminer la
matrice de transition de la nouvelle chaı̂ne ainsi obtenue.
Exercice 2 : Trois chars livrent un combat. Le char A atteint sa cible avec la probabilité
2/3, le char B avec la probabilité 1/2 et le char C avec la probabilité 1/3. Ils tirent tous ensembles
et dès qu’un char est touché, il est détruit. On considère à chaque instant, l’ensemble des chars
non détruits. Montrer qu’on obtient une chaı̂ne de Markov dont on explicitera l’ensemble des
états et la matrice de transition dans chacun des cas suivants :
1. Chaque char tire sur son adversaire le plus dangereux ;
2. A tire sur B ; B tire sur C et C tire sur A.
Exercice 3 : On considère 5 points équirépartis sur un cercle. Un promeneur saute à chaque
instant, d’un point à l’un de ses voisins avec la probabilité 1/2 pour chaque voisin. Déterminer
le graphe et la matrice de transition de la chaı̂ne ainsi obtenue.
Exercice 4 : On dispose de 2 machines identiques fonctionnant indépendamment et pouvant
tomber en panne au cours d’une journée avec la probabilité q = 14 . On note Xn le nombre de
machines en panne au début de la n-ième journée.
1. On suppose que, si une machine est tombée en panne un jour, elle est réparée la nuit
suivante et qu’on ne peut réparer qu’une machine dans la nuit. Montrer que l’on peut
définir ainsi une chaı̂ne de Markov dont on déterminera le graphe, la matrice de transition
et éventuellement les distributions stationnaires.
2. Même question en supposant qu’une machine en panne n’est réparée que le lendemain, le
réparateur ne pouvant toujours réparer qu’une machine dans la journée.
3. Trouver si elles existent les probabilités de l’état stationnaire dans les deux cas.
1
Exercice 5 : Un point se déplace sur un cercle unité et saute de +/- 90 degrés. Supposez
que le processus est initialement à 0 degrés et que la probabilité de passer à + 90 degrés est de p
(tourner de +90 degrés dans le sens inverse des aiguilles de la montre) et la probabilité de passer
à -90 degrés est q. Trouvez les probabilités de transition pour la chaı̂ne de Markov résultante et
calculez les probabilités d’état à l’instant 1 et 2.
Exercice 6 : Calculez s’il elle existe la distribution stationnaire de la chaı̂ne de Markov
d’espace d’état E = {1, 2, 3} et de matrice de transition
0 1−α α
P = 0 1 − β β
γ 0 1−γ
où α, β, γ ∈ (0, 1)
