PROCESSUS STOCHASTIQUES Belalia – EMI
TD 2 : Processus de Markov - Cas discret
Exercice 1
Une étude statistique dans une revue automobile donne les informations suivantes sur les
propriétaire qui changent de voiture :
• parmi ceux qui avaient une voiture de segment 1, 1 sur 2 conserve une voiture de segment 1,
1 sur 2 choisit une voiture de segment 2 ;
• parmi ceux qui avaient une voiture de segment 2, 1 sur 4 conserve une voiture de segment 2,
1 sur 2 choisit une voiture de segment 1, et 1 sur 4 choisit une voiture de segment 3 ;
• parmi ceux qui avaient une voiture de segment 3, 1 sur 4 conserve une voiture de segment 3,
1 sur 4 choisit une voiture de segment 1, et 1 sur 2 choisit une voiture de segment 2.
1. Justifier que le processus est une chaîne de Markov à temps discret.
2. Donner la matrice de transition et le graphe de transition associé.
3. Sachant qu’un propriétaire a pour première voiture, une voiture de segment 1, déterminer la
probabilité que sa seconde voiture soit encore une voiture de segment 1, et la probabilité que sa
troisième voiture soit une voiture de segment 3.
4. Préciser si la chaîne de Markov admet un régime permanent, et si oui, le déterminer.
Exercice 2
Soit la chaîne de Markov à temps discret suivante :
0,25
0,5 0,75
0,5
4 1 2 3
1 1
1. Donner la matrice de transition.
2. Sachant que l’état initial est 4, quel est le vecteur de probabilités d’état à l’étape 3 ?
3. Sachant qu’à l’étape 0, on peut être dans n’importe quel état de façon équiprobable, quelle est la
probabilité d’être dans l’état 3 à l’étape 3 ?
4. Cette chaîne est-elle irréductible ? Quelles sont les différentes classes ? Quelles sont les
propriétés des différents états ?
On donne : p3
1
PROCESSUS STOCHASTIQUES Belalia – EMI
Exercice 3
Soit la chaîne de Markov suivante :
0,25 0,5 0,25
1 3 4
0,5
0,5 0,5
2 5 6
0,5
7
Quelles sont les différentes classes ? Quelles sont les propriétés des différents états ? Cette chaîne
admet-elle un régime permanent ?