Université Thomas Sankara (UTS)

Institut Universitaire de Formations Initiale et Continue

(IUFIC)

Filière : Ingenierie Statistique de

l’Environnement (Master 1)

Année académique : 2024-2025

Cours de processus markoviens

   

 

%%
  
 %
  
 % ,
,
#
   
 % ,#
,#
   
 % # 
   
  % , 
# " "
   
  % , , 
# "
 "
# "  
   
  % # ,
  
  
%  ,  " ! !
#" !
 
 %  ,"!
# ! 
, "!! 

 %, # "!  

 %
 #



"
 
! !
 (( (
,
#

 " !
 ((( (

%
, "
 !
  ( (
#


"
(

!
 !
( (((
,
(


 %


"



!
#


Pr Ibrahim NONKANE
Enseignant-chercheur à l’IUFIC de l’IUTS
Email : [email protected]
 Table des matières

I Probabilité 3
1 Rappel de Probabilités 4
1.1 Variables aléatoires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.1.1 Variables aléatoires discrètes . . . . . . . . . . . . . . . . . . . . . 4
1.1.2 variables à densité . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.3 Indépendance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2 Convergence de variables aléatoires . . . . . . . . . . . . . . . . . . . . . 6
1.3 Théorèmes de passage à la limite . . . . . . . . . . . . . . . . . . . . . . 6
1.4 variables aléatoires gaussiennes . . . . . . . . . . . . . . . . . . . . . . . 7
1.5 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.6 Loi normale centrée réduite . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.7 Tribus construites à partir de variables aléatoires . . . . . . . . . . . . . 9

II Processus Markoviens 10
2 Chaînes de Markov 11
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.2 Exemple . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.2.1 Modèle de bonus-malus en assurance automobile . . . . . . . . . . 12
2.3 Définitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.3.1 Chaîne de Markov à temps discret . . . . . . . . . . . . . . . . . . 13
2.3.2 Matrice de transition en n pas . . . . . . . . . . . . . . . . . . . 13
2.3.3 Exemple : le temps d’un jour au suivant . . . . . . . . . . . . . . 15
2.3.4 Exemple : le temps sur deux jours consécutifs . . . . . . . . . . . 15
2.3.5 Chaîne de Markov sur états . . . . . . . . . . . . . . . . . . . . . 16
2.4 Méthode de conditionnement . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.4.1 Exemple : jeu de pile ou face . . . . . . . . . . . . . . . . . . . . . 18
2.4.2 Exemple : ruine du joueur . . . . . . . . . . . . . . . . . . . . . . 20
2.5 Classification des états . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.5.1 Définitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.5.2 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.5.3 Critère de classification . . . . . . . . . . . . . . . . . . . . . . . . 25

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

TABLE DES MATIÈRES 2

2.5.4 Partition des états . . . . . . . . . . . . . . . . . . . . . . . . . . 25

2.5.5 Exemples de partition des états . . . . . . . . . . . . . . . . . . . 27
2.6 Théorème ergodigue et distribution stationnaire . . . . . . . . . . . . . . 27
2.6.1 Théorème ergodique . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.6.2 Distribution stationnaire . . . . . . . . . . . . . . . . . . . . . . . 28
2.6.3 Matrice de transition doublement stochastique . . . . . . . . . . . 29
2.6.4 Théorème sur la distribution stationnaire . . . . . . . . . . . . . 29
2.6.5 Chaîne irréductible apériodique à un espace d’états fini . . . . . . 29
2.6.6 Exemple : retour sur le temps d’un jour au suivant . . . . . . . . 29
2.6.7 Exemple : bonus-malus pour l’assurance-automobile . . . . . . . . 30
2.7 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

 Première partie

Probabilité

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

 Chapitre Premier

Rappel de Probabilités

1.1 Variables aléatoires

Soit Ω un ensemble muni d’une tribu A c’est-à-dire un sous-ensemble de l’ensemble
P(Ω) des parties de Ω
− contenant ∅ et Ω,
− stable par passage au complémentaire,
− stable par union ou intersection denombrable.

Rappelons la définition d’une variable aléatoire réelle sur (Ω, A) :

Définition 1.1. Une application X de Ω muni de la tribu A dans R est une variable
aléatoire si pour tout B dans la tribu borélienne de R (plus petite tribu qui contient tous
les intervalles) :
{ω ∈ Ω, X(ω) ∈ B} = {X ∈ B} ∈ A.

Cette propriété est la A-mesurabilité de X.

En d’autres termes variable aléatoire à valeurs dans X toute fonction X : Ω → X
mesurable. Pour tout x ∈ X, on note {X = x} l’événement {ω ∈ Ω : X(ω) = x}. On
distingue différentes types de variables aléatoires.

1.1.1 Variables aléatoires discrètes

Si X est un sous-ensemble fini de R, on dit X est une variable aléatoire discrète. On
a alors la formule

X
E(g(X)) = g(x)P(X = x), pour toute fonction mesurable g : X → R.
x∈X

Remarque 1.1.

Pour tout événement A la variable aléatoire 1A : Ω → {0, 1} prend pour valeur 1 si

ω ∈ A et pour valeur 0 si ω ∈
/ A. On a donc la formule

E(1A ) = P(A)

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

 Variables aléatoires 5

1.1.2 variables à densité

Une variable aléatoire X : Ω → R a une densité fX si
Z
P(X ∈ A) = fX (x)dx, pour tout A ∈ R (mesurable).
A
On a alors la formule
Z
E(g(X)) = g(X)fX (x)dx pour toutg : R → R (intégrable).
R
Remarque 1.2.
Si X a une densité alors P(X = x) = Ω pour tout x ∈ R. Dans ce cas, la notion
P(X = x) est remplacée par la densité fX (x) qui représente la probabilité que X soit
dans "un petit voisinage" de x.
En effet, supposons que fX est continue en x et notons V (x) =]x − ; x + [ un "petit
voisinage de x" :
Z x+
P(X ∈ V (x))) = lim fx (t)dt ≈ 2fX (x) × longueur(V (x)).
→0 x−

1.1.3 Indépendance
Des variables aléatoires X1 , . . . , Xk à valeurs dans R sontbindépendantes si
E(g1 (X1 ) · · · gk (Xk )) = E(g1 (X1 )) × · · · × E(gk (Xk ))
Pour toutes fonctions g1 , . . . , gk de R dans R ( mesurables bornées).
Dans ce cas, pour tout A1 , . . . , Ak ⊂ R (mesurables), les événements {X1 ∈ A1 }, . . . , {Xk ∈
Ak } sont indépendants

Indépendance de variables discrètes

Indépendance et densité jointe
Deux variables aléatoire X : Ω → R et Y : Ω → R, possèdent une densité jointe
f(X,Y ) : R × R → R+ , si pour tout domaine mesurable D du plan ,
Z
P((X, Y ) ∈ D) = F(X,Y ) (x, y)dxdy.
D
Pour toute fonction g : R × R → R (intégrable), on a alors
Z
E(g(X, Y ) = g(x, y)f(X,Y ) (x, y)dxdy.
R×R
On retrouve les densités marginales de X et Y par les formules
Z Z
fX (x) = f(X,Y ) (x, y)dy et fY (y) = f(X,Y ) (x, y)dx.
R R
Deux variables aléatoires X et Y ayant une densité jointe sont indépendantes si et
seulement si
fX (x)fY (y) = f(X,Y ) (x, y) pour presque tout x, y ∈ R

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Théorèmes de passage à la limite 6

1.2 Convergence de variables aléatoires

Dans ce qui suit, (Xn )n≥0 est une suite de variables aléatoires à valeurs réelles.

Convergence p.s. (presque sur)

On dit que (Xn ) converge presque surement vers X, lrsqu’il existe un ensemble Ω1
tel que
P (Ω1 ) = 1 et Xn (ω) → X(ω) quand n → +∞ pour tout ω ∈ Ω1

Convergence dans L2
On dit (Xn ) converge vers X dans L2 , si

E(|Xn − X|2 ) → 0 quand n → +∞.

Convergence en probabilité
On dit (Xn ) converge en probalilité vers X, si pour tout  > 0, on a

P(|Xn − X| > ) → 0 quand n → +∞

Convergence en loi
On dit (Xn ) converge en loi vers X, si pour toute fonction f : R → R continue et
bornée, on a
E(f (Xn )) → E(f (X)) quand n → +∞.

1.3 Théorèmes de passage à la limite

Convergence dominée
Si (Xn )n∈N est une suite de variables aléatoires réelles telles que : − (Xn ) converge
p.s. vers X,
− X ≤ Y pour tout n ∈ N avec E(Y ) < +∞,
alors E(Xn ) → E(X), quand n → +∞.

Convergence monotone
Si (Xn )n∈N est une suite de variables aléatoires réelles telles que : − (Xn ) converge
p.s. vers X,
− Xn+1 (ω) ≥ Xn (ω) ou − Xn+1 (ω) ≤ Xn (ω) pour tout n ∈ N,
alors E(Xn ) → E(X), quand n → +∞.

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Loi normale centrée réduite 7

1.4 variables aléatoires gaussiennes

1.5 Définition
Une v.a.r. X suit la loi normale ou loi de Gauss de moyenne m et d’écart-type σ que
l’on note N(m, σ) lorsque X admet pour fonction de densité la fonction f définie par :

f : R −→ R
1 x−m 2
√1 e− 2 ( σ )
. (1.1)
x 7−→ f (x) = σ 2π

1.6 Loi normale centrée réduite

Les calculs des valeurs à partir de la fonction de densité de la v.a.r. X suivant la loi
normale N(m, σ) ne sont pas aisés. soit T = X−m σ
la v.a.r. centrée réduite associée à
la variable X. La v.a.r. T suit la loi normale N(0, 1)). On dit que T suit la loi normale
centrée réduite. La fonction de densité de T est
f : R −→ R
x 2 . (1.2)
x 7−→ f (x) = √1 e− 2
2π

Désignons par π sa fonction de répartition.

La fonction π est tabulée le plus souvent pour des valeurs de t positives (voir annexe :
table 1).

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Loi normale centrée réduite 8

Loi normale centrée éduite : Probabilité de trouver une valeur inférieure à u

u 0,00 0,01 0,02 0,03 0,04 0,05 0,06 0,07 0,08 0,09

0,0 0,5000 0,5040 0,5080 0,5120 0,5160 0,5199 0,5239 0,5279 0,5319 0,5359
0,1 0,5398 0,5438 0,5478 0,5517 0,5557 0,5596 0,5636 0,5675 0,5714 0,5753
0,2 0,5793 0,5832 0,5871 0,5910 0,5948 0,5987 0,6026 0,6064 0,6103 0,6141
0,3 0,6179 0,6217 0,6255 0,6293 0,6331 0,6368 0,6406 0,6443 0,6480 0,6517
0,4 0,6554 0,6591 0,6628 0,6664 0,6700 0,6736 0,6772 0,6808 0,6844 0,6879
0,5 0,6915 0,6950 0,6985 0,7019 0,7054 0,7088 0,7123 0,7157 0,7190 0,7224
0,6 0,7257 0,7290 0,7324 0,7357 0,7389 0,7422 0,7454 0,7486 0,7517 0,7549
0,7 0,7580 0,7611 0,7642 0,7673 0,7704 0,7734 0,7764 0,7794 0,7823 0,7852
0,8 0,7881 0,7910 0,7939 0,7967 0,7995 0,8023 0,8051 0,8078 0,8106 0,8133
0,9 0,8159 0,8186 0,8212 0,8238 0,8264 0,8289 0,8315 0,8340 0,8365 0,8389

1,0 0,8413 0,8438 0,8461 0,8485 0,8508 0,8531 0,8554 0,8577 0,8599 0,8621
1,1 0,8643 0,8665 0,8686 0,8708 0,8729 0,8749 0,8770 0,8790 0,8810 0,8830
1,2 0,8849 0,8869 0,8888 0,8907 0,8925 0,8944 0,8962 0,8980 0,8997 0,9015
1,3 0,9032 0,9049 0,9066 0,9082 0,9099 0,9115 0,9131 0,9147 0,9162 0,9177
1,4 0,9192 0,9207 0,9222 0,9236 0,9251 0,9265 0,9279 0,9292 0,9306 0,9319
1,5 0,9332 0,9345 0,9357 0,9370 0,9382 0,9394 0,9406 0,9418 0,9429 0,9441
1,6 0,9452 0,9463 0,9474 0,9484 0,9495 0,9505 0,9515 0,9525 0,9535 0,9545
1,7 0,9554 0,9564 0,9573 0,9582 0,9591 0,9599 0,9608 0,9616 0,9625 0,9633
1,8 0,9641 0,9649 0,9656 0,9664 0,9671 0,9678 0,9686 0,9693 0,9699 0,9706
1,9 0,9713 0,9719 0,9726 0,9732 0,9738 0,9744 0,9750 0,9756 0,9761 0,9767

2,0 0,9772 0,9779 0,9783 0,9788 0,9793 0,9798 0,9803 0,9808 0,9812 0,9817
2,1 0,9821 0,9826 0,9830 0,9834 0,9838 0,9842 0,9846 0,9850 0,9854 0,9857
2,2 0,9861 0,9864 0,9868 0,9871 0,9875 0,9878 0,9881 0,9884 0,9887 0,9890
2,3 0,9893 0,9896 0,9898 0,9901 0,9904 0,9906 0,9909 0,9911 0,9913 0,9916
2,4 0,9918 0,9920 0,9922 0,9925 0,9927 0,9929 0,9931 0,99332 0,9934 0,9936
2,5 0,9938 0,9940 0,9941 0,9943 0,9945 0,9946 0,9948 0,9949 0,9951 0,9952
2,6 0,9953 0,9955 0,9956 0,9957 0,9959 0,9960 0,9961 0,9962 0,9963 0,9964
2,7 0,9965 0,9966 0,9967 0,9968 0,9969 0,9970 0,9971 0,9972 0,9973 0,9974
2,8 0,9974 0,9975 0,9976 0,9977 0,9977 0,9978 0,9979 0,9979 0,9980 0,9981
2,9 0,9981 0,9982 0,9982 0,9983 0,9984 0,9984 0,9985 0,9985 0,9986 0,9986

Table pour les grandes valeurs de u

u 3,0 3,1 3,2 3,3 3,4 3,5 3,6 3,8 4,0

π (u) 0,99865 0,99904 0,99931 0,99952 0,99966 0,99976 0,999841 0,999928 0,999968

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Tribus construites à partir de variables aléatoires 9

1.7 Tribus construites à partir de variables aléatoires

Une sous-tribu B de A est une tribu de Ω telle que B ⊂ A.
− Soit X une variable aléatoire sur Ω, A) à valeurs dans R. On note : σ(X) la plus
petite sous-tribu de B de A, rendant l’application X B-mesurable. Cette tribu représente
l’information donnée par la connaissance de X. Notez, par exemple, que si A ∈ A, alors
la tribu engendrée par la variable aléatoire 1A est égale à :

{∅, A, Ac , Ω}.

− Soit X1 , . . . , Xn , n variables aléatoires sur (Ω, A) à valeurs dans R, on note :

σ(X1 , . . . , Xn )
la plus petite sous-tribu B de A rendant les applications X1 , . . . , Xn B-mesurables.
Cette tribu représente l’information donnée par la connaissance des variables aléatoires
X1 , . . . , X n .

− Soit (Xn , n ≥ 1) une suite de variables aléatoires réelles A-mesurables. On note,

pour tout n ≥ 1 :
Fn = σ(Xk , 1 ≤ k ≤ n).
Alors (F, n ≥ 1) est une suite croissante de tribus qui porte le nom de filtration naturelle
. Pour un n fixé, Fn représente l’information disponible à l’instant n.

Proposition 1.1. Soit X et Y deux variables aléatoires réelles. Alors Y est σ(X)-
mesurable si te seulement si il existe une fonction mesurable f de R dans R, telle que :

P(Y = f (X)) = 1.

Remarque 1.3. Si Y est σ(X)-mesurable et, si l’on connaît la valeur de X, on peut

en déduire la valeur de Y

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

 Deuxième partie

Processus Markoviens

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

 Chapitre Deux

Chaînes de Markov

2.1 Introduction
Un processus stochastique est une suite de variables aléatoires indicées par le temps.
Le cas le plus simple est celui d’une suite de variable aléatoire indépendantes. Ce sont
des variables aéalatoires qui n’ont aucune influence les unes sur les autres. C’est le su-
jet qu’on étudie dans un premier cours de probabilités après avoir introduit les notions
fondamentales d’événement, de probabilités, d’indépendance, de variables aléatoire et
d’espérance. Le tout culmine avce la loi des grands nombres, qui permet d’interpréter
l’espérance comme la moyenne des valeurs observées à long terme, indépendamment et
dans les même conditions, et le théorème central limite, qui garantit que cette moyenne
est la valeur prise par une variable aléatoire dont la distribution de probabilité s’ap-
proche de plus en plus d’une loi normale.

Le cas le plus simple d’une suite de variable aléatoires dépendantes est celui où les
valeurs prises par les variables qui suivent n’importe quelle variable en particulier, étant
donné la valeur prise par cette variable, sont indépendantes des valeurs prises par les
variables qui précédent. Autrement dit, le futur étant donné le présent est indépendant
du passé. Le processus possède alors la propriété dite markovienne, en memoire du ma-
thématicien russe Andrei Markov ( 1856-1922).

Lorsque l’espace des états du processus est fini ou encore infini dénombrable, on est
en présence d’une chaîne de Markov, qui peut être à temps discret ou à temps continu.
Le résultat le plus important sur les chaînes de Markov est le théorème ergodique. Il
décrit en général ce qui se passe à long terme, c’est-à-dire la distribution de probabilité
limite de la chaîne sur les différents états lorsque cette distribution de probabilité existe,
et la proportion moyenne limite de temps que la chaîne passe dans chaque état, et ce
selon l’état initial. Il permet de comprendre le comportement de la chaîne sur une longue
période de temps. c’est l’objectif principal de cette partie pour les chaînes à temps dis-
cret.

Ainsi, la marche aléatoire décrite en faisant un pas à gauche ou à droite chaque

fois qu’on obtient pile ou face, respectivement, en lançant une pièce de monnaie un
grand nombre de fois indépendemment et dans les mêmes conditions, est une chaîne

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Exemple 12

de Markov à temps discret. Cette marche aléatoire reste une chaîne de Markov dans
le cas où un pas à faire doit être annulé à cause de la presence d’un obstacle, un mur
par exemple. Dans un tel contexte, il est intéressant de savoir quelle est la probabilité
d’être à une position donnée après un très long moment, ou encore quelle proportion
moyenne de temps est passée à cette postion sur une longue période de temps. C’est le
type de question qu’on se pose souvent lorsqu’on est en présence d’une chaîne de Markov.

De nombreuses situations réelles sont modélisées par des chaînes de Markov, que ce
soit en biologie, en physique, en économie ou en finance. Ce chapitre commence donc
par des exemples pour illustrer les principaux concepts et résultats qui sont développés
par la suite.

2.2 Exemple
2.2.1 Modèle de bonus-malus en assurance automobile
En assurance automobile, la prime d’un assuré peut diminuer si aucune réclamation
n’est faite durant une période donnée ou augmenter si une ou plusieurs réclamations
sont soumises durant une certaine période. Les réclamations font suite à des accidents
de la route qui se produisent au hasard dans le temps.
L’arrivée d’événement au hasard est décrite dans par un processus de Poisson La ca-
ractéristique du processus est que le nombre de fois que l’événement se réalise dans
un intervalle de temps donné est de loi de Poisson et qu’il est indépendant du nombre
d’événemets dans n’importe quel autre intervalle de temps disjoint du premier.

Supposons que la classe d’un assuré est mise à jour après chaque année de conduite
automobile. Elle est alors augmentée du nombre de réclamations durant l’année s’il en
a eu, mais diminuée de 1 s’il n’y en pas eu. La classe initiale est 0 et elle ne peut pas
diminuer davantage. Si Xn représente la classe d’un assuré après un nombre d’années
de conduite automobile égal à n ≥ 0, alors on a

λk −λ
P(Xn+1 = i + k|Xn = i) = e ,
k!
pour k ≥ 1 et i ≥ 0, mais

P(Xn+1 = i − 1|Xn = i) = P(Xn+1 = 0|Xn = 0) = e−λ ,

Pour i ≥ 1. Le paramt̀re λ représente un taux de réclamation. Sa valeur dépend du

groupe de l’assuré.
Ici, la principale question qui se pose au sujet de cette chaîne de Markov à temps discret
est de savoir si
lim P(Xn = j|X0 = 0) = πj ≥ 0,
n→∞

Et d’identifier la limite s’il elle existe. Cette limite πj devrait correspondre à la proportion
moyenne de temps en années à long terme qu’un assuré passe dans la classe j.

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Définitions 13

Chaînes de Markov à temps discret

2.3 Définitions
2.3.1 Chaîne de Markov à temps discret
Une chaîne de Markov à temps discret est une suite de variables aléatoires (Xn )n≥0 à
valeurs dans un espace d’états (fini ou infini) dénombrable ( habituellement représentés
par les entiers 0, 1, 2, . . .) telle que
P(Xn+1 = in+1 |Xn = in , . . . , X0 = i0 ) = P(Xn+1 = in+1 |Xn = in ),
pour tous les états in+1 , in , . . . , i0 et tout entier n ≥ 0. C’est la propriété markovienne.

L’indice n représente habituellement le temps. Lorsque les probabilités de transition

ci-dessus sont stationnaires ( c’est-à-dire les mêmes pour tout entier n ≥ 0), la chaîne est
dite homogǹe. c’est l’hypothèse faite à partir de maintenat à moins d’indication contraire.

La matrice P = (Pij ) dont l’entrée sur la rangée i et dans la colonne j est donnée
par
Pi,j = P(Xn+1 = j|Xn = i),
notée aussi parfois Pi,j , pour les états i et j, est appelée la matrice de transition, sous-
entendu en un pas. La matrice de transition et la distribution de probabilité de X0
déterminant complètement la chaîne, c’est-à-dire toutes les distributions conjointes. En
effet, la fonction de masse conjointe des variables X0 , . . . , Xn peut être calculée en consi-
dérant toutes les transitions de l’instant 0 à l’instant n. En effet , en utilisant le définition
de la probabilité conditinnelle et la propriété markovienne, obtient
P(Xn = in , Xn−1 = in−1 , . . . , X0 = i0 ) = P(Xn+1 = in+1 |Xn = in , . . . , X0 = i0 )
×P(Xn−1 = in−1 , . . . , X0 = i0 )
= Pin−1 ,in × P(Xn−1 = in−1 , . . . , X0 = i0 )
= Pin−1 ,in × Pin−2 ,in−1 × · · · × Pi0 ,i1 × P(X0 = i0 ).
La dernière égalité est obtenue par récurrence sur l’entier n ≥ 0, et ce pour tous les
i0 , . . . , in .

2.3.2 Matrice de transition en n pas

La matrice de transition en n pas pour tout n ≥ 1 est la matrice P (n) dont l’entrée
sur la rangée i et dans la colonne j est donné par
(n)
Pi,j = P(Xn = j|X0 = i),
pour tous les états i et j. Par stationnarité, on a
(n)
Pi,j = P(Xn+k = j|Xk = i),
pour tout k ≥ 0. De plus, on a les proprétés ci-dessous.

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Définitions 14

(n)
Propriété 2.1. 0 ≤ Pi,j ≤ 1 pour tous i, j.
P (n)
Propriété 2.2. j Pi,j = 1 pour tout i.
(n) P (k) (n−k)
Propriété 2.3. Pi,j = l Pi,l Pl,j pour tous i, j et pour tout 0 ≤ k ≤ n, avec

 1 si i=j
(0)
Pi,j =
0 sinon


En notation matricielle, on a P (n) = P (k) P (n−k) pour tout 0 ≤ k ≤ n, avec P (0) = I,

où I désigne la matrice identité.

Propriété 2.4. P (n) = P n pour tout n ≥ 0.

(n)
Les propriétés 2.1 et 2.2 sont immédiates, car Pi,j est une probabilité et la somme
sur j pour tout i fixé donne la probabilité de l’ensemble de toutes les transitions pos-
sibles à partir de i. Ces deux propriétés signifient que la matrice de transition en n pas
est une matrice stochastique.

La propriété 2.3, appelée l’équation de Chapman- Kolmogorov, est obtenue en condi-

tionnant sur l’état à un instant intermédiaire k et 0 et n et en utilisant la stationnarité.
Cela donne
X
P(X = j|X0 = i) = P(Xn = j, Xk = l|X0 = i)
l
X
= P(Xn = j|Xk = l, X0 = i)P(Xk = l|X0 = i)
l
X
= P(Xn = j|Xk = l)P(Xk = l|X0 = i)
l
X
= P(Xn−k = j|X0 = l)P(Xk = l|X0 = i),
l

pour tous i, j et pour tout 0 ≤ k ≤ n.

Enfin la propriété découle de l’équation de Chapamn-Kolmogorov et du fait que
la matrice de transition en un pas est la matrice de transition elle-même, c’est-à-dire
P (1) = P. La proprit́é 4 est donc vraie pour n − 1 et, si elle set vraie pour n − 1 ≥ 1,
alors
P (n) = P (n−1) P (n) = P n−1 P = P n .
Le cas n = 0 est trivial par définition. La matrice de transition en n pas est donc donnée
par la n-ième itération de la matrice de transition, d’où l’importance de pouvoir calculer
la puissance d’une matrice.

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Définitions 15

2.3.3 Exemple : le temps d’un jour au suivant

On suppose que le temps qu’il fera demain, ou bien S pour ensoleillé ou bien N pour
nuageux, étant donné le temps qu’il fait aujourd’hui ne depende pas du temps qu’il faisait
les jours précédent. On désigne par Sn l’événement que le jour n ≥ 0 est ensoleillé et
par Nn celui qu’il est nuageux. Les probabilités conditionnelles suivantes sont données :
P(Sn+1 |Sn ) = 0, 2;
P(Sn+1 |Nn ) = 0, 4
On a alors
P(Nn+1 |Sn ) = 1 − P(Sn+1 |Sn ) = 0, 8;
P(Nn+1 |Nn ) = 1 − P(Sn+1 |Nn ) = 0, 6.
On définit la variable aléatoire Xn par Xn = 0 si Sn se réalise, et Xn = 1 si Nn se
réalise. La suite (Xn )n≥0 est une chaîne de markov à temps discret sur les états 0 et 1
dont la matrice de transition P est donnée par
 
0, 2 0, 8
P = .
0, 4 0, 6
On est lundi et c’est ensoleillé. on veut connaître la probabilité que le vendredi suivant
soit un jour ensoleillé. Or vendredi est dans quatre jours. On doit donc calculer
(4)
P(X4 = 0|X0 = 0) = P0,0 ,
soit l’entrée (0,0) de la matrice de transition en 4 pas. On obtient pour cette matrice
 4  2  
(4) 4 0, 2 0, 8 0, 36 0, 64 0, 3344 0, 6656
P =P = = = .
0, 4 0, 6 0, 32 0, 68 0, 3328 0, 6672
(4) (4)
On conclut que P0,0 = 0, 3344. On remarque que ctte probabilité est très pès de P1,0 . En
fait, les deux lignes de la matrice de transition en 4 pas sont pratiquement identiques,
ce qui siginifie que l’état de départ ne fait plus de différence après 4 pas. Ceci n’est pas
un hasard comme on le verra.

2.3.4 Exemple : le temps sur deux jours consécutifs

On reprend l’exemple précédent , mais on suppose maintenant que c’est le temps
qu’il fera demain étant donné le temps qu’il fait aujourd’hui et le temps qu’il faisait hier
qui ne dépende pas du temps des jours précédents avec les probabilités conditionnelles
suivantes :

P(Sn+1 |Sn , Sn−1 ) = 0, 1;

P(Sn+1 |Sn , Nn−1 ) = 0, 3;
P(Sn+1 |Nn , Sn−1 ) = 0, 3;
P(Sn+1 |Nn , Nn−1 ) = 0, 5.

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Définitions 16

La suite (Xn )n≥0 n’est plus une chaîne de Markov, car les deux premières probabilités
conditionnelles ci-dessus, par exemple, signifient que

P(Xn+1 = 0|Xn = 0, Xn−1 = 0) 6= P(Xn+1 = 0|Xn = 0, Xn−1 = 1).

On peut cependant obtenir une chaîne de Markov en considérant le temps qu’il
fait sur les deux derniers jours d’un jour au suivant. La suite (Yn )n≥1 , définie par
Yn = (Xn , Xn−1 ) pour n ≥ 1, est une chaîne de Markov t̀emps discret sur les états
(0, 0), (0, 1), (1, 0) et (1, 1) dans cet ordre dont la matrice de transition est donnée par
 
0, 1 0 0, 9 0
 0, 3 0 0, 7 0 
P =  0 0.3 0 0, 7  .


0 0, 5 0 0, 5
Onn a, par exemple,

P(Yn+1 = (1, 0)|Yn = (0, 1)) = P(Nn+1 , Sn |Sn , Nn−1 )

= P(Nn+1 |Sn , Nn−1 )
= 1 − P(Sn+1 |Sn , Nn−1 )
= 1 − 0, 3 = 0, 7.

On procède de la même façon pour toutes les autres entrées de la matrice de transition.

Il est à noter qu’on pourrait considérer de manière analogue un nombre quelconque

d’états pour le temps et un nombre quelconque de jours précédents avant d’avoir l’indé-
pendance.

2.3.5 Chaîne de Markov sur états

Dans le cas général d’une chaîne de Markov sur deux états, représentés par 0 et 1,
la matrice de transition est de la forme
 
1−a a
P = ,
b 1−b

où 0 ≤ a, b ≤ 1. On suppose ici que 0 < a, b < 1 de telle sorte que toutes les probabilités
de transition sont strictemment positives.

Pour calculer la matrice de transition en n pas, et donc la n-ième puissance de P , il

suffit de diagonaliser cette matrice. On a l’expression

P = QΛQ−1 ,

oú  
λ1 0
Λ .
0 λ2

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Définitions 17

est la matrice diagonale des valeurs propres, Q est une matrice dont les colonnes sont
de vecteurs propres à droite correspondantes et Q−1 ,une matrice dont les rangées sont
des vecteurs propres à gauche correspondants. Cela découle des équations P Q = QΛ et
Q−1 P = ΛQ−1 , respectivement. On obtient alors

P n = QΛn Q−1 ,

pour tout n ≤ 1. En effet, cette équation est vraie pour n = 1 est, si elle est vraie pour
n − 1, alors

P n = P P n−1 = QΛQ−1 QΛn−1 Q−1 = QΛΛn−1 Q−1 = QΛQ−1 ,

du fait que Q−1 Q = I.

Les valeurs propres sont obtenues en solutionnant l’équation

det(P − λI) = (1 − a − λ)(1 − b − λ) − ab = 0.

Cette équation est équivalente à

λ2 − (2 − a − b)λ + (1 − a − b) = 0.

On trouve les solutions

p
(2 − a − b) + (2 − a − b)2 − 4(1 − a − b)
λ1 = =1
2
et p
(2 − a − b)2 − 4(1 − a − b)
(2 − a − b) −
λ2 = = 1 − a − b.
2
d’autre part, les vecteurs propres doivent satisfaire l’équation
   
x1 x1
P =λ ,
x2 x2

donc
(1 − a)x1 + ax2 = λx1 ,
ce qui peut s’écrire sous la forme
x1 (λ + a − 1)
x2 = .
a
En faisaint x1 = 1 pour λ = 1 et x1 = a pour λ = 1 − a − b, on obtient
    
1 a 1 a 1 0
P = ,
1 −b 1 −b 0 1−a−b

d’où    
1 a 1 0 b a 1
P = .
1 −b 0 1−a−b 1 −1 a+b

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Méthode de conditionnement 18

La matrice de transition en n pas est alors donnée par

   
(n) n 1 a 1 0 b a 1
P =P = n .
1 −b 0 (1 − a − b) 1 −1 a + b

Puisque −1 < 1 − a − b < 1 lorsque 0 < a, b < 1, on obtient sous cette condition
 
(n) b a 1
lim P = .
n→∞ b a a+b
La limite de la matrice de transition en n pas lorsque n → ∞ a donc des lignes iden-
tiques. Cela signifie que la chaîne oublie son état initial à mesure que le temps coule. De
plus, quel que soit l’état initial, on a convergence vers une distribution de probabilité
qui est donnée par un vecteur propre à gauche de P associé à la valeur propre 1 dont
les composantes sont strictement positives et de somme éagle à 1. Cette convergnece
découle du fait que la matrice stochastique P a une valeur propre 1 qui possède un
vecteur propre dont toutes les composantes sont 1 et que cette valeur propre est simple
et dominante. C’est un cas particulier de théorème ergodique, qui est le résultat le plus
important sur les chaînes de Markov.

Dans l’exemp,e du temps d’un jour au suivant, on a a = 0, 8 et b = 0, 4. Cela donne

b 0, 4 1
= = .
a+b 1, 2 3
Les calculs effectués dans cet exemple montrent que cette limite est déjà pratiquement
atteinte lorsque n = 4.

2.4 Méthode de conditionnement

Dans cette section, nous présentons des exemples de calcul de probabilités et d’es-
pérance qui utilisent la méthode de conditionnement sur la prémière transition d’une
chaîne de Markov. L’événement ou la variable qu’on considère dépend de l’état initial
de la chaîne. Un système d’équations linéaires pour les probabilités ou espérances condi-
tionnelles est obtenu en conditionnant sur la première transition. Il reste par la suite à
résoudre ce système.

2.4.1 Exemple : jeu de pile ou face

Dans l’exemple suivant, un joueur lance une pièce de monnaie non pipée jusqu’à ce
qu’il obtienne trois faces consécutives. On s’intéresse à l’espérance du nombre de lancers
effectués et à l’espérance du nombre de faces obtenues jusqu’à la fin du jeu en supposant
que la pièce est équilibrée et que les lancers sont indépendants.

Pour effectuer les calculs, on considère la chaîne de Markov sur le nombre de faces
consécutives avant un lancer jusquà un maximum de trois. Les quatre états possibles

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Méthode de conditionnement 19

selon les résultats des trois derniers lancers avec F pour face, P pour pile, et X pour
pile ou face sont présentés dans le tableau 1. Les probabilités initiales de ces résultats y
sont également données.

Etat derniers lancers Probabilité initiale

3 F F F 1/2 × 1/2 × 1/2 =1/8
2 P F F 1/2 × 1/2 × 1/2 = 1/8
1 XP F 1 × 1/2 × 1/2 = 1/4
0 XXP 1 × 1 × 1/2 = 1/2
Tableau 1 Trois derniers lancers dans un jeu de pile ou face.

La matrice de transition par rapport aux états 0,1,2 et 3 est

 
1/2 1/2 0 0
 1/2 0 1/2 0 
P =  1/2
.
0 0 1/2 
0 0 0 1
L’état 3 qui correspond à F F F marque la fin du jeu. On définit

τi = E( nombre de lancers supplémentaires avant l’état 3 | état i),

pour i = 0, 1, 2, 3. Évidemment, τ3 = 0. En conditionnant sur le résultat du premier

lance supplémentaire à partir de l’état i, on obtient le système d’équations suivant :
1 1
τ2 = τ3 + τ0 + 1,
2 2
1 1
τ1 = τ2 + τ0 + 1,
2 2
1 1
τ0 = τ1 + τ0 + 1.
2 2
En effet, si le résultat du premier lancer supplémentaire est F , ce qui a comme proba-
bilité 1/2, alors le nombre de faces consécutives avant le prochain lancer augmante de
1, sinon il tombe à 0. Le premier lancer supplémentaire doit cependant être ajouté à la
nouvelle espérance dans les tous les cas.

La solution de ce système est donnée par τ0 = 14, τ1 = 12 et τ2 = 8. Finalement, en

conditionnant sur les résultats des trois premiers lancers, le nombre espéré de lancers
avant la fin du jeu est donné par
1 1 1 1
3 + τ3 + τ2 + τ1 + τ0 = 14.
8 8 4 2
On considère maintenant

νi = E( nombre de faces supplémentaires avant l’état 3 | état i),

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Méthode de conditionnement 20

pour i = 0, 1, 2, 3. Ici encore, ν3 = 0. Le système d’équations pour les autres espérance

est cependant différent, soit :
1 1
ν2 = (ν3 + 1) + ν0 ,
2 2
1 1
ν1 = (ν2 + 1) + ν0
2 2
1 1
ν0 = (ν1 + 1) + ν0 .
2 2
C’est que le premier lancer suppémentaire doit être ajouté à la nouvelle espérance seule-
ment si le résultat de ce lancer est F .

Ici, on trouve la solution ν0 = 7, ν1 = 6 et ν2 = 4, d’où le nombre espéré de faces

avent la fin du jeu est donné par
1 1 1 3 1
(ν3 + 3) + (ν2 + 2) + (ν1 + ) + (ν0 + 1) = 7.
8 8 4 2 2
Ce nombre espéré est donc égal à ν0 .

Il est intéressant de remarquer que ν0 = τ0 /2. On peut penser que le critère pour la
fin du jeu favorise les faces, ce qui n’est cependant pas le cas.

2.4.2 Exemple : ruine du joueur

Cet exemple est le plus important sur les chaînes de Markov. Deux joueurs, A et
B, qui ont un avoir total égal à N unités, font une série de parties, À chaque partie,
les deux joueurs misent une unité chacun et le gagnant récolte le tout. On suppose que
le joueur A a une probabilité p de gagner chaque partie et le joueur B la probabilité
complémentaire q = 1 − p et ce, indépendamment de toutes les autres parties. On fait
l’hypothèse que 0 < p < 1. Le jeu se termine lorsque l’un des joueurs est ruinné. L’autre
joueur se retrouve alors avec un avoir égal à N .

On définit Xn comme étant l’avoir de A après n parties pour n ≥ 0. On a une chaîne

de Markov à temps discret sur les éatats 0, 1, . . . , N vec 0 et N comme états absorbants.
Les probabilités de transition sont données par

Pi,i+1 = p, Pi,i−1 = 1 − p,

Pour i = 1, . . . , N − 1, alors que P0,0 = PN,N = 1. cela signifie que si l’avoir de A est
égal à i après n parties, alors après n + 1 parties, il est éagl à i + 1 avec probabilités p
et i − 1 avec probabilité q = 1 − p, en autant que 1 ≤ i ≤ N − 1. si l’avoir de A est égal
à 0 ou N , alors il ne change plus par la suite avec probabilité 1.
On s’intéresse à la probabilité de ruine du joueur A. On définit

ui = P( ruine de A | avoir initial i pour A),

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Méthode de conditionnement 21

Pour i = 0, 1, . . . , N. On a u0 = 1 et uN = 0. De plus, en conditionnant sur l’issue de la

prochaine partie lorsque l’avoir de A est i = 1, . . . , N − 1, on obtient
ui = pui+1 + qui−1 ,
c’est-à-dire
q
(ui+1 − ui ) = (ui − ui−1 ).
p
On obtient donc par récurrence
 q i
(ui+1 − ui ) = (u1 − u0 ).
p
Pour = 0, 1, . . . , N, on a alors
k−1 k−1  i
X X q
uk = (ui+1 − ui ) + u0 = (u1 − u0 ) + u0 ,
i=0 i=0
p
avec
N −1 
X q i
0 = uN = (u1 − u0 ) + u0
i=0
p
en u0 = 1. On conclut donc que
1
u1 − u0 = − ,
PN −1  q i
i=0 p

d’où  k
 1− N
si p = q = 1/2,
Pk−1  i 

q 

i=0 p
  k
uk = 1 − = 1− q
PN −1  q i  p

i=0 p


 1−  N si p 6= q,
 q
 1− p

Pour k = 0, 1, . . . , N. Ici, on utilise le fait que


Xk−1  k si r = 1,
i
r =
 1−rk
i=0
1−r
6 1.
si r =
En remplaçant k par N − k et p par q, on peut vérifier que la probabilité de ruine du
joueur B est 1 − uk lorsque l’avoir initial de A est égal à k. Donc, le jeu se termine avec
probabilité 1 par la ruine de l’un des deux jouers.

En laissant tendre l’avoir total des deux jouers vers l’infini, on obetient
si p ≤ q, c’est-à-dire si p ≤ 1/2,

 1

lim uk =  k
N →∞  q

p
si p > q, c’est-à-dire si p > 1/2.

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Classification des états 22

Ceci suggère que, dans le cas où l’avoir du joueur B est infini, la ruine du joueur A
est certaine si et seulement si sa probabilité de gagner chaque partie est inférieure ou à
égale à 1/2.

On considère maintanant l’espérance du nombre de parties jusqu’à la ruine de l’un

des deux joueurs dans le cas de joueurs de force égale, c’est-à-dire p = q = 1/2, ayant
un avoir total égal à N . Pour i = 0, 1, . . . , N, on définit

νi = E(durée du jeu | avoir initial i pourA).

En conditinnant sur l’issue de la prochaine partie lorsque l’avoir de A est i, on obtient

1 1
νi = νi+1 + νi−1 + 1,
2 2
c’est-à-dire
(νi+1 − νi ) = (ν1 − ν0 ) − 2i,
pour i = 1, . . . , N − 1, avec ν0 = νN = 0. Par conséquent, on a
k−1
X
νk = (νi+1 − νi ) + ν0
i=0
k−1
X
= (ν1 − 2i)
i=0
= kν1 − k(k − 1),

pour k = 0, 1, . . . , N, avec

0 = νN = N ν1 − N (N − 1),

c’est-à-dire ν1 = N − 1. On définit finalement que

νk = k(N − k),
pour k = 0, 1, . . . , N. On remarque que : (a) νN −k = νk , ce qui est attendu par symétrie ;
(b) la plus grande valeur de νk est atteinte lorsque k = [N/2], la partie entière de N/2 ;
mais surtout (c) l’espérance νk est toujours finie. Cette propriété interviendra dans la
classification des états d’une chaîne de Markov.

2.5 Classification des états

Il y a plusieurs types d’état. La classification des états d’une chaîne de Markov joue
le rôle essentiel dans l’étude de son comportement à long terme.

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Classification des états 23

2.5.1 Définitions
1. (a) Un état i est récurrent si
(n)
fii = Pii = P(retour à i | départ de i) = 1.

Sinon (fii < 1), alors l’état est transient.

(b) Un état récurrent i est récurrent nul si

µi = E( temps de premier retour à i | départ de i) = ∞.

Sinon (µi < ∞), alors l’état est rećurrent positif. Ici, le temps est mesuré en
nombre de transitions.
(c) La période d(i) d’un état i est définie par
(n)
d(i) = gcd{n ≥ 1 : Pii > 0}.

Par convention, d(i) = 0 si l’ensemble ci-dessus est vide. Un état i est pé-
riodique si d(i) > 1 est apériodique sinon (d(i) = 0 ou 1). On admettra que
(n)
d(i) = 1 si et seulement si Pii > 0 pour tout n ≥ N (i) pour un certain entier
N (i) ≥ 1.

(d) Un état récurrent positif apériodique est ergodique. C’est le cas en particulier
d’un état i tel que Pii = 1, qui dit est absorbant.

2.5.2 Exemples
Dans les exemples ci-dessous les états sont représentés par des cercles numérotés et
les transitions de probabilités strictement positives par des flèches.
(a) Dans l’exemple, l’état 2 est récurrent, car
1 1
P(non retour à 2 | départ de 2) = 2 × × × 1 × · · · = 0.
2 2
En effet, pour ne plus retourner à 2 à partir de 2, on doit : soit aller à 1(ce qui a une
probabilité égale à 1/2), puis faire la boucle 1,0,1 ( dont la probabilité est 1/2 × 1) une
infinité de fois ; soit aller à 3, puis faire la boucle 3,4,3 une infinité de fois, avec les mêmes
probabilités. Dans les deux cas, la probabilité totale est 0. De plus, d(2) = 2, car on
retourne à 2 à partir de 2 avec une probabilité strictement positive seulement en 2k pas,
pour k ≥ 1.
(b) L’état 2 est transient, car
1 1 1
P(non retour à 2 | départ de 2) ≥ × × 1 × 1 × · · · = > 0.
2 2 4
En effet, on ne retourne pas à 2 à partir de 2 si on va à 1( probabilité 1/2) puis à 0 (
probabilité 1/2), car on retourne par la suite à 0 ( probabilité 1) une infinité de fois.

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Classification des états 24

De plus, d(2) = 2 pour la même raison que dans l’exemple précédent, puisqu’on peut
retourner à 2 à partir de 2 avec une probabilité strictement positive en tout nombre pair
de pas.
(c) Dans l’exemple de , l’état 0 est récurrent , car
1 1 1
P(non retour à 0 | départ de 0) = × × × · · · = 0.
2 2 2
En effet, pour ne plus retourner à 0 à partir de 0, il faut d’abord aller à 1 ( probabilité
1/2), puis retourner à 1 (probabilité 1/2) une infinité de fois, ce qui a probabilité 0. De
plus, l’état 0 est apériodique, car

(1) 1
P00 = > 0.
2
Finalement, l’état 0 est récurrent positif, car l’espérance du temps de premier retour à
0 à partir de 0 est
X  1 k
µ0 = k
k≥1
2
1 X  1 k−1
= k
2 k≥1 2
1 d  X k
= s
2 ds k≥0 s= 21

1 d 1 
=
2 ds 1 − s s= 12
1  1 2
=
2 1 − s s= 12
= 2

qui est fini. On conclut que l’état 0 est ergodique.

(d) L’exemple décrit une situation identique au modèle de la ruine du joueur contre
un adversaire infiniment riche, à la différence qu’un bon samaritain donne l’équivalent
d’une mise au joueur lorsque celui-ci est ruiné. On suppose que 0 < p < 1. L’état 0
est périodique de période 2 pour la même raison que dans l’exemple (a). De plus, il est
transient si p > 1/2 et récurrent si p ≤ 1/2. En effet, puisqu’on va à 1 à partir de 0
avec probabilité 1, la probabilité de retourner à 0 à partir de 0, soit f00 , est égale à la
probabilité de ruine du joueur à partir d’un avoir initial de 1, c’est-à-dire

 1−p
< 1 si p > 12 ,
f00 = p
 1 si p ≤ 1 . 2

Quant à l’espérance du temps de premier retour à 0 à partir de 0, soit µ0 , lorsque l’état

0 est récurrent, elle est donnée par 1 plus l’espérance du nombre de parties jusqu’à la

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Classification des états 25

ruine du joueur à partir d’un avoir initial égal à 1, c’est-à-dire


1
1+ si p < 12 ,

µ0 = 1 − 2p
 ∞ si p = 12 .

L’espérance est alors finie, et donc l’état 0 est récurrent positif, si et seulement si p < 1/2.

2.5.3 Critère de classification

Les critères de classification des états suivants servent à démontrer de nombreux
résultats théoriques. Ils illustrent également le fait qu’un état récurrent nul partage une
propriété avec un état récurrent positif et une propriété avec un état transient.
(a) Un état i est récurrent si et seulement si
X (n)
Pii = ∞.
n≥1

(n)
Sinon, il est transient, et alors nécessairement lim Pii = 0.
n→∞

(b) Un état récurrent i est récurrent nul si te seulement si

(n)
lim Pii = 0.
n→∞

sinon, il est récurrent positif.

2.5.4 Partition des états

L’espace des états d’une chaîne de Markov peut être décomposé en classes d’états de
mêms type et de même période. De plus, certains types d’état sont exclus si le nombre
d’états dans la classe est fini.

Définitions
Deux états i et j communiquent, ce qui est noté i ↔ j, si j est accessible à partir de
i, c’est-à-dire
(n)
Pij > 0 pour un certain n ≥ 0,
et de même si i est accessible à partir de j, donc
(m)
Pji > 0 pour un certain m ≥ 0.

Cette relation binaire est une relation d’équivalence. En effet, elle est :
(0)
− réflexive : i ↔ i, puisque Pii = 1 > 0 ;
− symétrique : j ↔ i si i ↔ j, par définition ;

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Classification des états 26

(n) (m)
− transitive : i ↔ k si i ↔ j et j ↔ k, puisqu’alors Pij Pjk > 0 pour certain m, n ≥ 0,
et donc X (n) (m)
(n+m) (n) (m)
Pik = Pil Plk ≥ Pij Pjk > 0.
j

Les espaces des états peut donc être décomposé en classe d’équivalence. Lorsqu’il y a
une seule classe d’états, la chaîne est dite irréductible.

Proposition 2.1.
(n) (m)
Si i ↔ j, c’est-à-dire Pij Pji > 0 pour certains n, m ≥ 0, alors :
(a) i est récurrent si et seulement si j est récurrent ;
(b) i est récurrent positif si et seulemet si j est récurrent positif ;
(c) i et j ont la même période.
Puisqu’un état est ou bien récurrent ou bien transient, et qu’un état récurrent est ou
bien récurrent positif ou bien récurrent nul, les états d’une même classe sont de même
type et même période. Une classe (ou un chaîne irréductible) est dite transiente, récur-
rent positive ou nulle, périodique ou apériodique, et ergodique selon le type de ses états.

Proposition 2.2.

Les états d’une classe récurrente possèdent les propriétés suivantes.

(a) Si i est récurrent, alors

1 si j ↔ i,
fij = P(visite future à j | départ de i) =
0 sinon
(n)
Puisque Pij = 0 pour tout n ≥ 1 si i est récurrent et j n’appartient pas à la
classe de i, toute classe récurrente est une classe fermée.
(b) Si i et j sont dans la même classe récurrente, alors fki = fkj pour tout k.

Proposition 2.3.

Si l’espace des états est fini, alors :

(a) tous les états récurrents sont récurrents positifs ;
(b) dans tous les cas, il y a au moins un état récurrent.

Corollaire 2.1. Une chaîne irréductible (et toute classe fermée) sur un nombre fini
d’états est récurrente positive.

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Théorème ergodigue et distribution stationnaire 27

2.5.5 Exemples de partition des états

Une chaîne de Markov à temps discret sur les états 0, 1, 2, 3, 4 et 5 dans cet ordre a
des probabilités de transition en un pas données par la matrice
 
0 1/3 1/3 0 1/3 0
 0 0 0 1/2 0 1/2 
 
 0 1/2 0 0 0 1/2 
P =  .
 0 0 0 0 0 1 

 1/2 0 1/2 0 0 0 
0 1 0 0 0 0
Les états de la chaîne et les transitions de probabilité strictement positive. Il y a trois
classes d’états ;

− {2} transiente, car non fermée, et apériodique, car d(2) = 0 ;

− {0, 4} transiente, car non fermée, et périodique de periode 2, car

d(0) = gcd{2k : k ≥ 1} = 2;
− {1, 3, 5} récurrente positive, car fermée sur un nombre fini d’états, et apériodique, car
d(1) = gcd{2, 3, . . .} = 1,
donc ergodique.

2.6 Théorème ergodigue et distribution stationnaire

Cette section présente les principaux résultats sur les chaînes de Markov à temps
discret. Ces résultats décrivent la situation à long terme, c’est-à-dire après un très long
moment ou sur une très longue période de temps.

2.6.1 Théorème ergodique

(a) Dans tous les cas sauf peut-être dans celui où j est un état récurrent positif
périodique, on a
(n) 1
lim Pij = fij × ,
n→∞ µj
où
fij = P(visite future à j | départ de i)
et
µj = E(temps de premier retour à j| départ de j).
(b) Dans tous les cas, on a
n−1
1 X (k) 1
lim Pij = fij × .
n→∞ n µj
k=0

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Théorème ergodigue et distribution stationnaire 28

Remarque 2.1.

Les probabilités fij se calculent par la méthode de conditionnement sur la première

transition.

Remarque 2.2.

Pour tout état j récurrent nul ou transient , on a µ−1

j = 0.

Remarque 2.3.

Pour tout état j récurrent positif, la quantité µ−1

j représente la fraction moyenne de
visites à j à long terme à partir de l’état initial j

n−1
1 1 X (k)
= lim Pjj
µj n→∞ n
k=0
n−1
1X
= lim E(1{Xk =j} |X0 = j)
n→∞ n
k=0
 N (n) 
j
= lim E X0 = j ,
n→∞ n
où
n−1
X
Nj (n) = 1{Xk =j}
k=0

est le nombre de visites à j de l’instant n − 1.

2.6.2 Distribution stationnaire

Une suite finie ou infinie dénombrable π = (πj ) est appelée une distribution station-
naire pour une chaîne irréductible, donc avec une seule classe d’états, si et seulement si
les conditions suivantes sont satisfaites :
(a) πj > 0 pour tout j ;
P
(b) j πj = 1; et
P
(c) πj = i πi Pij pour tout j, c’est-à-dire π = πP en notation matricielle.
Les conditions (a) et (b) garantissent que (πj ) est une distribution de probabilité stric-
tement positive, alors que la condition (c) représente l’équation de stationnarité. En
notation matricielle, celle-ci aignifie que π est un vecteur propre à gauche de la matrice
de transition P associé à la valeur propre 1. Il est à noter que le vecteur dont toutes les
composantes sont égales à 1 est un vecteur propre à droite à la même valeur propre.

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Théorème ergodigue et distribution stationnaire 29

2.6.3 Matrice de transition doublement stochastique

Une matrice de transition P = (Pij ) pour une chaîne de Markov à temps discret est
dite doublement stochastique si la matrice transposée est aussi une matrice stochastique,
c’est-à-dire si X
Pij = 1,
i
pour tout j. Une chaîne de Markov irréductible sur un nombre fini N d’états, nomérotés
0, 1, . . . , N − 1, dont la matrice de transition est doublement stochastique admet un
distribution stationnaire uniforme donnée par πi = N −1 pour tout i = 0, 1, . . . , N −1. En
effet, les trois conditions pour une distribution stationnaire sont trivialement satisfaites.

2.6.4 Théorème sur la distribution stationnaire

Une chaîne irréductible a une distribution stationnaire (πj ) si et seulement si elle est
récurrente positive. Dans ce cas, la distribution stationnaire est unique et donnée par
πj = µ−1
j pour tout état j.

Remarque 2.4. .
Les équations de stationnarité signifie qu’à long terme la fraction moyenne de visites
à l’état j est éagle à la somme des fractions moyennes des visites aux différents états i
qui sont suivies immédiatement d’une transition à l’état j.
Remarque 2.5. .
Pour tout état j dans une classe récurrente positive C(j), qui est nécessairement
fermée, on a µ−1
j = πj , où (πj ) est une distribution stationnaire pour la chaîne de
Markov restreinte aux états de la classe C(j).

2.6.5 Chaîne irréductible apériodique à un espace d’états fini

Une chaîne irréductible apériodique sur un nombre fini d’états, disons 0, 1, . . . , N −1,
est récurrente positive et sa matrice de transition en n pas satisfait
 
π0 π1 · · · πN −1
lim P (n) =  ... .. . . .. 

n→∞
. . . 
π0 π1 · · · πN −1
où (π0 , π1 , . . . , πN −1 ) est la distribution stationnaire qui est donnée par l’identité πj =
µ−1
j pour j = 0, 1, . . . , N − 1.

2.6.6 Exemple : retour sur le temps d’un jour au suivant

On reprend l’exemple sur le temps d’un jour au suivant avec les états S (ou 0) pour
ensoleillé et N (ou 1) pour nuageux dont la matrice de transition est donnée par
 
0, 2 0, 8
P = .
0, 4 0, 6

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Théorème ergodigue et distribution stationnaire 30

On a ici une seule classe d’états, donc une chaîne irréductible, qui est récurrente positive,
car le nombre d’états est fini, et apériodique, car on a P00 = 0, 2 > 0. La chaîne est donc
ergodique. On a alors  
(n) π0 π1
lim P =
n→∞ π0 π1
pour la limite de la matrice de transition en n pas, où (π0 , π1 ) = π est la distribution
stationnaire. L’équation de stationnarité π = πP donne ici

π0 = 0, 2π0 + 0, 4π1

et
π1 = 0, 8π0 + 0, 6π1 ,
d’où π1 = 2π0 . La condition π0 + π1 = 1 permet alors d’obtenir π0 = 1/3 et π1 = 2/3.

2.6.7 Exemple : bonus-malus pour l’assurance-automobile

Dans l’exemple qui suit, on considère un système de bonus-malus tel qu’utilisé au
bresil pour l’assurance-automible. Il y a 7 classes d’assurés. La classe dans laquelle se
trouve un assuré détermine le pourcentage de la prime annuelle maximale qu’il doit
payer. De la classe 7 à la classe 1, on a les pourcentages suivants : 100%, 90%, 85%,
80%, 75%, 70% et 65%.

La classe d’un assuré change d’une année à la suivante selon le nombre de réclama-
tions effectuées durant l’année. La matrice de transition pour les classes de 7 à 1 dans
cet ordre est de la forme

1 − p0 p0 0 0 0 0 0
 
 1 − p0 0 p0 0 0 0 0 
1 − 1i=0 pi
 P 
 p1 0 p0 0 0 0 
1 − 2i=0 pi
 P 
P = p2 p1 0 p0 0 0 
1 − 3i=0 pi
 P 

 p3 p2 p1 0 p0 0 

P4
 1 − i=0 pi p4 p3 p2 p1 0 p0 
1 − 5i=0 pi
P
p5 p4 p3 p2 p1 p0
0ù
λk −λ
pk = e
k!
représente la probabilité de k réclamation durant l’année, pour k ≥ 0. On fait donc
l’hypothèse d’une loi de Poisson pour le nombre de réclamations.
Il y a une seule classe, car tous les états communiquent entre eux, et elle est ré-
currente positive, car il y a un nombre fini d’états. De plus, elle est apériodique, car
P11 = p0 > 0. On a donc affaire à une chaîne irréductible ergodique.

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Exercices 31

Dans le cas où λ = 0, 10, on peut vérifier que la distribution de probabilité π =

(π7 , π6 , π5 , π4 , π3 , π2 , π1 ) qui satisfait π = πP, donc la distribution stationnaire, et donnée
par

π7 = 0, 00001; π6 = 0, 00005; pi5 = 0, 00032; π4 = 0, 00215;

π3 = 0, 01444; π2 = 0, 09355; .π1 = 0, 88948.

Cela signifie notamment que presque 89% des assurés en moyenne à long terme sont
dans la classe 1. De plus, le pourcentage moyen ’‘a long terme de la prime payée par les
assurés est
π7 × 100% + π6 × 90% + · · · + π1 × 65% = 65, 65%,
ce qui est très près du pourcentage pour la classe 1.

2.7 Exercices
Exercice 2.1.

Supposons que le temps qu’il fait d’une journée à la suivante est décrit par une chaîne
de Markov sur les états 0,1,2 (0 pour ensoleillé, 1 pour nuageux, 2 pour pluvieux) dont
la matrice de transition est donnée par
 
1/2 1/2 0
P =  1/4 1/2 1/4  .
0 1/2 1/2
On est jeudi et c’est nuageux. Déterminer
(a) La probabilité que les trois prochains jours soient ensoleillés ;
(b) la probabilité que dimanche procahin soit ensoleillé.

Exercice 2.2.

En utilisant les propriétés d’uune matrice de transition, montrer que si P (2) est la matrice
de transition en deux pas d’une chaîne de Markov à temps discret sur deux états, 0 et
1, alors les entrées dans la première colonne de cette matrice satisfont l’inégalité
(2) (2)
p00 ≥ p10 .

Exercice 2.3.

On considère un pentagone régulier dont les sommets sont numérotés de 1 à 5 dans

le sens des aiguilles d’une montre. Initialement (soit à l’instant 0), deux coccinelles sont
placées aux sommets 1 et 3. À chaque instant suivant, chacune des coccinelles se déplace,
indépendamment de l’autre, vers l’un des deux sommets adjacents avec probabilités 1/2
pour chacun d’eux. Combien de temps en moyenne faudra-t-il pour que les deux cooci-
nelles se rencontrent au même sommet ? Suggestion. Considérer la distance en nombre
d’arêts entre les deux coccinelles.

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Exercices 32

Exercice 2.4.

Deux joueurs de tennis, A et B, sont rendus à égalité dans un jeu. Il faut deux
points d’avance pour être déclaré vainqueur. Un joueur qui a un point d’avance est dit
en avantage. En supposant que A a une probabilité p de gagner chaque point, et B une
probabilité 1 − p , indépendamment de tous les autres points, déterminer :
1. la probabilité pour A d’être déclaré vainqueur ;
2. l’espérance du nombre de fois que A sera en avantage avant la fin du jeu.

Exercice 2.5.

On lance une pièce de monnaie non pipée plusieurs fois indépendamment jusqu’à ce
qu’on obtienne trois faces consécutves (F F F ). Les résultats des trois premiers jets sont
F P F . En incluant ces trois premiers jets, déterminer la probabilité d’obtenir trois piles
consécutives (P P P ) avant la fin du jeu.

Exercice 2.6.

Une espèce de fleurs peut se trouver dans trois états : Viable (0), en voie de disparition
(1) ou éteinte (2). Les transitions d’états d’une année à la suivante sont modélisées par
une chaîne de Markov non homgène avec la matrice de transition Qi de l’année i − 1 à
l’année i définie comme suit :
   
0, 85 0, 15 0 0, 9 0, 1 0
Q1 =  0 0, 7 0, 3  , Q2 =  0, 1 0, 7 0, 2 
0 0 1 0 0 1
   
0, 95 0, 5 0 0, 95 0, 05 0
Q3 =  0, 2 0, 7 0, 1  , Qi =  0, 5 0, 5 0 
0 0 1 0 0 1
pour i ≥ 4. Calculer la probabilité que l’espèce de fleurs s’éteigne ultimement étant
donné qu’elle est initialement en voie de disparition.

Exercice 2.7.

Une plante survit d’un printemps au suivant avec probabilité 3/4 et, dans ce cas,
elle produit le printemps suivant 0,1 ou 2 autres plantes identiques à elle même avec la
même probabilité. Une plante peut donc survivre et se reproduire plusieurs printemps de
suite. On suppose une seule plante au départ et on considère le nombre total de plantes
à chaque printemps suivant.
1. L’extinction est-elle certaine ?
2. Si elle ne l’est pas, quelle est sa probabilité ?

Exercice 2.8.

On lance un dé non pipé à répétition de façon indépendante. On représente par Xn

le nombre maximum de points obtenus lors des n premiers jets. Détrminer

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Exercices 33

1. la matrice de transition de cette chaîne ;

2. les états transients, récurrents, périodiques et apériodiques.

Exercice 2.9.

Déterminer les classes d’états transientes, récurrents nulles, récurrentes positives,

périodiques (dans ce cas donner leur période) et ergodiques de la chaîne de Markov sur
les états 0, 1, . . . , dont la matrice de transition est :
(a)  
0 1/3 1/3 0 1/3

 1/2 0 0 1/2 0 
P =
 0 0 0 1 0 
 0 0 0 0 1 
0 0 1/2 1/2 0
(b)  
0 1/4 0 0 1/4 1/4 1/4

 0 0 1 0 0 0 0 


 1/3 0 0 1/3 0 0 1/3 

P =
 1/2 0 0 0 1/2 0 0 


 0 0 0 0 0 1 0 

 0 0 0 0 1/2 0 1/2 
0 0 0 0 0 1/2 1/2
Justifier vos affirmarions.

Exercice 2.10.

Une chaîne de Markov sur trois états, dis-on 0,1 et 2, a comme matrice de transition
 
1/4 3/4 0
P = 0 1 0 .
1/2 0 1/2
Déterminer :
(a) les classes d’états et leur type ;
(b) la matrice de transition en n pas ;
(c) la limite de cette matrice lorsque n tend vers l’infini.
indication : Diagonaliser la matrice de transition.

Exercice 2.11.

On considère la marche aléatoire sur les entiers avec probailités de transition données
par
Pi,i+1 = p, Pi,i−1 = q = 1 − p,
avec 0 < p < 1.

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Exercices 34

1. Déterminer P ij (n) et en déduire que tous les états communiquent entre eux, et
donc la chaîne est nécessairement irréductible.
2. Montrer que les états de la marche aléatoire ne peuvent être récurrents positifs
en utilisant la formule de Stirling donnée par
n!
lim √ = 1.
n→∞ nn+1 e−n 2π

3. Montrer que tous les états sont récurrents nuls si Pp = 1/2, etP
transents sinon.
Remarque. Si an , bn ≥ 0 et limn→∞ an /bn = 1, alors ∞ a
n=1 n et ∞
n=1 convergent
ou divergent ensemble.
Exercice 2.12.
Dans un test de Vrai ou Faux, les questions sont posées de telle façon que suite à une
réponse Vrai, une réponse Vrai est choisie les trois quarts du temps en moyenne et suite
à une réponse Faux, une réponse Faux est choisie les deux tiers du temps en moyenne.
Quelle est la fraction attendue des réponses Vrai sur un grand nombre de questions ?
Exercice 2.13.
Supposons que, d’une génération à la suivante, les familles changent de groupe de
revenu ( bas, moyen, élevé ) selon une chaîne de Markov dont la matrice de transition
est  
0, 6 0, 3 0, 1
P =  0, 2 0, 7 0, 1  .
0, 1 0, 3 0, 6
Comment devraient se répartir les familles dans les trois groupes de revenu après un
grand nombre de générations ?
Exercice 2.14.
Les résultats successifs de parties d’échecs d’un joueur contre un logiciel d’échecs
suivent une chaîne de Markov sur les états V pour victoire, D pour défaite et N pour
nulle avdc la matrice de transition correspondante donnée par
 
3/4 0 1/4
P =  0 3/4 1/4  .
1/2 1/4 1/4
Déterminer :
(a) la proportion moyenne de victoire à long terme de ce joueur ;
(b) l’espérance du nombre de parties d’une victoire à la suivante.
Exercice 2.15.
Soit Sn la somme des points obtenus en lançant un dé non pipé n fois de façon
indépendante. La probabilité que Sn soit un multiple du nombre 6 converge-t-elle lorsque
n tend vers l’infini ? Si oui, quelle est la limite ?

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Exercices 35

Exercice 2.16.
Une chaîne de Markov sur les états 0,1,3 et 4 a comme matrice de transition
 
0 0 1/2 1/4 1/4
 0 1/2 1/2 0 0 
 
P =  0 1/4 3/4 0 0 

 0 0 0 1 0 
1 0 0 0 0
Déterminer, si elles existent, les limites des probabilités de transition en n pas suivantes :
(n)
(a) lim P00 ;
n→∞
(n)
(b) lim P01 .
n→∞

Exercice 2.17.
Une chaîne de Markov sur un nombre fini d’états avec matrice de transition P est
dite régulier s’il existe un entier N ≥ 1 tel que la matrice P N est strictement positive (
c’est-à-dire que toutes ses entrées sont supérieures à 0). Montrer que la chaîne de Markov
sur les états 0,1,2,3 et 4 avec la matrice de transition ci-dessous est régulière et trouver
sa distribution stationnaire :
 
3/4 1/4 0 0 0
 3/4 0 1/4 0 0 
 
P =  3/4 0 0 1/4 0  .
 3/4 0 0 0 1/4 
1 0 0 0 0
Exercice 2.18.
Une suterelle se déplace sur les sites 0,1 et 2 disposés sur un cercle en allant à chaque
saut au site adjacent dans le sens des aiguilles d’une montre avec probabilité p et au site
(n)
adjacent dans le sens contraire avec probabilité 1 − p. Soit Pij la probabilité de passer
du site i au site j en n sauts.
(n)
(a) Déterminer les valeurs de p pour lesquelles Pij converge pour tous i, j et trouver
alors les valeurs limites
Pn−1 (k)
(b) Répondre à la question pour (1/n) k=0 Pij .
(c) Répondre aux deux mêms questions dans le cas où on ajoute un site 3.
Exercice 2.19.
une chaîne de Markov à temps discret sur les entiers supérieurs ou égaux à 0 a comme
probabilités de transition

Pi,i+1 = p, Pi,i = q, Pi,0 = 1 − p − q,

pour tout i ≥ 1, et P0,1 = p, P0,0 = 1 − p, avec p, q > 0 et p + q < 1. Déterminer :

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

Exercices 36

(a) les valeurs de p et q pour lesquelles la chaîne est récurrente positive ;

(b) l’espérance du temps de premier retour à l’état 0 à partir de l’état 0 lorsque la
chaîne est récurrente positive.

Exercice 2.20.

une chaîne de Markov à temps discret sur les entiers supérieurs ou égaux à 0 a comme
probabilités de transition
1 1
Pi,i+1 = , Pi,0 = 1 − ,
2(i + 1) 2(i + 1)

pour tout i ≥ 0, Déterminer :

(a) les classes d’états et leur type (transiente, récurrente positive, ou nulle, ergo-
dique) ;
(n)
(b) lim P0,2 si la limitye existe, en précisant pourquoi la limite existe ou pourquoi
n→∞
elle n’existe pas.

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025

 Bibliographie

[1] Baxter M., Rennie A. Financial calculus : an introduction to derivative pricing.

Cambridge University University Press, Cambdridge, 1999.
[2] Chabardes P., Delcaux F. PRoduits dérivés. Gualino Editueur, Paris, 1998.
[3] Demange G., Rochet J-C. Méthodes mathématiques de la finance. 3e édition Eco-
nomica, Paris, 2005. Probabilités pour Scientifiques et ing ?énieurs, Patrick BO-
GAERT, Édition de Boeck.
[4] Hull, J. Options, futures and other derivatives. 6e édition, Prentice Hall, 2005.
[5] Karatzas I., Shreve S.E. Brownian Motion and Stochastic Calculus. Springer-Verlag,
New-York, 1998.
[6] Lamberton D., Lapeyre B. Introduction au calcul stochastique appliqué à la finance.
Seconde édition. Ellipses, Edition Martketing
[7] Statistical inference, George CASELLA et Roger L. BERGER, Brooks/Cole Publi-
shing Company.
[8] Statistiques appliqués à l’économie, Jérôme HUBLER, Edition Breal
[9] Statistiques appliquées à la gestion,Vincent GIARD,Economica,8 ème Edition.

Processus markoviens Pr Ibrahim NONKANE c IUFIC 2024-2025