Université Paris Diderot

2016

Chaı̂nes de Markov

Exercices 4

1 Chaı̂nes à temps continu, espace d’état fini

Exercice 1 On considère la chaı̂ne à temps continu sur l’espace {1, 2, 3}, de générateur
 
−2 1 1
 1 −2 1  .
1 1 −2

1. Tracer le diagramme de la chaı̂ne

   
−2 0 1 −3 0 0
2. Vérifier que si A =  1 −1 1 on a A−1 QA =  0 −3 0 et en déduire
1 1 1 0 0 0
tQ
P (t) = e pour t ≥ 0.
3. Calculer pour t ≥ 0 P1 (Xt = 1), P1 (Xt = 2), P1 (Xt = 3). Que remarque-t-on lorsque
t → ∞?

1.
 
−2 1 1
2. La vérification est évidente, et comme A−1 = 61  0 −3 3 on en déduit
2 2 2
 −3t 
e 0 0
P (t) = A  0 e−3t 0 A−1
0 0 1
−3t 2 − 2e−3t 2 − 2e−3t
 
2 + 4e
1
= 2 − 2e−3t 2 + 4e−3t 2 − 2e−3t 
6
2 − 2e−3t 2 − 2e−3t 2 + 4e−3t

3. P1 (Xt = 1), P1 (Xt = 2), P1 (Xt = 3) sont donnés respectivement par les entrées
successives de la première ligne de P (t), calculée ci-dessus. On constate que lorsque
t → ∞, ces trois quantités convergent vers 1/3, i.e. par des considérations de
symétrie, les poids attribués à 1, 2, 3 par la mesure stationnaire de la chaı̂ne. On a
donc vérifié le théorème de convergence dans ce cas précis et pour la chaı̂ne issue de
l’état 1. En fait le calcul de la question précédente fournit plus d’informations : on a
convergence vers la mesure stationnaire quelque soit le point de départ, et on a des
formules exactes (en particulier on a accès à la vitesse de convergence).

1
Exercice 2 On considère la chaı̂ne à temps continu sur l’espace {1, 2, 3}, de générateur
 
−2 1 1
 4 −4 0  .
2 1 −3
     
1 0 1
1. Vérifier que 1 , −1 , −4 sont des vecteurs propres de Q.
1 1 1
2. Calculer pour t ≥ 0 P1 (Xt = 1), P1 (Xt = 2), P1 (Xt = 3), que se passe-t-il lorsque
t → ∞?
1. C’est évident, et les valeurs propres associées sont 0, −5, −4.
2. Comme dans l’exercice précédent on peut diagonaliser Q et calculer
3 + 2e−4t 1 − e−4t 1 − e−4t
 
1
P (t) = 3 − 8e−4t + 5e−5t 1 + 4e−4t 1 + 4e−4t − 5e−5t 
5
3 + 2e−4t − 5e−5t 1 − e−4t 1 − e−4t + 5e−5t
Les valeurs recherchées correspondent aux entrées successives de la première ligne de
P (t). Lorsque t → ∞, on constate (quelque soit la mesure initiale) la convergence de
la distribution de Xt vers la mesure stationnaire λ = (3/5 1/5 1/5).

Exercice 3 On considère la chaı̂ne à temps continu sur l’espace {1, 2, 3, 4}, de générateur
 
−2 1 1 0
 0 −1 1 0
 .
0 0 −1 1 
1 0 0 −1
La chaı̂ne est-elle irréductible ? Calculer ses distributions invariantes. Que valent
limt→∞ P1 (Xt = x), x ∈ E ?
La matrice de transition associée est
 
0 1/2 1/2 0
0 0 1 0
Π= 0 0
,
0 1
1 0 0 0
qui est clairement irréductible puisque 1 → 2 → 3 → 4 → 1. Une distribution invariante de
X doit vérifier en particulier que λQ = 0, i.e. QT λT = 0, et donc on commence par
déterminer ker(QT ). En appliquant l’algorithme du pivot à QT , il vient
   
1 −1 0 0 1/2
T
0 1 −1/2 0  1/2
ker(Q ) = ker   = Vect   .
0 0 1 −1  1 
0 0 0 0 1
P
Reste à vérifier que λi ≥ 0, i = 1, 2, 3, 4, 1≤i≤4 λi = 1, et on obtient finalement que
l’unique mesure invariante est  
1 1 1 1
λ= .
6 6 3 3

2
Notre chaı̂ne est irréductible et récurrente, le théorème de convergence s’applique et pour
tout i = 1, 2, 3, 4,
lim Pi (Xt = j) = λj , j = 1, 2, 3, 4.
t→∞

2 Propriétés des lois exponentielles

Exercice 4 Soient X1 , X2 , ... des variables indépendantes suivant des lois exponentielles de
paramètres respectifs λ1 , λ2 , .... Montrer que
 
X 1 X
< ∞ ⇒ P Xn < ∞ = 1
λn
n≥1 n≥1
 
X 1 X
= ∞ ⇒ P Xn = ∞ = 1
λn
n≥1 n≥1

P P 1
On a E[ n≥1 Xn ] = n≥1 λn , il est donc évident que
 
X 1 X
< ∞ ⇒ P Xn < ∞ = 1.
λn
n≥1 n≥1

P 1
A contrario, supposons que n≥1 λn = +∞. Alors
  
X Y 1
E exp − Xn  = = 0,
1/λn + 1
n≥1 n≥1

P 
de sorte que P n≥1 Xn = ∞ = 1.

Exercice 5 Soient X1 , X2 , ... des variables indépendantes suivant des lois exponentielles de
paramètres respectifs λ1 , λ2 , ....
1. Quelle est la loi de min(X1 , X2 ) ? Et celle de min(X1 , ..., Xk ), pour un k ≥ 2 ?
P
2. Montrer que si Λ := k λk < ∞, alors X = inf k∈N∗ Xk définit une variable
strictement positive, quelle est sa loi ? Montrer que l’infimum est atteint en un indice
aléatoire K, indépendant de X, et dont on précisera la loi.
P
3. Que se passe-t-il lorsque Λ = k λk = +∞ ?

1. Par indépendance on a
k k k
!
Y Y X
P( min Xi > t) = P(Xi > t, i = 1, ..., k) = P(Xi > t) = e−λi t = exp − λi t ,
1≤i≤k
i=1 i=1 i=1
P 
k
de sorte que min1≤i≤k Xi ∼ exp i=1 λi .

3
 2. La même preuve qu’à la question précédente permet d’établir que X ∼ exp(Λ). On
note alors (
i si X = Xi
K= ,
0 si l’infimum n’est pas atteint
qui est clairement bien défini puisque p.s. ∀i 6= jXi 6= Xj . On a pour i ≥ 1
Z +∞
P(X > t, K = i) = P(Xj > Xi ∀j 6= i) = dxλi exp(−λi x)P(Xj > x, ∀j 6= i)
t
Z +∞ Y
= dxλi exp(−λi x) P(Xj > x)
t j6=i
 
Z +∞ X
= dxλi exp(−λi x) exp − λ j x
t j6=i
Z +∞
λi
= dxλi exp(−Λx) = exp(−Λt).
t Λ
On déduit donc que K est indépendant de X. la P loi de K est donnée par
P(K = i) = λi /Λ, i ≥ 1 (en particulier on a bien i≥1 P(K = i) = 1 de sorte que
P(K = 0) = 0, i.e. l’infimum est atteint presque sûrement).
P
3. Lorsque i≥1 λi = +∞, on a pour tout t > 0,
Y
P(X > t) = P(Xi > t) = 0,
i≥1

de sorte que dans ce cas la variable X est presque sûrement nulle.

Exercice 6 Soient X1 , X2 , ... des variables i.i.d suivant la loi exponentielle de paramètre λ
PN indépendante des Xi , i ≥ 1, de loi géométrique de paramètre β. Quelle est
et N une variable
la loi de X := k=1 Xk ?
On a pour t ≥ 0
 
Y
E[exp(−tX)] = E  exp(−tXi )
i≤N
  
Y
= E E  exp(−tXi ) | N 
i≤N
" N #
λ
= E
λ+t
βλ
λ+t
= λ
1 − (1 − β) λ+t
βλ
= ,
t + βλ
de sorte que X ∼ exp(βλ).

4
3 Processus de Poisson
On rappelle que le théorème 4.1 du cours donne trois définitions équivalentes d’un processus
de Poisson.

Exercice 7
1. Soit (Xt , t ≥ 0), (Yt , t ≥ 0) deux processus de Poisson indépendants de paramètres
respectifs λ, µ. Quelle est la loi de (Zt := Xt + Yt , t ≥ 0) ?
2. Comment la question précédente se généralise-elle à une famille de processus de
Poisson indépendants ?
3. On suppose que (Jn )n≥1 sont les temps de sauts d’un processus de Poisson de
paramètre λ. On introduit alors (ξn )n≥1 des variables i.i.d, Bernoulli de paramètre p,
indépendantes de (Jn ). On pose alors pour n ≥ 1,
k
X
un = inf{k ∈ N : ξi = n}, Kn = Jun ,
i=1
k
X
vn = inf{k ∈ N : (1 − ξi ) = n}, Ln = Jvn .
i=1

Montrer que les (Jun , Jvn , n ≥ 1) sont les temps de sauts de deux processus de
Poisson indépendants dont on précisera les paramètres respectifs.
4. Comment peut-on généraliser la question précédente et former une famille de
processus de Poisson indépendants à partir d’un processus de Poisson initial ?

1. En utilisant Théorème 4.1 (b) on voit que les accroissements de X et de Y sont

indépendants, et donc ceux de Z le sont également. Par ailleurs, uniformément en t,

P(Zt+h −Zt = 0) = P(Xt+h −Xt = 0, Yt+h −Yt = 0) = (1−λh+o(h))(1−µh+o(h)) = 1−(λ+µ)h+o(h),

P(Zt+h −Zt = 1) = P(Xt+h −Xt = 0, Yt+h −Yt = 1)+P(Xt+h −Xt = 1, Yt+h −Yt = 0) = (λ+µ)h+o(h),
et donc P(Zt+h − Zt ≥ 2) = o(h). On conclut que Z vérifie la caractérisation du
Théorème 4.1(b) d’un processus de Poisson de paramètre λ + µ
2. On a un résultat identique pour une famille au plus dénombrable de processus de
Poisson indépendants dont la somme des paramètres reste finie (voir Prop 4.1 du
cours pour une formulation précise). Dans le cas d’une famille finie, la question
précédente et une récurrence immédiate permettent de conclure. Pour la preuve dans
le cas d’une famille dénombrable on peut par exemple utiliser la caractérisation du
Théorème 4.1(c). Les accroissements de chacun P des processus (Xi , i ≥ 1) sont
indépendants et stationnaires, ceux de X = i≥1 Xi le sont donc également. Il est
par ailleurs facile de vérifier (en utilisant par exemple les fonctions génératrices)
qu’une somme de variables
P de Poisson de paramètres respectifs λi , i ≥ 1 reste Poisson
de paramètre Λ = i λi , ce qui permet de conclure que le processus X vérifie la
caractérisation du Théorème 4.1(c) d’un processus de Poisson de paramètre Λ.
3. voir la question suivante.

5
 4. Le cadre général (le processus de la boı̂te de peinture), partant d’un processus de
Poisson X de paramètre λ et une distribution (pi , i ∈ I) revient à poser
Xt
X
Xi (t) = ξn,i ,
n=1

où les (ξn,i , n ∈ N) sont i.i.d Ber(p

P i ), et pour tout n ∈ N, (ξn,i , i ∈ I) est indépendant
de {ξn0 ,i , n0 6= n, i ∈ I} et enfin i∈I ξn,i = 1.
Les accroissements du processus initial X sont indépendants et stationnaires ; ceux de
chacun des Xi , i ∈ I le restent donc également. Pour la loi jointe de (Xi (t), i ∈ I) on
peut travailler par exemple avec les fonctions génératrices : pour ui ∈ [0, 1], i ∈ I, on a
" # " #
Y X (t) Y PXt ξn,i
i
E ui = E ui n=1
i∈I i∈I
 
X (λt)p Y ξ
= exp(−λt)E  ui n,i 
p!
p∈N i∈I,1≤n≤p
!p
X (λt)p X
= exp(−λt) pi ui
p!
p≥1 i∈I
!
X Y
= exp λt pi ui − λt = exp (λpi t(ui − 1))
i∈I i∈I

de sorte que les (Xi (t), i ∈ I) sont des variables de Poisson indépendantes de
paramètres respectifs λpi t, i ∈ I. On conclut que les (Xi , i ∈ I) sont indépendantes et
d’après le Théorème 4.1(c), des processus de Poisson de paramètres respectifs
λpi , i ∈ I.

Exercice 8 Soit (Xt , t ≥ 0) un processus de Poisson de paramètre λ. Montrer que sachant

{Xt = n}, les n premiers sauts de Xt ont la même loi que la statistique d’ordre de n
variables indépendantes et uniformes sur [0, t].
Les Si , i ≥ 1 sont i.i.d suivant une loi exponentielle de paramètre λ, la densité jointe de
(S1 , ..., Sn+1 ) est donc λn+1 exp(−λ(s1 + ... + sn+1 ))1{s1 ≥0,...,sn+1 ≥0} , et donc, par la formule
de changement de variables la densité jointe de
(J1 , ..., Jn+1 ) = (S1 , S1 + S2 , ..., S1 + ... + Sn+1 ) est

λn+1 exp(−λtn+1 )1{0≤t1 ≤...≤tn+1 } .

Il suit que pour A ∈ B([0, t]n ), on a

P((J1 , ..., Jn ) ∈ A, Xt = n) = P((J1 , ..., Jn ) ∈ A, Jn+1 > t)

Z Z ∞
= dt1 ...dtn 1{0≤t1 ≤...≤tn } dtn+1 λn+1 exp(−λtn+1 )
ZA t
n
= dt1 ...dtn 1{0≤t1 ≤...≤tn } λ exp(−λt).
A

6
 n
Par ailleurs P(Xt = n) = exp(−λt) (λt) n! , on déduit que
Z
n!
P((J1 , ..., Jn ) ∈ A | Xt = n) = dt1 ...dtn 1{0≤t1 ≤...≤tn } n ,
A t
comme souhaité.

Exercice 9 On suppose que les temps de passage du bus 27 à l’arrêt Place d’Italie sont les
temps de sauts d’un processus de Poisson X de paramètre α, ceux du bus 21 au même arrêt
sont les temps de sauts d’un processus de Poisson Y de paramètre β, indépendant de X.
L’unité de temps choisie est l’heure.
1. Quelle est la probabilité d’attendre le prochain bus plus d’une demi-heure ?
2. Quelle est la probabilité qu’exactement (resp. au moins) 50 bus passent entre 7h et
9h ?
3. Quelle est la probabilité de voir passer k bus 21 avant de voir passer le premier bus
27 ?
4. Quelle est la probabilité qu’exactement k bus 21 passent pendant la première heure
sachant que n bus passent au total pendant cette heure ?
5. Dans cette question on considère l’événement
A := {100 bus passent à l’arrêt entre 7h et 9h}. Sachant A, quelle est la probabilité :
(a) que 30 de ces bus sont passés entre 7h et 8h ?
(b) que l’on attende plus d’une demi-heure le premier bus à partir de 7h
Quel est le temps moyen d’attente d’un bus après 7h, sachant A ?
6. Dans cette question on suppose qu’une grève affecte le service, et la moitié des bus
sont supprimés de fao̧n indépendante. Les bus sont bondés, on décide de laisser
passer le premier puis de prendre d’assaut le second. Quelle est la loi du temps
d’attente ? Et celle du temps d’attente du premier (resp. du second) bus 27 ?
Sans perte de généralité on peut fixer l’origine des temps à 7h dans la suite de l’exercice. Les
temps de passage des bus 27 et 21 sont les temps de saut de processus de Poisson (disons
X1 , X2 ) indépendants de paramètres respectifs α, β, donc d’après l’exercice 7, les temps de
passage des bus (de numéro quelconque) sont les temps de saut d’un processus de Poisson
(notons le X) de paramètre α + β. Notons, toujours d’après l’exercice 7, que si à partir de
X, on effectue le processus de la boı̂te de peinture avec deux couleurs, avec
α
p1 = α+β , p2 = 1 − p1 , alors la paire de processus (X̃1 , X̃2 ) obtenue est égale en loi à
(X1 , X2 ).
1. Ne voir aucun bus dans la demi-heure qui suit notre arrivée au temps t0 (en toute
rigueur, notre convention sur l’origine des temps impose que t0 est postérieur à 7h, et
si il était antérieur il faudrait fixer une origine des temps plus matinale, mais peu
importe : on va voir que la réponse ne dépend pas de t0 ) à l’arrêt correspond à
l’évévenement {Xt0 +1/2 − Xt0 = 0}, et sa probabilité est donc exp(−(α + β)/2).
2. Comme dans la question précédente (rappelons qu’on a fixé l’origine des temps à 7h),
on s’intéresse aux événements {X2 = 50}, {X2 ≥ 50}, de probabilités respectives

(2(α + β))50 X (2(α + β))k

exp(−2(α + β)) , exp(−2(α + β)) .
50! k!
k≥50

7
3. Quitte à (sans changer la loi jointe, comme mentionné en préambule) effectuer le
processus de la boı̂te de peinture, i.e. considérer les temps d’arrivée des bus
quelconques, puis à ”colorier” indépendamment chaque temps en ”bus 27” avec
probabilité α/(α + β), sinon en ”bus 21”, on voit que l’événement
{voir passer k bus 21 avant le premier bus 27} correspond exactement à l’événement
{les k premiers temps sont ”coloriés en bus 21”}, dont la probabilité est
(β/(α + β))k .
4. Toujours grâce au processus de la boı̂te de peinture, on recherche la probabilité
conditionnelle de l’événement
{k points de l’intervalle [0, 1] sont ”coloriés en bus 21”} sachant que l’intervalle [0, 1]
compte un total de n points. Comme les coloriages sont indépendants, la probabilité
recherchée est la probabilité qu’une binômiale de paramètres n, β/(α + β) prenne la
valeur k, i.e.
  k  n−k
n β α
k α+β α+β
5. Comme plus haut
(2(α + β))100
P(A) = exp(−2(α + β)) .
100!
D’après l’exercice 8, conditionnellement à A, la loi des temps de passage des 100 bus
est celle de la statistique d’ordre de 100 variables i.i.d suivant la loi uniforme sur
[0, 2]. Notons que la probabilité qu’une des variables uniformes prenne sa valeur dans
[a, b] ⊂ [0, 2] est (b − a)/2, et que la probabilité que k temps de passage tombent
entre a et b est donc la probabilité qu’une binômiale de paramètres 100, (b − a)/2
prenne la valeur k. On en déduit les résultats souhaités :
(a) 100

1
30 2100
100
(b) 34100
Enfin, toujours conditionnellement à A, le temps de passage (disons T ) du premier
des 100 bus est le minimum de 100 variables i.i.d uniformes sur [0, 2]. On a donc
100
(2 − t)+

P(T > t) = ,
2
2 − t 100
Z 2 
2
E[T ] = dt = .
0 2 101
6. On peut à nouveau reconstruire le processus des temps de passage des bus à l’aide
d’une boı̂te de peinture sur les temps de saut de X (de paramètre α + β). On
”colorie” ici en ”gréviste”, ”bus 27, non gréviste”, et ”bus 21, non gréviste”, avec
probabilités respectives 1/2, α/2(α + β), β/2(α + β). Ainsi les bus non grévistes
passent désormais suivant les temps de saut d’un processus de Poisson de paramètre
(α + β)/2, et les bus 27 (non grévistes) passent suivant les temps de saut d’un
processus de Poisson de paramètre α/2.
Le temps de passage du deuxième bus est la somme de deux exponentielles
indépendantes de paramètre (α + β)/2 (c’est donc cune loi gamma de paramètres
2, (α + β)/2), son espérance est donc 4/(α + β).
Le temps de passage du premier bus 27 est une exponentielle de paramètre α/2, son
espérance est 2/α.

8
4 Cas général

Exercice 10 On considère une chaı̂ne de générateur Q, et A ⊂ E. On note TA le temps

d’atteinte de A. Montrer que
(
0 si x ∈ A
Ex [TA ] = 1 P
qx + y6=x πxy Ey [TA ] si x ∈
/A
P
Remarquer que pour x ∈ / A l’équation ci-dessus peut être réécrite y∈E qxy Ey [TA ] + 1 = 0.
Application Calculer E1 [T3 ] pour les chaı̂nes des exercices 1,2.
Si x ∈ A, TA = 0 et donc Ex (TA ) = 0.
Sinon, le temps passé en x avant le premier saut J1 de la chaı̂ne est exponentiel de
q
paramètre qx , et pour y 6= x, Px (XJ1 = y) = qxyx
= πxy . Par Markov fort au temps J1 , on a
donc que la loi de TA sous Px est égale à celle de J1 + T˜A , où avec probabilité πxy , T̃A a la
loi de TA sous Py . On a donc bien, pour x ∈ / A.

1 X
Ex [TA ] = + πxy Ey [TA ].
qx
y6=x

Quitte à multiplier par qx = −qxx , on a donc pour x ∈/ A,

X
−qxx Ex [TA ] = qxy Ey [TA ] + 1,
y6=x

ce qui conduit à l’équation souhaitée.

Application : Dans les deux cas, on a le système

q[ 11]E1 [T3 ] + q12 E2 [T3 ] + 1 = 0, q21 E1 [T3 ] + q22 E2 [T3 ] + 1 = 0.

Dans le cadre de l’exercice 1, la résolution du système donne E1 [T3 ] = E1 [T2 ] = 1. Dans le

cadre de l’exercice 3, on trouve E1 [T3 ] = 5/4, E2 [T3 ] = 3/2.

Exercice 11 Des clients arrivent à un serveur aux temps de sauts processus de Poisson X
de paramètre λ, les temps de service sont indépendants de X et i.i.d suivant la loi
exponentielle de paramètre µ. On note (Yt , t ≥ 0) le nombre de clients dans la file d’attente
au temps t, (Jn , n ≥ 1) les temps de sauts de Y et S1 = J1 , Sn = Jn − Jn−1 , n ≥ 1.
1. Quelle est la loi de Sn+1 sachant YJn = 0 ?
2. Quelle est la loi de Sn+1 sachant YJn > 0 ?
3. Donner la loi de YJn+1 sachant YJn .
4. Calculer le générateur de Y .
5. A quelle condition la chaı̂ne est-elle récurrente ?
 k
6. Montrer que pour C ≥ 0, π(k) = C µλ , k ∈ N est une mesure invariante de la
chaı̂ne. La chaı̂ne possède-t-elle une distribution invariante ?

9
1. Sachant YJn = 0, il n’y a pas de clients dans la file au temps Jn . Le saut Jn+1
correspond donc forcément au temps d’arrivée du client suivant, i.e. au prochain saut
de X qui est un processus de Poisson de paramètre λ. On a donc que
conditionnellement à YJn = 0, Sn+1 ∼ exp(λ). En fait notre raisonnement permet
même d’affimer que si Q est le générateur de Y , q0 = q01 = λ.
2. Sachant YJn > 0, il y a au moins un client dans la file qui est en train d’être servi. Le
prochain saut de Y correspond donc ou bien au temps de service de ce client, ou bien
à la prochaine arrivée d’un client dans la file. Mais les temps de service étant
indépendants de X, on a donc que conditionnellement à YJn = 0, Sn+1 = min(e, e0 ) où
e ∼ exp(λ), et e0 ∼ exp(µ). Ainsi conditionnellement à YJn = 0, Sn+1 ∼ exp(λ + µ).
En fait notre raisonnement permet même d’affimer que si k > 0,
qk,k+1 = λ, qk,k−1 = µ, qk = λ + µ.
3. D’après ce qui précède,
λ
P(YJn+1 = 1 | YJn = 0) = 1, P(YJn+1 = YJn +1 | YJn > 0) = 1−P(YJn+1 = YJn −1 | YJn > 0) = .
λ+µ
4. voir les questions 1 et 2.
5. La chaı̂ne de sauts correspondantes, notons la Z, a pour matrice de transition Π telle
que
λ
π01 = 1, ∀k ∈ N∗ , πk,k+1 = 1 − πk,k−1 = .
λ+µ
λ
On déduit que Z est une marche simple sur N réfléchie en 0, avec p := λ+µ , elle est
donc récurrente ssi p ≤ 1/2 i.e. λ ≤ µ
Ce qu’on vient de démontrer n’est pas très surprenant : dans le cas où la moyenne de
temps de service 1/µ est strictement supérieur à la moyenne du temps séparant
l’arrivée de clients successifs 1/λ, la file d’attente va exploser et on est dans le cas
transient. A l’inverse lorsque la moyenne de temps de service 1/µ est inférieure ou
égale à la moyenne du temps séparant l’arrivée de clients successifs 1/λ, il y aura des
temps où le serveur est inactif.
6. On a (rappelons que q00 = −λ, q10 = µ, q`0 = 0∀` ≥ 2)
∞  `
X λ λ
(πQ)0 = C q`0 = −Cq0 + C q10 = 0.
µ µ
`=0

Pour k ∈ N∗ (rappelons que qkk = −λ − µ, qk−1,k = λ, qk+1,k = µ et

q`,k = 0∀` : |` − k| ≥ 2)
∞  `
X λ
(πQ)k = C q`k
µ
`=0
 `  
λ µ λ
= C λ −λ−µ+µ = 0.
µ λ µ
On a donc bien πQ = 0, de sorte que π est invariante pour Q, comme souhaité. On
notera qu’il est facile d’en déduire une mesure invariante pour Z, à savoir

π̃(k) = qk π(k), k ∈ N

10
 Si λ > µ les chaı̂nes Y , Z sont transientes et ne peuvent donc posséder de
distribution invariante.
Si λ ≤ µ une mesure invariante de la chaı̂ne est unique à constante multiplicative
près. Lorsque λ = µ la somme des atomes de π diverge et donc il ne peut y avoir de
distribution invariante (on est dans le cas récurrent nul).
Enfin lorsque λ < µ (cas récurrent positif), on peut poser C = µ−λ
µ pour trouver
l’unique distribution stationnaire
 k
µ−λ λ
π0 (k) = , k ∈ N.
µ µ

Remarques : Le théorème de convergence pour les chaı̂nes à temps continu (voir exo
14 ci-dessous) permet alors d’affirmer que la loi de Yt converge vers π lorsque t → ∞.
En fait (voir exo 13) pour une chaı̂ne récurrente,
"Z + #
Tk
λx (y) := Ex ds1{Xs =y} , y ∈ E
0

est une mesure stationnaire (c’est l’unique mesure stationnaire qui attribue la masse
1/qx à l’état x, et elle a pour masse totale Ex [Tx+ ]). Dans le cas récurrent positif, on
trouve donc que l’unique distribution invariante de la chaı̂ne est donnée par

λx (x) 1
π0 (x) = = .
λx (E) qx Ex [Tx+ ]

Ce résultat se généralise en une version à temps continu du théorème ergodique.

Dans P positif, il affirme que p.s. lorsque t → ∞,
R le cas récurrent
1 t
t 0 f (Xs )ds −→ x∈E f (x)λ(x), où f : E → R est e.g. bornée et λ est l’unique
distribution stationnaire de la chaı̂ne.

Exercice 12 Montrer que si λx qxy = λy qyx pour tous x, y ∈ E, alors λQ = 0.

On a pour tout x ∈ E,
X X X
(λQ)x = λ(y)qyx = λ(x)qxy = λx qxy = 0,
y∈E y∈E y∈E

car Q est un générateur.

Exercice 13 On suppose que la chaı̂ne X de générateur Q est irréductible et récurrente.

On note Tx+ := inf{t ≥ J1 : Xt = x} le temps de retour en x.
1. Montrer que
Tx+
"Z #
µ(y) := Ex 1{Xs =y} , y ∈ E
0

définit une mesure stationnaire pour X.

2. Pourquoi une telle mesure stationnaire est-elle unique à constante multiplicative
près ?

11
3. Montrer que pour s > 0,
Tx+ +s
"Z #
µy = Ex 1{Xu =y} du
s

et en déduire que µ = µP (s).

1. On a pour y ∈ E, en notant τx+ le temps de retour en x pour la chaı̂ne de sauts, et νx

la mesure stationnaire de la chaı̂ne de sauts qui attribue masse 1 à x (elle existe
puisque la chaı̂ne de sauts est également irréductible et récurrente, et elle vérifie donc
νx Π = νx ),
 + 
x −1
τX
µ(y) = Ex  Sn+1 1{Y =y}  n
n=0
 + 
x −1
τX
1
= Ex  1{Yn =y} 
qy
n=0
1
= νx (y)
qy
1 X
= νx (z)π(zy)
qy
z∈E
1 X qzy
= νx (z)
qy qz
z∈E
1 X
= µ(z)qzy
qy
z∈E,z6=y

et puisque qy = −qyy on déduit que

X
µ(z)qzy = 0,
z∈E

i.e. µQ = 0, et µ est donc invariante pour la chaı̂ne X.

2. Si ν est stationnaire pour Π, alors µ(y) = ν(y)
qy , y ∈ E est stationnaire pour X.
Comme la mesure stationnaire de la chaı̂ne de sauts est unique à constante
multiplicative près, il en est de même de la mesure stationnaire de la chaı̂ne X.
3. Soit y ∈ E. Par Markov en Tx+ on a
Z s (loi)
Z Tx+ +s
1{Xu =y} du = 1{Xu =y} du,
0 Tx+

ce qui conduit à l’égalité recherchée. On a donc, en posant v = u − s et en appliquant

12
 Markov en v,
Tx+ +s
"Z #
µy = Ex 1{Xu =y} du
s
Tx+
"Z #
= Ex 1{Xv+s =y} dv
0
Tx+
"Z #
= Ex 1{Xv+s =y} dv
0
Tx+
"Z #
X
= Ex 1{Xv =z} dv pzy (s)
0 z∈E
X
= µ(z)pzy (s) = (µP (s))y ,
z∈E

comme souhaité.

Exercice 14 Soit X de noyau Q. On pose h > 0 et (Zn := Xnh , n ≥ 0).

1. Quel est le noyau de transition de Z ?
2. Montrer que X est irréductible et récurrente ssi Z l’est.
3. On suppose dans cette question X irréductible, récurrente positive, de distribution
invariante λ. Quelle est la distribution invariante de Z ? Montrer que Z vérifie le
théorème de convergence.
4. Pourquoi les questions précédentes permettent-elles de démontrer le théorème de
convergence pour X ?

1. Le noyau de Z, disons R, est tel que rxy = Px (Xh = y) = (P (h))xy , et donc R = P (h).
2. Les trajectoires de Z sont des sous-ensembles des trajectoires de X, il est donc clair
que si Z est irréductible et récurrente, X l’est également.
Réciproquement si X est irréductible alors la chaı̂ne de sauts Y l’est également i.e.
(n)
pour tous x, y, ∈ E il existe n ∈ N tel que Πxy > 0. Mais alors pour x, y ∈ E,
(P (t))xy ≥ Px (Jn ≤ t < Jn+1 , Yn = y) > 0, ∀x, y ∈ E, ∀t > 0, et donc (P (h))xy > 0.
On conclut que l’irréductibilité de X entraı̂ne celle de Z.
R∞ ( (n)
Comme 0 pxx t)dt = q1x n≥0 πxx et que la récurrence de X est équivalente à la
P
récurrence de Y , on a que la récurrence de la chaı̂ne X est équivalente à
R∞ (
0 pxx t)dt = +∞. Mais comme, par Markov au temps t ∈ [nh, (n + 1)h],
pxx ((n + 1)h) ≥ pxx (t)e−qx h , on a
∞
e−qx h
X Z
pxx (kh) ≥ pxx (t),
h 0
k≥1

de sorte que la récurrence de X entraı̂ne celle de Z.

3. Rappelons que si x ∈ E, Tx+ désigne le temps de retour en x pour la chaı̂ne X. Dans
l’exercice précédent, on a vu que si X est récurrente positive, alors

13
  + 
R Tx
Ex 0 1{Xs =y} ds
λ(y) = Ex [Tx+ ]
, y ∈ E est l’unique distribution stationnaire de X, et que
pour tout s > 0, λP (s) = λ. En particulier λP (h) = λ, de sorte que λ est également
une (donc l’unique puisque Z est irréductible récurrente d’après la question
précédente) distribution stationnaire pour Z. Le fait qu’on ait trouvé une
distribution stationnaire pour Z implique que Z est récurrente positive. Enfin, on a
vu que (P (h))xy > 0 pour tous x, y ∈ E de sorte que Z est clairement apériodique.
On conclut que Z vérifie le théorème de convergence, et donc pour tout x, y ∈ E,

Px (Zn = y) = (P (nh))xy −→ λ(y).

n→∞

4. Pour conclure, il reste à argumenter que pour x, y ∈ E, (P (t))xy est uniformément

continu. En effet 1 − Px (Xs = x) ≤ Px (J1 ≤ s) = e−qx s , et donc pour tout t ≥ 0,

|(P (t + s))xy − (P (t))xy | ≤ 4(1 − Px (Xs = x)) ≤ 4e−qx s ,

comme souhaité.
Mais alors, quitte à poser nt = bt/hc, l’inégalité précédente implique que
|(P (t))xy − (P (nt h))xy | ≤ 4qx h. Fixons alors ε > 0, et h suffisamment petit pour que
4qx h ≤ ε/2. Lorsque t → ∞, nt → ∞ et donc pour t suffisamment grand,
|(P (nt h))xy − λ(y)| ≤ ε/2 et finalement

|(P (t))xy − λ(y)| ≤ ε,

et on a donc démontré le théorème de convergence pour la chaı̂ne X issue de x ∈ E.

Il est alors facile de généraliser à une distribution initiale quelconque.

14