Les chaînes de Markov à temps continu

A-Kadrani

Institut National de Statistique et d'Economie Appliquée

(INSEA)

Rabat, Mars 2023

Chapitre 4 Les chaînes de Markov à temps continu

Chaîne de Markov à temps continu
Dénition

Une chaîne de Markov à temps continu est un processus

stochastique {X (t), t ≥ 0}, à temps continu, déni sur un espace
d'états E ni ou dénombrable et vériant la propriété de Markov:
P[Xt+u = j|Xs , 0 ≤ s ≤ t] = P[Xt+u = j|Xt ]

∀i, j ∈ E et t, u ≥ 0.
Une chaîne de Markov à temps continu est homogène (dans le
temps) si les probabilités précédentes sont indépendantes de t , c'est
à dire si
P[Xt+u = j|Xt = i] = P[Xu = j|X0 = i], ∀i, j ∈ E et t, u ≥ 0.

Nous ne nous intéressons désormais qu'aux processus homogènes!

Chapitre 4 Les chaînes de Markov à temps continu

Chaîne de Markov à temps continu (CMC)
Trajectoire de CMC

Chapitre 4 Les chaînes de Markov à temps continu

Probabilité et matrices de transition

Soit {X (t), t ≥ 0} une chaîne de Markov à temps continu

homogène.
La probabilité de transition de i à j au temps t est
pij (t) = P[Xt = j|X0 = i].

La matrice (des probabilités) de transition au temps t est

P(t) = (pij (t))i,j .

Par convention, on pose P(0) = I .

Chapitre 4 Les chaînes de Markov à temps continu

Propriétés des matrices de transition

Soit {P(t), t ≥ 0} la famille de matrices décrivant les lois

d'évolution d'une chaîne de Markov à temps continu, alors
chaque matrice P(t) est une matrice stochastique:

X pij (t) ≥ 0, ∀t ≥ 0
pij (t) = 1, ∀i ∈ E , ∀t ≥ 0
j∈E

les équations de Chapman-Kolmogorov sont vériées:

t, s ≥ 0, i, j ∈ E
X
pij (t + s) = pik (t)pkj (s),
k∈E

soit en notation matricielle,

P(t + s) = P(t)P(s)

Chapitre 4 Les chaînes de Markov à temps continu

Classication des chaînes à temps continu

L'état j est accessible depuis l'état i s'il existe t ≥ 0 tel que

pij (t) > 0,

Les états i et j communiquent s'ils sont accessibles l'un

depuis l'autre, c'-à-d il existe t1 ≥ 0 et t2 ≥ 0 tel que
pij (t1 ) > 0 et pji (t2 ) > 0.

Une chaîne de Markov à temps continu est irréductible si tous

ses états communiquent deux à deux.
Un état i est absorbant si pii (t) = 1, pour tout t ≥ 0.
Remarque. Une chaîne de Markov à temps continu n'est jamais
périodique.

Chapitre 4 Les chaînes de Markov à temps continu

Loi continue sans mémoire
Loi exponentielle

Une variable aléatoire X est une variable aléatoire exponentielle de

paramètre λ (λ > 0) si

1 − e −λx , x ≥ 0

P[X ≤ x] = F (x) =
0, x < 0

La densité de X est
λe −λx , x ≥ 0

f (x) =
0, x < 0

L'espérance et la variance de X sont

1 1
E[X ] = , Var [X ] =
λ λ2

La loi exponentielle est la seule loi continue sans mémoire:

P[X > t + u|X > t] = P[X > u] ∀t ≥ 0 et ∀u > 0

Chapitre 4 Les chaînes de Markov à temps continu

Loi continue sans mémoire
Loi exponentielle (2)

La loi exponentielle est la seule loi continue sans mémoire:

P[X > t + u|X > t] = P[X > u] ∀t ≥ 0 et ∀u > 0
En plus des variables exponentielles de paramètre λ ∈ R∗+ , on
autorise également les deux valeurs λ = 0 et λ = ∞.
Une variable exponentielle X de paramètre λ = 0 est une
variable vériant
P [X > t] = 1 ∀t ≥ 0.

Une variable exponentielle X de paramètre λ = ∞ est une

variable ne prenant qu'une seule valeur: zéro.

Chapitre 4 Les chaînes de Markov à temps continu

Structure des chaînes à temps continu
Temps de séjour

Supposons que l'état d'une chaîne de Markov à l'instant t soit égal

à i (Xt = i). Elle va rester dans cet état pendant une durée
aléatoire τi .
dont la loi ne dépend pas de la valeur de t car le processus est
homogène;
dont la loi est sans mémoire car, le processus étant markovien,
son évolution au-delà de t est indépendante de son passé une
fois l'état Xt connu.
Le temps de séjour τi dans l'état i est une variable aléatoire

exponentielle de paramètre λi ne dépendant que de i.

Chapitre 4 Les chaînes de Markov à temps continu

Structure des chaînes à temps continu
Temps de séjour (2)

Un état i pour lequel λi = 0 est dit absorbant puisqu'une fois

la chaîne de Markov l'atteignant à un instant quelconque, il ne
le quitte jamais.
Un état i tel que 0 < λi < ∞ est dit stable puisqu'une fois la
chaîne de Markov s'y retrouve à un istant donné, il le quitte,
avec probabilité 1, après un temps positif mais ni.
Un état i avec λi = ∞ est dit instantané puisque la chaîne
quitte cet état dès qu'elle l'atteint.

Chapitre 4 Les chaînes de Markov à temps continu

Structure des chaînes à temps continu (2)
Probabilité de passage

Lorsque la chaîne de Markov quitte l'état i , elle se déplace dans

l'état j avec probabilité qij . Cette probabilité est
indépendante de la valeur t car le processus est homogène;

indépendante de la valeur de τi car le processus est markovien.

La suite des états visités par une chaine de Markov à temps

continu forme une chaîne de Markov à temps discret. Cette

dernière est appelée chaîne de Markov sous-jacente ou

chaîne de Markov immergée.

Chapitre 4 Les chaînes de Markov à temps continu

Structure des chaînes à temps continu (3)
Chaîne de Markov sous-jacente

Posons T0 = 0 et soit T1 < T2 < · · · < Tn < · · · les instants

successifs de transition de {X (t), t ≥ 0}:
Tn+1 = inf {t ≥ 0 : t > Tn , X (t) 6= X (Tn )}

Notons Yn = X (Tn ) la suite des états visités par la chaîne

{X (t), t ≥ 0}.
{Yn , n = 0, 1, 2, · · · } est une chaîne de Markov à temps discret
et de matrice de transition Q = (qij )i,j∈E donnée par:
 aij
i 6= j
λi , si
si λi > 0, qij =
 0, si i = j
0, si i 6= j
si λi = 0, qij =
1, si i = j
La chaîne de Markov {Yn , n = 0, 1, 2, · · · } est appelée chaîne
sous-jacente ou immergée.
Chapitre 4 Les chaînes de Markov à temps continu
Les chaînes régulières

Une chaîne de Markov est dite pure ou régulière, ou encore sans

explosion si, avec probabilité 1, le nombre de transitions qu'elle
eectue dans un intervalle de temps ni est ni.
Condition susante de régularité:
L'existence d'une constante nie c < ∞ telle que 0 ≤ λi < c
pour tout état i ∈ E sut à assurer la régularité d'une chaîne
de Markov. En particulier, toute chaîne possédant un nombre
ni d'états est régulière.
Nous ne considérons ici que des chaînes régulières.

Chapitre 4 Les chaînes de Markov à temps continu

Intensité de transition et de passage

Théorème
Les probabilités de transition d'une chaîne de Markov à temps con-
tinu, homogène et régulière admettent une dérivée en t = 0:
pij (t) − pij (0)
 
d  −λi si i =j
aij = pij (t) = lim =
dt 0 t→ 0 t λi qij si i 6= j
Pour t petit, on a
P [Xt = j|X0 = i] = pij (t) = aij t + o(t), i 6= j

et aij = λi qij est appelé intensité de transition de i à j . On a

aussi
P [Xt 6= i|X0 = i] = 1 − pii (t) = −aii t + o(t)
et λi = −aii est appelé intensité de passage hors de i .

Chapitre 4 Les chaînes de Markov à temps continu

Matrice génératrice et graphe représentatif

La matrice A=(aij ) s'appelle la matrice génératrice de la

chaîne .
Toute matrice génératrice vérie
aij ≥ 0, i 6= j
et

aij = 0, ∀i ∈ E .
X

j∈E

On associe à la matrice génératrice A un graphe représentatif

(graphe de transition) G = (E , V ) où V = {(i, j)|aij > 0}.

Chapitre 4 Les chaînes de Markov à temps continu

Exemple

Pour la matrice génératrice

−3 0 3
 

A= 1 −4 3 
0 2 −2
Le graphe associé:(voir la vidéo) Le vecteur λ des intensités de
passage hors des états est
λ = (3 4 2)
et la matrice de transition de la chaîne sous-jacente est
0
0 1
 

Q =  1/4 0 3/4 
0 1 0

Chapitre 4 Les chaînes de Markov à temps continu

Propriétés

Les classes d'une chaîne (i.e. les classes d'équivalence par

rapport à la relation "i et j communiquent") correspondent
aux composantes fortement connexes du graphe représentatif
de la chaîne.
Une chaîne est irréductible si et seulement si son graphe
représentatif est fortement connexe.
L'état i est absorbant si et seulement si le temps de séjour en i
est une variable aléatoire exponentielle de paramètre λi = 0.
Dans la matrice génératrice de la chaîne, la ligne associée à i
est alors entièrement nulle et dans le graphe représentatif de la
chaîne, le sommet associé à i est sans successeur.

Chapitre 4 Les chaînes de Markov à temps continu

Equations de Kolmogorov
Les probabilités de transition d'une chaîne de Markov à temps
continu régulière vérient:
les équations du futur (équations arrière):
P 0 (t) = AP(t), t≥0

soit, pour tout i, j dans E

t≥0
X
pij0 (t) = aik pkj (t),
k∈E

les équations du passé (équations avant):

P 0 (t) = P(t)A, t≥0

soit, pour tout i, j dans E

t≥0
X
pij0 (t) = pik (t)akj ,
k∈E

Chapitre 4 Les chaînes de Markov à temps continu

Solution des équations de Kolmogorov

Pour la condition initiale P(0) = I , les deux systèmes d'équations

diérentielles
P 0 (t) = AP(t) et P 0 (t) = P(t)A

ont les mêmes solutions.

De plus, sous certaines conditions de régularité (toujours vériées si
la chaîne ne possède qu'un nombre ni d'états), l'unique solution
des équations de Kolmogorov est, pour la condition initiale
P(0) = I ,
∞
(At)k
t ≥ 0, (A0 = I )
X
P(t) = e At = ,
k!
k=0

Chapitre 4 Les chaînes de Markov à temps continu

Exemple
0−3 3
 

Considérons une CMC dénie par A= 1 −4 3 .

0 2 −2
Les valeurs propres de A sont v1 = 0, v2 = −4 et v3 = −5 et la matrice est
diagonalisable. La solution des équations de Kolmogorov est égale à

P(t) = e At = Ve Λt V −1

1 −3 −3 1 0 0
   

avec V =  1 −1 −3  et e Λt =  0 e −4t 0 .
1 1 2 0 0 e −5t
La matrice de transition au temps t est:
 1 3 −4t − 3 e −5t 3 3 −4t + 6 e −5t 6 3 −5t 
10 + 2 e 5 10 − 2 e 5 10 − 5 e
P(t) =  1 + 1 e −4t − 3 e −5t 3 − 1 e −4t + 6 e −5t 6 − 3 e −5t 
10 2 5 10 2 5 10 5
1 1 −4t + 2 e −5t 3 1 −4t − 4 e −5t 6 2 −5t
10 − 2 e 5 10 + 2 e 5 10 + 5 e

1 3 6 3 −3 0 −3 6 −3
     
1  e − 4t e −5t
= 10 1 3 6 + 2
 1 −1 0 + 5
 −3 6 −3 
1 3 6 −1 1 0 2 −4 2
= G1 + e −4t G2 + e −5t G3

Chapitre 4 Les chaînes de Markov à temps continu

Distribution initiale et comportement transitoire
Comme dans le cas à temps discret, l'état initial (au temps t = 0) de la
chaîne est choisi selon une distribution initiale donnée par un vecteur de
probabilité p(0) = (pj (0))j∈E vériant:
pj (0) = P[X0 = j] ∀j ∈ E
La probabilité d'observer le processus dans l'état j au temps t vérie:
l'équation de Fokher-Planck
X
pj0 (t) = pk (t)akj , j ∈ E,
k∈E

soit sous forme matricielle

p 0 (t) = p(t)A, avec p(t) = (pj (t))j∈E ,
et
pij (t)pi (0)
X
pj (t) =
i∈E
soit sous forme matricielle
p(t) = p(0)P(t)

Chapitre 4 Les chaînes de Markov à temps continu

Etude asymptotique

Le calcul exact ou approché de p(t) nécessite la résolution des

équations de Kolmogorov. Cet exercice n'est possible que dans les
cas les plus simples. Ainsi, comme pour les processus à temps
discret, on s'intéresse le plus souvent au comportement à long
terme des chaînes de Markov à temps continu.
Les questions centrales de cette étude asymptotique sont:
Sous quelles conditions la chaîne est-elle asymptotiquement
stationnaire?
Quelle est la distribution asymptotique? Est-elle indépendante
de la distribution initiale?
Quel le pourcentage du temps passé dans un état donné? Quel
est le temps moyen entre deux visites successives d'un état
donné?

Chapitre 4 Les chaînes de Markov à temps continu

Remarques et propriétés

Si une chaîne possède une distribution asymptotique unique,

elle doit être irréductible.
Si lim pj (t) existe et est indépendante de p(0) (ce qui est le
t→∞
cas pour une chaîne irréductible), on a alors
lim pj (t) = lim pij (t) = πj
t→∞ t→∞

pour tout état j ∈ E et indépendamment de i .

De plus, si lim pj (t) = lim pij (t) existe, alors
t→∞ t→∞

lim p 0 (t) = lim pij0 (t) = 0.

t→∞ j t→∞

Chapitre 4 Les chaînes de Markov à temps continu

Distribution stationnaire

Partant des équations du passé

∀i, j ∈ E , ∀t ≥ 0
X
pij0 (t) = pik (t)akj ,
k∈E

et passant à la limite, les probabilités stationnaires doivent vérier

0=
X
πk akj , ∀j ∈ E .
k∈E

Sous forme matricielle, la distribution π est stationnaire si

elle est solution du système

πA = 0


π1 = 1

Chapitre 4 Les chaînes de Markov à temps continu

Comportement asymptotique
Théorème
Soit {X (t), t ≥ 0} une chaîne de Markov à temps continu, régulière
et irréductible. Les propriétés suivantes sont vériées:
La suite {P(t), t ≥ 0} des matrices de transition du processus
converge vers une matrice P ∗ lorsque t tend vers l'inni.
Les lignes de P ∗ sont toutes égales à un même vecteur π ∗ .
Soit πj∗ = 0 pour tout j ∈ E et la chaîne est transitoire ou
récurrente nulle, soit πj∗ > 0 pour tout j ∈ E et la chaîne est
récurrente non nulle.
Si la chaîne est récurrente non nulle, elle est ergodique. Dans
ce cas,le vecteur π ∗ est une distribution de probabilités et est
la solution unique du système:
πA = 0


π1 = 1

Chapitre 4 Les chaînes de Markov à temps continu

Equation du bilan

Les équations πA = 0 sont appelées les équations du bilan. Sous

forme développée, elles s'écrivent
X
−πi aii = πj aji , ∀i ∈ E .
j6=i

La partie de gauche représente le taux de transition hors de

l'état i .
La partie de droite représente le taux de transition dans l'état i .
Une distribution est stationnaire si, quel que soit l'état considéré, le
taux de transition dans l'état est égal au taux de transition hors de
l'état.

Chapitre 4 Les chaînes de Markov à temps continu

Interprétations des probabilités stationnaires

La probabilité πi∗ est égale à la proportion du temps passé

dans l'état i si le système est observé susamment longtemps.
Pour tout état i récurrent non nul, on a πi∗ > 0 et on peut
montrer que
1
µi =
πi∗ λi
est égal à l'éspérance du temps entre deux visites successives
de l'état i .

Chapitre 4 Les chaînes de Markov à temps continu

Exemple

−3 1 2
 

Pour la chaîne de matrice génératrice A =  3 −5 2  l'unique solution du

1 0 −1
système
πA = 0 5 1 2
  
est π ∗ = .
π1 = 1 18 18 3
On a également

 5 4 −3t + 5 e −6t 1 2 −3t − 5 e −6t 2 2 −3t 

18 + 9 e 18 + 9 e 3 − 3e
P (t) = e At = 
18 18
5 + 4 e −3t − 13 e −6t 1 + 2 e −3t + 13 e −6t 2 2 −3t 
18 9 18 18 9 18 3 − 3e
5 − 2 e −3t − 1 e −6t 1 − 1 e −3t + 1 e −6t 2 + 1 e −3t
18 9 18 18 9 18 3 3

 5 1 2 
18 18 3
lim P (t) = P ∗
= 5 18
1
18
2 
3
t→∞ 5 1 2
18 18 3
et la distribution invariante π∗ est bien égale aux diérentes lignes de P ∗ .

Chapitre 4 Les chaînes de Markov à temps continu

Exemple

La chaîne dénie par A est ergodique (elle est irréductible et

possède un nombre ni d'états). Tous ses états sont récurrents non
nuls et les probabilités stationnaires représentent les proportions du
temps passé dans chaque état pendant une longue période
d'observation.
On a aussi
1 1 6
µ1 = = 5 =
π1 λ1 18 3 5
et il s'écoule en moyenne 6/5 unités de temps entre deux visites
successives de l'état 1.

Chapitre 4 Les chaînes de Markov à temps continu

Liens entre les distributions stationnaires

Soit {Xt , t ≥ 0} une chaîne à temps continu ergodique

(typiquement irréductible et dénie sur un nombre ni d'états). Elle
possède une distribution stationnaire π unique solution de
πA = 0


π1 = 1

où A est la matrice génératrice de la chaîne.

on associe, à ce processus, une chaîne sous-jacente à temps discret
{Yn , n = 0, 1, . . .} de matrice de transition Q . Cette chaîne est
également irréductible ( et même ergodique si elle est apériodique)
et possède donc une distribtuion invariante unique ν solution de

νQ = ν
ν1 = 1

Chapitre 4 Les chaînes de Markov à temps continu

Liens entre les distributions stationnaires (2)

On peut montrer que la distribution stationnaire π est éagle à

πi = Xνi /λi
νk /λk
k∈E
où les λk correspondent aux intensités de passage hors des
diérents états λk = −akk .
EXEMPLE. Rappelons que pour la chaîne de matrice génératrice
−3 1 2
 

A= 3 −5 2 
1 0 −1

0 1/3 2/3
 

on a λ = (3 5 1) et Q =  3/5 0 2/5 
1 0 0

Chapitre 4 Les chaînes de Markov à temps continu

Exemple

La chaîne à temps discret de matrice de transition Q est

irréductible et apériodique (elle est donc ergodique). Son unique
distribution stationnaire est
15 5 3
 
ν=
32 32 8
et on aurait pu calculer la distribution π de la chaîne à temps
continu par
ν1 15/32
λ1 3
π1 = ν1
+ λ2 + λ3
ν ν = 15/32 5/32 3/8
λ1 2 3 3 + 5 + 1
5
= 32 5
= 18
5 + 1 + 12
32 32 32

etc.

Chapitre 4 Les chaînes de Markov à temps continu

Les processus de naissance et de mort

Un processus de naissance et de mort est une chaîne de Markov

à temps continu.
dénie sur l'espace des états E = {0, 1, 2, · · · } ou,
éventuellement, E = {0, 1, 2, · · · , K };
telle que depuis n'importe quel état i , les seules transitions
possibles se font soit vers l'état i − 1 (mort) soit vers l'état
i + 1 (naissance).
Le plus souvent, l'état Xt du processus au temps t est interprété
comme la taille d'une population. Si cette taille est égale à i ,
le taux de naissance est λi = ai,i+1 , i = 1, 2, · · · ;
le taux de mort est µi = ai,i−1 , i = 1, 2, · · · (on a
évidemment µ0 = 0)

Chapitre 4 Les chaînes de Markov à temps continu

Graphe représentatif et matrice génératrice

Le graphe représentatif et la matrice génératrice d'un processus de

naissance et de mort sont les suivants:
Graphe représentatif: (voir la vidéo)
Matrice génératrice A:
 
−λ0 λ0
 µ1 −λ1 − µ1 λ1 
 
A=
 µ 2 −λ 2 − µ2 λ2 

 µ 3 −λ 3 − µ3 λ3 
... ... ...
 

Chapitre 4 Les chaînes de Markov à temps continu

Interprétation

En gardant comme image l'évolution de la taille d'une population,

l'état Xt de la chaîne au temps t représente le nombre d'individus
vivants.
Lorsque la taille de la population est i ,
le temps avant la prochaine naissance est une variable aléatoire
exponentielle de paramètre λi ;
le temps avant la prochaine mort est une varaiable aléatoire
exponentielle de paramètre µi .
Les deux variables précédentes sont indépendantes et le processus
reste dans l'état i pendant une durée aléatoire exponentielle de
paramètre αi = λi + µi .

Chapitre 4 Les chaînes de Markov à temps continu

Remarque/rappel
Si Z1 ∼ E(α1 ) et Z2 ∼ E(α2 ) sont deux variables exponentielles
indépendantes de paramètres respectifs α1 et α2 alors
la variable Z = min (Z1 , Z2 ) est encore une variable
exponentielle mais de paramètre α1 + α2 :
Z = min (Z1 , Z2 )

α1
P [Z1 = min (Z1 , Z2 )] =
α1 + α2
et, plus généralement, si (Zk , k = 1, . . . , n) est une suite de
variables exponentielles indépendantes de paramètres αk alors
Xn
Z = min (Zk ) ∼ E( αk )
1≤k≤n
  k=1
P Zk = min (Zk ) = X n
αk
pour tout k = 1, . . . , n
1≤k≤n
αk
k=1
Chapitre 4 Les chaînes de Markov à temps continu
Interprétation (2)
Lorsqu'il quitte l'état i , le processus se retrouve dans l'état i − 1
avec probabilité
µi
qi,i−1 =
λ i + µi
et dans l'état i + 1 avec probabilité
λi
qi,i+1 =
λ i + µi

La matrice de transition de la chaîne sous-jacente est donc

0 1
 


µ1
λ1 +µ1 0 λ1
λ1 +µ1



Q=
µ2
λ2 +µ2 0 λ2
λ2 +µ2


µ3
0 λ3
 
 
λ3 +µ3 λ3 +µ3
... ... ...
 

Chapitre 4 Les chaînes de Markov à temps continu

Distribution stationnaire

Si le processus de naissance et de mort est irréductible et régulier,

le calcul de sa distribution stationnaitre, si elle existe, se ramène à
la résolution des équations de bilan πA = 0. Elles s'écrivent
0 =


 −λ0 π0 +µ1 π1



0 = λ0 π0

−(λ1 + µ1 )π1 +µ2 π2







0 = λ1 π1 −(λ2 + µ2 )π2 +µ3 π3
.
 ..




0 = λk−2 πk−2

−(λk−1 + µk−1 )πk−1 +µk πk


 ..



.


En isolant µi πi de l'équation i et en substituant dans l'équation

i + 1 on obtient...

Chapitre 4 Les chaînes de Markov à temps continu

Distribution stationnaire (2)

... la solution de ce système en fonction de π0 :

= π0 µλ01


 π1




= π1 µλ12 = π0 µλ01 λµ12




 π2




= π2 µλ23 = π0 µλ10 µλ12 λµ23

3
 π


.
..


 k
λi−1

λ λ λ ...λ
πk−1 µk−k 1 π0 µ0 1 µ1 2 ...µk−k 1
 Y
 πk = = = π0


 µi
i=1


 ..


.


Chapitre 4 Les chaînes de Markov à temps continu

Distribution stationnaire (3)

Pour déterminer π0 , il sut d'utiliser la contrainte de normalisation

∞
πk = 1
X

k=0

c'est-à-dire
∞ Y
k
!
λi−1
1+ = 1.
X
π0
µi
k=1i=1

La condition d'existence d'une distribution stationnaire est donc

∞ Y
k
X λi−1
< ∞.
µi
k=1i=1

Chapitre 4 Les chaînes de Markov à temps continu

Distribution stationnaire (4)

Si elle est vériée, le processus est ergodique et

lim πk (t) = πk∗ ∀k
t→∞

où πj∗ est donné par

k
λi−1
j ≥1
λ0 λ1 ...λk−1
Y
πk∗ = π0 µ1 µ2 ...µk = π0
µi
i=1

avec
∞ Y
k
!−1
λi−1
1+
X
π0∗ =
µi
k=1i=1

Chapitre 4 Les chaînes de Markov à temps continu

Cas particulier: le processus de Poisson

Un processus de Poisson est un processus de naissance pur à taux

constant:
λk = λ > 0 ∀k ≥ 0 et µk = 0 ∀k > 0.

Son graphe représentatif est:

Grpahe de Processus de Poisson
Un tel processus n'admet évidemment pas de distribution
stationnaire (chaque état forme une classe à lui seul) mais est
susamment simple pour qu'on puisse résoudre les équations de
Kolmogorov.

Chapitre 4 Les chaînes de Markov à temps continu

Le processus de Poisson (2)
Pour la condition initiale π0 (0) = 1 et πk (0) = 0 pour i ≥ 1, les
équations du passé deviennent, pour t ≥ 0
 0

 π0 (t) = −λπ0 (t)



 π 0 (t) = λπ0 (t) −λπ1 (t)


1
 0


 π2 (t) = λπ1 (t) −λπ2 (t)
 ..


.


et leur solution est, pour t ≥ 0,

πk (t) = P [Xt = k|X0 = 0] = (λt)k −λt

k! e k = 0, 1, . . .

Autrement dit X (t) est une variable aléatoire de Poisson de

paramètre λt .
Chapitre 4 Les chaînes de Markov à temps continu
Le processus de Poisson (3)

Un processus de Poisson {Xt , t ≥ 0} est un processus de comptage.

La variable d'état Xt représente le nombre d'événements s'étant
produits dans un intervalle de durée t lorsque deux événements
consécutifs sont séparés par une durée aléatoire exponentielle de
paramètre λ.
Processus de Poisson de paramètre λ
⇐⇒
Temps inter-événements i.i.d. E(λ)

Chapitre 4 Les chaînes de Markov à temps continu