MAT2717 – PROCESSUS STOCHASTIQUES

SOLUTIONS DU TP7

THOMAS DAVIGNON

Problème 1. Soit un processus de vie et de mort avec taux de naissances νi

et taux de mort µi quand il y a i individus (on aura µ0 = 0). On pose
ν0 ν1 · · · νk−1
θk =
µ1 µ2 · · · µk
avec θ0 = 1. Montrer que
θi
πi = P
j≥0 θj
est une distribution stationnaire.
Solution. On commence par remarquer que le générateur G a les entrées
suivantes :
g00 = −ν0 g01 = ν0
gnn = −νn − µn gn(n−1) = µn gn(n+1) = νn ∀n ∈ N
Les équations de stationnarité sont donc
−ν0 π0 + µ1 π1 = 0
νn−1 πn−1 + µn+1 πn+1 = (µn + νn )πn
En réarrangeant les termes dans la seconde équation, on obtient
πn+1 πn πn
νn−1 + µn+1 = (µn + νn )
πn πn−1 πn−1
On écrit qn = πn /πn−1 et on a alors
νn−1
qn
− µn − νn
qn+1 =
µn+1
Clairement, la solution
νn−1
qn =
µn
et πn =PC nk=1 qk = Cθn puisque
Q
satisfait
Qn toute les équations précédentes,
P
θn = k=1 qk Finalement, C = j≥0 θj pour que j≥0 πj = 1.
Bien sûr, ceci ne fonctionne qu’à condition que les θj soient sommables.
pour ce faire, il suffit que pour un certain N et tout i ≥ N , qi < 1 − ε pour
un certain ε > 0. La condition n’est peut-être pas nécessaire, cependant.
Date: 15 mars 2018.
1
2 THOMAS DAVIGNON

Problème 2 (Exercice 2.22). Un central téléphonique dispose de m lignes.

Les appels arrivent selon un Processus de Poisson d’intensité λ. Un appel est
accepté s’il y a une ligne libre au moment de son arrivée, qu’il occupe pendant
un temps de loi exponentielle de paramètre µ indépendamment de tout le
reste. Quelle est la distribution stationnaire du nombre de lignes occupées ?
Exercice bonus : Si le centre téléphonique n’a qu’une seule ligne, mais qu’il
peut mettre jusqu’à m appels en attente et qu’il les traite les uns après les
autres, quelle est la nouvelle distribution stationnaire ?
Solution. Dans le cas qui nous occupe, les appels sont reçus à un taux λ, peu
importe combien de lignes sont occupées. Par contre, si i lignes sont occupées,
comme chacune d’entre elle terminera son appel avec un taux µ, le taux global
auquel une ligne se libère est iµ.
On se retrouve donc avec un processus de vie et de mort. En se servant de
la notation de l’exercice précédent, on a νi = λ pour i < m et 0 après, et
µi = iµ pour i de 0 à m. Ainsi, on aura
λ λ λ λk
θk = · ··· =
µ 2µ kµ k!µk
pour k ≤ m et 0 pour k > m, avec θ0 = 1. La distribution stationnaire sera
alors donnée comme à l’exercice précédent.

Solution de l’exercice bonus, juste pour le plaisir : Le nombre de lignes

occupées est une chaı̂ne de Markov à m + 1 états : 0, 1, . . . , m lignes occupées.
Le générateur de ce processus de Markov à temps continu est la matrice
(m + 1) × (m + 1) dont les entrées sont zéro partout sauf pour :
g00 = −λ g01 = λ

gi(i−1) = µ gii = −λ − µ gi(i+1) = λ i = 1, . . . , m − 1

gm(m−1) = µ gmm = −µ
Les équations de stationnarité donnent :
−λπ0 + µπ1 = 0

λπi−1 + µπi+1 = (λ + µ)πi , i = 1, . . . , m − 1

λπm−1 − µπm = 0
On écrit di = πi+1 −πi et, en réorganisant les termes dans les équations du
milieu (i = 1, . . . , m − 1), on a
λ
di = di−1
µ
 MAT2717 – PROCESSUS STOCHASTIQUES SOLUTIONS DU TP7 3
 
λ
et en utilisant la première équation, on trouve que d0 = π1 − π0 = µ
− 1 π0
d’où on trouve que
   i
λ λ
di = π 0 −1
µ µ
ce que l’on peut écrire comme di = π0 (r − 1)ri si r = µλ . Finalement,
n−1 n−1
!
X X
πn = π0 + di = π0 1 + (r − 1) r = π0 r n
i

i=0 i=0
m
et on vérifie bien que πm = π0 r = rπm−1 – cette dernière équation était
superflue.
Il reste à trouver π0 . Pour ce faire, on se sert de la condition de normalisa-
tion :
m
X rm+1 − 1
π0 r i = π0 =1
i=0
r − 1
et finalement, on a donc
(1 − r)rn
πn =
1 − rm+1
Admettez tout de même que la solution de l’exercice bonus est amusante,
non ?

Problème 3 (Exercice 2.28). Une grenouille sur le bord d’un étang (état 0)
saute dans l’étang (état 1) et vice versa selon une chaı̂ne de Markov à temps
continu dont le générateur est :
 
−2 2
G= .
2 −2
Déterminer
(a) la probabilité que la grenouille soit dans l’étang à l’instant t ≥ 0 si elle
est au bord de l’étang à l’instant 0 ;
(b) legénérateur pour le nombre de grenouilles dans l’étang si trois grenouilles
sautent indépendamment les unes des autres selon le modèle ci-dessus.
Solution. (a) Ici, il s’agit simplement de diagonaliser cette matrice. C’est
une 2 × 2, alors on va se faire plaisir et faire la diago au long, histoire de
se rappeler comment faire : On commence par trouver les valeurs propres ;
ce sont les racines du polynôme critique
det(G − λI) = (2 + λ)2 − 4 = λ2 + 4λ
4 THOMAS DAVIGNON

On trouve donc les valeurs propres λ0 = 0 et λ1 = −4 On identifie main-

tenant des vecteurs propres x(0) et x(1) correspondant chacun à une valeur
propre. Cela donne, dans le cas de λ0 , les équations suivantes :
(0) (0)
−2x0 + 2x1 = 0
(0) (0)
2x0 − 2x1 = 0
(0) (0)
dont une solution est x0 = x1 = 1.
Dans le cas de λ1 , l’équation est
(1) (1)
2x0 + 2x1 = 0

(1) (1)
qui a entre autres comme solution x0 = 1 = −x1 . On a donc la matrice
de vecteurs propres  
1 1
P =
1 −1
et la matrice diagonale
 
0 0
D=
0 −4
et on peut vérifier rapidement que GP = P D.
Finalement, on calcule P −1 en utilsant le bon vieux truc d’inversion
rapide d’une matrice 2 × 2 :
 −1  
a b 1 d −b
=
c d ad − bc −c a
ce qui dans notre cas donne
 
−1 1 1 1
P =
2 1 −1
Finalement, on doit donc avoir
   
tG 1 1 1 1 0 1 1
e =
2 1 −1 0 e−4t 1 −1
ce qui donne
1 + e−4t 1 − e−4t
 
tG 1
P(t) = e =
2 1 − e−4t 1 + e−4t
En particulier, la probabilité que la grenouille soit dans l’étang à l’ins-
tant t si elle est au bord de l’étang à l’instant 0 est donnée par
1
P01 (t) = (1 − e−4t )
2
 MAT2717 – PROCESSUS STOCHASTIQUES SOLUTIONS DU TP7 5

.
(b) On considère le nombre de grenouilles dans l’étang : 0, 1, 2 ou 3. On sait
que, pour chaque grenouille, le temps avant qu’elle change d’état est une
exponentielle de paramètre 2. On raisonne comme dans les TP précédents :
— Si il y a 0 grenouilles dans l’étang, alors elles sont toutes au bord, et
chacune prendra un temps exponentiel de paramètre 2 pour sauter.
Le taux du temps d’attente pour une transition vers l’état 1 est donc
2 + 2 + 2 = 6, et, bien entendu, g00 = −6, g01 = 6, et les autre
coefficients sur cette ligne sont nuls.
— Si il y a 1 grenouille dans l’étang, alors soit elle revient au bord (on
retourne à l’état 0) avec un taux 2, soit une des deux autres sautent
dans l’étang (avec chacune un taux 2). Donc, la transition s’effectue
encore avec un taux de 6, et g11 = −6. Puis on aura g10 = 2 et g12 = 4,
et les autres coefficients de cette ligne seront nuls.
— Si il y a 2 grenouilles dans l’étang, alors il n’y en a qu’une au bord. Elle
saute dans l’étang (on va à l’état 3) avec un taux de 2. Les deux autres
reviennent au bord chacune avec un taux de 2. La transition s’effectue
toujours avec un taux de 6, et g22 = −6. Puis on aura g21 = 4, g23 = 2
et les autres coefficients de cette ligne seront nuls.
— Si il y a 3 grenouilles dans l’étang, alors elles y sont toutes et chacune
prendra un temps exponentiel de paramètres 2 pour sauter. Le taux du
temps d’attente pour une transition vers l’état 2 est donc 2 + 2 + 2 = 6
et, bien entendu, g33 = −6, g32 = 6 et tous les autres coefficients de
cette ligne sont nuls.
On a donc le générateur
 
−6 6 0 0
 2 −6 4 0
G= 
0 4 −6 2 
0 0 6 −6

On aurait aussi pu voir le processus comme un processus de vie et de

mort avec les taux de naissances 6 − 2i et de mort 2i. pour i de 0 à 3, et
trouver le générateur comme ça. Mais l’autre méthode est bien infaillible,
il faut l’admettre...

Problème 4 (Exercice 2.29). Un médecin de garde reçoit des appels selon un

processus de Poisson de 2 par 24 heures. Un appel nécessite un temps d’inter-
vention de loi exponentielle d’espérance 3 heures, indépendamment de tout
le reste. Tout nouvel appel durant ce temps est envoyé à un autre médecin.
Le médecin commence sa garde le vendredi à 18h. Quelle est la probabilité
6 THOMAS DAVIGNON

qu’il puisse passer entièrement la soirée du samedi, soit de 18h à minuit, en

famille ?
Solution. Il y a deux conditions pour que le médecin soit libre de 18h à
minuit :
— Il doit être libre à 18h (c’est à dire ne pas être en train de répondre à
unappel) ;
— Il doit ne recevoir aucun appel entre 18h et minuit. ;
Comme le temps que le médecin met à répondre aux appels est indépendant
des temps où il reçoit ses appel, la réponse que l’on cherche est donc
P {Le médecin est libre à 18h}×P {le médecin ne reçoit aucun appel entre 18h et minuit}
Pour calculer la première probabilité, nous allons considérer la chaı̂ne de
Markov à deux états : le médecin est libre (état 0) ou occupé (état 1). On
trouve le générateur de ce processus comme suit : (pour des raisons pratiques,
nous utiliserons la journée (24h) comme unité de temps)
— Si le médecin est libre, alors il reçoit un appel avec un taux de 2 par
jour, et il devient alors occupé. Donc, g00 = −2 et g01 = 2.
— Si le médecin est occupé, alors il termine avec son patient en 3h, c’est à
dire 1/3 de journée (donc un taux de 8 par jour). g10 = 8 et g11 = −8.
On a donc le générateur
 
−2 2
G=
8 −8
En diagonalisant, puis en exponentiant, on trouve
1 4 + e−10t 1 − e−10t
 
tG
e =
5 4 − 4e−10t 1 − 4e−10t
(on passe vite sur les détails des calculs parce qu’on vient de faire un exemple
en beaucoup trop de détails).
Si on commence libre à 18h le vendredi soir, la probabilité qu’on soit libre
à 18h le samedi est donc l’entré 00 de etG évaluée en t = 1 jour. On a donc
que notre probabilité est
1
P {Le médecin est libre à 18h} = (4 + e−10 )
5
Finalement, comme les appels arrivent comme un processus de Poisson, le
nombre d’appel reçus par le médecin entre 18h et minuit est une variable
aléatoire Poisson de paramètre 2/24 heures ×6 heures = 1/2. La probabilité
que ce nombre soit de 0 est donc e−1/2 .
Finalement, la probabilité qu’on recherche est donc

4 + e−10
P {Le médecin est libre à 18h}×P {0 appels entre 18h et minuit} =
5e1/2
 MAT2717 – PROCESSUS STOCHASTIQUES SOLUTIONS DU TP7 7

Remarque 1. Un appel aux 12h en moyenne. Ha !

Problème 5 (Exercice 2.35). Trois enfants s’amusent dans une glissade d’un
parc. Un seul enfant peut glisser à la fois. Onsuppose que tous les temps de
remontée et de descente sont indépendants et de loi exponentielle, disons de
paramètres respectifs λ et µ. On a une chaı̂ne de Markov sur quatre états
possible selon les nombres d’enfants en remontée, en descente et en attente.,
respectivement : (3, 0, 0), (2, 1, 0), (1, 1, 1) et (0, 1, 2), représentés par 0, 1, 2, 3
respectivement. En supposant que la remontée prend en moyenne deux fois
plus de temps que la descente (λ = µ/2), déterminer
(a) le générateur de la chaı̂ne ;
(b) la distribution stationnaire ;
(c) la proportion moyenne de temps à long terme pendant laquelle chaque
enfant glissera
Solution. (a) On va trouver notre générateur :
— Si on est à l’état 0, il y a trois enfants qui grimpent. On aura donc
une transition dès que l’un d’eux ou elles aura terminer de grimper,
et comme ils ou elles grimpent chacun.e avec un taux λ, la transition
aura lieu avec un taux 3λ. On se retrouvera alors dans l’état où un.e
enfant glisse et deux enfants grimpent : (2, 1, 0), soit l’état 1. Donc,
g00 = −3λ, g01 = 3λ.
— Si on est à l’état 1, il y a deux enfants qui grimpent et un.e qui glisse.
On aura donc une transition à un taux 2λ + µ = 2µ, puisque µ = 2λ.
Ainsi, g11 = −2µ. Si on a transitionné à cause que l’enfant en glissade
est arrivé.e en bas (taux µ), alors il ou elle remonte et on revient à
l’état (3, 0, 0), soit l’état 0. Don g10 = µ. Si on a transitionné à cause
que l’un.e des enfants après monter est arrivé en haut, comme l’autre
marmot.e est encore après glisser, on passe plutôt à l’état (1, 1, 1),
parce que l’enfant qui vient d’arriver en haut attend. C’est à dire qu’on
passe alors à l’état 2. Donc g12 = µ.
— Si on est à l’état 2, il y a un.e bambin.e qui grimpe, un.e qui glisse
et un.e qui attend. La transition va se produire quand l’individu en
glissade aura terminé (taux µ) ou quand l’individu en escalade sera
rendu en haut (taux λ). En tout, la transition se produira donc avec
un taux λ + µ = 3λ ; on a donc g22 = −3λ. Si on a transitionné parce
qu’un.e des petit.e.s bout-de-chou a fini de glisser (taux µ), on passe
à l’état 1 (2, 1, 0), parce que celui ou celle qui attend se met à glisser,
et l’autre remonte, et le/la troisième est encore après monter. Si on
transitionne parce que le coco ou la cocote qui grimpe est rendu.e en
8 THOMAS DAVIGNON

haut (taux λ), alors on se retrouve dans l’état 3, (0, 1, 2). Donc, g21 = µ
et g23 = λ.
— Finalement, si on est à l’état 3, il y a un.e petit comique qui glisse,
et deux qui attendent en haut. On transitionne quand le/la comique
en question finit sa glissade, et alors onse retrouve dans l’état (1, 1, 1)
(donc l’état 2), parce qu’alors il reste un.e poussin.e en haut, un.e qui
se met à glisser, et l’autre qui remonte !. Donc, g33 = −µ et g31 = µ
En se rappelant que µ = 2λ, le générateur est donc
 
−3 3 0 0
 2 −4 2 0
G = λ 
0 2 −3 1 
0 0 2 −2
(b) Les équations de stationnarité πG = 0 donnent les solutions suivantes :
3
π1 = π2 = 2π3 = π0
2
(c) La proportion moyenne de temps où un de nos adorables petit.e.s co-
quin.e.s glisse est 1 − π0 . On divise ça en trois parce que chacun.e d’entre
eux et elles va glisser aussi souvent, vu que le problème est symétrique,
et que [Link].s les ami.e.s sont égales et égaux entre eux et elles. C’est-
tu clair ? Au final, donc, la proportion de temps passée par un.e de nos
camarades à glisser sera de (1 − π0 )/3 = 5/19.

Problème 6 (Exercice 2.38 – Oh, boy !). Un préposé à l’information reçoit

des appels téléphoniques de la part de clients selon un processus de Poisson
d’intensité 1. Le temps requis pour répondre aux questions d’un client est
de loi exponentielle d’espérance 1/2. Si le préposé reçoit un appel alors qu’il
répond à un client (état 1), il prend l’appel pour un temps de loi exponentielle
d’espérance 1/4, mais seulement pour dire au nouveau client qu’il sera mis en
attente jusqu’à ce que le préposé ait terminé avec le client précédent. Pendant
ce temps (état 2), et tant que le nouveau client est en attente par la suite
(état 2a), tout nouvel appel est rejeté. D’autre part, un client en attente
s’impatiente au taux 2, auquel cas il libère la ligne avant que le préposé ne
réponde à ses questions.
Déterminer
(a) La distribution stationnaire
(b) la proportion moyenne de clients à long terme qui ne recevront pas d’in-
formations
(c) le temps en ligne moyen à long terme (avec le préposé ou en attente) d’un
client quiappelle.
 MAT2717 – PROCESSUS STOCHASTIQUES SOLUTIONS DU TP7 9

Avis aux passionné.e.s des centres d’appel : à l’avenir, veuillez éviter de

rédiger des manuels scolaires.
Solution. On fait encore le même genre de raisonnements, et on trouve que si
les états sont 0, 1, 2 et 2a, dans l’ordre, le générateur de la chaı̂ne de Markov
est le suivant  
−1 1 0 0
 2 −3 1 0
G= 
0 2 −6 4 
0 4 0 −4
Ceci est débattable. Le solutionnaire de Sabin semble ignorer le fait que le
premier client peut aussi s’impatienter lorsqu’il est mis en attente le temps
qu’on parle au nouveau client. C’est la raison pour laquelle Sabin trouve plutôt
le générateur suivant :
 
−1 1 0 0
 2 −3 1 0
G̃ =  
0 0 −4 4 
0 4 0 −4
Pour le reste des questions, on va travailler avec la version du solutionnaire
de Sabin : G̃
(a) La distribution stationnaire est la solution de π G̃ = 0 qui est normalisée.
C’est :
4 2 1
π0 = , π1 = , π2 = π2a =
7 7 14
(b) La proportion moyenne de clients qui ne recevront pas d’information, c’est
l’ensemble des clients qui
— Appellent alors qu’on est à l’état 2 ou 2a
— Appellent alors qu’on est à l’état 1, puis s’écoeurent.
D’entre tous les client.e.s qui appellent pendant qu’on est à l’état 1
(donc déjà en ligne avec un client), ils s’écoeurent en moyenne après 1/2
unités de temps, mais il sera en attente pour un temps d’en moyenne 1/2.
Donc, 1 client sur 2 qui appelle pendant qu’on est en ligne avec quelqu’un
d’autre va s’écoeurer et ne pas recevoir d’informations. Finalement, la
proportion totale de clients qui ne reçoivent pas d’informations est
1 2
π1 + π2 + π2a =
2 7
(c) Le temps moyen passé en ligne d’un client qui appelle, ce sera plus com-
pliqué.
Un client qui a appelé pendant que le préposé était libre va passer un
temps moyen m0 en ligne ; l’obectif est de calculer m0 . Pour ce faire, on
commence par remarquer qu’il y a deux cas possibles : soit le préposé
10 THOMAS DAVIGNON

reçoit un autre appel pendant qu’il parle, soit il n’en reçoit pas. Comme
le préposé reçoit des appels en moyenne à toutes les 1 unités de temps, et
que le client parlera en moyenne 1/2 unité de temps, la probabilité que
le préposé ait reçu un autre appel sera de 1/3, et la probabilité que le
préposé n’ait pas reçu d’autre appel sera de 2/3.
Dans le cas où le préposé n’a pas reçu d’autre appel, on passera en
moyenne un temps de 1/2 en ligne.
Dans le cas où le préposé reçoit un autre appel, le parcours du préposé
à travers les états sera 2 → 2a → 1. La transition de 2 à 2a prendra en
moyenne 1/4. La transition de 2a à 1 se fera quant à elle également en
un temps moyen 1/4. La moitiè du temps, on sera revenu à l’état 1 parce
qu’on aura fini avec le client (donc le client ne passera plus de temps en
ligne), mais l’autre moitié du temps, ce sera parce que le second client
s’est écoeuré. Dans ce cas, le client passera alors un temps m0 à l’appareil
de nouveau, puisque ce sera comme si on venait juste de lui répondre.
On a donc finalement
 
2 1 1 1 1 1
m0 = × + + + m0
3 2 3 4 4 2
ce qui signifie que m0 = 3/5.
Un client qui a appelé pendant que le préposé était déjà au téléphone
va passer un temps moyen m1 en ligne, et cette fois, le calcul est plus
simple. En effet, le client devra d’abord attendre un temps 1/4 en moyenne
puisque le préposé lui dira qu’il va revenir, puis le client va passer un temps
moyen de 1/4 au téléphone à l’état 2a. Une fois ce temps terminé, avec
probabilité 1/2, il aura décidé de raccrocher et ne passera plus de temps en
ligne, mais avec probabilité 1/2, le préposé lui aura répondu, et il passera
donc un temps m0 au téléphone avec le préposé. Domc,
1 1 1 4
m1 = + + m0 =
4 4 2 5
Finalement, on a que le temps passé en ligne par un client qui appelle
alors que le préposé est dans l’état 2 ou 2a est simplement 0, puisque son
appel a été rejeté.
Le temps moyen qu’on recherche est donc π0 m0 +π1 m1 = 74 × 35 + 27 × 54 =
4
7