Feuille d’Exercices X

Processus Stochastiques

Exercice 1. Un commercial voyage entre Montréal, Québec et Toronto en une année selon une chaîne de Markov
en temps continu donnée par  
−4 2 2
Q =  3 −4 1  .
5 0 −5
1. Décrire la chaîne de Markov.

Solution. Le commercial attend un temps exponentiel de paramètre 4 à Montréal puis voyage à Québec ou à
Toronto avec probabilité 21 . Une fois à Québec, il attend un temps exponentiel de paramètre 4 puis voyage
à Montréal avec probabilité 34 et à Toronto avec probabilité 14 . Une fois à Toronto, il attend un temps
exponentiel de paramètre 5 et voyage à Montréal.

2. Trouver la fraction limite de temps que le commercial passe dans chaque ville.

Solution. On nous demande simplement de calculer la distribution stationnaire, on doit résoudre πQ = 0.


 −4π0 + 3π1 + 5π2 = 0,

 π0 = 2π1 ,
  

2π0 − 4π1 = 0, 1 1 1
=⇒ π2 = π1 , =⇒ π = , , .
 2π + π1 − 5π2 = 0, 2 4 4
4π1 = 1
 
π0 + π1 + π2 = 1


Ainsi, il passe à la limite, la moitié de son temps à Montréal et un quart de son temps à Québec et à
Toronto.

3. Quel est le nombre moyen de voyages par année de Québec à Montréal.

Solution. On voit qu’il passe en moyenne un quart de son temps à Québec (donc 3 mois par an), on voit que
son taux de saut de Québec à Montréal est de 3 sur la Q-matrice donc il réalise en moyenne 34 de voyages
par année.

4. Le commercial vient de partir de Montréal, que est le temps moyen de son retour à Montréal. Si on dénote
pour X ∈ {M, Q, T },  
TX = E min Xt = M X0 = X
t>0

1
alors après ce premier saut, comme on a une probabilité 2 d’aller à Québec ou à Montréal, on a

1 1
T = TQ + TT .
2 2
On a aussi, comme TM = 0,
1 1 1 3 1
TQ = + TT , TT = =⇒ TQ = , TT =
4 4 5 10 5
et finalement
3 1 1
T = + = .
20 10 4
Exercice 2. Nous avons un système à deux serveurs: Le message entre dans la file d’attente du premier serveur,
quand c’est son tour il est traité en un temps exponentiel de paramètre µ1 . Il rentre ensuite dans la file d’attente
du deuxième serveur et à son tour sera traité en un temps exponentiel de paramètre µ2 .
On suppose qu’a l’arrivée de notre message, le premier serveur est libre (il n’y a pas de file d’attente), le message
A est traité au serveur 2 et le message B est dans la file d’attente au serveur 2.
1. Quelle est la probabilité que A soit toujours en train d’être traité lorsque nous passerons dans la file d’attente
du deuxième serveur ?

Solution. On cherche ainsi la probabilité qu’une variable exponentielle de paramètre µ1 soit plus petite qu’une
variable exponentielle de paramètre µ2 indépendante par l’absence de mémoire de la loi exponentielle (le temps
passé par A avant qu’on n’arrive n’importe pas) et alors on a
µ1
P (Exp(µ1 ) 6 Exp(µ2 )) = .
µ1 + µ2

2. Quelle est la probabilité que B soit toujours dans le système lorsque nous passerons dans la file d’attente du
deuxième serveur?

Solution. Nous avons deux possibilités: soit nous sommes dans le cadre de la question précédente et A est
toujours dans le serveur lorsque nous rentrons dans la file (T1 < T2 ) avec T1 le temps du service au premier
serveur et T2 le temps de service de A au deuxième serveur. Ou alors A a fini d’être servi mais B n’a pas fini
d’être servi, en dénotant T̃2 le temps de service de B au deuxième serveur, on obtient finalement la probabilité
voulu

µ1

P (T1 < T2 ) + P T1 > T2 , T2 + T̃2 > T1 = + P (T1 > T2 ) P T2 + T̃2 > T1 |T1 > T2
µ1 + µ2
µ1 µ2


= + 1 − P T1 > T2 + T̃2 |T1 > T2
µ1 + µ2 µ1 + µ2
µ1 µ2


= + 1 − P T1 > T̃2
µ1 + µ2 µ1 + µ2
 
µ1 µ2 µ2
= + 1−
µ1 + µ2 µ1 + µ2 µ1 + µ2
µ1 µ2 µ1
= +
µ1 + µ2 (µ1 + µ2 )2

où nous avons utilisé la formule de Bayes et l’absence de mémoire de l’exponentielle.

3. Calculer l’espérance du temps passé dans le système.

Proof. Déjà, on doit au moins attendre µ11 et µ12 correspondant au temps de notre service dans chaque serveur.
Ensuite, sur l’événement où A est encore en train d’être servi lorsque nous passons au deuxième serveur, nous
devons attendre le temps que A soit servi, et de même sur l’événement où B est toujours dans le système
nous devons attendre le temps de service de B ainsi on obtient le temps

E [T ] = E [S1 ] + E [S2 ] + E [S2 1A encore servi ] + E [S2 1B encore dans le système ]

1 1
= + + E [S2 |A encore servi] P (A encore servi) + E [S2 |B encore servi] P (B encore dans le système)
µ1 µ2
 
1 1 1 µ1 1 µ1 µ2 µ1
= + + · + · +
µ1 µ2 µ2 µ1 + µ2 µ2 µ1 + µ2 (µ1 + µ2 )2
1 1 2µ1 µ2 µ1
= + + + .
µ1 µ2 µ2 (µ1 + µ2 ) µ2 (µ1 + µ2 )2
Exercice 3. On considère une maladie qui peut être modélisée de la façon suivante. On considère 3 états: 1 pour
léger, 2 pour moyen et 3 pour grave. Dans l’état 1, on attend une variable exponentielle de paramètre λ1 avant de
passer à l’état 2, de l’état 2 on attends une variable exponentielle de paramètre λ2 avant de passer à l’état 3.
1. Y a-t-il un état absorbant pour la chaîne ?

Solution. Oui l’état 3 est un état absorbant.

2. Construire la Q-matrice de la chaîne, on rappelle qu’un état absorbant n’a qu’une ligne de zéro.

Solution. La Q-matrice est donnée par

 
−λ1 λ1 0
Q= 0 −λ2 λ2 
0 0 0

3. Donner l’équation progressive de Kolmogorov pour les probabilités de transitions sans les résoudre.

Solution. L’équation progressive de Kolmogorov est donnée par p0t = pt Q ce qui nous donne

−λ1 pt (1, 1) λ1 pt (1, 1) − λ2 pt (1, 2) λ2 pt (1, 2)

 

p0t = pt Q ⇐⇒ p0t = −λ1 pt (2, 1) λ1 pt (2, 1) − λ2 pt (2, 2) λ2 pt (2, 2)

 

−λ1 pt (3, 1) λ1 pt (3, 1) − λ2 pt (3, 2) λ2 pt (3, 2)

4. Quel est le temps moyen pour passer de l’état léger à l’état grave ?

Solution. Il suffit d’attendre le passage de l’état 1 à 2 puis de 2 à 3. Par l’absence de mémoire de l’exponentielle
on a ainsi un temps moyen de λ11 + λ12 .

5. On considère maintenant qu’il y a un médicament donné aux patients dans l’état 3 qui leur permet après une
variable exponentielle de paramètre λ3 de passer à l’état 2. Construire la nouvelle Q-matrice.

Solution. La nouvelle Q-matrice est  

−λ1 λ1 0
Q= 0 −λ2 λ2 
0 λ3 −λ3

6. Calculer la distribution stationnaire de celle-ci.

Solution. On cherche πQ = 0, on obtient


−λ1 π1 = 0, 
 π1 = 0,

  

λ1 π0 − λ2 π1 + λ3 π3 = 0, λ3 λ2
⇐⇒ λ2 π1 = λ3 π3 = 0, ⇐⇒ π = 0, ,
λ2 π2 − λ3 π3 = 0, λ2 + λ3 λ2 + λ3
π2 + π3 = 1

 
π1 + π2 + π3 = 1

 7. Quelle est la probabilité limite d’être dans l’état 2?

Solution. On remarque que la chaîne n’est pas irréductible donc notre théorème de convergence ne s’applique
pas. Mais on remarque aussi que si on est sur l’état 1 alors on passe directement dans le cycle {État 2,État 3}
et on peut ainsi utiliser le théorème de convergence sur la chaîne restreinte à ces deux états. Ainsi, la
probabilité limite d’être dans l’état 2 est bien π2 = λ2λ+λ
3
3
.

Exercice 4. Des clients arrivent selon un processus de Poisson de paramètre λ par heure. Thomas ne veut pas
resté jusqu’à l’heure de fermeture T il décide alors de fermer le magasin lorsque le premier client après T − s arrive.
Il veut partir plus tôt mais ne veut pas perdre de chiffres d’affaires donc il est heureux lorsque personne n’arrive
après son départ.

1. Quelle est la probabilité d’atteindre son but ?

Solution. On remarque que pour atteindre son but il ne veut qu’un seul client arrive entre T − s et T , ainsi
nous cherchons la probabilité

P (NT − NT −s = 1) = P (Poisson(λs) = 1) = λse−λs .

2. Quelle est la valeur optimale de s ainsi que la probabilité correspondante de succés.

Proof. On cherche donc quand est-ce que cette probabilité est maximale. On dérive et on obtient
d 1
(λse−λs ) = λe−λs − λ2 se−λs = 0 =⇒ s = .
ds λ
On remarque que c’est bien un maximum pour la probabilité et ainsi pour cette valeur on obtient une valeur
maximale de probabilité de   1
P NT − NT − λ1 = 1 = .
e

Exercice 5. Un scientifique a une machine qui collecte des données. Aux temps d’un processus de Poisson de
paramètre 1, la machine est dérangé par son environnement. Le scientifique vient tous les L unités de temps pour
vérifier son équipement, s’il est dérangé, il peut la réparer immédiatement.

1. Quelle est la fraction limite de temps où la machine fonctionne ?

Solution. On peut considérer le temps que la machine fonctionne comme un processus de renouvellement
composé. Ici, les temps de renouvellement sont déterministes égaux à L lorsque le scientifique vient vérifier
sa machine. Sur chaque renouvellement, on peut calculer le temps que la machine fonctionne: soit elle
fonctionne tout le temps s’il n’y a pas de dérangement, soit elle s’arrête dès le premier dérangement lors du
renouvellement ainsi on construit le processus composé, avec T1 ∼ Exp(1) la première arrivée du processus
de Poisson,
Nt
X
Ft = fi avec fi = T1 1T1 6L + L1T1 >L .
i=1

On sait que  
Ft E [ft ]
P −−−→
t t→∞ E [ti ]
 et ici on a E [ti ] = L et
Z L Z ∞
−x
E [ft ] = xe dx + L e−x dx = 1 − e−L .
0 L
1−e−L
Ainsi la fraction limite de temps où la machine fonctionne est de L .

2. On suppose que les données collectées ont une valeur de a dollars par unité de temps et chaque inspection
coûte c < a. Trouver la meilleur valeur de L pour optimiser le rendement. On montrera que L doit vérifier
une équation qu’on ne résoudra pas.
−L
Solution. On voit que la fraction de temps où la machine marche nous donne une valeur de a 1−eL et le coût
de chaque inspection nous donne un coût moyen limite de Lc (on fait le même processus composé avec des
temps déterministes et un coût déterministe de c) ainsi on veut optimiser la fonction

1 − e−L c
a − .
L L
En dérivant, on obtient le meilleur L qui suit l’équation
c
= 1 − e−L (1 + L) .
a