Dfamal CtrAAnAND

,t
Pnocnss us sfltcflasTrg uDs
APPLTU|BS A Ur nn0nnncnn
OPDRATTONNDLLN
 EF qt
fll
É
Èx
I

9a
tsl t,
23
gEF Ê1

2so
s
SFTFI 2{
.ta

TE 5Ë= a5
3r
EIT Ês= =e
FaÈ
Éi
Êrù
È

?:>) (t)
r+l
3ËE âs ë

Eâ El
âs 9*i
frr

É
CF+È l&

lx
\H
r--I
H
Ë*
 ù
.2t
I
Ë.$,-E
i; ; i e Ë i É g q €Ë
h = ;
i É.=iË
Ë i;i Ê
Ë F
# Ë ÈEE
|\
e i+ IË : Ë E r:iE È is eiEE
Ét.t

s\ É
É
5
.
=
? +
i
:
€ 2E
u= r"eZ
iÊi
€

i
E
; Ë
- Ë ÉiË
'az
ig
lùJ
ir
\J
q
hJ
;,
EE
i
ËË:
=
'tir,==gËs:==={xerg
Ëâi Ë ËË;ËË €g!*Ê E
Ë
i=
;
.E
+.ËE
!:Ë
\
+
rrJ
--'E i: çîE î,ËÊ?z;
i: €Ëi Ë.&s=iÉË i i ËË:
ËË,

Ëi jr=iârl;aË+i â=È! ilE

ie
ii
e$Ë;ËÉilÉ;EsiF!Z
ÈiE+Ë ?È;ËËË Z;iA= ËEË
*Ë$

I:
o
(D

e
ô
EI

F
(t)
É
frf

z
(t)
z
o
Ér
()
ti:
É:
À
(t) -^
H:

(Jë
H=
frs
h:
o+
(9C
 o-, o
g 93 B â d 6rs E b !g
.o: L
fiË; l A'+ 'a
ù*"- (n
t.qr
dl.

ËËiEiËË[ËïiËîiël *
;";;E Ë ï un; .; à i Ë Ê ! Ë â
oÀ
L

o-.
td' t
o
@

i ï E Ë E ; É i il ë ; iÉ !Ë i
F o
,i 0J
J
oui
[ Ëf :*
Ë=
i
fi ;s
5 -e
H; [ Ëî
q ! " Ë H t '
i
i" E Ë
.^i re<o;a ^ Hiâ;ï.lE;'É ' y 'o)

eiyrEËsaigËj,oiÈ.Ë"8 o;i
o L i É i "e i
; â É & î ': Ë Ë É 3 €
o
a : I 5 Ë Ë Ë fi : t E l â ï Ë. qo
, R ç p = Ë '! : i : i
É Ê
À tdi 00
2
I
li f; i É-Ë
= 'h
q,o
'nd
qo
I

iiiHfiËËîi:i;i;;Ëi
Ë Oo,
ooc
do

ËfrÊËË;Ë &is gri+:!:

JÛ'O
oÉo
PO!
d!t

; u s : E È î i iï e i Ë Ë e i
oÉ
ooo
obou|
J @{)
oÀ

TBËliËBiËëg-;ë€
É
po)
â oo
 SOMMAIRE

Pages

CTIAPITRE I

l. Int r oduct i on t-Ë: .^.;** . I

Z'. Lois de Probabilités 7

- Loi Binomiale : '.'. .. .'. .7

-^ Lo i tr,tui t inorniàt" .' . . .' .' , .. g

- Loi de Poisson : 8

- Approximati on dê la loi Binomiale par

la-loi de Poisson .. .. .9
- Loi Unif oime 9

- Loi Normale
- Approximat i on de la loi Binomiale par
i : I i : I ':.,i I :t
la loi Normale ",,._:lp
- Loi exponentielle . ll
3. Espérances .ll
4. Espérances conditionnelles ,. .13
5. Fonction caractéristique .15

6. Fonction génératrice .15

1. Fonction génératrice de quelques
distributions usuelles .16

VII
T

CHAPITRE 2 PROCESSUS DE RENOUVELLEMENT

1. Introduction .lg
2. Déf initions et notations .ZO

3. Comportement asymptotique 23

CttAP,I TRE 3 CHA I NES DE MARKOV

l. Introduction
2. Représentation spectrale de la matrice
stochastique 37
(
3. Passage par un état f ixe .. .39
l
4. CaIcul de la probabil
- ité V.rJ = P.i (T_I = k) .42
2

5. Classif ication des états 4'l

6. Graphe associé à une chaîne de Markov .4a
'7. Etude asymptotique 58
3
8. Calcul de la matrice V et R .58
4
9. Les états Èécurrents et les probabilités
5
I imites .65
6
10. Les états périodiques .68

E]
CHAPITRE 4 DECISIONS ET CHAINES DE MARKOV

1. Introduction . .71

2. Coûts associés à une chaîne de Markov .72

3. Décision et chaînes de Markov .1a
4. Algorithme pour déterminer une
politique optimale .gl
5. Cas des coûts actualisés .93
6. Autre approche : Décisions mixtes 85

7. Résolution à I'aide de la programmation linéaire.86

VIII
.18 CHAPITRE 5 PROCESSUS DE POISSON

.20 1. Introduction .89

23 2. Instants d'arrivés .93
3. Superposition du proces sus de Poisson 9j
4. Décomposition du proces sus de Poisson .97
5. Processus de Poisson non-stationnaire 98

3'7
CHAPITRE 6 PROCESSUS DE NAISSANCE ET DE MORT
.39 'ùi:
l. Introduction .=:.,..i", lOl
-42
z. Exemples . . lroo
47
- Processus de naissance pur tO4
48
- Pr o cesus de Markov lO4
3. Files d'attente simple log
4. Descr iption d'un système de f i le d'attente lOg
5. Système ouvert et système fermé .lll
6.' Système ouvert à un seul serveur ll7

EXERCI CES

.IX.
PROCESSUS STOCHÂSTTQUES RAËPELS SUR LES PROBABILITES
CHÀPITRE I

RAPPELS SUR LES PROBABILITES

l.l INTRODUCTION

La notion de base dans la théorie des probabilités est

l'expérience aléatoire. Une expérience tàIIe que'son .résultat ne

peut être connu à I'avance. L'ensemble de tous les 'I-ésultats

possibles est appelé ensemble fondamental, noté souvent O ; tout

élément de o est dit évènement élérnentaire. Tout sous-ensemble

de O est dit évènement Un évènement A est dit réalisable si le

résultat observé est un élément de A.

l:2 DEFINITION

Une famille de sous ensembles de 9, d est dite tribu si :

-Oed
-PourtoutA€l,A€4
- Pour tout A, B de d : A v B e d
- Pour toute suite {A.i.€I (I étant un ensemble dénombrable)

de l, U R.ed.
I
t€I
Le doublet (O,.4) est dit espace probabilisable.
 RAPPELS SUR LES PROB'
PROCESSUS STOCHASTIQUES
CHÀPITRE 1

DEFINITION

Soit (o,/) un espace probabilisable' on appelle prot

une application de d dans [O,t] vérifiant :

1. P(a) = l.

2. v A e I , V B e d : P(A u B ) = P(A) + P(B)

avec:AnB=o.
J. Pour toute suite d'évènements { O,)i., d" d, disjoints d

à deux: p( Ua,; =f p(A.);

i€I ' i€I

Le triplet (O ,d ,P) est dit espace probabilisé'

PROPOSITION

Soient A, B de O.

siAçB alors P(A)=P(B)

Démonstration

Soient A, B deux éléments d'une tribu /'

B=Av(AnB)'
An(A a'
^B) =

p(B) = P(A) + P(Â n B) - P(A).

Codt
2
PROCESSUS STOCHASTIQUES RAPPELS SUR LES PROBABILITES
CHAPITRE T

1.5 THEOREME

Soient BLZ B ... une suite d'évènements disjoints

deux àdeux et Q = U g
i
l€r
Alors, pour tout évènement A, on a :

P(A) =I P(A n B)
-l l€I

Démonstration

Soit I un ensemble dénombrable.

Pour tout évènement A,

A=AnO=An(uBr)= u(A^q)
i€I I €I

comme Br,B, ,... sont disjoints deux à deux; les évènements

A n B, ; A n B, ;... le sont aussi, d'où :

P(A)= lP(AnB).
-t iêl

PROPOSITION

Soit { A, ,A, , ...} une suite d'évènements tels que :

d
Arc Arc Aaa ... on pose A = UAI Alors :
:

p(A) = pre
ljg n
)

3
PROCESSUS STOCHAST.IQUES RAPPELS SUR LES PROBAB
CHAPITRE T.

Démonstration

Posons: B, = A, ; Br= Azn Â, ; B.= A.n Àr;""'

Bt'2
,B , .... sont disjoints deux à deux. Donc :

n
At = USt Et A=UB.t
,=, I>l
n
on peut montrer que : P(A.) =t P(Br)

n æ

limP(A)=Iim E P(8.) =I P(8.) = P(u Bi) = P(A)

nt@ n nt@
i=l '.q;'i=1 . - t>l
8.. S'

"ra
1.7 COROLLAIRE

Soit la suite d'évènements {A1, A As'

z'
Atz)A A )....
Poson s a lors : P(A ) lim
= nt@ P(An )

Démonstration

la suite ( A,)r. û,1*

vérifie A
lzJ
c A^c A^c ....

Dônc: UÀ,=4 Iim P(Àn ) =

; nt@ P(À).

P(A)=l-P(A)= I- ll$ e(À") = llg tr- P(Àn)) = lig'pte

1.8 DEFINITION

Etant donné un esPace probabilisé (O'A,P) et un évène

de probabilité non nulle. L'application définie par :

,4
PROCESSUS STOCHASTIQUES RAPPELS SUR LES PROBABILITES

v B e d : B ---------+ p'^' P(A n B) est une probabilité sur

- '----'-:'
o(B) =
(Q,.4).

PA(B) = P(B/A) est dite probabilité de B sachant A.

1.9 TI{EOREME

Etant donné une suite d'évènements Br,Bz, ...

disjoints tels que : O = U Sr, alors pour tout
i€I
évènement A, t,n, =,!, P(A/B, )xP(& ) .*.i.,,
,

Démonstration

on a : A = A n e: o.' (U =U(nns)I
"r) i€r
P(A) = f, P(A n B,) et ,t; ^ , rii) = P(A ,/ B ).P(B ).
ter

Donc : P(A) =IP(4,/B.).P(B.)

-r€Iit
I.IO COROLLAIRE

Soit { B,
lz B,:..) une suite d'évènements.
O = U 8.. Pour tout évènement A tel que :
t€r
P(A) > O et pour tout j :
P(A/B ),P (B )
P(8./A)
J
,/Bi ).P(Br )
,!,r,o
 Pn|TESSIE :
PROBABILITES
RAPPELS SUR LES
PROCESSUS STOCHÀSTIQUES CHAPITRE I

Lr3 ID
Démonstration

Soit j un élément de I'

P(A B.)
^
P(8./A) da
J P(A)
si

1.11 DEFINITION

on aPpelle
(F'E) deux espaces probabilisables'
Soient (9'l)'
r
(O'/')'
(notée v'a') définie sur I'espace
variable aléatoire
partie B de
de O vers F telle qu'e pour toute
toute application
e 4' F est
E de l'espace probabilisable (F'E)' X-1(e)
la tribu
dénombrable' X
de X' Si F est fini ou
dit ensemble des valeurs
ou mixte'
elle est dite continue
est dite discrète' sinon

I.IZ DEFINITION

définie sur (O'4)'

Soit X une variable aléatoire L6L,,
de R dans [O'1] par :
LET
Soit Û une fonction définie
I..()

x È-' = P(X = x)'

ry'(x)

rl, est une fonction de

répartition si :

c
- ry' est non décroissante'
(
- ry' continu à droite'
I
- Lim r/(x) = I (

- t*lT.*t'' = o
 !
-r.f

SUR LES PROBABILITES PROCESSUS STOCHASTIQUES RAPPELS SUR LES PROBABILITES

CHAPITRE 1

I.I3 DEFINITION

BJ).P(BJ) Soit X une variable aléatoire discrète, prenant ses valeurs

Bi).P(Bi) dans un ensemble E dénombrable. p* est dite loi de probabilité
si:
.ts,,
Y ct e E : p*(c) = p(X = a) e tO,rl et Ep*(cr) = t.
d

. On appelle
1.I4 DEFINITION
sur I'espace (0,4),

pour toute Partie B de

Les variables aléatoires xr, x2,..., x. sont dites
,E), x-r(B) € l. F est
indépendantes si et seulement si
fini ou dénornbrable' X
- P(Xl= or,Xz= cr.,...,Xr= c.) = P(X.= ct.) P(X^= cr^)...p(X = a )
ou mixte. Il22nn
pour des v.a. discrètes.

- p(Xr<c.r,Xr< crr,...,X.(cr) - P(X.<cr. ) P(X^<a-) ...p(X <c

ltZZnn )

pour des v.a, continues,

sur (o,d).
r.l5 LOIS DE PROBABILITES
lpar:
LTs.T LOI BINOMIALE

La loi Binomiale est une loi de probabilité d'une série

d'épreuves répétées indépendemment un nombre fini de fois avec :

Chaque épreuve possède deux éventualités exclusives de

probabilités P et (f-P). Elle est notée par : g(n; p).

Si X est une v.a. de loi binomiale:

7
 PROCESSUS STOCHASTIQUES RAPPELS SUR LES PROBABILITES
CHAPITRE T PROCESSI.'S STOCHASTIQUE

p(X = k) = 6* pu{l_p)"_k k=O, 1,2,...,n

1.15.4 APPROXIIIATI

I.15.2 LOI MULTINOMINALE 1.15.4.1 THEORETE

Soit une urne contenant n boules, on suppose qu'il existe k

La loi dr
couleurs différentes. de la ]oi
Cette app
P, : Pnoportion des boules de couleur 1.
n>50,
P, : Proportion des boules de couleur 2
. 1. 15. S LoI LTNIFORI,iE

P, : Proportion des boules de couleur j.

J
La loi
uniforne sur
Si les tirages sont avec remise, .la probabilité pour qu,on tire
boules de couleur I et n, boules de couleur 2,...etc es.- :

(n + n +...+ n )r nnn
D_ r2 k t.P 2....p k
n t.n ! P
t2 n!
k
t z u 1.15.6 LOf ùORilALE

I.I5"3 LOI DE POISSON

La loi de

si sa fonctic
Soit À un réel positif.
X une v.a. suit la loi de poisson si :

f(x) =

rrÀ=Kr=e pour k = O, 7, 2,....

k!
Onnote: X-

I
RAPPELS SUR LES PROBABILITES
PROCESSUS STOCHASTIQUES
MPPELS SUR LES ÀBILITES
CHAPITRE 1

= o, 1,2,
1.15.4 APPROXI}IATIOil DE LA LOI BINO}IIALE PAR L/I LOI DE POISSON
1 . ls. 4. 1 THEoRBiE

on suppose existe k La loi de Poisson p(À) est la linite quand n tend vers æ
de la loi BINOMIALE E(n;n) de noyenne À (À = n p)
Cette approximàtion est appliquée quand
de couleur l.
n:50,P=0.1 et n.ps15.
de couleur 2
1. 15. 5 LOI T'NIFORME

de couleur j.
La loi de probabilité d'une variable aléatoire est
uniforme sur [a, bl si la densité de probabilité de
X est
ité pour qu'on tine

leur 2,...etc est:

f (x)= bl
{ctesixe
( 0 sinon
Dnn
t.P u
t2k '....p 1. 15.6 LOI NORT,IALE

La loi de probabilité d'une variabLe aléatoire X est nornale

si sa fonction de densité de probabilité :

f (x) x e R, o e R-

On note : X N(p,

9
PROCESSUS STOCHASTIQUES RAPPELS SUR LES PROBABILITES
CHAPITRE 1

x-p
(z = o l.l5-8
Faisons le changement de variables suivant {
Iv =oY

On obtient la loi centrée réduite N(O,t) de densité

g(tj= | e
-tz/z
l21t
-
I.I5.? APPROXIMATION DE LA LOI BINOMIALE PAR LÀ LOI NORMALE

La loi binomiale B(n; p) peut être approximée par Ia loi

normale N (np; n p (l - p)) à condition que :

l.16
n>15 r.16.l

et q=l-p

____----J Normal e

N( np;y'npq )

t-t6-z'
B inomiale
B(n; p)

Poisson
------------) P(À) ; À =np

10
 ..1
PROCESSUS ST0CHASTIQUES RAPPELS sUR ÏiE PRoBABILITES
CHAPITRE I

I.I5.8 LOI EXPONENTIELLE

Une variable aléatoire X dite de distribution

exponentielle si :

p(X=t) =1 - t>o, À>o.

"-Àt;
La relation suivante est toujours valable.
Jq.
';r''-
_.,.,_.*

P(X > u + v / X > u) = P(X > v).

I.16 ESPERANCES

I.T6.1 DEFINITION

X une variable aléatoire discrète ayant ses valeurs dans un

ensemble dénombrable F.

E(x)=lap(X=a).
aeF,

I.16.2 TI{EOREME

Pour toute variable al éatoire X non négative :

:
E(x) = P(x > t) dt.
J
o

11
PROCESSUS STOCHASTIQUES RAPPELS SUR LES PROBABILITES ;i
PRoCESSU+fSTOCHASTIQUES
CHAPITRE 1

Démonstration
I.16.4 PROPOSITION
Soit X une variable aléatoire discrète à valeurs dans E.

a (i) E(Àx) = r
E(x) =| a.P(x = a) = I J at P(X = a) (ii) E(X+ Y) =
a€E a€E o
n
(ii) E(l-ii c, X )
1= I
= J dt;P(X = a) = f, P(x > t) dt
Oa)to

Soit {Xt'. X2'. ...} une suite de variables aléatoires discrètes

REMARQUE
croissante et convergente vers X,

Pour une v. a. X
@

E(X)=JP(X>t)dt.Ona:
nn
espérance comme
o
Soit X=Y - Z
(x > t) c (x > t)c .... etcomme:limX =X
t2 n9@ n
E(X)= E(Y) -l
@

U (xn >t) = (x > t) d'où : n+@

lim P(X >
n
t) = Pfi > t) j

n= 1

6@ I.16.5 ESPERANCE CONDITIOM

limE(X ) lim J
nr@nnr@oao=
P(X > t) dt =J P(X > t) dt.

Soit Y une varia

I.16.3 COROLLAIRE
dans un ensemble R* et

E$/A)=la-P$=ùt
Soit X une variable aléatoire aya.Dt les Si A = {X = a}, Alors :

valeurs dans [',1 Alors : Quand a varie, on obtier

@

E(X)=f,p(X>n) E(Y/x) = f(x).

n=O

12
 o
\
at<
RAPPELS SUR LES PROBABILITES I
PROCESSUS STOCHASTIQUES RAPPELS SUR LES PROBABILITES
CHAPITRE I

I.16.4 PROPOSITION

(i) E(Àx) = À E(X); pour toute constanté réelle À.

E JatP(X=a) (ii) E(X+ Y) = E(x) + E(y)
nn
(ii) tll = E c,E(X,)
)=JP(X>t)dt l= I ",x,) i=l
o =_=____l-Ë-_-
les aléatoires discrètes
REMARQUE

Pour une v.a. X ayant ces valeurs dans R, on calcul son

espérance comme suit:
Soit X = Y - Z. V are e; X(ar), y(ra) € lR*, on a:
E(X) = E(Y) - EQ) (d'aprés r.16.4).
lig etx^, t) = P(x > t) ;

r.T6.5 ESPERANCE CONDITIONNELLE

P(X > t) dt.

Soit Y une variable aléatoire discrète ayant ses valeurs

dans un ensemble R+ et soit A un évènernent tel que p(A)>O.

E$/N=f,aP(Y=d./A).
re ayant les Si A = {X = a}, Alors : E(y / X=a) =
Ip p(y = B / X = ù.
Quand a varie, on obtient une fonction : f(a) = E(y / X = ù.

Eft/x) = f(X).

13
PROCESSUS STOCHASTIQUES RAPPELS SUR LES PROBABILITES
PROCESSUS STOCHASTIQTES
CHAPITRE 1

I.16.6 DEFINITION
I.6.9 PROPOSITION

Soient Xr, X2,... des variables aléatoires discrètes ayant

leurs valeurs dans un ensemble dénombrable E et soit y Si Y une va
une

variable aléatoire ayant ses valeurs dans Rl Alors l'espérance

alors, E(y
conditionnelle de y sachant Xr, Xr,...est donnée par :

I.r7 FONCTION c Rl
E(Y ,/ Xr, ...,X.) = f(Xl, X2, ...,X.) où :

r.I7.T DEFINITION
Pour tout (ar, a",...,un) ;

î(ur, a",...,u") = I P P(Y = F / X,,= nr, X.= &.t ..., X. = a.). Soit une

Ê probabilisé (e,J
fonction carast
t.16.7 PROPOSITION

Soit Y une v. a. discrète prenons ses valeurs dans E On peut montre

et g une fonction définie de E dans R*. Alors: existe, peut êtré
E(g(Y) / xr, x1-,...,X.) = E gtpl.p(y = F / xr,xz,...,x,)
B

I.16.8 PROPOSITION
I.I8 FONCTION GENH

Soient Y1,Y2,...Yk k variables aléatoires discrètes

à valeurs dans E, et soit g une fonction de Ek dans R* La fonction
Alors : E(g(Y, ,Y définiepar: MlI
2,. .Y k) / X, , Xr, . . .,X. ) =
E s(F, ,...,Fk) R{v,= Êr,. .. ,yn = Fn/ xr, . ..,x,) - Si X est v.a. di

14
 . .j!
\

PROCESSUS STOCHASTIQT'ES RAPPELS SUR LES PROBABILITES

CHAPITRE 1

I.6.9 PROPOSITION

Si Y une variable aléatoire de la forme :Y = f(Xr,...,Xr),

alors, E(Y /Xr, ..., X.) = Y.

^,ç!
'"i" , .;
I.I7 FONCTION CARACTERISTIQUE D'UNE VARIABLE ALEATOIRE à

r.T7.T DEFINITION

Soit une variable aléatoire X définie sur l'espace

probabilisé (0,1,P) et F sa fonction de répartition. On appelle

fonction caractéristique de la v.a. Ia fonction ry' définie par :

I+ll
Vr(t) = E(e'"")

On peut montrer que le moment d'ordre k de Ia v.a. X, s'il

ses valeurs dans E
dans Rt. Alors : existe, peut être donné par :

).P(Y = F / xL,xz,...,X^)

mkk= 1 .(k),^,
(uj avec iz = -1.
t
-u,

I.I8 FONCTIONGENERATRICE

La fonction génératrice d'une variable aléatoire X est

définie par : tr,t (t) = E(etx).
x
- Si X est v.a. discrète on a : M*(t)=;"tkR{x=t).

15
 PROCESSUS.+TOCHASTIQUES
RAPPELS SUR LES PROBABILITES .'.4
PROCESSUS STOCITASTIQUES
CHAPITRE 1

+æ
2 e* f{x) = (l+ p( e
- si x est une v.a. continue : Mx(t) = I t* f*(*) d*'
-@ Dérivons Ies deux mg

= n.(l + p.(et - 1))-t.1

I.18.1 THEOREME
De rnême, si on dérivr

Soient a, b deux réels : X une v'a' 2. Fonction génératrice

( i) Mx*"(t) = èxP ("t) M t)
"( _.,::-
( ii) Mbx (t) = M"(ut) Ti.
'*
(iii) Mx+a 111 = exP ( {- t) rvr* t i) p=
b
3. Fonction génératrice

r.T8.2 THEORHTIE
4. Fonction génératrice

*r.na Xr,Xr,.",X. n v'a' de fonctions génératrices l

M-(t), M.,.(t) ,.", Mx(t) respectives'
"t2î
^^ Pour la loi centrée et
. .., X, sont indépendaltes alors
:
Ç i Xr, X z,
n
M (t) =IIM.'(t)
"'X+...+X i=l )t
1n

DISTRIBUTIONS USUELLES
r.T8.3 FONCTION GENERATRICES DE QUEI-QUES

l. Fonction génératrice pour Ia loi Binomiale

M-(t) I "t" C" p"(l -

À = E(et") =*=o
p)"-*

, t .,,r
=(l+p(e -r,

16
 PROCESSUS STOCHASTIQUES RAPPELS SUR LES PROBABILITES
RAPPELS SUR LES PROBABILITES
CHAPITRE 1

+æ
I o f"{*) ; et* f{x) = (r+ p( "t - t))" ................. (1)
M.,(t)
ÀJ =| e d*.
-@ Dérivons Ies deux membres : I X f(X) etx

= n.(l + p.(et - 1))"-1.p.et. pour

t = o e p = E(X) = n.p.
De même, si on dérive (l) deux fois ôn trouve :
V(X) = n.n.(l - p)
o
2. Fonction génératrice pour la loi Poisson
+

Mff,)=p^(e-1,

p=E(X)=1. et v(x)=À
3. Fonction génératrice pour la loi Gamma

MX(t)=(l-Bt)-ct'

4. Fonction génératrice pour la loi Normale

. .22
.a. de fonctions génératrices M(t)=pFr+o'sto
--x'-'
t ) respect ives.
Pour la loi centrée et réduite on a :
ndépendantes alors :

n t2
(t) M*(t) =
rr M.. "o's
I

DISTRIBUTIONS USUELLES

loi Binomiale

Ë .î p'{l - p)"-*
"t*
(l + p( 6t - 111"

17
 ?F(8595 :
PROCESSUS DE RENOUVELLEMENT
PROCESSUS STOCHASTIQUES
CHAPITRE 2

Dol
PROCESSUS DE RENOUVELLEMENT
-l

-T
Car

2.1 TNTRODUCTION

Dans ce chapitre on s'intéresse aux processus qur se \ n

répètent dans des périodes aléatoires' Les résultats présentés \ E

se basent souvent sur des hypothèses rares dans la pratique,

néanmoins on peut modéliser de nombreux p"bblèt"" sous forme de
On

processus de renouvellement' L'exemple suivant introduit la cotr

notion de base des évènements renouvelants et les processus de 'Dar

comptage. l'éç

peu

EXEMPLE pro
On considère une séquence infinie des tirages
(pile ou face)
ren
de Bernoulli. Ces tirages sont supposés indépendants' L'ensemble NOII

des résultats Possibles est :

Lz DEF
O = {(tr, ,, .'.'.), ",= {:Ï:
\

P(pile) = p ; P(face) = q = 1 - P; o = P = 1'

Pour tout o € O et pour tout n e Û''1, on définit les variables ac

aléatoires X comme suit : pré:

Soit
1l sl o - Pile
Yne0'l: Àn\o/ = 10 si tr = face indé

défi

18
 _
'.'€
PROCESSUS STOCHASTIQUES PROCESSUS DE RENOUVELLEMENT
CHAPITRE 2

Donc : {X.; n € !'l} est un proceèsus défini par :

RENOUVELLEMENT
- Xl Xz, .... indépendantes.
- P(Xn= l) =p ; P(X.= O) =q ; p +q = 1.
Considérons maintenant les variables aléatoires :

Nn (to) = sin=O
{ T,. *,. .. +X
n
sin=1,2,....
'r'i

s'intéresse aux Processus qur se Nn- : représente le nombre de piles dans Ies n premiers tirages. .;

aléatoires. Les résultats présentés Nm+nn'

- N : représente le nombre de piles dans les tirages

hypothèses rares dans la Pratique, numérotés n+l; n+Z; ... ; n+m.

de nombreux p.bblè-"" sous forme de On remarque que l'étude du processus {N.; n e û,,1) consiste à

. L'exemPle suivant introduit Ia

comptei -le.
_nombre de fois où l'évènement " pile " est réalisé.
renouvelants et les Processus cre 'Dans la série de tirages citée ci-dessus, à chaque fois que

I'évènement "pile" est réalisé, on obtient un renouvellement. On

peut donc définir un processus de renouvellement comme étant un

processus de comptage. L'evènement " pile " est dit évènernent

infinie des tirages (Pile ou face)
renouvelant et N est Ia variable aléatoire qui représente le
n
supposés indépendants. L'ensemble
nombre de renouvellements jusqu'ar-, .rtu-" tirage.

DEFINITION

-p;O=p<1. Le processus de renouvellement est un processus de comptage,

n € lN, on définit les variables à chaque occurrence d'un certain évènement E, le système se

présente de Ia même manière.

Soit €, -2 ,... une suite de variable aléatoire non négatives
-t €^
rl 6 = Pile
xn(oJ = 10 "t
si o = face indépendantes et équidistribuées On. considère la v.a. S^

définie par
- : S=
n €-+ -Z ... + €-n
-l €^+ n> 1.

19
 I

.{

PROCESSUS STOCHASTIQUES PROCESSUS DE RENOUVELLEMENT +rEssus srocHAsrreuEs

CHAPITRE 2

Nous conviendrons qu'il existe un appareil de durée de service U=F(n

n

{-.
-l Une fois tombé en panne, on le remplace par un autre de o(s) = )
d
mêmes caractéristiques. Ce dernier durera €, et tombe à son tour v(s) =I
I
en panne et. il est remplacé par un nouvel appareil, et ainsi de
G(n) = F
suite. Dans ce cas les variables aléatoires {Sr; n > l} sont
appelées instants de renouvellement. par c(nl

REMARQI.JE
Z1 DEFINITION

Le remplacement est ef f ectué irnmédiatement !.:,

Iorsque I'appareil tombe en panne. + Soient €r,€.,

définies par gi=
=
Dans ce chapitre on s'intéresse aux trois processus suivant : renouvellement rr

- Le nombre de renouvellements instantanés défini par : sont équidistrihrée

K= card {n ; S =t ; n> 1}. V t = 1, 2, 3, .... Notons :

V ar eQ : rc.(ra) € {O, l, 2'...). f(È

n

- L'âge de I'aPPareiI à I'instalt t :

A(o)=t-S ;t=1,2,.... A.(tr) e {O,

t*a Comme les variat
- Durée de vie résiduelle :
equidistribuées alc
r!.= S" *, - t ;' | = l' 2, ...; rtt(o) ç {l' 2' -..1
t

2.3 DEFINITIONS ET NOTATIONS l-a fonction gq

aléatoires indépeod
On considère un processus de renouvellement {rcr; t € t'l}.
des fonctions géofu
Les durées de vie {.I (i = l) sont définies par :

€r=S,-S,-, vi>l' 25 IIEINITION

posons : f nl = p(€.= n) pour n > l. Onpose:f=
Uo = P(O est un instant de renouvellement) = I
dit rE.ansitoire si f
I

20
 PROCESSUS STOCHASTIQUES PROCESSUS DE RENOUVELLEIIEù
PROCESSUS DE RENCUVELLEMENT CHAPITRE 2
tE2

U.= P(tt est un instant de renouvellement).

:e un appareil de durée de servrce
o(s)= tf s'.
on le remPlace Par un autre de .f, '
:rnier durera €, et tombe à son tour
ù(s)= Ius".
n2o--

par un nouvel aPPareil, et ainsi de G(n) = p({ > n+t) = If, ; Vn> 1.
Jàn+1-
'iables aléatoires {S^i n > l} sont
par convention : P(€ = 0) = O.
ement.

2.4 DEFINITION

st ef f ectué immédiatement
Soient €- t ,Ê-2 . des variables aléatoires indépendantes
I tombe en Panne'
définies Dar: €= ll
S- S
,_r.X = {X.; t e D',1} est dit processus de
renouvellement ordinaire si Ies variables aléatoires {€r}r=,
aux trois Processus suivant :

sont équidistribuées.
instantanés défini Par :

Notons :
1).Vt=r,2,3,""
f(")= p(€_* €^*...* € = n) = P(S = n)
nlarr
(r) r-r ^
a(s)=tf"'S".
T=0"
2, .... A.(ar) e {o, l' 2' "")
Comme les variables aléatoire Ç. sont indépendantes et

équidistribuées alors :

nt(o) ç {t, 2' "'t (r)

O (s) = (O(s))".

La fonction génératrice d'une somme finie de variables

aléatoires indépendantes et équidistribuées est égale au produit

de renouvellement (r.; t e Û'{)' des fonctions génératrices.

sont définies Par :

DEFINITION
-S Vi=1.
On pose f = Ef. Le processus de renouvellement (2.) est
' nà1'
de renouvellement) = I Cit transitoire si f < I et il est dit récurrent si f = 1l

2,
2.6 THEOREME
D@c

Soit h la probabilité pour qu,il y ait (ii) On pæ

aumoins r évènements renouvelants, alors : -Ht= D

hr = I si le processus est récurrent reDOtI

Llm
r t@
hr = O si le processus est transitoire por.u- :

H'n
nl
H
Démonstration
P( IfD
( r)
n" = car : h"= P(rcr' r) = P (srs t) P(H')
n!ot.
,

a
æ@
Quand t -----) @ + h"= P(O = S"= o) = I p(S"=,r) =t f-("1
reDouYa
n=O ' n=O"
=p(i,
no.,", t'.= Irl")
'.>o"
= o'iil = (ô(r))r= ( ! r )" = r..
.Jo'
en pkro
Comme les v.
sif <1+hrl-,r+Oetsif =l +h"=1.
p(H') = U. I
Di
n
2.7 THEOREME Or:E=UH
i =l

(i) u_=
nnnn
rlt' * f(zt* ...* f(') ; v n > l. 2t o()TTFoRTEIE
(ii) U= U^f +U.f f I rVn>1.
n On I n-l _+...+U n-t
Soit p(x)=l
t
hoùlème : ca
Démonstration

(i) On considère l'évènement E = "n est un instant de RTAR.AUE

renouvellement", on pose Lt = "n est l'instant du iè*'
at
renouvellement". E =U Lt ; Tous Ies rt
i=1 ,n
avec:LinLj : CEùergetrCÉ
nn =o pour tout itj.
I = E(€.t-

22
 DE RENOUVELLEMENT PROCESSUS STOCHASTIQUES PROCESSUS DE RENOT'YE.LET
PROCESSUS
CHAPITRE 2

Donc : u = p(E) = t p(Lt) = I f(i)

r]r t r]rn
.
'
(ii) On pose Ho = "n est I'instant du l" renouvellement,,
P pour qu'il Y
n
,,I
H^ = "On a un renouvellement à l,instant n et le
renouve Iants, alors :

renouvellement précédent a eu lieu à l,instant i".

firrocessus est récurrent
Pour:l.i=n-1.
processus est trans i toire
HinHj
nn =o Vi*j
P(Ho)=f
n n =ufon
P(Ht) = P(i un instant de renouvellement et Ie
rr)=P15=t)
r
n

@æ renouvellement suivant aura lieu à I'instant n).

o)=IP(S=n)=If("]
f -n=u_n
n=O = P(i est un instant de renouvellement et l,équipement mls
en place à I'instant i a une durée de vie n-i).
D)r=(If)"=f'.
-n nZO Comme les v.a. {. sont indépendantes on a :

=1+h=1.r
^,"t'
P(H ) = U.x P( €, = n - i) = Ur* f,_r

or:E=Û"] n + p(E)=;"e{H') + U-=Ë

n t]t u,r_.
i=r r]r n t n-i

COMPORTEMENT ASYMPTOTIQUE
^(n)
T
n
; V n > l.
r rl f, ; V n >1
Soit P.(x) = P(R.= *;.
Problème : calculer
iigl f.{*) , _

ht E = "n est un instant de REMARQUE

LI
n
= "n est I'instant du i"-'
Tous les résultats de cette partie s'appuient sur la
: P.(x) 9-!ë2 pou.
convergence de
tp tout x > o, avec :

r tout i*j. --+

p=E(€) t

22 23
PROCESSUS STOCHASTIQUES PROCESSUS DE RENOUVELLEMENT
PROCESSUS STOCHASTTQI Es
CHAPITRE 2

2.4.I PROPOSITION L
=lP(€ n+
s=l
t
i)p(l(1)=[)=f uI f^t+k-l V k> ; V t Faisons le

ii) t-'@
lim P(r(t)= k) = G(k-l)
p

Comme P(A

Démonstration
et on sait
i) On pose B'
^l
= "il y a un renouvellement à l'instant t+k et
Ie renouvellement précédent a eu lieu à I'instant i". donc : P(rl

A- : "i est un iTrstant de renouvellement".

I

(n(t) = k) =
'tlt2t'tt' Bo v (A n Br) u (A nBz) v... u (A n Bt).
P(a (t)=k)=f +u.f + ...+ u .f siF.:
aa
t+k I t+k-l t t+k-t
t
= I- u.f (u =1;.
ettc[ o
i=O
i t+k-i o ni,
t
ii) P(a(t) = x) = | P(a(t) = x, r, = n) 2-9 PROPOSITION
n=O

t
= I P(s'= ti Sn*r = t+x)'
- n=O
Soit {r<. ;
tt
P(l(t) = x) =E I P(S.*, =t + x, S
Kt : étant
n =O s=l On pose :
tt
=I I P(s =t+x,S=s) n
n=O s =1.

tt
= t -n+l t+x-s,zS=s).P(S=s).
IP(€= n n

n
or, € ne dépend pas de S = I Ê-i
n "
t=1
tt
P(a (t) = x) = I I p( { =,t+x -s 5=sJ
D
n=o s=1
 ,:'

PROCESSUS STOCHASTIQUES PROCESSUS DE RENOUVELLEEIT

CHAPITRE 2

rtt
=IP(€ -=t+x-s)IP(s =s)=tf
--n+l"n!t+x-ss
P(A =o)
s=l n=O s=l

f.*n-t Faisons le changement de variables : u = t - s.

Yk> ;vt
t-l
G(k-1) p(l(t)=x)=tf .p(At u=o).
,t -
r-=Ot**

Comme (O) ----------; I

P(At-u = O) = Pt-u tr@ It
o
et on sait Que : I f G(x-l).
u+x =
ienouvellement à I'instant t+k et

à I'instant i". donc : P(? (t) = x)

i a eu lieu
--)
fnouvellement".
(A n Bz)
t' v ... u t ^ B:).
u-'--z (A.
t
t^ + ...+ u .I si I'k -------+ B
k+@
l-f t t+k-t
et I a,. converge vers .[ f=i*u* l;;+ c B

(u =t). l=r ^
o

r t =n) 2.9 PROPOSITION

|n+1 = t+x)
Soit {rc.
t ;
t € 0i) un processus de renouvellement
K.t ; étant Ie nombre de renouvellements dans IO ,t]
=t+x,S -s)
n On pose
- : e.(x)
't = P (r 1 = x)
Qs (x) lim P (rct+s - t =
= t'@
h+1.
" "t
On a: (i) V t = t C.(O) = c(t)
t -x+ I
E t+ s).P( Sn = s) V x>l
rt o[x) = E 9._,(x-l).f,
u= 1

tt
iS=n : (ii) Q"(o) = _ | c(u) Vs > I
r t-x+ 1

= t+x s) Qs (x) = l-l.l.

.
I- q-s-u(x-r).G.(u-1) x>l
+1 u= I
,

24 25
 PROCESSUS DE RENOUVELLEMENT PR(TESSUS STOCHASTIQT'I
PROCESSUS STOCHASTIQUES
CHAPITRE 2

Démonstration P(rct+s-K=x
t
(i) Soitx=0:
9.(O) = P(rc.= O) = P(€r> t)' = G(t) I
træ ,l
Soitx=1:'
t
ona U{€r u)=o et(rc.=x)=(rct=x)^O REMARQUE
u=1
t
+ P(rc.t = x) = f P(rcr= x ,z {r=u)'P({r= u)
u= 1

t-x+l-
=Iu-'|P(Ë = x-r / -1 u ).P(8,=
E.= I
u)
u= I

t-x+l
{ P( rt= x-1) fo'
u= 1

car : dans [u;t] on a x-l renouvellernent donc t > u+x-l

+

u = t-x+l. et Ë, (le nombre de renouvellements dans tu ' tl)

EXEMPLE
est indéPendant de €r.
'On cons
(ii)x=O. précédemmenl
@

f. p(r< -rc =o) =P(n (t) > s) = lP(rr (t) =u) de reneuvell,
t+s
t: u=a+l
l:rf
t1 Soit lcn Ia r
l-.
or : p(a (t) = u) *;- -t 6 1,t-11
"l o
o-Ut€nu entre

Donc : p(l(t) > s)

;;>fj":,,"-t, = l"l""tu) ; s z r'
# Soit I > 1.
1.U=p
n
F-r t
ona U{a(t)=u)=a
s
û(s)=I(
n>(
;a- u= 1

s
x / n ft) = u)'P(a (t) = u) It(") = I +
p(rc.--rc.= x)
t+s t = I P(rc.*-rc.=
u= r
Donc : ry'(s

= tP(Ë"-= x - L / r (t) = u)'P(l(t) =u)

On peut m
u=1

K nombre de renouvellements dans [t+u 't+s] il a la même

s-u
distribution que Kr.

26
 PROCESSUS DE RENOUVELLEMENT PROCESSUS STOCHASTIQUES PROCESSUS DE RENOUVELLEÎ
CHAPITRE 2

s-x+1
P(rc. -
t+s r.=
t
x) = I
-
P(r<=
s-u
x-l).P(n(t) = u)
u=I

; t)' = G(t) I
s-x+1
ttæ ,,r -
I q-s-u( x-l).G(u 1) quand
u= 1

Lt =x)=(rc =x)nQ REMARQUE

i't =u).P(€- I = u)
Pour la même raison citée en haut :

/È=u).P(Ê=u)
-1 -1 Ks-u ne depend pas de (rr (t) = u),
a la même distribution eu" .t
ffr' ""_u
dans I t+u ; t+s] on a x-l renouvellements
t = u+x-l à l=u= s-x+I.
Duvellement donc

de renouvellements dans [u , t])

EXEMPLE

'On considère la suite de tirage de Bernoulli présentée

précédemment, L'obtention de l'évènement {pile} est un processus

@

)= lP(n(t)=u) de renguvellement.
u=s+l

L Soit rcn la variable aléatoire qui représente le nombre de piles

c (u-r)
Ë
obtenu entre I'instant I et n.
æ.1
- lG (u-l) = +-lG(u);
P uà"
s = I'
u=s+ 1
I II = n
n
Vn>1

û(s)=lU.S"
i=0"

t x / lt (t) = u).P(l (t) = u) ry'(") = 1* p." * p."'* ...= t * À,

"
É
Donc:ry'(s) =}Ja
x - | / rt (t) = u).P(l(t) =u)
On peut montrer que : ry'(s) =, -
ments dans [t+u ,t+s] il a Ia même "---l"1

26 27
 PROCESSUS STOCHASTIQUES
PROCESSUS DE RENOUVELLEMENT
CHAPITRE 2 PROCESSUS STOCMS'I

Solution
Démonstrr
On a: U _ = f(l) + f(z) *... * f(t) ; on multiplie par s. i) H -l
!+s

,,",.="lou".' = 1 + o(tl") * 6')(")

= 1+O(s)+(A(s))z*., '-= I
1 --E-rS) Commr

o("t= û(rt,J=il - 1:qs-1+s pqs ii)

s(s/ l-qs =
--n_qsf Considé

(
= r n-I
o'o 's
n tr= j
-!, t

Alors, f^= P(€r = n) = p.q'-t. ".=9

E(Ér) = l.ui
La durée de vie est une variable aléatoire qui suit une loi
géométrique de paramètre p. Donc : E(rc
t
P(nn= k; = p.q^'k-l* i o'.q"-u-t -r = nl.k-l .. I - q" REMARQUE

';;"-,
- ,,--': ,- Si I'ir

d'où les pannes sont purement aléatoires. va I eur

qu'on r
P(A
2.IO PROPOSITION n

2.II PROPOSITIOI
Si Ht = E(rc.) est le nombre moyen de renouvellements
dans l'intervalle IO,t] alors :
i) lim(h Soit
t+s-h)=
1

!'@ "
t lt p ersis
ii) H!-t =Iu (i)
i=l
 I

PROCESSUS DE RENOUVELLEMENT PROCESSUS STOCHASTIQUES PROCESSUS DE RENO|JYEJ-:IET-

IRE 2 CHAPITRE 2

Démonstration
J- t+s
r ... * f(^) ; on multiplie par s.
i) H,*=- H, = E (
".*"- ".)= L l=..rr,o= o,

)*62)(s)*... t +s
p(A.= o) = I pt(o)
= I .

l=t+l i=t+ 1

- 1
Comme chaque P (O) ---------+
1 r H
- o(s)' -tttæpt+st - H
t'æ p

os-I+s ii) Considérons les v.a. ry'. difinies par :

--rqs
Pqs
q(l - qs)
, ( L Si i est un instant de renouvellement
{
n-1 n
Lq .s ' Io Sinon

*. = Ér* t, + ... + r1t,

E(Ér) = 1.u. + O .(l - u.) = u.

iable aléatoire qui suit une Ioi tt
Donc: E(rc )= f E(rr)
't = I u

.n REMARQUE
n-k-l-1 Z k-L
x
r-q
=p.q 1-q
k-l Si l'instant n est un instant de renouvellement, -a
kJ=D.q =r, R
valeur de l'âge A est prise égale à l'âge du- composa::
n
nt aléatoires. qu'on remp I ace et non pas à O, ce qui implique que
P(An =o)=o.

2.II PROPOSITION

nombre moyen de renouvellements

tl alors :
Soit {X,;
t
t e û,,1} un processus de renouvellement
-lt persistant. On a :
@

(i) P( An =k)=u .t- f l+k

n-k j=o

(ii) P(An= k)-.---+ G(k) . v k > o.

nræ Ll
PROCESSUS STOCHASTIQUES
PROCESSUS DE RENOUVELLEMENT FT'TESG ST(rAI
CHAPITRE 2

Démonstration

(i) Soit I'évènement An_t = " n-k est un instant de

'
renouvellement", Bk= "pas de renouvellement entre n_k et
n,,
1I LYTR.(T
P(A =k) U._u.Ip(€^ j+k) =U_,.If..
rr n-n j*t'
J>o 1--o
C-e
Donc : (A. = k) = (A._u) n t Û t e" = j + k )).
J=o ,er-r fr
(ii) Le processus {A. ; t e 0,,1} est une chaîne de Markov;
presflt
La démonstration est posée comme un exercice (voir annexe).
iC,P) u
stccù^asl
2.12 DEFINITION
'JD ellse

i'insta.nt
Un processus de renouvellement retardé est un processus de
renouvellrnent ordinaire s"uf pou. {. qui est autorisée
à avoir
une distribution différente de celles de Tr, Tr, .... Donc {X.; E est di-
t € ['l] est un processus de renouvellement retardé si les
variables aléatoire €1, Ez, 3 ? DFINTT
sont indépendantes et
équidistribuées pour i > Z et Ia distribution de iÊ-l ) est
I-e 1

différente de celle de {€r}i=2.

llarkos s

P(X
Èi

porj-- tout

Dcrc æ
rariables

condi..iæn

30
 CHAINES DE MARKOV
PROCESSUS STOCHASTIQUES CHAPITRE 3

CHAINES DE MARKOV

INTRODUCTION

Ce chapitre introduit les processus stochastiques tels que

Ieur futur est conditionnellement indépeldant du passé si le

présent est connu' un tel processus est dit Markovien' Soit

(Q,P) un espace probabilisable : considérons alors, un processus

stochastique {X.; n e Û''l} où l'ensemble des valeurs de X. est E'

un ensemble dénornbrable. On dit que le système est à l'état i à

I'instant n si :

retardé est un processus de

Vne û''1, VoeQ : X.(t'l) = i pour tout i e E;
;ouvellement
qui est autorisée à avoir
=r,rf pot" €, E est dit ensemble des états.
Ée de celles de Tr, T, , " " Donc {Xti
retardé si les
F " de renouvellement t2 DEFINITION
Ez' sont indéPendantes et
tr' Le processus stochastiqu" {Xri n € Û'l} çst une chaîne de
> 2 et la distribution de 1Êr) est

[t,=,'
Markov si :

P(X.*, = i/Xo = io,X, = ir, "' Xn = ir) = P(X.*r= j'lX. = i.)

pourtoutjé8.

Donc on peut dire qu'une chaîne de Markov est une séquence de

variables aléatoires telle que : Pour tout n € 0,,1, X.*t est

conditionnellement indépendante de Xo, Xt, "'' Xn-l sachant X n

31
30
 PROCESSUS STOC1IAS
CHAINES DE MARKOV

donc : P
Le futur de l'état du processus ne dépend que de l'état
du

processus au présent.

On pose , P(X.*, = i / X^ = i) = P'.' Les probabilités "r,

tot
Ce résul'
appelées Probabilités de transition de la chaîne de Markov
(notée : C.M. ). La matrice dont les éléments sont P. est dite
3.4 THEOR.E
matrice de probabilités de transition de la C'M"

3.3 DEFINITION

Soit F une matrice carrée' Ces éléments sont les

probabilités de transition P,. avec i,j e E'

Alors, F est une matrice stochastique définie sur E Si :

3.5 coRor I
(i) Pour tous i, j de E, P,, = o'

(ii) Pour tout- i de E, I

ielE
P,, =
_"
1'

Inversement, pour toute matrice stochastique définie

sur un
r; P{

ensemble dénombrable E, on peut définir un ensemble

O' une
v

probabilité P définie sur une partie E' de 0 et des variables P(

aléatoires Xo, Xl, ... ayant des valeurs dans E tel

que :

probabilités
{X.; n € t'li est une chaîne de Markov de
de

transition Ies éléments de la matrice stochastique'

Considérons maintenant une C'M' X = iX.; n € hl) de matrice Ona:l

de probablités de transition F et I'ensemble des états

E'
P(X
n-3
Soient i, j deux états fixés dans E'
P.F
'
j€E
On a: P(Xu=j, Xr= k / Xr= i)

j i)'
= P(X, = k / Xs= i'i Xo = j) " P(Xu= / Xr=

or: P( X, = k / Xu= i,Xu = j) = P( X, = k / Xu-- i);

32
 '.{
PROCESSUS STOCHASTIQUES CHAINES DE MARKOV
CHÂINES DE MARKOV CHAPITRE 3

I processus ne dépend que de l'état du donc : P(Xu = i, X, = k,/ Xs = i)

= P(X, = k,/ Xu= j) " P(X. = i / Xs= i) = Pr. x Pr*

Ix" = i; = P... Les probabilités Pr, "o^
Ce résultat se généralise par le théorème suivant :
transition de la chaîne de Markov
F
fice dont Ies éléments sont P.. est
dite
3.4 THEOREME
fe transition de la C.M.'

V n, e0,1 , Vrn > I et pour ir, ir,...,i. a E,on,a :

P( X.*, = ir, Xr*z= i2,..., Xr*- = i- ,/ X. = io)

[ice carrée. Ces éléments sont 'les
=Pi i* Pi i x...xP.
o I | 2 m l'm
.i
! P,, avec i,j e E.
stochastique définie sur E Si :
fice
3.5 COROLLAIRE
l",r=o.
f P =1.
F" Soit z, une distribution déf inie sur E. Posons:
t" matrice stochastique définie sur
un
P(xo =i)= rtI Ona:
peut définir un ensemble O, une
F, on VreE,V meû,1 et Vi I clF
o' m
tr une partie E' de O et des variables P(Xo =i X, = ir'"'' X )=
o' m
int des valeurs dans E tel que :
oi * Pi i * Pi
è chaîne de Markov de probabilités de o I 12

ile la matrice stochastique.

iant une C.M. X = (X.; n e Û',1) de matnice On a : P(X.r, = i, X.*z = j, X,r. = k / Xn= h) = pnr.pr.;.p,n

ltion F et I'ensemble des états E' P(Xn+r =h)=tP- .tP.P Or:

^=k,/x n hi- ij jk
I
lxes oans E.
= Pio (l'élément (i'k) de la matrice F2)'
Xs=i) ,Eu ",r'"ru '
=i:X
'6"6-5 =
j) "P(X-= j/x-=i).
P(Xn+r
_=k,zX =h)=f P .P2
" ,Ëf hl ik
i, X. = j) = P( X, = k / X"= i1' ,I

32 33
 CHAINES DE MARKOV
'ItærJs STOOTÀSTICI.i
PROCESSUS STOCHASTIQUES CHAPITRE 3

sur face, le
I Phr.Pz est I'éIément (h,k) du produit de matricielle
i€lÈ.
tk fortune du

: k / X^= h; = p3u' indépendants

F * Fz noté P;k. Donc P(X.*
",=
Par. itération, on peut généraliser le résultat par t^

P(Xn-l = -i/\ r
proposition suivante :

[-a fortune t
3.6 PROPOSITION
diminuée pa
ieme-
it = Jet. Lon

Pour tout m € ['1, P ( X.*-= i /X n=i ) = P-.. P$.=j/

D+l
V i, j € E et n € Û'l;
P- est l'èIément ( i, j I de la matrice F-'
rj D'où {X ;
n
I

deAetd(
d'argent le I

Démonstration
états E =
La démonstration se fait par récurrence sur m de Û''l'

transitions o
Supposons que la relation : P(X.*-= i / Xn= i) = P^l est vraie
à I'ordre rn.

P(Xn*m*l =: / xt= t'=n (X.*.*r = i' X.*- = k / X" = i;

_=k/X^=n i)"P(X.***r= j./Xr*-=k)

= tP(X n+m
uZr
= t p- x p = p-*1. D'où le résultat et on peut écrire
ik kj lj
:

k€tL
EXEMPLE 2
P(X.*- -- i / xo= i) = Pll^ = tiu " Pi,'
nlu On assoc
La relation ci-dessus est dite relation de Chapman-Kolmogorov'
Markov So

appareil à ur
EXEMPLE I
en panne à
Deux joueurs jouent à pile ou face' Chaque fois que pile
est égale à i,
sort le joueur A reçoit I DA du joueur B, quand Ia pièce tombe

34
 PROCESSUS STOCHASTIQUES CHAINES DE MARTOî
CHAINES DE MARKOV CHAPITRE 3
CHÀPITRE 3

sur face, le joueur A donne I DA au joueur B. On considère X la

D
h,x) au produit de matricielle .le ième
fortune du joueur A après n------ jet. Les jets son'.

'--n+3 = k /
'(X xn= n) = plhk . indépendants et on a

irt généraliser Ie résultat par si j = i..1

P(Xn+l =i/X
- n =i:X n-l =i n-l' :...:X=iO O
sij=i-1
{' slnon

La fortune du joueur A au (n+1) ième jet, va être augmentée ou

diminuée par une unité par rapport à la fortune après le

ième.
n = jet. Comme les jets sont indépendants, donc :
I,P(X n+m i /x =i)=P- P(X.*r= i / Xn= i, X._r= ir_r,..., Xo= io) = P(X.*r= j,zX"= i).
te Û',1;

lent ( i, j ) de Ia matrice F- D'où (Xn ; n e û',1) est une chaîne de Markov. Si Ia fortune
de A et de B est finie. Lorsque l'un des joueurs n'a plus

d'argent Ia partie est terminée. Soit I E | = 6. L'ensemble des

états E = <O,I,2,3,4,5, la matrice de probabilités de

I par récurrence sur m de Û''1.

transitions correspondante est donée par :

n : P(Xr*-= i / Xn= il = Pi: est vraie

I o0000
q OpOOO
j' x'*^ =k ,/Xn_=i)
ljut("n**., = o q0pO0
o OqOpO
i)*P(X n+m+I = j/ Xn+m =k) o OOqOp
0 ooool
D'où Ie résultat et on Peut écrire :

EXEMPLE 2
fo*t
'ii = t P"
ik
* Pt.
kJ
- k€lL
On associe à un processus de renouvellement une chaîne de
Ê dite relation de Chapman-Kolmogorov.
Markov Soit An une suite de v.a. qui représente l'âge d'un
appareil à un instant n. Soit P. La probabilité de ne pas tomber
en panne à I'instant n. Si à I'instant n, l'âge de I'appareil
nt à pile ou face. Chaque fois que pile
est égale à i, alors : .

1 DA du joueur B, quand- la pièce tombe

35
34
PROCESSUS STOCHASTIOUES CHAINES DE MARKOV iRC€ESSUS STOCHAST
CHAPITRE 3

p.
I
si j=i+t
P(A \- q. si j= t
n+l =.i/A=i.....4=i
- n O O
(*)
o slnon
Le but est

P. = P(de ne pas tomber en panne à I'instant n)

RAPPEL

tt) Soient
+--*_ _ _ _ _r_+_+________) t
olFng*t matrice A
A.r1 = i*l
ffr
n
Il est trés clair (d'aprés (*)) que l'âge de l,appareil
fl- =(f,f
L2
I'instant n+l ne dépend que de son âge à I'instant n.
Soit D = dir

EXEMPLE 3

Soit X = iX_; n € û',1) une chaine de Markov avec espace des

n

états E = {a,b,c) .La matrice de probabilités de transition

est :
Si g est u.
f .'' ..t o.25 o.2s-l
t-'"-
o.40 o.oo o.60
I
I
I
o.+s o.55 o.oo __J
Si on pose I

On cherche la valeur de :
On a : tr(À)
O = P(Xr= b,Xr= Xg= a, Xn= c, Xr=., X.= c, Xr= b,/Xo=
", ";
On a d'aprés (3.4) :
REPRESENT/

û = P"o.Po".P"o.Po".P"".P.".P.; O.OOZZgi,

EXEMPLE 4

Soit X = iX; n e D,,l) une chaîne de MarkovE={L,2}.La

n

distribution initiale est donnée par : fi 0/3 , 2/3). La

matrice de probabilités de transition est :
 :?,OCESSUS STOCHASTIQUES
CHAINES DE \J-:-: r :
CHAINES DE MARKOV CHAPITRE 3
APITRE 3

08 0,
I

o3 01)
Le but est de calculer Fn.

panne à I'instant n) RAPPEL

^ -i Soient À_,
l2'n
À-,...,À des valeurs proDres distinctes -, --:

- -+-+-+ > t rnatrice A. Alors leurs vecteurs propres corresponoa:.--:

n n+I
+--)
A = i+1 f -f .....f forment rrnq las6 d2ns Rt. Donc Ia matrice
n+1

s (*)) que l'âge de l'aPPareil à [- = (f

'- l'-,f 2'"-''.'
,....f ) est non-
--- "-" sinqrr]ière.

cie son âge à I'instant n. Soit D = diag (À, À,..., À ).

rzn

A[-=LD+A=[-Dû--r (r)

',lne chaîne de Markov avec espace des

L-l A=DL- -1 Q)
re de probabilités de transition
Si g est un vecteur propre de Ât donc
'
-l
so o.zs o.2s -r
A -
g=rrg+g t -
A=^g- t

40 o.oo 0.60 I

Si on pose rr = gt | fi A = À n (n : vexteur propre ligne)

+s o.ss o.oo ]
On a : tr(A) = I À et tr(Ak ) = I Àk.
ir

', Xn= ", Xu= a, X.= c, Xz= b/Xo=

6;'
REPRESENTATION SPECTRALE

A[- =[-Davec:
.P O.OOZ29'7.
cb=

f f r

l) une chaîne de Markov E= \l'2),'

:

nnéepar: r = 0/3 ,2/3)' La rI(n

L1
.:i",]
transition est :
4-
CHÀINES DE MARKOV IIIEESSUS STOC}IASTI(
PROCESSUS STOCHASTIQUES
CHAPITRE 3

L1

I est une Y

tr(F) = Àr

f""'=t'
I
I zrP = Àrz

Comme, [--rL=I t o.8 ?r(l)

",'-=
{: 'lf o.z
"rl+
z,(r) n
I
f rutrlrrutrl.... fu(r)nu(n)
: I
On définie : tsu
k k=l
=rn .: I O.5 rr (1) =
1

,,utrt....rutni'ut,,l
lr-,"i l
nI = (O.6
si.i +t<
Bj Bn = f., *., f*
{o
n*=lts.sij=1ç ^_k
UNA:|r

on a : A,j =uIu,L,n tnn'Lu': = u,u tuu uu]'

lo.+-
| tsr=
[-o.o
= I fL(i) Àuru(j) = | ÀuBn(i,:) + A = Àrts, + ""+ Àts
nn
t*k ^zBz+
PASSAGE Pi
tÀk=Àkts
I I
+Àts+...+À*B
ZZ n n

Cette dernière est dite représentation spectrale de A' Dans t

tÀ Markov,
k tÀ
tB,*" tÀ-tBr*...*"'u. E

"tA=I#^u=
k>o
" transition,

fixé. Pour
Appliquons cette techniqn" , ," matrice F suivante :

de I'état j

38
 CHAINES DE MARKOV
nocEssus SToCHASTTQUES CHAINES DE ITn!(r
CHAPITRE 3
THAPITRE 3

I|
o.t o.r1
" - Lo.:
D- |

o.7_l

I est une valeur propre + (1,1)t est un vecteur propre.

' tr(F) = À, * Àz = o.8 + o.? = 1.5 . \r=1.5 - I = o.5.

(1,1)t= I + nr(l)
[ "rtr= 1+Otll),rzr(2))
I
+ nr(z),..= t

II o,F = Àrn, + (ttr(1),rr(2))Lo.a .o.z

[o' o21
(r{t),r{z))
]=
o.8 z(t) + o.: r{2) = z{l) r{r) + rlD =|
'fI o.z nlrl + o.7 nlzl = nl} * |
t,tr) +rr(21 = I t o., n,(l) - o.3 n(2) = o

I
[, trt* rtl... fn( 1 )rn(n)
lkk
l':
I

I
ru(l).. ..fu(n)nn(n)
o.5z(l)=O.3
ll
+ z(l)= 32
:J15 + Itlzl

l_f*(n) o.. o.4

-.1

Itl ( o 6, 04) D-f o'= I

sij*k
1 LI |o.e o.4 l

t-sii=k r =^.kI + I=tsr+Br+ tsr=I-ts,

On l^k ^ +
u -k _
I zz
^tB

= Dkk [_-.
I o.o o.4'l
t'.' I u'n
kJ
B=
?
or+
o| 6
- o.+l
I

0.6l' F. ,n I o.+
I 0.6 o.4l| + (os)n 0.6 I
-o.4
0.6
L L-
l(i,.i)+A=r ,Bt * ÀrB, + ;...+ Ànn
B

PASSAGE PAR UN ETAT FIXE

Àkts
nn

feprésentation sPectrale de A. Dans toute cette partie, (Xr; n e û,,1) est une chaîne de

tÀ tÀ Markov, E ensemble des états et F la matrice de probabiiité de

2g^*.,.*e tB
B+e
tzn transition, on pose : P(A / Xo = i) = Pr(A). Soit j e E, un état
I fixé. Pour tout o e O, N.(ta) représente le nombre, d'âpparitions
ts à Ia matrice F suivante : J./

de l'état j dans Ia séquence {Xo(o),Xr(ta),...}.

38 39
 CHAINES DE MARKOV
I?OCESSUS STOCHASTIQUES CHAPITRE 3
CHAINES DE MARKOV
3
[rRE

Tr(o) = l; Tr(o) = 4 ; T.(ar) = 6; Tn(ra) = 9'

l'état J'
!""""g"s Par si j apparaît au
= n si et
seulement
Pour tout n€ Û'1, Tm(o)
j toujours
foe quittera l'état Pour moins m fois dans la séquence
{Xr(r'r)' Xr(or)'"''Xt(ra)}'
j et Xm(o) + j
du passé' sachant le
le futur; après T^' est indépendant
) = t' Pour une Donc

ore par l'état '1' présent T-. i dans (T-< -)'

Xr(to) =
système p"""" pàï 3, le 'p--assg Rerd
à n')' D,où, à chaque fois que le
j pour tout m suPérieur
son influence sur le futur' Pour
indices successifs
tel que :
touti€E,Vk'm>2'Ona:
=j.
: X.(or) = j on Pose :
dans (T = æ)
El que m

o.
dans (Tm < o)
aisse m fois dans la
séquence

rL r' r) ' Ies indices

rnt T1(@), z\w""
A7.I PROPOSITION

-f .r'6+2 - Tm+ I a... -- @. Alors, Tr' Tz""

(voir exemple 5)'
Ir d" p.""tg" par i

Dérnonstration

ona:(N.>k)=(TL<@)
J^

(N. = . )= li* t ) = lÀB (N,> n)'

*!,,*.,=
que : Pr(Tu<t) = vk'
Démontrons par réccurence

En effet :

que
= ut= u'
:
Prl(T <æ) SuPPosons

,1 1
+I

40
PROCESSUS STOCHASTIQUES
CHAINES DE MARKOV
CHAPITRE 3
PROCESSUS St

Pr(Tu< o) = v* et on démontre Or.,"r(tn*r<.) = uk*l

Pr(Tn*rtt) = Pr(Tn*r<o'lTr.<')'Pr(Tr.<t)

* Pr(Tn*i'Æu<r).pr(Tu(æ) - v. v*+ O * ( t _ vk) = u**t.

Donc : V ke û,,1 : pr(Tu<æ) = vk.

Si v = 1; V k e û,,1; pr(Tu<.) - lk = l.

P,(Nr=
') = lig Pr(Nr> n) =
ljg p.tr"..) = lig v'= 1.

Si v < 1; P.( N.<æ) = r - Pj( Nj=.) = t-lig p.(N.=n)

=t-iigtj(t,r.o)=l- ]ig'u"=r - o = 1.

EXEH
C'est à dire, si l,évènement (Tr<r) est certain, alors. Ie
U
système passera certainement par j, donc NJ = . certainement.
matri
S'il existe une probabilité pour que (T1< .J, donc il existe une

probabilité pour que le système quittera l,état j pour toujours,

donc, l'évènement (N ( æ) est certain.

3.7.2 CALCULDE LA PROBABILITE V. . = p. (T, = k)

On pose: v..(k) = P.(T1= k) pour tout i € E et k = 1,2,...

Soit j
i) Pour k = l: v..(1) = p.(T1 = 1) = p.(Xr= j) 2'1 |
@ est
=Pr(Xr=i/X =i)=P. rJ

colonnr
ii) Pour k > 2; on pose : F=E - {j}
v.r(k) = P.(Xr+i,Xz+j,..., Xk_Tj, Xk=j)
 CHAINES DE MARKOV
PROCESSUS STOCHASTIQUES CHAPITRE 3

=EP,
b€tf

=tbeF
=T
b€F

sik=l
....... (x*)
u..(k) = { 'j
(k-1) si k>
" I olo
P'ouor 2

EXEMPLE 6
{o'2'3'j et la
On considère une C'M' avec espace d'état E =
le

ent' matrice de transition :

il existe une

pour toujours,

1--1)
K - rrar "' Soitj=3unétatfixé.ondéfinitfn(i)=v,.(k)Pouri=r,
2,3. frest la troisième colonne de F' f* = o fu-ri V u>2;
o est la matrice F avec 3tè-" colonne remplacée par une

colonne nulle.

,, ,, [f ,,. [*l
[f -'
Donc:vitl=o V k'z l.
l3

42 43
 PROCESSUS STOCHASTIQUES CHAINES DE MARKOV PROCESSUS STOCHASTTqI
CHAPITRE 3

v23 (k)= -;-I J

,
* ,n-t pour tout k > 1. Somnons st

P(N.<æ) =
J
I
I sik=1
15 Siv =1
\.,-, = JJ

3/1\k-zl1r
I 5.2 / \3-/ sik>2 Siv
J)
<1

vr., : est la probabilité tel que à partir de I'état i , le

3.7.4 COROLLAInT
systèrne va passer par l'état j.
Si on somme sur k la formule (**), on obtient :

v..= ij + I
ri P.. P...v.., pour tout i € E.
ozn ib bj
Pour tout j e E, on a un système linéaire, les inconnues étant
v... Considérons N.,(w) le nombre de passages par l'état j.
w < A, Nr(o) = m si et seulement si Dénonstrat
Quel que soit :

Tr(w) < æ,..., T_(w) < æ et T-*r(w) = æ.

Si v, .= 1,

Les évènements {Tr(w) < -}; (Tz(w/) - Tr(w) < æ},.., Si vjj< 1,

{T__r(w) - T^(w)} sont indépendants, Ieurs probabilités sont probabilit

v:v:..,rv:(1-v).
ij jj' jj On pose r_
JJ

fr = (r.r) r
3.7.3 PROPOSITION

3.7.5 COROLLAIRE

Soit NIe nom bre tota I de passages par l' état j Alors,
P (*, = m ) = vlrlt 1-vrr)
J

J
im=1,2,... e)
et pour tôut i , jdeEon a:
'm=O
P,( Nj =m) = I '- ",, (3)

I u,, "-, ]
(r- v..) m = 1,2.,,
JJ

44

t
 CHAINES DE MARKOV PROCESSUS STOCHASTIQUES CHAINES DE X|K
CHAPITRE 3
CHAPITRE 3

Sonmons sur n les deux nenbres de (2) :

rurtoutk>1.
P(N<@)=I (1-v )v'-1.
j JJ jj
t. I
,r,
I -: -
l5 Si v.. = 1 alors P.(N.< æ) = 0.
)) i J
gtilu-'t*) sik>2 Siv jj <l.alorsP(N<o)=(i.-v
J J jj )t vjj =1..
50J i'=,

I que à partir de l'état i , Ie 3.7.4 COROLLAIRE

par l'état j.
rmule (*x), on obtient :
P.(N.<o)=1
-J siv. <1
J JJ
ourtouti€E.
P(Nco)=g siv =7
J J )J
t système linéaire, les inconnues étant
nombre de Passages Par l'état j'
Démonstration
p) = m si et seulement si :

Siv ji =1,P(N<æ)
: J = 0 + P.(N.=,)
)))) = 1+ E.(N.) =..
letT m+r.(w)=..

o):'2r{T (w/) - T-(w) ( o),", Si v..< L, la V.A. N a une distribution géonétrique de

)) )

It indépendants, leurs probabilités sont Probabilité de succès P = ,-Ï-.

JJ

-; v..;...; v,.; (l-v..). On pose r..= (N.).pour tous i et j de

I JJ JJ JJ - rj E.1 I ' E.

fr = (r..)
iJ
est dite matrice de potentiel de X.

3.7.5 COROLLAIRE

! total de passages par l'état j Alors,

(Z)
l= vm-t(l- u ) ; m = 1,2,...
J
J JJ Ona: r jj = l- v
ldeEona: JJ
l- v rJ ' m = O t-r
r lJ - r
=v pouri+j
lJ l)
t
rIJ vm (1- u..) m = 1,2.. .

JJ JJ

44 45
I

PROCESSUS STOCHASTIQUES CHAINES DE MARKOV

CHAPITRE 3

Démonstration
3.8

.rr=Er(Nr) = I-m Pr(Nr= m ) = (l-v..) uri-t =

màl "-àl
f- t
=ï ,,

t,J= E,( =^!r* , v,.

m-l
P,(Nr= m) = v ,, L m (I-v,,., = v.. r..
^r' " màl
JJ JJ rJ JJ

Il est clair (d'après les corollaires précédents) que si v.. = I 3.8.r

Ie processus va passer par j infiniment, un tel état est dit
état récunent (persistant). par contre, si urra l, Ie

processus passera par I'état j un nombre fini de fois et le

quittera sans retour. Un tel état est dit état transitoire.

Considérons:1.(k)=l
(r k=j
' lo
-
k+j

I sr X(ar)=j
Donc, V ur e o; Jr(X"(o))' = J
[o si X.(o) + j

V o e O ;'i N.(ar) = y l.(X (o))

n=u Jn

qui est correspond au nombre total de passages par j.

rj = Ei t*J"" = E
(3, (Xn (ar)) =. r=o
i (x" (ar) = j)
f=ot, I=,

-F L pn
'ti
nào ''

NOTATION MATRICIELLE : fi = I + F + Fz + ....

46

_-
 PROCESSUS STOCHASTIQUES CHAINES DE MARKOV
CHAPITRE 3

3.8 CLASSIFICATION DES ETATS

I Soit une chaine de Markov avec espace des états E et matrice

r ) = (l-v..) lm v.--r
JJ->1 JJ
= t-v'
JJ
de probabilités de transitions F. Soit T l'instant du passage

n) = vrJ I,m (l-vr.,) vllt rJ JJ par I'état j.

rollaires précédents) que si v.. = I 3.8.1 DEFINITION *n-

nr j infiniment, un tel état est dit

lant). Par contre, si urrt l, Ie (i) L'état j est dit récurrent (persistant) si : Pr(T< o) = I.

État j un nombre fini de fois et le Sinon, si Pr(T = o) > O, alors j est dit transitoire.

el état est dit état transitoire' (ii) Un état récurrent j est dit nul si E.(T) = o, si non il
J

est dit non-nul.

si k= j
(iii) un éiat récurrent j est dit périodique de période ô si ô>2
si k+ j
et si ô est le plus grand entier pour lequel :

si X(ar)=j P.(T = n ô; n=1) = 1. Sinon, i est dit apériodique.

n

{" si x(ar)*j
n
D'aprés ce qu'on a vu jusqu'à présent, si j est récurrent alors,

ujj = l, d'où r..= E.(Nj) = ..

. (r.r) )
ID

D'aprés le corollaire précédent

lbre total de Passages Par 1.
Pr(N.<o) = O si vr= I * Pr(N, = r) = I et si j est transitoire
E(].(X(o)) =I {(x-(ar)= j)
ÈotJnnà0. alors;

i'. P".
rZO
ii -' urr.l.Donc, P.,(N.<o) = 1+ Pr(N, = æ) = O, t E.(N.) < -.
"jj=

!:fi=I+F+P2*.'..

46 47
a
PROCESSUS STOCHASTIQUES
CHAINES DE MARKOV PROCESSUS STOCI
CHAPITRE 3

3.8.2 THEOREME
3.8.3.2 R PP

(i) si j est un état trans i t oire o u récurrent -Ce

alors pour tout i e r;
li[roi, = o.
'(ii) si j est récurrent non-nul V(
apér i odique; alors :
- Gra
o, = fi--n:nLI-E.limp.=VI
v r ç
Âj'ô trJ- n,æ -ij ri J con
a1-
-

Démonstration
c.f
(i) soit X une chaine de Markov, E espace des etats et F Ia
matrice de probabilités de transition. Soit j e E. corl
Si j est transitoire alors; r. < æ.
- CIa
Comme r = v tJJ="jj<æ;vie n'e:

Etant donné que la série est convergente alors, - Chai

ni, .'-+ o'

Si j est récurrent alors, R. .= æ et on ne peut rien dire sur la

EXEI{P[
convergence de p"..
- lj Mais, si j est récurrent nul, E.(T) = @,
J

alors la probabilité de repasser par j est O, car T (I,instant Sc

états
séparant deux passages par j) est æ d'où pn _________+
- ji nt@
O. transi

3.8.3 GRAPHES ASSOCIES A UNE CHAINE DE MARKOV

3.8.3.1 DEFINITION

Soit X une C.M. finie dont I'ensemble des états est E et

la matrice de probabilité.de transition est F.
On associe à X un graphe G (y, ,U) où X est I'ensemble
des s ommets en bi jection avec E et 0J l,ensemble rles arcs
définis par : ( i ; j ) e [J o p,
jr O

48
 CHÂINES DE HARKOV
PROCESSUS STOCHASTIQUES CHAPITRE 3
CHAINES DE MARKOV
C1IAPITRE 3

3.8.3.2 RAPPELS ET DEFINITIONS

- C est une conposante fortenent connexe (c'f'c') e

L transitoire ou récurrent n
V (x,y) e C; iI existe un chenin de x à y dans C'
i e r; li* oi., = o.
Ènt non-nui aPériodique; alors: - Graphe réduit , G = tX,Ltl ou un sornnet représente une

D vi€8. liB pÏ:=u,.i':. conposante fortement connexe'

- Classe : c'est I'ensemble des états correspondants à r:ne

nfn

- Classe finale : C est une classe finale si Ia

Uarkov, E esPace des états et F la
j e correspondante ne possède pas de succeesseur'
lés de transition. Soit E'
si eIIe
- Classe de passage: Une classe est dite de passage
alors; q, < æ.

n'est pas finale'

i. rij = t'
= rr, . æ; V E; si Ie graphe
I=oOn,,' - Chaine irréductible : une chaine est irréductible
série est convergente alors' associé est fortement connexe'
ot
^ iJ -----;
n'@
o.

sur Ia
,Rjj= t et on ne Peut rien dire EXEMPLE 7

a-is, si j est récurrent nul' E'(T)

- æ'
Soit X - {X.; n e t'{} une chaine de Markov avec espace des

(I'jnstant
I repasser par j est O, car T étatsE={1,2,3,4,5,6,7}'LamatriceCeprobabilitésde
o. transition est :
par j) est . d'oir l]. n,æ-+

010 o00 o
CHÀINE DE MARKOV
T.JNE
0.6 0 0 o 0.4 0 0

0.5 0 0.5 000 0

000 000 1

E et 000 0 0 0.7 0. J
finie dont I'ensemble des états est 001
000 0
probabi I i té .de transition est F'
o00 0.8 0.2 0 (.)

rn graphe G (X ,[J ) où X est I'ensemble

rijection avec E et [J l'ensemble des arcs
t i ;j ) e 0.J e P,j' o

49
48
 'EFC
PROCESSTTS STOCÉIASTTâUES CHATNES DE MARI.'O\/
r]HAPITRE 3

rrzl DE

GRAPHE

GRAPHE REDUIT 345 Dr

G---
 CHAINES DE MARKOV
STOCHASTIQUES CHAPITRE 3
CHAINES DE IIARI'OV

ITFINITION

Un état i est di t non-essentiel lorsque :

i m; j+i rpr,(m) > O , Prr(m) =O Vm.
i.e, On Peut tomber un jour dans un état dont on ne Pourra
jamais revenir; I es autres états sonf,, aPPelés essentiels'
Donc i est essentiel Iorsque :
3n: p.,,(n)>o;V j:3m; >o

Pour deux états essentiels on a :

crr bien Pr.(n) = O Pour tou n'

or bien il existe m ' Pi.(m)> O'

ct alors il existe n tel que : Pr.,(n)>O'

d'où la décomPosition suivante :

Ë = Er* Er* ..'+ Ek+ ."'; avec : E.n E'+

@ V i + i'

Ea: ensemble des états essentiels'

EINITIONS

L Un état j est accessible à partir de i lorsque :

3m>l:PrJ(m)>o'
est accessible
Z l-ns états i, j sont comrnunicants lorsque i
i<->j' V
à Partir de j et i I'est à partir de j' on note
j e E : i <->i est une relation d'équivalence; Ies classes

d'équivalence sont' des sous-chaînes irréductibles'

51

50
 PROCESSUS STOCHASTIQUES CHAINES DE ilARKOV
CHAPITRE 3

DIAGRÆ{UE DE LA CLASSIFICATION DES ETATS 3-8-6

Les diagranmes I et II ci-dessous résunent, Ia classification

des états d'une chaine de Markov d'ensenble des états E.

E :enserrble des états

E :états essentiels

irréductibles

périodiques

Diagranme I

E : ensenble des états

états persistants états transitoires

NuIs Pos it ifs

Diagramme II

b---
 STOCHASTIQUES CHAINES DE I{ARKOV
CHAINES DE UARKOV CHAPITRE 3

ffi)PRIETES
I crlssrrrclrrox DEs ETATs

1. i récurrent et j accessible à partir de i.

I ci-dessous résument- Ia classifica tion Alors, i accessible à partir de j.
'Harkov d'ensenble des états E'
2. Si les état i et j sont communicants alors
ils sont de même type.
È

ensemble des états

Èronstration
E :états essentiels l- i récurrent + Vrr= 1. j accessible à partir de i <+

SnoP iJ (no)>0.
Supposons que i n'est pas accessible à partir de i donc, le

irréductibles E systène peut passer de I'état i à I'état i avec une

k
probabilité non nulle et ne peut pas retourner en i, or i est
récurrent, d'où Ia contradiction.

lasses Périodiques 2- i, j comnunicants <+ 3 rr,r,,t Prr(n) - c > 0.

(m+n).P .(k)
jiztj:l"sj= F > 0..P..(n + n + k) = t P.
P..(m^)

Diagranme I = | | P,(n).P.(n).P"Jk). Donc , Prr(t, * t, * m)

tt
= E I e,.(nr)'P.(nr) n.(n)
ts
' p.. (m.).p (m)
lE r !S
pSl(m^)
Z
V s, L.
ensernble des états
I)onc, c'est vraie particulièrernent pour s = t = j.
états transitoires
p..(m-
-r1 7 + n^+
2
m) 'p..(m-).p..(n).p..(m^)
'rl 7')J -Ji 2 = ct.Ê.p..(m).
' jj

itifs Ile nêrne a : Orr(t.* ^r* t) > a.B.p..(n).

on
Les séries I Rrr(n), I Or.,(n) sont de même type et
Diagranne II t-1-
;- I nrr(t); ., I Pr:(t) sont de mêne tYPe.

-52 53
-T
PROCËSSUS STOCHASTIOUES CHAINES DE MARKOV
CHAPITRE 9 PtocESSUS STOCI

Ce qui implique que i, j sonL de même nature. Cân si j- est 3. A. S PROPOST

ré.ttr.Êh+ rl
^Fs.

'/-= 1 E trn = E p Cn) dlwerge et si 1 trânsiLoirë Soi t

LL - ' JJ - 'JJ
ôn dr
(k'
v<-1 ê Ep^
- JJ
=EpCn)
- 'Jl
converge
I n:l'
L'01

I
3. È.7 LEXIi{E

finie I
Pour chaque éLaL récurrent J, lL exist-e uhe classe
relr i ce
rr'rèducLibIe C qur conLlenne J.
forme :

Dércretrâtion
Soit j un état nécurrent el C I'ensêmblê des états accÊssj-bles
à Fartir dÊ j- Donc c'est évident que c'esL une c.Iasse finaLe-
Sôit i Ê C; comme j est réccurrent a]ors, i + j.
Donc si k un auLre ètat de C alons, j + PF
k. On a besorn de t2

dèmontref que si i, j € C afors, i + k. 51 i € C alors, âUX ENSE

j + i Comme j est rêcurren+_ + i- j, Dônc si k e C

1A.10 THEOREXE
êst Lrn auf-re éLat. a-Iors : j k + i + k Car on a

lèmorrtré la Frôposrlron : i - j et .) + k { a k. t-_

iNl
- - I

3. A. A THEOREXE l--
Dans une chaine de Mar.l:ow, les étrt= rêcurfÊnl-s peuveht Dércnstri
Ët-fÉ d1 '/rsÈs d'uDê DiaDlét-e unirlue en cla=ses irrra_Les.
Soi ent j ,

Ià FfÊuve dè re i-hÈôt-emÊ décou-Le direclement du lemme 3.8 7 H+

54
 CHAINES DE YANKOV STocHASTTOUES CHATNES DE XARKOV
æAPITNE 3 CEAPITNE 3

son! de même nâLure. Câr si 1 est PROPOSTTION

b' rerge et sl 1 transitoirÈ Soit C -- (Én,C.,. - . > un ensembJ.e de classes finâles dans E.
ôn déflnlt Ia matrice û.ltk' par ,
(n) conwerge. tlit = o,, ; !,i € Ca-(c* Dl(k)) est une ctraine de t{arkov.

fb'nc, ôn peut extraire une sous-châlne de Markow d'une châine

finie En vertu du lhéorème 3 Ê.8 et de J.â FroFosition 3.8.g. Lâ
récurrent J, tI exlsle uhe c.Lâsse Étrice de probabilités t_cânsition Feut êLne écrife sous Ia
contlenne J.
forme :

l-ooo. . ......o-l
l1 i
lotro.-...._...o1
et c I'ensemble des états âccessibles
|: ' ,i
évident que c'êst une classe finâIê l:.1
I(RQ (D'l
urrent aJ.ors, 1+ j a ! z.-- .-' rj
?r, F", sonL des mat rices stochâstiquÉs qui correspondent
C alôrs, i + k. On a besoin de
æ ensemble= Cr, C.,
alors, i+k. Si i €C alors,
renl + j.+ i Dênc si k é C
lIGOREXE
:J+kÈi=Ir-canona
i +ieLi +kti +k' L:oIt X une ehalne de Mârkôv lnrêducllble. ôu blen Lous
les états sont. trânslLorres, réccufrenls nuls ou bien
récurrenf-s non-nuls-

kov, les êtâts rècurrêntg Peuven! trâtion

èr-e uniquÉ en cIa==es frnàIes' ent j, k deux éLâts. Comme X est. irréduclibl-e I k

découle drfêctemen! du lemme 3.8'7 + j CcriLèrê d'une ctrâlne irféduÊtibIe)_ -

54 55
T
PROCESSUS STOCHASTIQUES
CHAPITRE 3 CHAINES DE I{ARKOV
IETSSLE SI

Donc, iI existe r, s tels que :

nl*t o.t pi; > o p= oî**oir, o.

- Si k est transitoire a1ors, j est aussi récurrent.

. - Si k est transitoire alors, j est transitoire.
g
- Sinon, si j est récurrent alors, k est récurrent.
contradict ion.
- Si k est récurrent nul alors p.n t-
_______) 0 quand n _____J o.

pl]"*t=6p"
kk
n
-Jj + Pjj 0 quand n-----+ æ.

-
3.8.11 COROLLAIRE

de sr
une (

Lan
extr:
EXEI'IPLE 8
{a, c
Considérons une c.n d,espace des états E {a, b, c, d, e} et
=

1i
;0+oo
-1
nlôJ
-A--;.1
='t*.,
oo+o+
1iJ13
La ma

_:_:n.A
4"v
1^1^1
5"3':

56
 CHAINES DE }IÀRKOV STOCHASTIQUES CHÀINES DE I{ARKOV
CHAPITRE 3
IFITRE 3

[s que :

fS
= PJ**PxJ'
elors, j est aussi récurrent'
alors, j est transitoire'
rent alors, k est récurrent'

ù alors Pl* ------.+ O quand n --------J @'

'!r

De {b, d} on peut aller vers {a, c, e} et {a, c, e} n'a pas r

lse irréductible finale avec :

è succeseur, donc {a, c, e} est une classe finale et {b,d} est
lat dans C n'est récurrent nul
È classe de passage. La chaine n'est pas irréductible.
aucun état transitoire'
La natrice ci-dessous correspond à Ia sous-chaine de Markov
crtraite de X. Ses états sont Ies éIénents de la classe finale
la, c, e).

espace des états E = {a, b, c, d, e} et

+o+oo
t1"3
o 4 | z\ ratrice F est réarrangée comne suit :

o o + o;
Ir^
J.
i+ooo
4zv4
1^l'n1VF o ++o o
3J
û'= 117no
o o " +î
=-53
1.no11
4"-24

56 57
PROCESSUS STOCHASTIQUES C}IAINES DE XARKOV
CHAPITRE 3
PROCESSUS STOCHASTIQ

3.9 EITDE ASYHPTOTIQUE

3.9.1 fr ET V : fr = (r
,J) ut V = (vr.)
CALCUL DES HATRICES

1. CALCUL DE LA }IATRICE fr D'où

Soit {Xr; n e lN} une chaîne de Markov, E espace des états et F Donc :

la matrice de probabilités de transition.

5Q=(
a) Soit j un état récurrent, donc v = t + =. et j est
JJ "jj Donc :

accessible à partir de i. Alors, v >O+r

rJ ij= t. Si j n'est
pas accessible à partir de i + v S satir
iJ =O+r i J =0xæ=O(par
convention) .
équatir
fini,
f
o si vrJ =0
Donc si j récurrent + r.rJ.= .l ([ - 0
*t st viJ >O
|.

b) Soit j un état transitoire et i un état récurrent donc j ne 3.9.2 PROPOSITIOI

peut être accessible à partir de i + urj = O et r.r= 0.

c) Soient i,j des états transitoires.

On note D I'ensenble des états transitoires et soient 0 , S

des natrices obtenues de F et de R. respectivenent en

élininant les lignes et les colonnes qui correspondent aux
états récurrents. 4., = F.. et S. _ = r .V i, i € D. Si les
iJ rj ij tr
états sont ordonnés de façon que les états récurrents 3.9.3 THEORE}IE

précèdent les états transitoires, F est représentée cornne

suivant :

o-l
F=l[r fo^ o-] Démonstra

IL L
I,n'=1
0| | u a'l
I
II est cli
_t Ln _l
Soit g un

V=[+o
58
 CHAINES DE HARKOV

STOCHASTIQUES CHAINES DE }IÀRKOV

CHAPITRE 3

f U: R=(r' et V = (vr.)
fr=I ^m

t nàO

eîne de Markov, E espace des états et P Donc:5=I O'=[

nàO
,tés de transition. S G = A + 02 + 03 + ... = 5 - [ et 0 5 = O + 02+ ... = S - [.

et j est Donc: ([-O)5=[ (1)

urrent, donc vIJ = 1+r JJ

S ([ -O) = [ (2)
de i. Alors, viJ >0àr = æ. Si j n'est ..:]
ij
5 satisfait les équations (1) et Q) et I'urie des deux
rtirdei+v iJ =0+r iJ =Oxæ=0(par équations donne Ia natrice S. Particulièrement, si D est
fini, (1) et (2) nontrent que S est I'inverse de Ia matrice
si vij =0
t trr=
Io (0 - o) i.e; 5 = (0 - o)-1 .

*' si v1l >0

{
sitoire et i état récurrent donc j
un ne PROPOSITION

je à partir de i . tr, O et rr.= 0.

is transitoires. S'iI y a un nonbre fini d'états transitoires, alors :

le des états transitoires et soient O ' S

S = ([ - o):1 Par contre, si card(D) = æ; alors 5
nues de F et de R resPectivement êr est Ia solution nininale du système (1) et (2).
es et les colonnes qui correspÔndent arl
r..V i, J € D' Si le-
-ij = Ftj et S..
tr iJ = rJ EDoRn{E
Lés de façon que les états récurrents
[s transitoires, F est représentée co- S est la solution ninirnale du système (1) et (2)

o-lttl fn<' ol Ilélonstration

[- l+F =l I1 est clair que S vérifie (1) et (2).

0lllnl lu
I

o*l
L' Soit g une solution quelconque donc : Y = [ + Q g

9= [+ e ([ + 0ç) = [ + 0 + Ezq= n+O + O21g + O)

58
59
 CHÀINES DE UARKOV
rræ 5!O
PROCESSUS STOCHASTIQUES qttPtrRE 3

= [ + G * 02 +....+ ot * Gt*t tr=Eet' Car : o > 0 et g > 0

Vnel'1.
æ s=
LJ>L^ - m
O-"=(|j-0JJ ^r-1 =5.
Quandn ---J*@,

Soit g une autre solution on a :

lu.=t+au
ls=n+os 2-c
On pose ; H= 9- S = O et vérifie Fl = Q Fl' S

En plus, chaque colonne de S est bornée ttt "rj = trj =Jj

V i+i.
Donc, S est unique si et seulenent si Ia solution bornée du

h = O h est h = 0. Or si h = G h (O= h - 1) + h = 0'

EXET'IPLE 9

Soit la chaine de Markov X= iX-; n e 0'l) et E = {I ,2," ''8}'

0.5 3
o. 0.2 0 00 0 0
0 3
0. 0.7 0 00 0 0
0.6 0.4 0 0 00 0 0
F= 0 00 0 10 0 0
0 00 U.J o.5 0 0 0
0 00 0 oo 09 o
o.2 o.5 0 o o0 0 0.3 3.9.4 Ln'[
o.2 o o.z o 0 0.6 o o

Les classes finales irréductibles : C.= {7'2'3't el Cr= {4'5}'

seule classe de passage estD = {6'7,8}'

I-o.t oe o I Dé

'=lo o 03l P(
Lo.u o o I lll

60
 CHAINES DE NART-T SASiTIQUES CHAINES DE MARKOV
CHAPITRE 3 CHÀPITRE 3

À+i
+o"'g>lG'^. car :O=0et9-:
n=O æææ00O00
æoæOO00O
f t.... |.2t9 0.366 oææO00OO
a
5= I-o)-1= 0.366
I R= 000ææ000
' n
u
D
--
/n
(u o)' =s Iornn
L.ZLY
l. 0O0oæ000
L o. 813 o.732 1.21.e ) oææ00
æææ00 5
(q=t+aU oææO0
t-
IOn Ona: { -
ls=û+os
l.
a Calcul de la matrice V
I et vérifi.e ûl = O Fl.
Scit V = (v..)
IJ
|IIe de S est bornée car s
rj = vij s
a) Soient i et j deux états récurrents d'une nême classe.
Alors donc, v..= 1.
)t seulement si Ia solution bornée
b) Si i et j sont des états récurrents de classes
;ih=Oh(O=h=1)+h=0.
différentes alors, trj = 0t si j est un état transitoire
et si i un état récurrent alors : v = 0.
rJ
c) Soient i et j deux états transitoires. Alors :
trarkov X = iXn ; n € t'{) et E = {1.2 I
r
ij
tr < @, v = .t__etv ,
rj iJ r.. ij r..
J) JJ
) 02 0 0 0 0 0
d) Cas où i est transitoire etj récurrent (voir résultat du
I 07 0 0 0 0 0
l0 0 0 0 0 0
Ierune suivant).
001000
0 05 0.5 0 0 0
0 0 0 0 09 0
i 0 0 0 0 0 03
02 0 0 0.6 0 0

réductibles : C = 11
1
,2,3) et Cr=
Soit C une classe finale irréductible. Alors

: estD = {6,7,8}. viJ = v rk V.i ke C j+k

[o.r o o.e o -l
=lo 0.3
Enstration
?= j ,k e C on a : r,n= r*j= 1. Le systène une fois est dans
L0.6 0 0 I

_l
E. èr-at quelconque dans C, iI passera certainenent vers 1es

i.r--:es états de Ia mêne classe a,rr, rr* V i , k e C qui est

60 61
PROCESSUS STOCHÂSTIQUES
CHAPITRE 3 CHAINES DE XARKOV
PnocEssus sT(

la probabilité de rentrer dans la classe C, ,rn= v... On note,

B(
n
D I'ensernble des états transitoires. On suppose.que le même
(-
ordonnancement est effectué )
i. e. Ies classes irréductibres
précèdent I'ensemble des états transitoires.

3.9.5 PROP!

p est une natrice de probabilité de transition dont.n.O.,"

classe C, est représentée par un état absorbant du graphe
rédui t .

b.(i) =I p.. ; ie D : est Ia probabilité d,avoir accès à un

-rk
r k:c
)
état,transitoire i vers un état absorbant j par ra chaine de
Markov de matrice de probabilités de transition p.

tl s'i
On écrit Ia natrice p sous ra rorine ,e= fin
[t
Lts O-J
coml

^ fr
D"=l
o-l. [r ol = [' 'l ts=
n

[CI .-l Lts @-i Lrn.oo

01
comt

- [o ol r-û ol [ ol 3.9.6 COROI

n'= j,ro.oCI .l .
L,
=
._j L
'
(r+o+@2)ts
I

o_l

In ollt- I-''
e" =
L
(û+o+o2+...* o'-1)ts o"l |
J LN
ts :l

62
 CHAINES DE I{ARII(' CHÂINES DE.'IARKOV
E3 CHAPITRE 3

rl-. i vers Ia classe

bns la classe C, v.,.=
IK
vIJ On -j) est la probabilité d'aller de I'etat
msitoires. On suPPose .que le D pas.

É i. e. Ies classes irréduct G=li$u.=l!ot.'ts=sxts'

rts transitoires.
lr probabilité d'atteindre Ia classe C, à Partir de

l'état i.

Èabilité de transition dont

I par un état absorbant du lbit O une matrice obtenue à partir de F en éIiminant

ûrtes les lignes et Ies colonnes qui correspondent aux
ètrts récurrents. On pose : G = S x B' Alors' pour tout
TT accès à I {lrt transitoire i et toute classe récurrente C, on a :

Crt = Yik Yk€C..

Ia cbai-æ J

f)
T
y e seulenent une classe finale irréductible et un nonbre
fétats transitoires, la matrice B devient un vecteur et
:l P-l =1 alors, ts+O 1 = 1 + ts=1 -Q'1'
rim on.1 et
(l + o + .. + o"-l).ts + ts= L - o" 1. G = 1 - ntæ
q-l
o1 f oo a o + ot o,donc; G = 1'
-Èû "r---+

[r ol = tr 'lo'l'
Lr t-l [(r+o+o2)ts
Soit i un état transitoire' On suppose qu'il y a une
ol ['' classe irréductible seulenent accessible à partii- de i'
tl .-l
el llors:tr-,=1,YjeC.
r O" ')ts o"l
I |L'
ts

63
62
{

PROCESSUS STOCHÀSTIQUES
CHAPITRE 3 CHAIIIES DE IIARKOV

EXEUPLE 10

Dans I'exemple g, à partir

de la classe de passage
{6,2,gt,
seulenent les états récurrents
de la classe Cr= {I,2,3} sont
accessibles. Donc pour i
e 16,7,g) et j e C, on applique
le
corrcllaire (3.9.6).

C
D
11 00 060
'1 00
1
060
11 o0 060
I
00 0 0 0
00 0 0 0
1 1 00 o.262 o. 300
D 1 I o0 0.180 o.300
1 1 00 0.600 o.130

(Par exenple : 0.262

= L
1
et 0.3OO = 0. 366
r.JJ5 7.21,9
EXE}IPLE 11

Soit X {Y n e û,1) une chaîne de Markov avec

D
espace 3. 1(
d'états E = 2, 7I et natrice de probabilités
de
transi t ion

0.6 0.4 0 0 0
0.5 n< 0 0 0
0 0
U 0
0 0 0.3
0
o.7 o o
0 1 0 0 0 0
U 0 7 o o o

64

€
 SITEE STIQUES CHAINES DE I{ARKOV
CHAINES DE T{AR!I' CHAPITRE 3
CHAPITRE 3

3_ = {1,2'l ; C_ = 13, 4, 5) sont les classes irréducL ibles

f:-æIe. En contractant Cr, Cr, on obtient :
à partir de Ia classe de Passage i6' -]
récurrents de Ia classe C,= \7,2,31 [' o o o
p= lo I 0 0
lo.z o.2 o2
o.s o1l |

ur i e {6,7,8i et j e C. on aPPI
o4 ot_l
Lo..

[0.' -o.rl' ,rrn or47

00 000 = o.e =f
1

000
[-0.4 ] lo ,r, I n6 )
1 00
1 00 000
0 000 G=sB -lt.rrn o r+zl
[o
z o .-l = [o." o.6e-l
0 000 L o. s88 1176_l Lo3 o2) Lo.47 o.s3_J

00 o.262 1.000 0.300

00 o. 180 0. 180 0. 300
00 0.600 0.600 0. 180
1. 1. 000 00
11 000 00
Y= 00 1.1.1 00
o.366 00 7LT 00
et 0.300 = 00 7L1 00
1 .355 1..2L9 0. 31 0. 31 o.69 0.69 0.69 o.245 0.r25
o.47 0.47 0.53 0.53 0.53 o.444 0.150

ETATS RECT'RRENTS ET LES PROBABILITES LII.IITES

n e û',li une chaine de Markov avec
7) et matrice de Probabii'i
Sans perdre de géneralité, on peut restreindre l'étude aux

irréductibles. On considère X = {X.;n e ['l] une chaine de

0.4 0c0 00
0.5 000 00 ; E espace des états et F natrice de probabilité de

0 n? o7 00 ition.
0 o 0 00
o 0 0 00
0.3 0.1 0.1 o.2 0. 1

0. 1 0 0.,1 o.4 0. 1

o4 65
 PROCESSUS STOCHASTIQU]
PROCESSUS STOCHASTIQUES
CHAPITRE 3 CHAINES DE I.IARKOV

3.10.1 THEORE}IE
et conne

AIors, ô
Pour X une chaîne de Markov irréeductible J

apériodique
alors :
D'où ô
Tous ]es états sont récurrents positifs si et seulement si )

le systène linéaire :
- Supposons

(
n=z.F=
(S) ;n=nF admet une solution.
J f " j =,
I'fu
t- En passan
Si la solution existe alors elle est stricternent
positive,
il n'existe pas d'autres solutions et nr= ô1 =ô tuF
*ig pî. V i,j € E.
- -k€
- On démont
Démonstratioit systène i
- Supposons que tous les états de la chaîne de sont non-nu] s.
récurrents non-nu1s.
n =I ft
Alors, trj= 1 V i, j e E et d'après le théorème on JnËrt
a:
Iinp..=O Vi. ieE. Contradict
n;æ 'i j j

Cette lirnite existe et vérifie , 1; ô.> 0 V ; e E,

,!
rÈ _Ur=
E
3.IO.2 COROLLAIRE
Soit A un sous ensemble fini de E.

pi;'= I p".p
Pit Pti .t
=n!o P,u'Put'
uL u
Passant à Ia linite quand n,
, ; ô,. I ô,.p,-,. Conme cette
* *J
' k€ A
relation est vraie pour tout sous ensembre
fini de E donc,
elle est vraie pour toute suite de sous ensernble
croissante et
convergente vers E. ô, ô,_.p,_, pour j e
=I E.
' ke E * ^J
on suppose gue ô, r I ôu.pH pour j e E +
' re E^ Kr f ô,j > I ô,.. I p.
-*;
tZ n u.'E * ,!r

66
 AN^STIQUES CHAINES DE I,IARKOV
CHAPITRE 3
CHAINES DE XAF'
CSAPITRE 3

ct conne I p. . ='l donc, E ô. > I 0, ; absurde.

J€rL -i- J€. lL- k€lL

Alors, ô, = E _ôn pu. V j e E.

- rê lF

apériodiq-
F l,larkov irréeductible foùl ô. est une solution du système d'équations précédent.

récurrents Positifs si et seulenent $1rcsons que z est une solution du systène d'équations (S).

r = r.p = (z.F).F = n.F2 z.F' (i.e.: .p' ).

1r = I 7rk'kJ
J k: E
Et une solution'
E pa.ssant à Ia limite on trouve o, = I _"u ]lB nl, = I_*u
' ' k€E-"- leE"
Le alors eIIe est strictenent Positi | | z D'oùI'unicité.
j v r.i I =ô j*Ërn =ô J
utres solutions et n,= ]l$ ei
I dérontre naintenant que I'existance de la solution du
inplique que tous Ies états soient récurrents
'_atrls. Supposons le contraire, on a pour état j de E.
les états de l-a chaine de sont
r=I n.(IinD')=t nk xO=0.
I .-+ k n'6 'kJ nZf
on a :
, j e E et d'aPrès Ie théorène
htradiction avec I r. = 1.
,Ër J
t€8.
0-V j c
e et vérifie : ! ô.=j 1; ô'>
I
ie E
enble fini de E.

rl - F -n n àF Prf'P*J'
I L Ytw'rvr -.
leE '^ k€A

Ite quand n' æ ; ôr=*!

oôn'P".t'

ie pour tout sous ensenble fini è

tlr toute suite de sous ensenble

t. u, =n! pour j e E'

Eô*.Pnj

,*r pour j ' u' i.t=t

fl*.p*; ,! uu,

67
66
 CHAINES DE I{ARKOV EEESSUS STOCHASTIQUES
PROCESSUS STOCHASTIQUES
CHAPITRE 3

3.11 ETATS PMIODIQTIES

3.IL.2 THEOREIE

3. 11. 1 Ln'tllE
:
Soient F r

ù, ! Soit X = {xr; n e 0,1} une chaine de Markov irréductible suppose q

t
l!
I avec états récurrents périodiques de période égale à
Alors, V
I
-i ô. Alors les états sont partitionnés en ô classes Br,
Bz, ..., BU disjoints tel 9ue: Pr, = 0 si (i e Br' i lim Pnô*l
n+@ iJ
e Br) ou (i e Br, j e Br) (i e Bu, j e Br).
Les proba

Démonstration
On considère un état fixé "O" et un état quelconque j de E.
EXEI,TPLE 12
Comme Ia chaîne est irréductible, 0 et j sont conmunicants
Considéro:
i.e., 3 r, s ter que: P"(0, i) > o, P = p'(i, o) > o.
\7, 2, ..., s
On a ainsi d'après Chapman- Kolnogorov :

p"'(0, 0) > p'(0, i) p'(i, o) > B P'(0, i).

si Pn(o, j) alors, P'*"(0, o) > o. conne 0 est de période ô et

P'*t(O, o) > o alors, n + s = kô pour tout entier relatif k.

Donc, P'(0, j) > o + m = kô - s. En posant s = - c' on aura :

Cette chaîne
période ô = 2
P""(o, o) > o+m=c[, a+ ô, u+2ô + '...
81 -- 1r,z,3l
Si j est dans Bo alors Bo est l'ensernble de tous les états (o.1728, 0.65
accassibles à partir de 0 dans des pas û, a. + ô, a + 2ô + ".'

Bct+ 1 : L'ensernble de tous les états accassibles à partir de O

Lin F2n
dans des pas t, + I, u + 1 + 0, d + 1 + 2ô + ...' ne@

D'où : Pr, = 0 que si i e 8., i . B,r*, pour a = 7'2,..'ô.

(Si a = ô on prend Bo*, = Br).

68
 CHAINES ÙË T'TARKOV
CHAINES DE XAEf,' CHAPITRE 3
EEAPITRE 3

$ient F et B
q des natrices définies ci-dessus et on

L) une chaine de Markov irréductible rypose que Ia chaine est non-nulIe.

nts périodiques de Période égale i dcrs, V m € {0, 1, ...,ct}, on a :
l sont partitionnés en ô classes Er' (n siieB ieB
I": "'""a'"--F ,B=u+k(modô)
|,lts tel gue: P, . = O si (i e Br' i rLl ^nô+k
ï' 1
lii ij [ 0 sinon
j e B.) (i e Bu, i ' Bi fnr=n (*)
lcs probabilités sont solution du sYstème
'l I ,, = o
i

fixé "0" et un état quelconque i de E

irréductible,0 et j sont
hsidérons une chaîne de Markov avec ensemble des états E =

P'(0, i) > o, 13 = P"(i, o) > o'

L - -., 5) et matrice de probabilités de transition,
lpnan- Kolnogorov :

F=(j, o) > P'(0, i). [o o o 3/4 v4)

13
lo o o r/3 2/31
F=10 0 0 o 1l
=(0, o) ) O. conne O est de Période I l1/2o1 r/2 o o
L0 o o o -l I

r + s = kô Pour tout entier relàtif

.h-ine est irréductible, non-nulle et périodique de
I = kô - s. En posant s = - a', on æIil
ô = 2. Les classes cycliques sont :

F, q + ô, a + 2ô + .... {i-2,3} et B^ = {4,5i ; Ia solution du système (*) est :

[ors B& est I'ensemble de tous les . 0.6545, O.flzA, 0.3455, 0.6s45).

de 0 dans des Pas a' a' + ô, ot + 2ô r

L72a O. 6545 0 . r72a
. o

tous les états accassibles à partir [' 0

=IO .172a 0.6545
0.1728 0
Fà
rt + 1, c(' + 1 + 9, q. + 7 + 2ô + "" .7728 0.6545 0.772A 0 0

t i € Bd, j € Bct+r Pour û = t'z'"'6 o 0 0.3455 0.6545

o 0 0. 3455 . 0. 6545
L:
I.r+1= B ).
1
I

69
68
a-
PROCESSUS STOCHASTIQUES CHAINES DE I'IARKOV

00 0 0.3455 o. 6545
00 0 0.3455 o. 6545

Llm r-2n+1
o0 o 0.3455 o. 6545
o. t728
nJ@
0.6s45 o.L7Za 0 0

o.t72a 0.6545 o.L72a 0 0

d'ur
plus
prat
chaç

coût

EXNJ

{v}
n
qui

de

stra
-si
n'

- 5l

s'il

5.,r-
 PROCESST'S STOCHASTIQUES
CHAINES DE HARKOV DECISIONS ET CHAII{ES DE I{ARTOV
pPTTRE 3 CHAPITRE 4

o o 0.3455 0. 6545
DECISIONS ET CHAINES DE MARKOV
o o 0.3455 o. 6545

o o 0.3455 o. 6545
o.6545 0.172a o 0

0.6545 0.r72a 0 U

INTRODUCTION

vu au chapitre 3 qu,une chaine de Markov évolue

Nous avons
d'un état à un autre selon certaines règles bien définies;
plusieurs possibitités se présentent quant à cette évolution.
En
pratique toute transition entraine divers coûts; dans ce
chapitre on introduit Ia notion de décision avec mininisation
du
coût global de gestion.

EXHPLE 1

Un vendeur de pièces de rechanges a constaté que ses ventes

{V.} à Ia Dt"t" semaine évoluaient selon une chaîne de Markov
qui suit une loi de probabilités : p(Vn = O) = O.1O p(V.
; = 1;
=o'15; P(v-
nnn=z) =
o.3o; p(v_=3) =0.45. SoitX renonbre
de pièces disponibles le samedi de Ia ,.rIène senaine.
Derrx
stratégies de vente s,offrent au vendeur ;
- Si le stock est égal à zéro, il en commandera 2, sinon il-
n'en commandera pas.
- Si Ie stôck est égal à zéro, il en cornmandera_ trois (03) et
s'il est égal à un, iI _en co;nmandera deux (O2). .

70 71
 a

PROCESSUS STOCHASTIQUES DECISIONS ET CHAINES DE I{ARKOV

PROCESSUS S
CHAPITRE 4

La vente d'une pièce rapporte 250 DA et son stockage coûte L0 DA

ch
par senaine. Quelle est Ia politique préférable? bo:

La réponse à cette question nécessite une connaissance des Ma

outils de base concernant Ies décisions basées sur les coûts

moyens.

4.2 COUTS ASSOCIES A I'NE CHAINE DE T{ARKOV Le

10

Soit {X;
n
n € hl} une chaîne de Markov dont E est son es
ensenble des états et F sa matrice de probabilités de

transi t ions.

Le
4.2,1 DEFINITION
un(

d
On affecte à chaque transition i ----+ j un coût (gain) C., 1

a
On désigne par ct Ie N-vecteur dont les élénents sont
N
a.1 = I"'ii p..C..;
ii'
c.t représente
' l'espérance du coût en une
EXI

période sachant qu'on était dans l'état i à Ia période

précédente. On désigne par [,'l(t) ]e N-vecteur dont Ies éIéments cha
th\
sont : n'^"qui représentent I'espérance du coût en n périodes
I
-E
achant qu'on était initialenent dans 1'état i. -E
(1)
On remarque que : Fl'-' = a. -E
Une

EXEtttpLE 2 Problène du confectionneur I'é

Un fabriquant produit un type de vêtenents dont les ventes pan

varient d'une année à une autre. Tant qu'il n'y a pas de

-M

72

iLi-
 STOCHASTIQUES DECISIONS ET CHAII{ES DE XARKOV
CHAPITRE 4

10 DA changement de rnodèIes, les nauvaises années (type 1) et les

bonnes années (type 2) se succèdent en fornant r:ne chaîne de
Markov dont Ia natrice de probabilités de transition est :

I o.'
' -
lP= |

Lo't
Le bénéfice est supposé nul pour une année de type 1 et égale à
10 pour une année de type 2. La matrice des coûts de trbnsition
est :

^ fo
L = |
o-lt.
ro -ro
f _l

Le vecteur espérance conditionnelle du coût en

une période a pour conposantes :

a1 =0.7xO+ O.3xO=0.
cr2 = 0.5 x (-10) + 0.5 x (-10) = -10. + a= (0,-10)'

EXE'IPLE 3 Problène de remplacement d'une nachine

iode La révision de I'état d'une nachine se fait au début de

ts chaque période; trois états sont observés :

iodes - Etat 1. : Neuve.

-Etat2:Usagée.
- Etat 3 : A bout de souffle.
Une nachine neuve ou usagée, nornalenent entretenue, sera dans

I'état 2 à Ia période suivante à noins qu'elle ne tombe en

panne. Les probabilités de panne sont :

- Machine neuve : O.1

73-
T
PROCESSUS STOCHASTIQUES DECISIONS ET CHAINES DE I{ARKOV
CHAPITRE 4 PROCESSUS

- Machine usagée : 0.3

4.3
Les coûts d'entretien sont :

- Machine neuve : 100 DA,/période.

- Machine usagée : 150 DA,/période.
Le coût de réparation d'une nachine tonbée en panne est de 200

DA. Une machine neuve ou usagée tombée en panne à Ia période n

sera dans I'état 3 à la période n+1. Une machine dans I'état 3 à I
Ia période n devra être remplaçée par une nachine neuve à Ia t
période n+1. Le coût d'achat d'une nachine neuve est de 5000 DA. l
Si nous considérons X,l'état de la nachine à Ia période n, on

montre aisément que {Xr; n e D,,l} est une chaîne de Markov avec
E = {1, 2, 3). On a : .

l;
t
l l"
P= lo o.7
0.9
"l
o''l
t'
! I 0 0_l

f
La natrice des coûts de transition
+:
100 3oo-l

t
fsooo
150
0
3so
.l
I

Le vecteur espérance conditionnelle du cout en une Dertoqe a

pour conposantes :

q
1
=0x0+O.9x100 + 0.1 x 300 = 120.
(t =0x0+0.7x150 + O.3 x 350 = 210.
d
3
=1x5000+Ox0+ 0x0=5000.

74
I{ARKOV
PROCESSUS STOCHASTIQUES DECISIONS ET CTIAINES DE HARKOV
CHAPITRE 4

4.3 TITEOREHE

On a les relations de récurrence suivantes :

1. M(") =a+Ft(n-1)
2. 0,{(t) = g(t-r)* O (n-1)a.

Démonstration
Plaçons nous à I'instant O.

1) On déconpose Ies n périodes en n-t périodes dont I'espérance

"=t [*l(t-1) et une .rtt'" période dont I espérance

des coûts
du coût est la somne des produits c. x Prob(être dans
l'état j à f instant n-1).
.
UOU:n=n+)Dd.
(n) (n-r) I tr-tt
r I ilr-rj J

2) Dans ce cas, on décompose les n périodes en une première

période dont I'espérance du coût est égale à c, et les (n-1)
autres périodes pour Iesquelles les espérances sont Ies
m,-- -'
(n-1 )
" Prob(être à I'instant 1 dans 1'état j).
ol o,:,n(')=c.
I *lo
t "'ri r(n-l).
I
i=1

RBIARQUE

Ona : r,.) =.t pr, nJ + .i o, = IIa ,

r -n(n-l)r -X-,.-t,- .L,n,
J= r j=r
quand n -------) @

75'
T
PROCESSUS STOCHASTIQUES
DECISIONS ET CHAINES DE }IARKOV
CHAPITRE 4

Donc Ie coût en une transition tend vers une quant i té

indépendante de l'état de départ.
On notera que dans ce qui suit, R= IIcr.

4.4 TTIEOREI,IE

ona:orl(t)=nRe + o(l,/n) où :

e est le N vecteur dont toutes les composantes

sont égale à 1, o(1 /n) ------J 0 et m est solution
du systène :
(r) lru -F)m=cr-Re
I

ln n=0
Démonstration

Le système (I) adnet une solution unique car [ - F est

natrice régulière et 1 est une valeur propre sinple de F.
Soit rn cette solution :Ona:

Dl(n) - a * F.ûrl(t-1) = m - F.n + R.e + F.ûil

= n - F.m + R.e + F.(a + F.Di("-2))

= m - F.n + R.e + F.(m - F m + R e + F D{(n-2))

= m + Z.R.e - F2.n + p2.61(t-z)

= n + (n-l).R.e - F(t-t)., + p(n-r).(n - F.n + R.e)

=m+n,R.e-F(n).rn.

76

\^*
DE XARKOV PROCESSUS STOCHASTIQUES DECISIONS ET CHAINES DE }IARKOV
CHAPITRE 4

on a : r.r(') = F('),n = f oli' r, =E ln, + o(1/n)l m,

l=1 l=t
NN
=f.:,tn nj +tm o(l,/n)=0+const x o(1/n) = o(I/t).
J-L
,:,t J-T

D'où : ûl1(') = n R e + m + o(l,/n).

4.5 COROLLAIRE

Le systène ([ - F) v = a - Ê e, "F étant un scalaire",

possède une solution ssi B = R = IIa.

RE}TARQUE

(n) (n) (n) (n)

Evaluons t;"' - ^i"' . t_i'^' - n;"' = tJ - t, + (L/n) '
- m.Jr - n. représente donc Ia différence des coûts entre
Ies deux évolutions possibles suivantes : Connencer à
ou à I'état i. En pratique (nr-m. ) représente Ia
I'état j sonme que I'on devrait être à payer pour que
Ie systène conmence à évol,uer à I'état i plutôt qu'à
I'état j.

EXN.TPLE 4

Dans l'exenple 3 on déternine Ia . distribution stationnaire

en résolvant Ie systène suivant :

77
 PNOCES
PROCESSUS STOCHASTIQUES DECISIONS ET CHAINES DE I{ARKOV

CHAPITRE 4

IIF=F
N
In = 1

l=7 '

On trouve : II = ( O.2, 0.6, O.2 ), d'où R = IIq = 115O.

Le vecteur M est déterniné Par :

*, - 0.9 ^, - 0'1 m. = -1030

-*r*ns=3850
2^r*6^r*2m.=0'
D'où :

n.= - 483'33, rn. - 2650; n. - t, = 3850'

^, = -
12oo,

Nousdevonsdoncêtreprêtàpayerjusqu,à3850DApour
conmencer avec une nachine neuve plutôt qu'une nachine
à bout de

souffle. Mais, si on commengait avec une machine à bout de

souffle,ilauraitfallularenouveler'ceciauraitcoûté5000D4

4.6 DECISION ET CHAINES DE I'IARKOV

4.6.I DEFINITION

Les nênes hypothèses que Ie paragraphe précédent sont

Ie
supposées. En plus, on suppose qu'à chaque étaPe lorsque
système est dans I'état i, on peut prendre une décision'

Appelons d cette décision. On définit :

Probabilité pour qu'on ait une transition dans

- oorl :
on > o et
I'état j. on a ni, )
I ni, = t' i=t "

78

-ir-=
 DECISIONS ET CHÂINES DE I{ARKOV,
PfircESSUS STOCHASTIQUES
CHAPITRE 4

: Coût correspondant à une transition de i vers i (dépend

- Cd
rJ
de Ia transition et db Ia décision) '
- L'ensenble des décisions Â, = 1,2' " '' D, est fini :

A toute décision d on associ" ttî = Ë of, oo., '

J=t "
Espérance du coût en une transition lorsque La décision d est
prise.

1.6.2 DEFINITIONS

1) Toute décision doit être régie par irn ensemble de règles'

Cet ensemble de règles qui perrnettent de prendre
une

le
décision queIIe que soit I'étape à IaqueIle se trouve
systèrne s'aPPeIIe "PoIitique" '

par période
2) Une pôIitique est dite optinrale si Ie coùt noyen
est optinal.

REITARQUE
a'

Vu les propriétés d'une chaîne de Markov' si Ie systène

se trouve dans un état i à un instant n' Ia décision à
prendre serait Ia rnêne que si Ie système se trouvait
dans un état i à un instant n+n' Ceci nous nène à Ia
définition suivante :

4.6.3 DEFINITION

Une politique est dite stationnaire si à chaque état on

associe une et une seule décision'

79
 PROCESSUS STOCHASTIQUES DECISIONS ET CHAIIIES DE }IARKOV
CHAPITRE 4

RE}IARQUE

Le nombre de politiques. stationnaires estrIIrD,

EXB,iPLE 5 (Problème du confectionneur)

II y a 4 politiques stationnaires :

- (1,1) garder Ie même rnodèIe.

- Q,2) garder le mêne rnodèle lorsque I'année est mauvaise;

changer de rnodèIe lorsque I'année est bonne.

- Q,I) changer de nodèle lorsque I'année est mauvaise et

garder Ie même modèle lorsque l'année est bonne.

- Q,D changer systérnatiquenent de modèIe chaque année'

Cherchons Ie bénefice obtenu en prenant chaqu'une des
décisions suivantes :

(1.1) :

f o, o'-l
Û/=

[,.
o.' _l '

O.7 rt, + O.5 rt,- = 1t

0.3 n, + O.5 rt, = tt.
nr*nt =7

D'où : ", = *, nr= $ ; Bénéfi".(r,r) = - IIcr

=-+*(-10)=3.75.

ir
l,
; 80
_{
PROCESSUS STOCHASTIQUES DECISIONS ET CHAINES DE XARKOV

CHAPITRE 4

l- o. zo. : -.1
+; a= (o,-5)';
s
(r,2) : F= | o. so. s l' *, = -lli oz=
l _.,

rru = -2.72. ic.(r,r) = -2.72.

Bér,êf

De nêne, pour (2,1) on obtiett t B(r,r, = 4 et 8r.,", = u'5'

La politique (2,7) est la meilleure.

1.6.4 ALGORITIII,TE POI'R DETERI{INER I''NE POLITIQTJE OPTIMALE

1. Soit S une politique stationnaire quelconque'

2. a, F, II Ies paramètres associés à S'
3. Poser Rr= IIcr. et résoudre :
l([ - F) m = a - R e
I
1 u n = o.
t
N

'4. Si : V i Eona : R**, =cd +IOIr t,

j=t
alors la politique S est optimale' Stop'
5. Sinon, aller en (6).
6. Définir une nouvelle politique en associant à
N

1'état i une décision d, qui minirnis" t t'o *.I.pl;

l=l
Soit S cette nouvelle politique puis aller en (2)

Justification
1 ) Finitude
Soient Sr, S, deux politiques obtenues à deux itérations

successlves :

S, = (Fr, ctr, IIr) ; 5. = (Fr, dz, l.) :

81
T
PROCESSUS STOCHASTIQUES DECISIOI{S ET CHAINES DE XARKOV
CHAPITRE 4

8, = [r.oti gz = frr.n.
([ - F1).n, = a, - Rr.. e+ Rr.e * r, =., * Fr.^,
de mêne on a : Rr.e +
or* Fr.^r, donc :
^r=
(R, - Rr).e +
^, - ^, = o, - or* F,..r, - F..^.
.. (Rr - Rr).e * r, - r,

= (ct, + Fr.r, -
- Fr.nr) + Fr.(rn, -
cr, (I)
^r)
Comne on sait que o, * Fr.^,
= o, * Fr,,^, (étape 6 de
I'algoriLhme) alors;

(0-F2).(mr-nr) (II)
=p-(R 72-R)
g = (d7 * Fr.r, - o, -F'.n)>0.
27
Donc d'après le corollaire (4.5) le systèrne ( II ) admet une
solution si et seulenent si

.=R,-R,=TI.p>0.

D'où, Rr t Rr.R décroit d'une itération à l'autre et comne le

nonbre de politiques stationnaires est fini, alors I'algorithme
est fini.

2) Convergence
Soit S (F, a, II) Ia politique obtenue à la fin de I,algorithne.
Soit S*(F*, o*, IIt) u.r. politique optimale.
R.e + m = ct + F.m = cr* + F*.n
-+.e + m+ = q| + F*.n r
K
+
^*, J.e + n - m i t t
(r1 - tt = u - a + F.m - F.m

82

\,.r--
?fl)cESSUS STOCI.TASTIQUES DECISIONS ET CHAINES DE }IARKOV
CHAPITRE 4

= o(. + F.m - (cr + F.m) + F .(n n ).

+*
Donc,([ - F ).(rn - m ) = s - (R R )"e (III)
+t
e--u+ F.rn-(a +F.m)<0.
Selon Ie corollaire (4.5), le systèrne (1/I) admet une solut ion
si et seulenent si r = R - R* = II.p = O. Donc, R = R" Conne R

f+
est supposée optima).e alors, R = R. D'où R = R

1.7 CAS DES COUTS ACTUALISES

Tout Ie travail effectué jusqu'ici considère que la monnaie

reste stable pendant toutes J.es périodes de prévision. Dans ce

paragraphe, nous allons tenir compte de I'évolution de La

nonnaie. En d'autre ternes. 1 DA en L992 aura une valeur de (1 +

T ) DA en 1993 et (1 + z + t') en 1994 etc... (inflation, nasse

monétaire et d'autre facteurs). On introduit alors ce que l'on

appelle "taux d'actualisation" p ( 0 < p < 7), qui permet de

faire le lien entre le 1 DA en 1993 et celui de 1994.

ona: p= -T+r .

1.7.T DEFINITION

on désigne par r.t"' I'espérance du coût en n périodes

sachant que Ie systène se trouvait à I'éLat i à I'instant O et
(n)
que le taux d'actual.isation est p. on a ' r(^)(1) =n

83
 -rc.:=sSJS
DECISIONS ET CHAINES DE
MARKOV
PROCESSUS STOCHASTIQUES
CHÀPITRE 4

4.7,2 TTIEOREME

pour 0 = p < r on a : tt"' (p) --------+ m(p)

quand n--------> @, avec : n(p) =
([ - pF) n'" " '(tv)
Pê
+ rn(P) (v)
ou: n(p)
avec : n(P) solution du sYstène
([-PF)rn(P)=a-Re

Démonstration
conpte du taux d'actualisation'
on a vu que :
Sans tenirr
Ie taux d'actualisation p
,(n) - c[ + F.[,1('-1), si on introduit
1o; ; avec ' ftl(o) (p) = o'
on obtient , û,,1(t) {p) - 61 + p.F.û4tn-r) lLt-1
(p) donc;
Mais D.l(.-1) (p) = cr * p.F.û,,1(t-2)
(p))
M(') (p) -- u + p.F.1cr + p.F.M("-t'
(p)' Par récurrence on obtient :
= o( + p.F.ct + {p.F)2'04('-'\
+ + (p.F)("-1)) a'
F,t(')tp) = (û + p.F + (p.F)2 ...
+ + otp-r)'o("-1)1'ct
([ - p.F).fi'{p; = ([ - p'F)'(0 + p'F "'
= ([" - Pt'F )'tt = 4 - Pt'[Pt'cr'
à 1' alors;
Les valeurs propres de F sont inférieures
p ( 1 on a
0 quand n ---------) æ. Pour un taux
:
p..F.",,
(t) --=-)
t,f (p)
unique par
alors, n(p) est définie de manière
:

renplace dans (V) on obtient :

m(p) = (0 - p'F)-l'(a - R'e)' on

R.e tl(' - p.n)-l (cr - R.e). D'où :
m(P) = -T-:-t'

81

3-
 DE HARKOV ryCESSUS STOCHASTIQUES DECISIONS ET CHAINES DE IiiARKOV
CHAPITRE 4

([ - p.F)-1 m(p) = 3'(Û - P'F)'e +q-R'e'Mais:

-a-p
0.e = F.e = e. Donc : (û - p.F).m(p) = i"+|o_€I +cr-R.e=.r.

{- 8 AUTRES APPROCHES : DECISIONS I{IXTES

Dans tout ce qui précède nous n,avons considéré que des

décisions pures, c,est-à-dire une politique donnée ne peu[
associer à un état i qu'une seule décision; dans ce qui suit
nous allons considérer une autre approche pour résoudre le
probJ'ème "meirreure décision possibre". Le système se trouvant à
que I'état i, nous pouvons lui assocler plusieurs ,'propositions de
isation p décision" chacune avec une probabilité donnée.
t'(p) = o.
..8.1 DEFINITION

Le vecteur y représentant 1es probabilités de prendre la

décision d à partir d'un état i caractérisera ce que I' on

appellera décision nixte.

Si Â, = {1,2,..., Dl} représente I'ensenble des décisions que

I'on peut prendre à l'état i, alors :

lona:
1yr yz, yd, ..., yo ); où:
;t inversible
o'
yo=oetvdeD, et I'"0=r.
d=1
on obtient :
choisir l-a décision mixte y signiferait prendre ra décision d
avec une probabilité yo. On note :

85
PROCESSUS STOCHASTIQUES DECISIONS ET CMINES DE UARKOV STOCHASTIQT'ES
CHAPITRE 4

I) mr(P,p) : Esperance du coût de la politique P lorsque Ie Les contrai.

système est dans I'état i à L'instant 0 et lorsque Ie taux N

1) t II = 1

d'actualisation est égale à P. l=t'

2) ur'l(o) = Inf [m (P,p)]. 2)IIF=II

pour j =
4.A.2 DEFINITION

3)xru>ol
PourO<P 1 les ur(p) sont finis et sont solutions"ifu
l{
systèrne : u, (P) Inf tcf*oInf,-' u, (c) l. EXEX.IPLE 6
l=r Reprenc

La fonction
4.8.3 COROLLAIRE
D
NJ
z=E f r
Pour O - P ( 0, iI existe une politique stationnaire P telle d=r'
J=1

que : (P,P) = u.t (P).

44Ox +77
''
^e

A L'AIDE DE LA PROGRAilI'IATION LINEAIRE Contrainter

4.9 RESOLUTION
1. x11 + x 1
P(choisir la décision d/on est dans I'état j)
Posont
- ' YJo = Z.x 11 +x
xjd = P(on est dans l'état j et on choisit Ia décision d)'
j) x - 0.1x
x = P(choisir Ia décision d / ot est dans I'état
Jd

P(on est dans I'état j) = YJo * [j. 3. x21 +x Z

o,
On a : Tl, = I x.,. L'objective est de nininiser Ia quantité R' x -0
Jo
' t=1
4. x31 +x
Donc, Ia fonction objectiVe est :

N
D
) 0x 31
Ix o.'=2.
R=TIa=II J =t"r c,:_r Jd
q'
J

86
 DECISIONS ET CHÂINES DE }IARKOV
SlOCHASTIQUES
CIIAPITRE 4

stationnarité
Les contraintes sont tirées de la condition de
:

D
1NJ
i\L' çL fl = 1
- a I 1x = 1.
"t " Jd
l=7' J=r n
DJ
x Ni
2)IIF=II I*ru- -I IP,, X,^
r,-Itr,P,,=o<+
<+TI
t=t' " d=l

pour j -- 1, 2,.. ', N'

3) xra > O Pour tout i et Pour tout d'

EXËI.IPLE 6

Reprenons I'exernple de relnplacenent d'une

rnachine'

La fonction objective :

oj
n
z=i I *,o"1 = 72o *rr* 5oo xtz+ 2ro xzL +
- -
J=1 d=l

44o xz2+ 77o xz3+ 5Ooo xr.+ 3000 x32

Contraintes :

1. *r' * *"r* *ar. * *rt* *ra* *a,,. * *a, = 1'

o *ra - *a,
z. *r, * *ra- o *r, - 0.L xr.- 0 *r, - - o *a.-
- O.1 x., = 0.
xr. - a'9
,. *r, * *r.t *r, - o., *r, - o.9 xrt - o'7 x., - o'8

*r. - o *., - 0.9 xar= o.

4. *., * *rr - 0.1 *., - o *r, - 0'3 x21 - o'2 x., - o'7 x.r'

oY
- '-31 -0x 32
=O.

87
T
PROCESSUS STOCI{ASTIQUES DECISIONS ET CHAINES DE I{ARKOV PROCESSU
CHAPITRE 4

Le progranne linéaire s'écrit :

l{in:Z=l2Ox' +500x+27Ox
12 Zl
+440x
22
+ 77o x^^+ 5oO0

ax 31 + 3000 x
32

*r, * *ra * *a, * *a, * *ra * *ra * *

*r, * o'9 *ra - *r, - o'1 x., = o'
- 0.9 xr1 - o.9 *rr* 0.3 xrr+ o.2 xaa + O.1 x 23 -O.9x 32
=O.
- 0.1 xr1 - 0.3 *r, - O.2 x2z - 0. L x 23 +x 31 +x^^=0.
*r, = 0 PPour tout i et j'

La solution de base oPtimale est :

o.0227, O, O.75, 0, 0, 0, o.2273.

5.2

88

\-__
PROCESSUS STOCHÀSTIQUES
CHAPITRE 5

PROCESSUS DE POISSON

5.1 INTRODUCTION

Ce processus est souvent rencontré dans la vie pratique, Ies

appels téIéphoniques, attérissages des avions dans un aérodrome.

Soit Q un ensernble fondanental, p une probabilité définie sur

une tribu de O.

Pour tout t à 0 et pour tout r,r e Q, on définit

Ie nombre entier N.(o) qui représente Ie nombre des arrivées
dans IO, t].
L'application : t r-> N. (o) est non-décroissante
en escalier et croit pas par pas.
N = {N.(ar); t > 0} est
appelé processus des arrivées dont E = D.l est l,ensemble des
valeurs.

5.2 DET'INITION

Un processus stochastique N = {N.(o); t > 0} de valeurs

dans 0'l est dit de Poisson si les axiones suivants sont vérifiés
(i) V or e Q, les sauts de l'application t r-----> N.(o) sont de

Iongueur unité.

89
PROCESSTJS STOCHASTIQUES PROCESST'S DE POISSON
CHAPIINE 5

(ii) Pour tous t, N.." - N. est indépendant de {Nr; ust}. avec:t= 1

"=0i
(iii) Pour tout t, s > 0; la distribution de N.*" - N. est Donc, Nt (ro)

indépendante de t. tout n > O-

5.3 LBtltE 5.4 LnlilE

Pour tout t > o, P( Nt = O) = e-Àt

À étant une constaltq positive.

5.5 LnlilE
Dénronstnation

Le nombre'd'arrivées dans [O, t+s] est nul si et seulement si iI

n'y a pas d'arrivées dans [0, t] et dans lt, t+sl, donc :

{N.*, = o} = {(N. = o) (N.*" -,Nt = O)}.

^
D'où par I'indépendance on a :
Démonstratir
P{N.., = 0} = P{N. = O}'P{l{.." N. = 0} et comme le
processus est stationnaire axione (iii),
P(N. = 1) =

P{N.*"- N. = 0} = P{N" = 0}' Donc ra fonction :

(5.4) Lin I
tro
f(t) = P{N.t = 0} satisfait les âryations :
f(t + s) = f(t) x f(s), 0 - f(t) = 1, poûr tout t eL s dans
5.6 TTEORn,IE

R'.
Donc on a f(t) = O V t > O ou f(t) = "-Àt porr.
> 0. Si f(t) = 0 V t > 0 alors, V t = 0 et V o e O : Si {N.; 1

^
Nt+s(ar)-N(o)=l
t
P{N. = k)

et ceci irnplique :

N.=N.+(N. -Nr)+(Nr -N.)+...*(Nt -Nr )'

| 2 1 3 2 ^ n-1

90
 PROCESSUS STOCHASTIQUES

CHAPIîRE 5

avec : t st
I -- - "' s t. = t.
Donc, N(ra)-n --, d'oùN.(ar)=a.
t pourtoutt=Oet
tout n=o.

5.4

5.5

Démonstration
P(Nt 1) = 1 - P(Nt=o)-p(N.à2).
Donc, d'après le lenme
(s.4) efr,r. .r - _Àt
fig = 7)/t = Lim
tro t
e
- fig eriv. > 2)/t = à.

5.6 TIIEOREI,TE

tt {Nt' t - o} est un processus

de poisson a.Iors, v t -
o.
p{Nt
P{N = k} = .-Àt (Àt)k
- __S____!Àtf ; k = o, 7, ... pour À. o.

91
 PROCESSUS DE POISSON PROCESSUS :
PROCESSUS STOCHASTIQUES
CHAPITRE 5

.-. ,n
e-Àt (Àt 5.8 fi
Calculons E(l'tr) =Jon P(N. = =Jo".
J
= À.t.
", n

À : est Ie nombre rnoyen d'arrivées dans un intervalle

d'amplitude unité (À Ie taux des arrivées).

5,7 COROLLAIRE

Soit N = {N.; t - O} uD processus de Poisson de taux 5.9 TI

égale à À. Donc, V t, s >-0: P(N.*" - N. = k'lNu ,u s t)

-Às,- ,k
- '--t+s -N t =k)=
=p(N ",,1^t'
K!
;k=07,....

Ce corollaire est une conbinaison de I'axione (ii) et le

théorème précédent.

EXEI{PLE

Soit un Processus de Poisson de taux égale à 6. on veut

calculer:P(Na.r=15, N.., = 2o' Nn.n = 26).

L'évènementA=(N...= 15.' N3.9 = 20, N4.4 = 26) =

{
l(N3.5 =15)n(N
-' 3.9
-N ,..=5)^(Nn.n - N = 6)l =8.
1

Par indépendance on a :

'27 15
e-'27--
p(B) = _ ____T!r.n, x --e-3'O 36
15! " "-r,n
.
6t-

92
PROCESSUS STOCHASTIQUES
PROCESSUS DE POISEON
CHAPITRE 5

5. 8 TIIEORE}IE

- {Nt; t > O} est un processus de poisson

"égale de taux
à À si et seulenent s,iI vérifie sinultanément
les
deux propriétés suivantes :
(i) V a.r e Q, N. (or) croit par unité.
(fi) V t, s'O , E(N.*" - Nt/ Nu, u. t) = À s.

5.9 TIIEOREIIE

p = {N.; t > O} est un processus

de poisson de taux égale
à À si et seulenent si :
-Àu,-.
p(N, = 1ç; - "-"l!rul*
; k = 0, r,...; pour roure partie
BdeR'; B=Ui I, est un intervalle de longueur a.,
ti_ ,
I,t) nI =aet b=Fa

INSTANTS D'ARRIVEES

V or e O, on considère une suite de variables aIéatoires

{T.(or)} qui représentent les instants d'arrivées.
Si t- esr un
instant arbitraire, disons T , on a :

P(N
T+s
n
-N-ru =O/N ,u=r D
)="-À"
n
(N -N T- =O)=fr
T+s r*1-Tr > s)'
n n

93
PROCESSUS STOCHASTIQUES PROCESSUS DE POISSON PROCESSUS STOC}IAS'
CHÀPITRE 5

Donc, l'infcrmation stockée dans (N = T ) est Ia même

Ona:
que celle dans (Tr, Tz, ..., T^).

Var (T
n+1
5.10 PROPOSIÎION

Tn1=T

V n - O, P(T^*, - Tn= L,, To,Tr,...,Tr) = 1- t = O. var(TD )

"-Àt;

Démonstration EXEI,IPLE

P(Tn+l -T.L/T.T.....T)
n O 1' n

= 1 - P(Tn+1I01n
- T >t/T ,T ,....T )
et si
=1-P(N_ T+t -N_=0; N,usT) d'actua
nn
T u n

'l - a -)r-- + > n

1DAà

qont actuel lr
Les instants inter-arrivées -1' , T
T i ndéncldsnls sf
c(o) = I
équidistribués et cette distribution est dite exponentielle. La

"' ; t > 0.
fonction de densité est : f_ _ (t) = À e-)+ Pour un
T-T
n+1 n
(l
Une des propriétés importante de Ia, Ioi exponentielle est Ia -, -qT n
Lte

suivante :

P(X > t + s / X > t) = P(X > s) V t, s = 0 et X,Y - Exp(À).

Conne Tr

5.11 TIIËOREHE
F(e) = r

La durét
Soierrt Tr, Tr,... des instants d'arrivées successifs d'un
égale à
processus de Poisson N = iNa; t = 0). N est un processus
de Poisson si et seulenent si les instants inte-arrivées Donc, pc

Tr, T.- Tr, ... sont indépendants et équidistribués. et E(c)

94
PROCESSUS STOCHASTIQTJES

PROCESSUS DE POiSSÛI.I
CHAPITRE 5

ona: llT
@

n+1 -tl _., =.r P(rn+l -Trtt)dt

o -,, e
o
Var (T 1\ 1
nal n -2
. Posons :

^
T -r -1 + f T -T \
rr '..+ (T 1'-,) alors, E{T )
= n
2 t'
n
-tI-*t .-.

var(T )
n
A

EXE}iPLE

Si les appareils sont

r.empiaçés inmédiatenieni
ê+
après p3;iTle
èa re coût de
remplacenent est
lg ù4 âvÈc t.
d'actualisation égale !r3-t!:
à a > O.
1 DA à I' instant
t est égal à e_qt
aujourdhui. La va eur
actuelle du coût de J.

remplacenent est égale

à /3 e-qr.ic.r).
c((r) = I ,3 .-ot {rt
, r,€O. E(c) =FIE(e-dr,.(t.l)).
n>1
Pour un n fixé, T.,
= r, + (T2-T1, . ...; {T. *
1,._r).
E(e-arn(o) ) = E(e-crr (o)
) F.r--q(r^-r_ ), (e-ct (rr'-rn_1
E J

= (E(e-drr))".
conne T1 = Exp(À)
, E(e-arr) = 1t.-at
À._Ât,lt _
c[+À
E(c) =ÊI (_ À_.__,n ,
'-nlr'-o *-1-' = P ----i:-- (1 - À.
__-___l- .-t * 11À,
ù+^' û
La durée de vie moyenne
est 5OOO heures et f intérêt
egale à 24% par an. est

Donc, pourÊ=SOO,, 1

et E(c) = 8oo x ..rr;;rr'-:--r-;r::^+*"

95
 PROCESSUS STOCHASTIQUES PROCESSUS DE POISSON PROCESST

CHAPITRE 5

5.L2 PROPOSITION

Ceci peut être démont-ré en.cnar,quant que: (T, - t) = (Nt> n).

Cette distribution est dit.., i'listribution Enlang-n.
5.14
La fonction ae densite ae f est donnée par :
n

,- . .n-1 e-Àt
- (^t'J
f-r'"'(+) = ^ (n - 1)! + > n
'
n

Généralisons I'étude précédente, en considérant Ie nombre

d'arrivées dans f intervalle lT, T+sl, où T est une variable

aléatoire et pour une certaine classe de variables aléatoires
l'indépendance de N_
l+s
- N_
I
de {Nu ; u = T} est préservée.

5.13 TITEOREI|IE

Pours > 0et T donnée : PiN_ N_ k,z N ; u = Ti

f+s - T = u
E-Às.-,k
(ASJ . V = t\ 1

k!

EXEITPLE

Des bus arrivent à un certain arrêt fixe, formant un

prDcessus de Poisson de taux égaI à O.2 bus,/rninute. Un

contrôIeur arrive à cet arrêt avec le sièt" brr" après t h 00. on

veut calculer la distribution du nonbre de bus contrôlés dans
une heure.

a
96

_.
 PROCESSUS DE POISSON
:]S STOCHASTIQUES
CHÀPITRE 5

7h OO), i'instant d'arrivée du contrôIeur

Si t o = 120 (I'origine
est T(o) = Tx ,^, (r) , V ar e Q'
12o -72 k
p(N. ..,t' ; k = o, 1, ."'
"T = k) = " k!
^ t"T*6o - N

SUPERPOSITION DU PROCESSUS DE POISSON

TITEOREI'IE

processus de
L = (Lt; t > O) et M = {M.; t > O} sont des
Poisson de taux égaux à À et p respectivernent'
Le

processus défini par : N.(ur) = Lt(ur) * Mt(t'r)' Vo e Q ;

(À + ti)'
est un processus de Poisson de taux égale à

DECOI,TPOSITION D'I''N PROCESSUS DE POISSON

X = iX.; n € Û{}
N = {N.; t z 0} est un processus de Poisson'
de prokrabirité
=st un p.oô".=... de BernouLli indépendant de N et
Soit S. la variable aléatoire qrli
r. succès égale à p'
Supposons que
,=présente Ie nonbre de succès dans les n tirages'
e Q' Ie nombre e tirages
-. ,rtut" tirage est effectué à Tn' V r'r
dans lo' tl
:ans lO, tl est N.(ar) et le nonbre d'e succés obtenu
:st défini Par :

M
t
(c,.r) = S-- ...' (o)
Nt(o) '

d'échecs est donné Par :

L.(o)=N.(c'r)-M.(o)

97
 PROCES5US DE POISSDN PROCESSUS

PROCESSUS STOOHÀSTIQUES
CHÀPITRE 5

5.16.1
5. T5 TIIEOREI'TE

* t sorit pcissonie^s de ta*x Àp

et
Ln oto-----==_--o".=t.tt
" de p1-us' L et- l'{ sont
À(1 - p) respectivenen+'' Et

ËIXEI'lPi-lE
un
urre ir:''cr:ectiorl suivant
Des 'réhiculas a;-i ive'-rt- à
égal à '\ ''' 25 'àrr ' /hevre '
Un
processus de ltroisson <ie taux
0'25'
5 personnes avec probabilités
véhicule prend 1 ' 2' 3' 4 ou
0.1Û, 0' 15, 0' 10 et O' 40 respectivement'
à cette
nombre moyen d'ar-rivées
Le but est de trouver Ie
int ersect ion '
qui
les variables aléatoires
. Soient Nr' N2' " ' et Nu
et 5
véhicules avec 1 ' 2'
représentent le nonbre de
:: pr'écédent lJ'' N'' " 'et Nt
sont
.i
passagers' D'après le théorène
tiI Z'50' 3' 75' 2' 50 et L0'
-: Pcissonniennes rle taux 6 "/3'
est
arrivées pendant une heure
:

Le nornbre rnoyen de personnes

Ë
t +
l,' = E [Nr + 2Nr+:l i',l3 4l'ln
- 5 Ns]
f, 5. 16
x'37' + 4 x2'50 + 5 x r0 =
AZ'5O'
+
I = 6.25 + 2 x 2'50 3
:i
fi 5.16 PROCESSUS DE POISSON NON STATIONNAIRE

qui vérifient seulement les

on s'interesse aux pi'o.:essus
axiomes (i) et (ii) '

9B
 STOCHASTIQUES PROCESSUS DE POISSON
CHÀFITRE 5

.16.1 DEFINITÎON

N = iNt'; +-€ R+ ) est urr processus non sf-aticnnaire s'il-

vérifie 'les axiones suivants :

(i) Pcur tout o, l'appl icalion t r ---> l,l.(o) croit par- -ù.1ri té.
( ii ) Pour '.ot:+- t, s > O, Ia ..,ariable aléatoire Nt,+s - I'lt es'u

inrlÂnanrlanle rip I'historique iN;u u = f-).

On note ; ((t) = E [N.1, t > 0.

La fonct-ion Ç(t) est non décroissante et continue à droite-

.16.2 PROPOSITION

Soit un proc(isslls C€i Poisson non stationnaire de

N
I

fonction espérance ( continr.re. ÂIors : I

p(N.*. -N. =*r = -91:jl-r(t's)", x = 0, r., I

Pour tout t,s > 0; z(t,s) = E[t+s) - <(t) |

5. 16. 3 PROPûSITION

les instants d"arrivées d'un prtcessus non

i

n,
fonction espérance (. Alors, pour tout i

i P(T - r > t / T", 12, ..., T.l = e-[((T.+t)-<(T")] -__ i

I L"1 _ .1_ i

ç9
 PROCESSUS STO
PROCESSUS DE POISSOI"
PROCESSUS STOCHÀSTIQUES
CHAPITRE 5

EXEI.IPLE
un
d'un certain bien forment
Les arrivées de denandes
À(t) = t't-t-2t' t > o'
processus de Poisson N de taux

((t) fl rt*l clx = a (1 - e-2t - zre-21)'

= E tNrl =
l'intervalle [0' æ[ possède une
La demande globale N-' dans
sur
paranètre égal à a' En se basant
distribution de Poisson de
de l'entreprise est b unit-és
cette analyse, si la production
d'avoir une pénurie est :
exactenent alors, la probabilité
a-- a*
p(N@ > o, =*lo ----FT-.

article est To'

L'instant de vente du dernier

Sa distribution est donnée Par :

ç .-((t)-(<(t) )n
p(r >b)=1
^'-b =t)=P(N I

100

{
 DE NAISSANCE ET DE
I{ORT
PROCESSUS
STOCHASTIQUE
CHAPITRE 6

ET DE MORT
PROCESSUS DE NAISSANCE

DEFIl{ITONS

stochastique {Nt; t € R'}'

or:l

i) Considérons un Processus
de Ia relation de Ia chaine
de
N.(to) e S'l' La généralisation
Markov est donnée Par
:

= i,-r' "' N...= i,)

p(N j/N.a. = i.,tt N,
' t"t = - 1
"a-1
toute suite
- P(Nt - ''Nrn - i') Pour
croissante {tr}r=r,r,....
et t, < t pour tout i'
avec les
ii) On pose qr(t) = P(N. = j) et par analogie
que Ie processus est homogène
chaines de Markov' on dit
= i) ; v t' s eR*
- si : P(N.*"= i/Nt= i) ='!'"= i/N'
ne et M'= Nt] est une
Le processus déf ini par : {M^; [''l

ctraine de Markov'
sont
I
iii) Les équations de Chaprnan-Kolnogcrov
:
I
k)'P(N'= k/No = i)
p(N.*, = i/No = i) = IEP(N.*" = i/N" =

et'Jna:

o,(t) =*IuP(N.=j/No= k)'o*(o)'

101
!
r
AROCESSUS STOCHASTIQUE PROCESSUS DE NAISSANCE ET DE I'IORT PROCESSUS S

CHAPITRE 6

6.2. THEOREI{E 6.4 TT

i Considérons un processus N vérifiant (i) e t (ii). La

I

représente Ia durée Àa e iôrrr

^v^anantialle
v^tsvrrvrrwre!4v.

Démonstration
P(Ë>L+x,u€>t)
'i -i

=P(Na =i; t sT=t+xz'N = i;O = s ' t)

=P(NT =i; t = z -< t + x ,/ N,t = i) (d'après (i)).
= P(NT = i; o =-c=x/N o
i) (d'après (ii)). D

D'ou P(Ê'i >t + x / t>t)

-i = P(€.I > xl. n

tlcinc E.I suit une loi exponent iel le. :

:
DEFINITION

I
ijn processus de naissance ' et de mort est un Processus

discret à paramètre dans R* vérlfian'- les reiations (i), (ii)

et les relations suivantes :

[ r o(hJ j=i+r
^.n
''- i .r N5 = .i) =i:'^ + o(h) j = i - 1, i + o (o )

slnon

P(Nror + i - 1, i, j + 1; o s T = h / Nr-- i) = o(h) (** )

::r 1,.*u{- nt:rnt.ii-e:- que La variable aléatoire €, suit une Ici

r;{:..:'n*'rit i e i1* de pararièti-e À. + la. '

ta2
 STOCHÀSTIQUE PROCESSUS DE NAISSANCE ET DE HORT
CHAPITFE 6

ÏITEORE,IE

Pour un processus de naissance et de nort, Ies

probabilités Cr(t) sont solution du systène d'équations
différentieLLes suivant :

fcittl = À^.q^(t) + Ér.q1(t)

l" o o )
1
tortt) = -(^, * ur).qJ(t) + À.;-1.q;-r11) + F;+r.qJ+1 (t)

trat ion
a:
(t+h) = q1(t) iFrh + o(h)) + qo(t) { 1 - Àoh + o(h)} + o(h)
( t+h) = qJ_1(t) { + o(h)1 + 91+r(t) i ir.*rh + o(h)} +
J
^r_rn
+ qj(t) { 1- ÀJh - prh + o(h)} + o(h)

i est équivalent à :

qo(t+h) - q'o (t) o (h)

= tsrQ, (t) - À q (t) +
o^o
n
-
q.(t+h) - q.J (t)
= À1-r9r-r(t) * l'1*rq-y*, ( t )
h
I
o (h) I
(^, * Ér) cr(t) +-
h
h o, d'où Ie résrrItat.
->

103
r
T t

PROCESSUS STOCHASTIQUE
PROCESSUS DE NAISSANCE ET DE }IORT
CII{PITRE 6 PROCESSUS

6.5 EXEMPLES

6.5. 1. PROCESSUS DE NAISSANCE PI,'R

6.5.3 D

Un processus de naissance
pur, est un processus défini comne
Préoédennent sauf p, = O pour tout i.
Les équations différentielles deviennent :
d

c;(t) =- Àoco(t)
q;(t) =- * i>1 6.5.4 Dl
^rer,,, ^r_ror_r,,,
C'est un systèrne d,éguations différentielles qui peuvent
s' intégrer par itération.
une des applications de ce genre de processus ,,processus
explosifs',, est Ie processus de poisson présenté
dans le
chapitre 5. pour ce processus on prend Àj À
= ,
pour j - 1, Z, .... 6.5.5 Trl

La solution du systène ci_dessus est donnée par

:

si i = o.
qj(t) = JÀlf
"-r. .. q,ror = I
- 1.0 si j>o

6.5.2. PROCESSUS DE ilARKOV

Un processus de Markov, est un processus de naissance et de

nort vérifiant les relations àuivantes : Dén

P(Nr = i/No = i) = errt + o(t) pour j * i On

P(Nr = i; O =T - t) = 1 - ô.t + o(t)

q.(
Io',=u, )

10,4
 STocHASTTQUE
PROCESSUS DE T{AISSANCE ET DE XORT
CHAPITRE 6

DEFINITION

A tout processus de Markov hornogène {N.; t € R*} on peut

ier un graphe G = (8,[J); E est en bijection avec I,ensenble
états et pour tout. (t, jl € 0J ê e.J > O.

est un état stationnaire

"r = lig c,ttt et Io, =1

l-
n >0.
J

Considérons rtn processus de Markov honogène {Na; t e R*}

Les probabilités e, (t) sont solution du système
d'équations différentielles :
q'. (t) =*trQn, qk (L) - ô.q, (t) Pour tout j
e E.

=j/l't.=1;

. = k) + qj(t).(1 - ô.h + o(h))

+ o(h)) - ôlq,(t)h + o(h).

105
PROCESSUS SÎOCHASTIQUE
PROCESSUS DE NAISSANCE ET DE I,IORT
CHAPITRE 6
PROCEI

= I On(t) Q.h - ô,q,(t)h + e61r;

k+) ' J

9.(t+6;
J - q.(t)
Lirn
hro
)
=Eq,-(t)Q..-ôq(t)
KJ t-j
t*J^

D'où : q:(t) = I q.(tl Q",

-kJ- a,q.(t).
i*tk t'j"" "- résuttat denandé.
Le
'

EXE}IPIE

Des rnalades arrivent dans une salle d,attente

d,un càUinet
nédical suivant un processus de poisson de taux
égal à À. 3/5
des patients viennent pour un contrôle régulier,
tandis que
2,/5 viennent pour
la première fois. Lorsqu,un patient arrive et
trouve deux personnes devant lui dans le systène (l,r.rn
dans le 6.6
service et I'autre en attente), i1 cherche un
autre médecin.
Les durées de consultation sont des V.A. exponentielles
de taux
P,
"t F, respectivement. Considérons les états :

Pas depatient dans Ie systène.

b Un seul nalade dans le système qui vient pour
un contrôIe
régul i er .

d : Un seul nalade dans le système qui vient pour

la première
f is.
o ; r,jcllx patients dans 1e systène et celui
qui est chez le
médecin vient pour un contrôle régulier.

e : Der:x patients dans 1e systène et celui

qui est chez Ie
rnèdecin vient pour Ia première fois.
Dans 1'état stationnaire les équations du
théorène 6.5.5

r06
PROCESSUS STOCHASTIQUE PROCESSUS DE NAISSANCE ET DE MORT
CHAPITRE 6

et l'équation de Ia définition 6.5.4 s'écrivent comme suit :

À o" = tsr*o * tsrto

(À + Fr) *o = Àp tr" r. * ts.p o"* tsrp
(À +^pr) oo = À (1 - p) ro * pr(1 - p) n"+ Fr(I p)T
Érn"=Àtto
u fie =Àn d
'2

It +rt +L +It +n =1
abcde

Pour un taux de À = 0.10 arr../heure, Ér= o.2 et p2= 0.4 ô1r

obtient:
o" = 0.6429; no = 0.7786; t. = 0.0893; zo = O.O774; n" = O.O1'79

THEOREI.TE

Considérons un processus de naissance et de mort dont

Ie graphe' associé est irréductible. Une condition

nécessaire et suffisante pour que le systèrne adnet un

régine stationnaire indépendant des conditions
initiales est que la série :

trl p2... ItJ

Démonst,ration

La dénonstration découle du théorèrne 6.4. Les équations

différentielles à l'état stationnaire deviennent :

- Àn + u1 = 0
o o '1 1

107
 PROCESSUS STOCHASTIQUE PROCESSUS DE NAISSANCE ET DE I{ORT PF
CHAPITRE 6

- (;t, + Pr)', * l',*rt,*r = o'

^r-rtr-,
ÀÀ
D'où : r. = -s n^ et t... = ,,, '-j pour
t j -
F, o j+l PJ.1 ". 1
'

Ào À1 ... À
J-l
Donc; z- n_.Ona:Iz 1 + zo(1 + S) =
) lr7p....Fj r>^ -I
1

+ Ie systène tend vers un état stationnaire si et seulenent

Ia série S converge.

6.7 FILES D' ATTENTE SII,IPLE

Le phénornène des fires d'attente est rencontré dans ra vie

courante sous diverses fornes. par exenple, dans Ie domaine des
communications où 1'on est appelé à décider sur re nombre de
lignes téIéphoniques à constriure de nanière à ce que r'attente
pour obtenir une conmunication ne soit pas lassante et cera sans
se lancer dans des investissenents inutiles.
On peut rencontrer Ie problème de files d,attente dans les
grandes surfaces où r'on est apperé à décider sur re nonbre
optimal de comptoires qu,iI faut placer de façon que Ia
clientèle soit mieux satisfaite.
Dans Ia construction des aéorodrones, on est denandé à étudier

J.e tenps d'attente d'atterissage des avions afin de décider sur

Ie nombre de pistes à construire.

6.7.I DESCBIPTION D'UN SYSTE.IE DE FILE D'ATTENTT

Tout systèrne de file d'attente peut être repréenté par le

schéma suivant :

106
 STOCHASTIQUE PROCESSUS DE NÀISSANCE ET DE HORT
CHAPITRE 6

rtPur lsmvrcrl ourpur

Les " inpt11" représentent les arrivées (par convention on les

appelle clients), Ie service peut être effectué par un ou

plusieurs serveurs et les "output" représentent les départs

- PROCESSUS D'ANRIVEES

Souvent les arrivées des cLients sont indépendantes. Ceci

veut dire que les durées séparant deux arrivées successives
sont des variables aléatoires indépendantes et de nême loi
(hypothèse faite dans les processus de rènouvellement). Les
différentes forrnes du processus d'arrivées sont :

1) Amivées régulières
C'est le cas les instants séparant deux arrivées
.où
successives sont constant et égaux à 7/^. On rencontre
cette situation dans les chaînes de nontage Ce processus

représenté par Ia lettre D (pour désigner

lest
Déîer-niniste).

2) Arrivées Foissonniennes
Les inst ts d'arrivées forment un processus de poisson.
cep est dit aléatoire car Ia probabilité
d'avorLr une arrivée dans un intervalle de tenps lt, t+^t[
est indépendante de t.
Ce processus est représenté par Ia lettre M (Processus

Markovien).

r09
 PROCESSUS STOCHASTIQUE
PROCESSUS DE NAISSANCE ET DE .JORT
CHAFITRE 6

3) Amivées suivant une loi d,Erlang

d,ordre k
C'est un processus où 1es arrivées
sont poissonniennes
nais seuiement .Les clients d,ordre
rnultiple de k sont
considérés. Ce processus est représenté
par la lettre E.
4) Arivées suivant une loi générale
Les instants séparant deux arrivées
susccessives n,onr
aucune des Iois précédentes,
on dit qu,on a une loi
fl générale représentée par Ia
lettre G.
$l
'2
t
- TEE!_4_!$y{_E
On suppose que les durées de
service d,un mêne serveur sont
des variables aléatoires équidistr-ibuées.
1 ) Services réguliers
Les services ont une durée. Ce cas est rencontré dans
même

1'automatisme (machine automatique

de café, services
effectués par des robots dans les
chaînes de nontage,
etc ' ' ' ). ce processus est représenté
par Ie rettre D.

2) Serùices exponentiels
Les durées de service suivent une
loi exponentielle. Cette
loi est représentée par Ia lettre
M.

3) Loi d'Erlang d'ordre k

Le service est 1e cunul d,une
succession d,opérations
de durées indépendantes et de loi
exponentielle. Cette loi
est représentée par le tettre E. .

4) Loi générale
Le processus ,,durée de service,, suit
une loi différente

llu
 SlOCIIASTIQUE

CHAPITRE PnocEssus
DE rAIssArcE
6 u" oa iba,

des lois citées

ci_dessus.
lettre La loi est représentée
G. pai_ la

. _
?rscrPLINEs D'ATIENTE

Il en existe plr
urs disciprines
courante .,u"t tttt" d'attente'
<

r'a disciprine F,rtr^ ,-'." ra plus

in rirst out)
a-ivé' c'est à
:':",r:'."t"î:;' "';.;""t servi' Entre atitreg
dernier arrivé, r'""'I first out
;tttt='LrFo
ot"t'"t servi). ' (i'e' re
service). c,est I (Randorn
urr" sélection selection for
cette dernière n""".ttt o'une unité
est tuttonttée "u en attente'
Le système pR, dans t"'o
u,r svstèrne de t:-
priorité. "u,."rr.,1"t"u"î
":j,:.,"":
SYSTEHE
OT,VERT
ET SYSTEïE
FERUE

>ouvent, les
rrivées dans
irrirnité par e.xemprr un l
sont en nornbre
-' ' le cas d'u"
crients de passage. ttt"'"""tuttambulant
ans un ter servant des
,,ouvs.1,, cas, ,"ttnosystèrne étudié
sera dit
Dans le cas
d,u nagasin
c-.ients, l,hypothès de gros a:

erronés. un peut #-.:;":.J.:ï,:;

rnême
nt se fait servir
",*^-t_t"ïus
régurièrement tï.:
chague
sue son .,..;::":;,.
""-'^ est épuisé'
sortant
rortanr du systène
systèmo fetorrrn^^+
-^:"'= ,
ournent crans Les unités
,:ï
ùléatoire, .tt." la so urce et
.urr"ennent de après une durée
nouveau dans
le systène.

111
 PROCESSUS STOCHASTIQUE PROCESSUS DE NAISSANCE ET DE TORT
CHAPITRE 6

+;

$ Le nonbre total d'unités est fini; on dira alors que le systène

!| fermé. Nous considérons, dans la suite, deux cas en
â
l' occurrence,
Le cas d'un système ouvert à un seul serveur et Ie cas d,un
système ouvert à plusieurs serveurs.

Cependant la plupart des files d,attente rencontrées sonf,

caractérisées par 6 synboles désignant respectivonent :

- Processus d'arrivée.
- Processus de service.
- Le nonbre de serveurs.
- La borne supérieure du nonbre de clients dans le système.
- Le nonbre de clients.
- La discipline.
Par exemple l4/14/l/æ/FIFO désigne une file d,attente où le
processus d'arrivée est poissonnien, re processus de service est
exponentiel, un seul serveur, re nombre de clients infini et la
dicipline est la règle FIFO.

6.7.3 SYSTEI,IE Ot'vERT A I,'II SEUL SM,VEIJR

Nous considérons un système qui contient un seul serveur d.e

taux de service p; le taux d,arrivées À. Les unités sont servies

dans leur ordre d'arrivée (FIFO) Les processus d'arrivées et de

service sont respectivement poissonnien et exponentiel.

11)
 STOC}IASTIQUE
PROCESSUS DE IIAISSAIICE ET DE I,IORT
CHAPITRE 6

ilOTATIONS

n: Le nombre d'unités dans Ie système à

I,instant t.
p I Coefficient d'utillisation du
système ou ,,intensité de
trafic,!.
n : Le nombre noyen de clients dans le
I
systèrne.
v : Le nonbre moyen d'e clients dans la file.
u : La durée noyenne de séjour de chaque
crient dans re
système.

l{ : La durée moyenne de séjour de chaque client dans

I' attente.
Soit E, l'état correspondant à n clients
dans le système. Dans
l'intervalle de tenps lt, t+lt[, on peut
avoir les transitions
suivantes , Eo- Eo, Eo- Er, Er_
Eo,..., E .F
nn'
r-r-E' E^-E-t, E€E*t.
il s'agit d'un processus de naissance
et de rnort avec :

J
= À ,pour tout j et

J
- p pour tout j.
a les probabilités de transition suivantes
:

r tout n . 1i
ngenent d, état Probabilité de transition
---+ E
o 1_À^t
--+ E
1 À^t I
_>E I
o P(Un départ et pas d'arrivée)

=(1-ÀAt)(pÂt)=pÂt.
_>E P(pas d'arrivée ni départ ou une arrivée
n

I
et un départ en mêne temps)
-

t13 F
I
 PROCESSUS DE NAISSÂNCE ET DE UORT
CHAPITRE 6

= (1 - À - p At) + (À
^t)(1 ^t)(p ^t)
=1-ÀÂt-pAt.
E
n n-1
(1-ÀÂt)(pÂt) -pLt.
-)Ë,
Er-lJ E^*r (À _ p Ât) * ) Ât.
^t)(1
La matrice de probabiij.l:,.. de transitron est
On a a:rssi :

('
lAoft)=r golt)+p q1(t)
{t".,., = -(À + F ) q.(t) + À q,(!? * p
lqn(t, qlll
t

6.7.4 DEFINITION

On dit. que le systène possède un régime permanent

ou qu'il
est statistiquement stable sj :

klg q"f tl = nn pour tout n e û'l (x)

On remplace (*) dans les équations différentielle

ci_dessus on
f,rouve :

Àro=Fzret(À +1t)n
n =Àn n_1
+ F trr*l n> 1.

.^
uou:n=-::_n
7p o

o2 = rÀ-t2
'tl ft
o

znpo
=(")"2
)^
etcomme:fz=1+ 7-n = ?Io-gl- + (è)2 * ...1
-) n" p

I 1,1
 SlOCHASTIQUE
PROCESSUS DE ilAISSAIICE
CHAPITRE 6 ET DE MORT

n., = (1 - p).pn ;n>o.

série S=l+ rlr2-,
It 'p' ... converge si p <
1.
quantité É exprine
le degré de saturation
du systè4e.
p > L' le phénonène
n,adrnet pas de régir
s8rne Pernanent;
Ltcnl^ -,.,
attente s,élargie de plus 1a file
en plus, car le
rvice est nettenent tenps rnoyen de
supérieur à la durée
arrivées successives.
noyenne 1/À séparant I
posons gu,il existe un régine
perrnanent (
i.e. p < 1).
N est une variable ;

aléatoire gui représente

ients dans le sysùèrne; le nombre de
alors :
> n) = ur*l + z.*2+
.,. = (1 - p)(pnr *
pnt* ...) = p..,
à 1) = p = I - n
nornbre noyen de
clients dans le sytèrne
est donnée par
ttt' ="1"'o" =,ron'(t = p)'pn :

=
t v la variable aléatoire -+
eui représente le nornbre moyen de
ts dans Ia file.

srn=0
'"={l-, sin>O
=ol=ro*o, e u =f-2 Jn - 1) r
nà2 n = _p
l-:;
: À = (1 - oo) l, clients
passent dans Je système par unité I
nps. Dans un intervalle de temps I
Lemps e. lc nornbre
e, le h^hl_
ivées est À€. L,équation noyen
À = (f _ oo)
ion des débits. l, est appelée

client séjourne dans

le systène en moyenrre une durée de

I I;,
PROCESSUS STOCHASTIQUE PROCESSUS DE NAISSANCE qT DE UORT

CHAPITRE 6

u, donc :

u= n n
=
I1.
p L-p
(1 - no) F -x

La durée novenne d'attente dans la file est

W= v
v 7p
=.........._x-
(1 - zo) I p r-p

L
On a bien, le tenps moyen de service est p

6.7.5 TÏEORE},IE

Dans Ie systèrne l4 / l'l' / 1 Ia durée de séjour des clients

dansIe systène dans 1'état statiomaire suit une loi
exponentielle de paranètre p (I - p) = p - À.

EXEI.IPLE 1

On observe une file d'attente entre Ietempst=Oet

I'instant t = 644 (seconde). A I'instant t = 0 Ie système est

vide; on re]ève les instants d'arrivées et les durées de service

des clients.

I 723456749 10

lnstànt 3a 47 A2 7o2 159 !69 2r5 314 401

d'arrivé

L) Représenter le diagramrne du nonbre de clients dans le système'

2) Ca}culer Ia durée de séjour dans le systène pour
chaque client, ainsi que Ia durée noyenne de séjour'

116
5 -:SSIJS STOC}IÀSTIQUi PiiCCIiSSU3 DE lIATS3ÀIiCE ET DË ii(.:i],7
CHAPlTRË T]

3J Calculer ie nr:mbre loye:-l ie personles 'iarrs le s1.slème pendali.

les 684 mns i: = I u-

Réponse

1 ) Le tabieau ci-dessous rés'irie touies It r lnf ct^rna: iols di, s'7si.ei,..c

de ler fiie.

174 11.e1. 112.13 t:88 37e l:ee 1.*n

|214 i343 1+13

136 1sO i 132 i 116

r, L'instant d'arrivée du crient 1.

I

d.I La durée iie sen'i.ce Cu c.l-ient. ,:,

T.i L'insLant du c'lébut de ser'vic:e pour li: client- j

e. L'instanl. d- fin de service por:r le cl ient l
I

w=T-teti_!=${+d
iliiii
{ e sl t r r o
r-
r=.1 l
et0 : r
' I\ t l si t r > ei-1 i

t 17
STOCHASTIQUE PROCESSUS DE NÀISSAI'ICE ET DE MORT

CHAPITRE 6

ttn,
"?o, "7u5'ln?"4'21a
?BE
tr?,nt .'rn tnu nott'

2-) La durée moyenne cie séjour dans le système :

!u i
u= = 11'5.7.
10

3) Le nombre InoJ/en de clients dans le système :

Selon le diagramme ci-dessus on déduit Ie tableau

statistique suivant:

Fréqûences
n Dur ée Il xfx684
I f i
0 252 252/644
1 94 94/644 94

2, 103 LO3/644 206

J IZU t20/644 360

4 83 a3/644 332
5 27 27 /644 IJf,

6 J 5/644 30

I 6A4 1 1s7

-118
 PROCESSUS DE NAISSAXCE ET DE }IORT
STOCHASTIQUE
CMPITRE 6
4

-_ 1157 =t.6g.
" 644
10 =0.0146.
Le taux d'arrivée est , À=
644
n 1157 684 = 115.?l Ie résultat trouvé en
On a : -À = 10
-684*
Q).

EXEI.IPLE 2

Un càbinet dentaire est ouvert de 13

h à 19 h' II reçoit des
patient est ti-afté en ua-
nalades, en rnoyenne 43 par jour' Chaque
temps noYen de 5 ninutes'

Les malades corrstituent une file dans I'ordre de leur arrivée;

nême si Ia fil-e est importante'

on ne refuse aucun nalade' Les
o I'oi exponentielle" et " les
hypothèses "durée de srvice
validés par des tests
arrivées e Ioi de Poisson" ont été
permanent est rapidenent
appropriés.On supPose que Ie régirne
atteint.
cette file' Ie temps
1"/ Donner Ia notation synbolique de
Inoyen passé c}rez Ie
noyen passé à at"endre et le temps

dentiste.
qu'iI n'arrive aucun
Z"/ QueIles sont les probabilités
arrivent entre
client entre 14 h et 15 h ? Que 5 clients
17het19h?
Ia durée pendant
3'1 QueIIe est, en noyenne et par heure'
des nalades ?
Iaquelle Ie dentiste ne s'occupe pas
une file d'attente de
4',/ QueIIe eêt Ia probabilité d'observer
de service?
6 nalades, derrière celui en cours

119
 PROCESSUS STOCHASTIQUE PROCESSUS DE NAISSANCE ET DE HORT PROCESSUS
a
t. CHAPITRE 6

i 5',2 QueIIe est la Probabilité qu'un nalade passe Plus de 10

i minutes dans le sYstène?

.l

t
; Réponse

1,"/ La notation synbolique est donnée par : \4/14/7'/æ/FIFO laux

48
d'arrivée À = = 8 patients ,/ heure.
19-13
TauxdeserviceP= -560 = 12 rnalades / heure.
À82, 1; d'où Ia stabilité du sYstèrne
P = tr= 12 =--5-'
La durée rnoyenne d'attente dans Ia file est :

2
1
;=
^ rr ^ 1-p= 12- r==1xrxT2
'l
= -à-h = 10 minutes.

La durée de séjour de chaque patient dans le système :

-711r1
u= =iT * -; = i- h=15nns.
;* T:p r- _ L
3

2'/ SoiL a = P(aucune arrivée entre 14 h et 15 h)'

comne N = Poison (Àt) + P(Nrsn - Ntan = k) = (rt)k t-Àtzttl

t=lheureetk=O.
8=0.0003356'
a=e
Soit b = P(5 patients arrivent entre 17 h et 19 h)'
L=2hetk=5.
c
'- / 5l -- 0.0009833474.
b = 16' * e-1A

3'l Soit n. Ia probabilité qu'iI existe n nalades dans le

système en régime permanent. Le dentiste n'est pas occupé

120
STOCHASTIQUE PROCESSI'S DE NAISSÀNCE ET DE T{ORT

CHAPITRE 6

avecla probabilité to = 1 - p = L - lr= O'SS'

Donc, par heure, iI est vacant pendant 0'33 x 60 =

minutes.
), )
'/ On chèrohe i tt. = (â)' (1 - â) = 0'019s'

"/ p$ >t) = e-(p - À)r =.-(12 - a) = "-+ = 0.5i.3417.

(N.8. : l0minutes= | neure)'

I
r

121
 EXERCICES

PROCESSUS STOCHASTIQUES
EXMCI

EXERCICES 2) Expliquer pourquoi iI est naturel de définir le coût moyer

(de l'entretien du systène) par unité de ternps égale ào_,E

EXERCICE 3

Pour bien se porter pendant Ia première E.M.D., iI suffit

Iire un livre de 200 pages. On décide de lire chaque jou
pages avec :
lrocessus de Bernoulli (une succession
résultats possibles P(X = 20) = o.45 ; p(X = 40) = o.s5
mutuellemen+.

ilité d'avoir un "succès,'. soit 1 ) Trouver Ia loi qui déternine Ie nonbre de pages que
N
E
j'aurais lues dans 5 jours.
n tirages indépendants et soit T
t
- Ieoe 2) Interpréter le sens des variables aléatoires S. et u. ici.
r succès.
@ suppose que le nombre de pages Iues renplace Ie temps t.
ç r-j ^Jri'_ ^\n-J-;n=k.
-ÀL.p(r-p/
=
j=k 3) Soit Y. Ie nonbre de jours suffisants pour être bien prépa
;\
D-k
lJ
,
; n>k. à I'examen.
Exprimer cette variable aléatoire en fonction de y et S

EXERCICE 4

dont la durée de vie est u.:æ

Un directeur d'Institut reçoit les visiteurs chaque dima::
fois que l'équipenent tombe eD
Ie natin de th à rnidi. Les audiences comnencent toujours à
atenent par un autre de nêtes
précis et représentent les variables aIéatoires X, indépendarr
âluipenent neuf est cr.
et équidistribuées avec :

qu'au bout d'une demi-heure Ie

P(Xni =1+i)=u ; i = 1, 2, 3 ; u723
+u +u =t
sachant qu'on dispose de trois
En vous basant sur les hypothèses nécéssaires, étudier I
où Y suit la loi de poisson de
situation suivante. :

Ahmed arrive à Ia salle d'attente à H heures. Voyant de

123
PROCESSUS STOCHASTIOUES
EXERCICES

nombreux visiteurs, décide d,attendre son tour si Ie temps (

qui s'écoule avant rlue le premier
visiteut_ ne sortira du
bureau, n'est pas supérieur à 2 minutes,
SIH=09h05;
1) trouvez la distribution exacte de ( et dites quelle est la
pr-obabiJ,ité qu' il resre.
2) Calculez la distribution exacte du nonbr-e de clients reçu
avant son arrivée. D,abord directement, erisuite
à l,aide des
relations récurrentes correspondantes.
bl H = 11h 30 nin;

3) Cherchez la distribution approximative de <.

4) Trouvez ra distribution approximative du nonbre de crients
reçus pendant les 5 prenières minutes
après I,arrivée
d'Ahned.

EXERCICE 5

La consuLtation chez un médecin dure X^

minutes pour le
ni ème patient. En supposant que :

- iI ne manque janais de clients;

- ils sortent de chez Ie médecin et entrent simultanément;
- les variables aléatoires X. sont
indépendantes et
equidistribuées avec :

P(\=3)=u;p(X
_n -4)=v u+v=1
1) CaIculez la distribution Iinite de l' intervalle de tenps
sêparant I'instant t de votre arrivée 1a salle d'attente

l2l
 PROCESSUS STOCHASTIQUES
EXERCI(

:de d'attendre son tour si le temps i de celui du premier pLtient qui sortira de chez
Ie mêdec
le prernier visiteur ne sortira c_ en votre présence et après votre arrivee:
leur à 2 minutes, 2) Trouvez Ia distribution du nombre de clients ayant déjà :e
la consultation avant votre arrivée pour
1 = t =
:on exacte de ( et dites quelle est (minutes), en utilisant les relations récurre:r-_,
correspondantes .

'-i.on exacte du nonbr-e de cI ients r=-- 3) Cherchez Ia distribution linite du nonbre de clients a,:
abord directement, ensuite à I'aide :_* reÇu une consultation pendant votre présence (vous
pa..
correspondantes .
après avoir attendu s minutes et compris qu,il
est inu:-
d'attendre d'avantage) pour L - s
= 10 (ninutes) ,
ion approxinative de (. utilisant aussi les relations récurrenres correspondantes
.-on approximative du nonbre de clie=--s
5 premières ninutes après l'arri;e. EXERCICE 6

Une quantité de matière prenière est stockée

afin
satisfaire un certain besoin d,une entreprise de producLicn
La règle utilisée est la suivante : la révision
du nivea_
: un médecin dure X_ minutes pc-J -t stock est continue et deux valeurs critiques
s et S s::
déterminées, terres que s < s et dès que re
niveau du stock e,
:i-ients; à s ou inférieur une conmande est lancée. Généralement
l,arrir_:
rédecin et entrent simultanément: de Ia commande s,effectue deux senaines plus tard e: -
:oires Xn sont indépendantes remprissage du stock jusqu'à s est effectué
innédiatenent. S::
X. la durée de temps séparant deux renplissages successifs.
S;P(X =4)=v;u+v=1
:i.on Iimite de I'intervalle de ::- P(Xr = 1) = 60 % ; p(X. = z) = 40 %

c€ votre arrivée à la salle d'ai--æ

125
PROCESSUS SToCHASTIQUES

EXERCICES
PROCEqI
,Calculez en citan.u les conditions
sinplifiantes :
1) la distripution du nonbre
-de remplissages durant
les 6
prenières senaines.
2)'le-nornbre noyen approxinatif 3
durant les 5 derniè..,
3) A partir de la 45rè^" semal-ne, ".r"ir"".
on définit ( comne étant
la
durée qui précède le prochain E
rernplissage.
Donner la distribution appro:çimative de e.

EXmcrcE 7
d.
I'
_ Pour être adnis dans certaines grandes stations
de services qu
autonobiles, la voifuae
doit être lavée avant. Considérons
rravail d'une de ces stations
Soit X^ la durée de lavage
nunies d,un seul poste de
le
lavage.
i
de la niè* voiture.
P{x, = D = o.25 ; p(x _ 5) ft
= o.75
On suppose que : cor
Le travail commence à gh et dure jusqu,à midi, 1).
.- l,heur-e de la
Pause.

- Il ne manque jarnais de clients. 4l

- Le service de Ia dernière voiture I
avant la pause ne s, arrête
pas sans se terniner,
donc dans ce cas, i1 continue I

durant (
rninutes.
En précisant les autres conditions
sinprifiantes indispensabies
à I'application de la théorie
:

1) Trouvez la distribution du
nonbre de voitures lavées
durant
les 1O premières ninutes.

126
 EXERCICES
EXERCICES PROCESSUS STOCHASTIQUES

)\ Trouvez l-a distribution du nombre de voitures lavées

isirnplifiantes :

remplissages durant Ies 6 durant Ies 10 dernières minutes.

l"
J' Donnez Ia distribution de (.
ant les 5 dernières sernaines.
on définit ( conrne étant Ia EXBCICE 8

l. i ssage .

tive de (. L'éclairage publique d'une a'renue fonctionne depuis le mois

de janvier 1993. Les ampoules de Iarnpadaires sont sujettes à
I'usure. Leur durée de vie est une variable aléàtoire x. Dès
qu'elles tonbent en panne on Ies rernplace' Mais on ne Ie fait-
grandes stations de services
qu'au bout d'un intervalle de temps z' Soit z = 5 iours;
Iavée avant. Considérons Ie
d'un seul Poste de lavage. P(X = 2s) = o'5, P(X = 30) = o'2, P(X = 3s) = o'3'
vo i ture utilisant les relations récurrentes
.
Cherchez, en
Xn -5)=o.75 correspondantes ,

t) la distribution exacte'du nonbre d'ampoules grillées

jusqu'à midi, I'heure de la remplaçées durant Ies deux preniers nois de I'annnée 1993'

2) La distribution approxinative du nonbre d'arnpoules

renplacées durant les deux derniers rnois de I'année 1993'

avant la Pause ne s'arrête (N.8. : On prend en considération un seul lampadaire)'

cas, i1 continue durant (

sirnpl if iantes indisPensables

de voitures lavées durant

i27
PROCESSUS STOCHÂSTIQUES

EXERCICES
PnIEE

EXERCICE 9

' -Soit {âr}r.n une suite

de variables aléatoires
et équidistribuées a"e distribution
i
indépe es
p* (k = O, 1, ...); on
";";";_..,.-_"tt":
sii-0
'r={; +€^+,,. +,F i >
-2 sl t=L .*
1) Montrez que {X}.erv
est ure chaîne de .Markov,
doùr9z
I'ensenble des états
et la matrice ;
4". probabilités de
transi tion.
2) si les valeurs de
€1 sont dans {o, l, z, 3}
avec
la distributio. n {Po' t
Pr, Pz, P.}, définir la chaîne
de
Markov {X}r.D,t et la 2
matrice de probabilités
de transition.
I
EXmcJcE 10 2

5
considérons une suite
de u"ri"ur." aréatoires 4.
{X-}..û,1
indépendantes et équîdistribuées
avec : p(X = k) = h
représente X. :
la durée de vie du nièr. appareir ;" sl
.""r...JJ
Soit {ar}..^ la suite de
variables aréatoires gui
représentent
la durée de vie résiduelle
à I,instant n. ET
1) Montrez gtt {4o}r.0,1
est une chaîne de Markov.
2) Donnez la matrice de probabilités
de transition.
3) Classez les états. êta

tr
o

est

1) I

126'
 ry:- PROCESSUS STOCHASTIQUES

FT_:-

EXERCICE 11

de variables aléatoires
indépgm__
ribution P* (k entreprise nationale
Une
= o, 1, ...J; on pe de production a Iancé
de formation de gestionnaires. un prograrule
;i i_
Le programne est constitué
= g
deux phases de
:
f F-) + T. È
^
' ' i > t La prenière dure six
I
nois, Ies stagialres
étudj.ent guelques
ii une chaine l.ie ,Àg61çolr, notions de base. La
deuxièrne phase est
ci:æ un stage pratique de
mois aussi. six
t ]a natrice des D,après l,expérience
probabi_Iités de la
È direction
adninistrative, 40%
sont exclus dans Ia prenière
phase et 60Z
sont dans {0, admis pour Ia deuxième
7, 2, 3} a?_ phase. parrnis ceux qui
sont en 2è,.
phase, 7A% sont
Pz' P.)t définir admrs comne
--x'rL u'cr
chef ae
de sservice et 1,a% répètent
ra chaire i
.ènepnase,
é la
e de probabilités par contre 2O% sont
de transitic_ exclus.
1) Formulez le problème
selon une chaine de
Markov.
2) Donnez la natrice
de probabilités de transition.
3) Classez les étars.
le variat,les 4) Calculez 1a natrrce
aléatoires {X : de potentiel R et la
:eS âVêC : rt^n =É rnatrice des
' p(lr = k) = p.. t: probabilités du prenier
passage V.
.!èr:e | 1
r appareil nis en 5) Calculez Llm F'.
rnarche. htæ

tes aléatoires qur

représentr_:
:.nsiant n. EXERCICE 12

;haine de Markov.

iités de transition. Soit {X.}r.D{ une chaîne

de Markov honogène, l,ensemble
états E = {1, 21, la distribution des
initia est donnée par :
rro = (1./3
'"',tt"t'
, 2,3)., ,;,.;:,:"i
tttttce de probabilités de
transition
est: F= |fo.s o.aT |

Lo.s o.7_l 'calculez:

1) P(xl - ,, x+ = 1, Xu
= 1,,X,o = 1, ,/ x= 1)

t29
PROCESSUS STOCHASTIqUES
ËxEncIcEs

2) P(Xz- l, Xz = 2, X" = Z / Xo = I).

3)P(xz:t,xr=21 .

EXERCICE 13

Soit {X.}r.^ une chaîne de Markov hornogène avec

E = {a, b, c}

'ensernbre
des états et F = ?r^Zi'Â"1 la natrice
z/so 3/s )
probabiltés de transition. Calculez :

1) P(Xl = b, X, = b, X. = b, Xn =., X, c /
= Xo= a).
2) P(Xl =
^, Xr= ", X. = ", Xu = ", Xn = b,/ Xo = ç;.
3) P(X1 = b, X. = Xi =., X_ =b /.Xo= a). po
",
4) P(Xl = b, X, = b, X3 = a). jo
i
5) P(X2 - b, X, = b, X5 = b).
aq

EXERCICE 14 2)
3)

Classer les états des chaines de Markov 4)

dont les matrices de
probabilités de transition sont : s)

o., o.2 0.2 0.2

f o.e 1 o 6
o.1 0 0 ?.zl [o
3âs
I o-l
a)lo o 0.5 0
o.2 0.3 0.4 u |
I o.1 010 !,1,,)13
| o.1 o.Z. o.3 o.4
?l
o
Lo o J Lo o o 1 oJ
I

r30
PROC'JSSUS STOCHASTlQUES EXERCICES

f o.z o.2 o2o.2o2 [o o o.s os o -.]

l:n o.1 o 0 o I io c.3 o 03 04

c) o o O I I d)iti.Zo o.8 o o |

o.?, o.3o.4o I lo o 1 o o
[s' 1 o o I [o.zo o.4 o o4_] I

[- o.a o o o6c o70 0 0 0 0.3o I

u. f, o o os o o o o 1 o o
I3, o3o o'7o o o o
I

o oso o i. o,
e)
I O O o o o o4G o o6l I

o o o Ii'^'
o
Is 1. o o.2o o c8o o
oolooool I

o o.7o o o o.3o _l

f,XERCICE 15

Un mobile se dépIace sur un cercle. Cinq opt ions sÔnt

possibles et- entre chaque pc,sition, iJ- y a un angle de 2n/5. On

joue pile ouface. Si on tire pile, l-e rrobile tourne tourne d'un
angle de 2r/5 et si on tire face, 1e nobile tourne d'un angle de

- 2n/5. 1) Forrnulez Ie oi-oblène selon une chaine de Markov.

2) Donnez la matrice de probabliité de transition.
3) Donnez le graphe associé et lc graphe réduit'
4) CLassez 1es états"
5) Déterminez Ia matrice potentiel 11 et Ia matrice des
probabilités de premjer passage.
6) Calculer Lim
mJ@
Fm.

131
PRÙCESSUS STOCHASTiQUES

EXERCICES
PROCESSU

EXERCICE 16

.SoiL {X }
"'n 'n€D',| ,Llne chaine
de Markov, dont la matrice
de
probabilités de transition p
:

33 o o
r(

F= o'4 0.6 o o l " t=

o e.3 0.6 o I
MI
o o.2 a.4 f
i

7j
1) Ie graphe réduit.
2l
2)
3)
3)
x méthodes différentes
4)
4)
timites.

EXERCICE 17
EXE

Donner les matr ices

Potentielles et les probabilités
du
prenier passage v. pour Ies
- ij ' natrices stochastiques suivantes

o,l
.'L34
^, [:: on
97 o,']' .,/it
.fo.z o.8 o o

L" {,i
u
Bn B,;
O.5 O.s
a.r
l-o.: o.n
")1g.4 o.rB 3l
o

L3 3 3,3ïS;]
EXERCTCE 18 1) Dcr

2) CIa
Une escadrllle conposée
de 4 avions est chargée de J,' Lf,L
missions
quotidiennes au dassus
du territoire ennemi et y subit des
pertes, elle n,efectue r.oute
fois sa nission journalière que
si

1.32
 EXERCICES
PROCESSUS STOCHASTIQUES

EXERCICES

son effectif au debut de la

Journée s,éIève au noins
Markov, dont Ia natrice appareils; si d,autre à rrois
de part son effectif
au soir de la .journée
précédente est
réduit à deux ou
moin .s de deux
reçoit au cours de appareils, elle
o.7 o la nuit un appareiL
en renfort, sachant
rOO la probabilité de que
rOO destruction d,un
q q' appareil
I 0.6 0 rnission est p ? au cours d'une
o.2 0.4 =5
1.) Montrezqu,il s,agit d,une
'aphe rédui chaîne de Markov
t. 2) Donnez la natrice
honogène.
de probabilités
de cransition.
3) Donnez le graphe
assoeié et i.e graphe
[odes différentes. réduit.
4) Classez les états.
5) Calcutez si possibte
h3g f..

EXERCICE 19

: ut les probabilités Soit une chaine de

Markov {y }
"i'ne0''l' I ensernbf e des états
stochastiques suivantes E = {1 , z, 3, 4,
s} et la natrice de probabilités
est donnée par : de transition
D.8 o o
l-4 o o
).2 o.3 o.s
) o.5 o.s
l

"=/i'i' ,. ;. Ë'l
LU o 0 o ; /

1) Donriez
le grap,hs associé et
1e graphe réduit.
2) Classez Ies états.
s est chargée de missions 3) Etudiez le conportement
asyrnptctique de cette
enneni et y subit des chaîne.

ssion journalière que

si

ji3
PROCESSUS STOCHASTIQUES
EXERCICES

EXERCICE 20

Une section des voitures de

taxi est responsable du service
inter-urbain dans cinq villes Â, B, C, D et E. En supposanr que

Ies demandes ne proviennent que de

deux villes en question et
sont caractérisés pai- les probabilités (d,avoir
un client dans
la ville qui se rend Cans ta vilte j;
i,j e {A, B, C, D, E})
suivantes :

0 0 o 0.4 0.61
0 o o 0.3 0.7
I 0.3
o o
o.4
o
0.3
0.2
o
o.s
I

i
o
L 0.3 0.4 0.3 o
I

o j
1) Dites pourquoi I suite {X.}..^ des villes
visii_ées par un
chauffeur de ta :, quelconque est une
chaîne de Markov
homogène.

2) Donnez J.e graphe assccié et,le graphe

réduit.
3) Classèz les états
4) Calcu]ez v^^(k) et V
Dn DD'
5) Dites pourquoi la matrice
k+g F2'existe et donnez sa
limite.

EXERCICE 2\

Parnis les deux atrices ci_dessous,

il n,en existe qu,une
qui repr'ésente une mat-rice stochastique.

134
 EXERCICES PROCESSUS STOCHASTIQUES EXER'::=

o.. ooo os c o o -
0 0 Ii [o.r
l- o. s
I o.4 0.6 o 0.6 0 o
o.8 0 | ^ lo.4
0
- loo
-t
lH =l
o o.z |o o
o
o.z o 8 c
:s de taxi est responsable du service l o o. 1 0.2 0.9 l'"r=lo o.r o oe
Lo o o.2 0 0.7 I Lo o o.z o8 o
--es Â, B, C, D et E. En supposant qu=
lt!itr. -t
1) Choisissez La.
---: que de deux villes en question e--
2) Donnez le graphe associê et Ie graphe réduit.
orobabilités (d'avoir un client dans
3) Classez les états.
i.a ville j; i,.j e {A, B, C, D, Ei
4)Calculezv (k):k>1.
33

5) Dites pourquoi les probabilités Iirnites existenr et trou','s:

,0 0.4
-U 3:î.1 Ies.
:0 0.8
_ .t
_4
0.3
0.3
ol
0l
|

EXERCICE 22

{x-n'}
'- villes visitées par iil:
n€t',| Déterninez Ies matrices de transition pour Ies chaînes
_:cnque une chaine de Markov
Markov suivantes :

a) On considère une suite de jets de dés avec probabilité:

et'le graphe réduit.
succès p. A la date n (après n _iets) I'état du processus =:

Ie nonbre de succès moins Ie nombre d'échecs dans les

jets.
: -ce Lirn
m?æ
F2^ existe et d,onnez 5a
b) N boules noirs et N boules blanches sont nlaeées dan< ri6

urnes de façon à ce que chaque urne et les deux boul,

soient interchangées. L'état du système est le nombre

boules blanches dans la première urne.

c) Une souris blanche est nise dans Ie labyrinthe ci-dessous
== ci -daccnrrc il n'en existe qu'u=
:- :chacl- i
I
^rrô
5 6
7 8 9

.J4 -
135
i,Itt-ICESST'S STocHASTIQUES

EXERCI CES

Ia souris bouge de façon aléatoire (i.ê. s,il y a

n chernins
pour sorlir du compartirnent
dans lequel elle se trouve,
choisit un chemin guelconque elle
avec probabilité
du système est le nurnéro fl. L,état
du conpartirnent dans lequel
souris se t.rouve. la

EXERCTCE 23

1l On considèrê deux
rrrno.
urnes A^ ^!
et B contenant un total
de N
boules. On procède à
I'expérience suivanj
.tùurvanre:àladate
( teû,|")
t
une bo,.rIe es t tirée
au hasard parmis les
N boules.
Ensuite une urne est
choisre au hasa:-d (urne
A avec
probabilité p et urne
B avec probabilité 1 _ p)
et la boule
tirée est piacée dans
l,urne choisie. L,état
du système, à
chaque instant est
représenté par Ie nonbre
de boules dans
l'urne A. Déterminez
la matrice de transition
de cette
chaîne de Markov.
2) Suppposons qu,à ]instant
t iL y a exactenent
k boules dans
l'urne A et à I,instant
t+l une urne est sélectionnée
et la
boule tirée est placée
dans l,urne choisie.
L, état du
système à chaque instant
est représenté par
-le nonbre de
boule dans ],urne A
Déierminez la matrice
de probabilités de transition
de cette
chaine de Markov.

t36
 PROCESsUS STOCHÂSTIQUES

eatoire (i.e. s' il y a n chenins

:ans lequel elle se trouve. elle EXERCICE 24

avec probabilité I l. L,état

n
c-r cornpartinent dans lequel Ia Un certain produit est stocké pour satisfaire une deir,ar_a=

régulière. La politique de stockage est définie comne suit :

deux valeurs critiques s et S sont fixées. Le nivea.u du sto:_<
est vérifié périodiquement aux temps fixes to, Lr, ... Si
-e
stock en nain au tenps t. est inférieur ou égale à s alors, _=
:: B contenant un total de N
stock est inmédiatenent renis au niveau S, autrement le stc:..
==ce suivante : à la date t
est laissé conne tel. On désigne par Zn la d.emande du proci;:--
hasard parnis
les N boules.
durant I'intervalle de temps Ia._r,a.I et par X. Ie stock e:.
-e au hasard (urne A avec
nain juste avant I'instant t..
::cbabilité 1 - p) et la boule
Montrez que P(X.*, = jtXo,Xr,...X.) = p(X.*r= j/X")
--oisie. L'état du systèrne, à
si et seulement si P(Zn*r= j/Xo,Xr,...,X.) =p(Zn*r= jr,Xn )
;ar Ie nonbre de boules dans
Donc, si Ia condition ci-dessus est satisfaite {X., n e û,1}
::e de transition de cette
une chaîne de Markov. Donner I,ensenble des états.
Si t, = I, t.= 2,...,
Ies valeurs critiques s = 4; S = 9 e._
-r a exacternent k boules dans
de plus Ia demande est un processus de poisson de taux \ = 3
-irne est séIectionnée
et la
indépendante du stock en rnain.
-'urne choisie. L,état du
a) Montrez que {X , n < û,,1} est une chal.ne rle Markov.
n
--eprésenté par 1e nombre de
b) Donnez I'espace des états et la matrice des probabilités ie
transition.
-:!és de transition de cette
c) Donnez son graphe et le graphe réduit

e) Classez les états.

137
PROCESSUS STOCHASTIQUES

EXERCICES
PR(

EXERCICE 25

' Un le se déplace entre deux

nrobi
murs e1 et er, ce mobire
sera absorbé par le nur e1
ou e2 st ce dernier s,approche
de lui
d'un pas dans ]es autres
cas il est dans l,un des
états e^, e.,
e, sachant que le mobile
se déplace de Ia naniè.u
.rrrarau' , un,
sr on tire pile il fait un pas
en avant.
b) si on tire face, iI fait
un pas en arrière.
1') Montrez qu' il s,agit
d, une chaîne de Markov
homogène
absorbante.
2) calcurez ies probabirités
rimites quand re nobire fait
une
infinité de pas.

EXERCICE 26

Soit X = {X.; n une chaîne de Markov dont I,ensenble

desétatsE={1, ) 10) et la natrice des probabilités
de
trans i t ion

o.5 0 0.5 ooo

o o.10 0 ooo
ooo o.75 o' o. 15
10o ooo
ooo ooo
o10 ooo
o o.25 0 o. 15 0.60 0
ooo ooo
oo1 ooo
o o.25 o ooo
o o o.25 o o. so
0.25 o.25 o o o o.25 o
ooo
ooo
coo
o D.35 o
o01
o o o.35 i,]
1) Tracez le graphe et re graphe
réduit de cette chaîne. I

2) Classez tes états.

I
È

138
 EXERCICES PROCESSUS STOCHASTIQUES
EXERCICES

3) On considère Ia sous chaine d'espace des états E, = \9,7,21.

a) Pour I'état j = Z, calculez v.r(k) y i e E, et pour tout
re deux nurs el et er, ce rnobile entier positif k.
e2 si ce dernier s'approche de lui b) A partir de l'état 7, calculez Ia probabilité pour que le
il est dans I'un des états e., en, système ne passe jamais par I'êtaL Z.

dép1ace de Ia manière suivante : a) c) A partir de j = 2, calculez la probabilité pour que Ie

en avant. systène ne retourne jarnais à cet état.

pas en arrière.
une chaine de Markov honosène EXERCICE 27

limites quand le mobile fait une

L'ensenble des états E (de Ia chaine de Markov) et la
matrice des probabilités de transition F sont :

E= {1,2, ..., s)

[o..o o.zs o o2s o-l

,_lo
'-lo o 1 o ol
de Markov dont I'ensernble o o 1 ol
lo o o o 1l
matrice des probabilités de Lo 1 o o ol
1) Caractérisez Ia nature des états.
oooo o
2) Trouvez Ia probabilite pf]; V n > 1.
f, o.75 d o. 15 o
looo o
3) Cherchez nfl'" non. s = 0, L, Z, 3.
fooo o
JOOO o
1000 o
f, o.25 0 0.50
EXmCICE 28
o
I O O.25 0 o. 25
-ro01 o
r o o 0.35 o. 30
Amr, Zayd, Bakr, Khaled, Omar et Fahd jouent à Ia balle.
Lorsque Amr a la balle iI Ia lance à Zayd, à Kha1ed, Onar ou
réduit de cette chaîne.
Fahd avec des probabilités égales pour chacun. Lorsque Zayd a La

balle, il Ia lance à Anr, à Bakr, Ornar ou Fahd avec probabilités

139
 PROCESSUS STOCI
PROCESSUS STOCHASTIQUES
EXERCICEs

En sup
égales. Si Onar a Ia balle, il La lance à
Amr, Zayd, Khaled ou
dans l
Fahd avec des probabilités égales. Si
Bakr ou Fahd ont ra balre
prévoi
ils. jouent entre eux. Si. Khaled a la balle,
il s,enfuit avec. On
assinile l,état du systène après Le n'"'" jet au nom de la EXERCI
personne qui possède Ia balIe.

1) Montrez que le systè::- i,/olue en suivant

une chaîne de Un
Markov.

2) Donnez l-a natrice des probabilités de transition

et classez des a\
les états.
chaque
3) En supposant qu'au connencement du jeu ra
balre a autant de probabi
chances d'être entre les rnains d,Anr
, Zayd ou Omar, dites est la
i) quelle est la probabilité pour qu,"r.r.rta'. jet
Ia balle On supl
soit entre les mains d,Arnr?
ii) quelle est Ia probabilité pour qu,à Ia fin du
ieu d'une s

Khaled s'enfuit avec Ia balle?

- Pour
batea
EXERCICE 29
-Lade
Le service comrnercial d,une firne de construction tous
de camions
a renarqué que ses ventes annuelles à un certain Appelon
entrepreneur de
travaux public senblaient corrrolées. plus précisenent, disponi
si on
appelle Xn Ie nonbre de canions vendus durant 1 ) Mont
l,année n, il
apparait que les X. suivent une chaîne de 2) Donn,
Markov honogène sur
I'ensemble des états IO,I,2t dont la nàtrice J,, Iracl
des probabilités de
trans i t ion 4) CIas:
5) Calcr
l-o U. J U.J
I o.t o.6 6)
I

o.3 I Donn<
L o.s u.5 ol l
I

140
 EXERCICES
STOCHASTIQUES

identique
En supposant que le comporternent du client va rester
dans Ies 10 Prochaines années' Conbien est-il raisonnable
de

période?
prévoir la vente de canions à ce client pendant cette

EXERCICE 30

Un plagiste dispose de quatre voiliers qu'il loue

chaque

subir
jour à des estivants pour la journée' Les voiliers peuvent
des avaries qui nécessitent une réparation' On suppose que .i4

chaque voil'ier qui sort a indépendennent des autres une

journée' Quelle
probabilité p de subir une avarie au cours de Ia
à réparer le soir?
est la loi qui déternine le nonbre de voiliers
On suppose de plus que le plagiste ne
peut de t'oute façon faire
n'exige plus
ses réparations que le soir; aucune réparation
d'une soirée de travail par bateau'
-Pourdesraisonsdesécurité,ilnepeutlaissersortirses
bateaux que s'iI en a au noins deux disponibles'
pour qu'iI puisse louer I

- La denande est touiours suffisante

tous ses bateaux disPonibles' ^ I

nombre de voiliers
Appelons I'état du systène à Ia date n' Ie
disponible au natin du iour n'
1) Montrez qu'il- s'agit d'une chaine de Markov'
2) Donnez Ia matrice des probabilités de transition'
I
3) Tracez Ie graphe et le graphe réduit' I
4) Classez les états'
5) CaLculez la natrice potentiells R'
6) Donnez Ia natrice des probabilités linites'

141
 PROCESSUS STOCHASTIQUES EXERCICES PROCTSSUS S

EXERCICE 31 E(E

Dans un systène interface extérieure,/néinoire centrale, on

considère un tanpon de taille N (c'est à dire qui peut contenir

au plus N données) foctionnant de Ia manière suivante :
Ies
-2i t^. (i = 0, 1, ...),
- tous les temps iI peut recevoir une
Dit
donnée de 1'extérieur : une donnée sera rentrée dans le
Car
tanpon si elle est présente (probabilité de rentrer = p) et
I l-es
si le tampon n'est pas plein.
IJ
- tous les l^. (i = 0, 1, ...), Ia mémoire centrale peut lui
[2t+1
\
denandei une donnée : une donnée sera sortie du tanpon vers
ii'
Ia némoire centrale s'i1 v a effectivenent demande

(probabilité q) et si le tampon n'est pas vide. Les variables

!rl
aléatoires "présence d'une donnée à entrer à I'instant tr.
(respectivement "demande à I'instant trr*r,, sont
indépendantes. On considère les trois processus a1éatoires
les
suivants : prc
X1
: nonbre de données dans Ie tampon just après p.
J.' opération à I'instant t I
Y.:X^.etZ.:X_.;
1 2i | 2t+7

Pour:i=O,1,...

Montrez que ces processus sont des chaines de Markov; que peut EXI

on dire du premier ? Calculez les probabilités de transition <lu

deuxième et du troisième.

On s'intéresse au processus Yr. Classez ses états et déduisez

son conportement asymptotique.

142

.}
 STOCHASTIQTJES EXERCICES

EXERCICE 32

On distribue des balles avant chaque partie qui se joue avec

4 joueurs l:1,2,3, 4). Soit X.: Le n'du joueur qui distribue
les balles avant la nlètt partie.
Dites si {X_;
n
n e û'l} est une chaine de Markov homogène.
Caractérisez et interprétez I-es résultats asynptotiques dans

Ies cas sulvants i . *

i) Chacun joue pour lui mêrne et Ia distributiorr est à tour de

rô Ie.
ii) Le distributeur gagnant a toujours Ie droit de distribuer.
La probabilité de gagner pour
Ie joueur i est p, = O.i.
iii) II y a deux équipes : Ia première est (L,3), la deuxièrne
est (2,4), la distribution se fait à tour de rôle.
Le droit de distribuer les balles est en correspondance avec

les facultés de jouer qui sont caractériseés par les

probabilités:
Pt = o., O, = o., p
'3 = O.5 Pa = o'3' I

EXERCICE 33

I
I,
La direction de non équipe de football est modeste. EIle
estime une année comme bien réussi à chaque fois que son équipe
est parmi ces six prenières au championnat du pays. Les années

143
 ,' s

PROCESSU3 STOCHASTIQUES
PROCESSUS STOCHASTIQUES

Iin (v(o)
1) calculez n+@
correspondantes seront dites bonnes (type 1) ' les I

mauvaises ftype Zl respectivenent' II est

naturel de les chaine, VI : reprÉ

ainsiàcausedesbénificesquidépendentnonSeuleÉt 2)'li Calculez v(') - v

de I'arnée à
de I'année en question mais aussi de celui constant.
d'une façon suivante :
3) Ecrire un algoritl

+ rl dg problène : Min
.D
\. r
n\ 1

|
(en milliers de dlnars) II,
1l2s20
2110 s 7t
t

EXERCICE 35 Problà
puisse décider
Supposons que chaquè année Ia direction

denerienchangerdanslaviede}-,équipe,soit(11)è Un chauffeur de
(lfT) è
venir ur' bon jcueur (ça coute 8Ooo DA) ' soit villes A, B, C s'iI '

1'entraineur (seulerrent pour les années mauvaises' ç!

Ie choix entre trois
7000 DÂ). 1) Conduire doucemen
t
Trouvez une politique optirnale pour Ia
direction et
2) AIIer à Ia statio
probabilités de transition suivantes : 3) S'arrêter et atte
tz S'il est dans la vil
1 1 0.5 0.5
n' y a pas de serr
1 T1 0.3 c.7
2 1. o.1 0'9
donnée la ville où
z Tr 0.6 o'4 s
z T1r o.8 o.2
prend il connaît les
dans I'une des trois
EXERCICE 34
en attendre.

Soit X = n É t'l) une chaîne de Harttt

{X.;

honogène et finie. A chaque transition

d'un état i I

état j est associé un coût A il

7r a
;RLlCESSJ3 STCC1TASTIQUES aXElla-r:iS

,,,(n)--'- (n^1),
1j Calcul-ez ntæ
Iim (V t! V'" - ). pour tout ét-ai- i dans :eti:e

chaine. V
1
rcnréqanÈp :è ..nf r. nÂrirde.:

à ) c"lcuiez v(')
J
- v.(t) et donner I'explicalicn rJu terne

constant.
3) Ecrire un algorithme pour déterminer une poJ-itique optinra-le
.l'i hF^h.Àha
'^"':g=ilm
Min - - - -l

II=IiFd deô;Vie*.
I L,
Ei >O;Vi-eE. H

ËXERCICE 35 Fr'oblème " Cirauf,f,eur de taxi. "

Un,-'hauffeur de taxi à un "Lerritoir" qui correspond à Lrois

villes A, B, C s'il est dans Ia ville A ou dans la r.ill= C, il- a

le choix entre trois acti-ons.

l.) Conduire doucement dalrs l'espoire d.e se fa-ire héier.
2) Aller à 1a station Ia plus proche et atl-endre
f ) S' a:-rêter er- at ienCr e un appel radio.

i'il est dans la ville B, .Ia -J"" décision esr impossible rar :.i
n' ,, a J-las dc service par radio dans cetl:e Iocalrté. u+-:r'r

oonnée la ville où se trcuve Ie char,ffeu: et 1a décision qu':_'_

i.rrarllC. il conra,Îe les prct"::rilit/:rc i'avoir rrn r'-r:.1 - 1,. se i-ërd

d:ils I'une des trois viile A, lJ, a et 1e:: gains rret: qLr'i j- pÊL:t

en attendre. R.
5

!
PROCESSUS $oCHASTIQUES .*
_r.F

PROCESSUS STOCHASTIQUES

ensuite, chaque fois.

h
Possibles (pour éviter l:
optinale.
Les efforts enployés pour
parties. La partie It, réal
tr, dépensée à dornicile.
I_es

,..
deux facteurs; I état
d

comporternèilb
Bendant le cou
plus de I'atttitude enver!
Quelle est la politique optimale? efforts se réalisent de dert
B : Pendant le cours on peul
EXmcIcE 36
M : pendant le cours on peul
Ecrire un algorithne de recher.t. a,une politique S : Ecrire succinctemeni
et
en tenant cornpte d'un taux d,actualisation T : Ecrire et essayer de
p clans [O,tI- col
L : Travailler d'une nanière
EXErcICE 37 F : Travai:ller d,une rnanière

1) Résoudre le problèire du chauffqur de

et sont caractérisé par la t:
taxi à l,aie
prograrnation linéaire. BM
2) Ilonær le progranne linéaire équivalent s11
au probl* u=
daqs I'exercice 1g.
T35
On suppose que parrnis
EXæICE les tro:
38
aIéatoire et caractérise
l,é
autres II et III dépendent
Un étudiaat croit que poqr obtenir, le nodule de
de
p.ourquoi dans chaque
il suffit d'apprendre les cours à état on
gO% au moins âf,ir
travailler. Supposon's qu,il
arriver, il décida d'assister à tous les cours et r
de lég
trois décisions :

146

147
PROCESSUS STOCHASTIOUES I
EXERCI CES :-
l
:..-

ensuite, chaque foi-s. Mais pour dépenser

le moins d,efforl:s
possibles (pour évlter la surcharge)
il cher.cha la pclitique
opt inaIe.

Les efforts employés pour chaque cours se conposent

cie deux
parties. La partie Ir: réalisée pendant
le cours et la parr_ie
I, dépensée à domicile. Les efforts
de la première dépendent de
deux facteurs; I état d,esprit à
l,université et II le
comportement pendant Ie cours" Ceux
de la seconde dépendent en
plus de I,atttitude envers le travail à dornicile. Tous
les
efforts se réalisent de deux façcns, à
savoir :
B : Pendant le cours on peut être en
bon état.
M : Pendant le cours on peut être en
nauvals état.
S : Ecrire succinctemeat .t
""="yer de cornprendre le minimuin
T : Ecrire et essayer de comprendre tout_
L : Travailler d'une nanière 1égère.
F ; Travailler d,une rnanière forte.
et sont caractérisé par la table ,,coût,, ci_dessous
:

BM b M
q1 SL2 3
II 7
- n-
IJ5 -Tl 1 2
TF3 4

On suppose que parnis les trois

facteurs, Ie premier I est
aléatoire et caractérise I,état du système, tandis que les
autres II et III dépendent de la volenté F.=
de 1., étudiant. C' est lfiC
pourquoi dans chaque état on a en générale
quatre façons de
travailler. Supposonê qu,iI est possible de choisir parrnis
trois décisions:
rEI

E!
t+ /
 PROCESSUS STOCI{ASTIQUES
PROCESSUS STOCHASTIQUES

i) Cal-culer I'esPét
B 1. (S,L); 2. (S,F); 3. (T,L).
z) Quelle est I'es
M 1. (S,F); 2. (r,L); 3' (T,F). suivant que l-e

Les probabilités de transition sont données Par :

à l'êtat Z'

.BYBI'T ICE 40
EX
I f o.2 o.sl 1 f o-4 0-61
B: zlo.4 0.6j I Mt?-lo.s o'sl
e Lo.e 0.L : fo.z o-31 A chaque éta
systène est à I''
1) Donner ie tableau des coûts associés à chaque
Lorsqu'il est à I
préciser Ie sens de Ia notation représentant une pol
Ô Qqe)-les que soier
2) Trouver Ia politique stationnaire optimale à I'aiè
sont donnés Par I
méthodes différentes.
Lorsque le systèl
JJ Calculer I'espérance du coût pour Ia période
est égale à O-l- (r e {1' 2,3' 4
supposant que Ie taux d'actualisation
sont données Pa

EXERCICE 39 Lorsque Ie sYS'-È

(s e {1, 2, 3' I

Un systèrne Pouvant se trouver dans I'un des derx sont données Pa

2, évolue en suivant une chaine de Markov honogÈ

1) Cornbien Y a
matrice de Probabilités de Lransition est :

Pour chacr:nt

-" = I-o.zs o.7s-l une chaine c

fo.zo o.so j
2) La Politlg\
A ehaque transition d'un état i à un état j' est PoIiLique s
coût. Les coûts sont donnés par Ia natrice : 3) Déterminer
4)Pourreil

^
= [i; i.] Pour trouv€

148
 ià
=':#
PROCESSUS STOCIIASTIQUES ExERcrcEs

1) Calculer I'espérance du coût en une'transition.

2) QueIIe est I'espérance du coût pour une évolution infinie,
suivant que le système conmence son évolution à I'état 1 ou

à f êtat z.

EXERCICE 40

A chaque étape on peut prendre une décision lorsque Ie

système est à l'état 1; on a le choix entre quatre décisTons. *-, .,,,i-
il
Lorsqu'il est à l'état 2, on a Ie choix entre cinq décisions.
Quelles que soient les décisiorr" pri'".", Ies coûts de transition
sont don-nés par  (matrice des coûts de l'exercice précédent).
Lorsque Ie système est à I'état 1 et qu'une décision r
(r e {1, 2, 3, 4}) est prise, Ies probabilités de t.ransition

sont données p". , pf, = "i ", oi, = + .

Lorsque Ie systèmé est à I'êtaL 2 et qu'une décision s

(s e {1, 2, 3, 4, 5}) est prise, les probabilités de transition

sont données nal R], = p)z = t

"t ; " .

. 1) Cornbien y a t-il de politiques stationnaires. Montrer que;

pour chacune d'entre elles, le systène va évoluer suivant

une chaîne de Marov honogène.

2) La politi.que stationnaire (2,7) est elle préférabIe à 1a

politique stationnaire (f , 1).

3) Déterminer une politique optimale.
4) Pour r e {1,2't et s e {1,2,3}, écrire un progranrne linéaire
pour trouver une politique stationnaire optimale.

' 149
I
I PROCESSUS STOCH{STIOUES

EXERCICES

EXERCICE 41

Soit N = {^., t e R*}

un processus d,arrivée
ayant
distrlbution de poisson
avec taux égal à À.
1.) Montrez que :

P(N.*, - N. = k./Nuiu=t) p(N.*"

= - N. = k) - u-À'__(r=)u .

k = 0, 1., ....
2) Soit {X.} une suite de variables
aléatoires définies par :
X' = T, - T^-ri où T. est l'instant
de la iiè'. arrivée;
To = 0.Montrer que
ixn) est une suite de variables
i.i.d.
et donner la ciistribution correpondante.
3) Caicuter E(X.) et V(T.).

EXERCTCE 42

Les arrivées indiquées dans

le réseau ci_dessous fornent un
processus de Poisson de
taux À, (i = 7, z, 3) arrivée par
heure.
Dans les stations GTp1, GTPZ, on a estiné
un gain de 1.50 DA par
client tandis gue dans cTp3
le gain est estirné à 2 DA par
client' Donnez le gain moyen pour
une iournée g de heures.

Àr= 3o o't
' fÀ]
À't= 2a
Ï,

1s0
PROCESSUS STOCHASTIQUEs EXERCICES

EXERCICE 43

Le tableau ci-dessous représente des données collectées

devant J.e guichet d'une poste.
1) Représentez graphiquenent Ia fornation de la fiIe.
2) Calculez Ia durée noyenne de séjour dans la fiLe.
3) Calculez Ia durée moyenne de séjour dans Ie système.
4) Calculez Ie nombre moyen de personnes dans le système

pendant Ia durée globale.

5) Vérifiez la relation : n = À u.

t 2 5 6 7 6 9 10

T Jè 4T 20 57 io 99 ôt 227
I

d IJO 1.7 ZJ 70 36 t7 T2 oz
i

EXERCICE 44

Les arrivées dans un cabinet de dentiste sont aléatoires à

un taux de 4 par heure entre 13 h et 15 h, le taux rnoyen

arrgnente progressivenent de 4 à 8 entre 15 h et 17 h, il stagne

à 8 entre 17 h et 18 h puis retonbe à 3 à partir de 1.8 h.

1) Proposez un bon rnodè1e pour décrire ce processus d'arrivées.

2) Calculez 1a probabilité qu'iI n' y ait aucune arrivée entre

15h30et17h30.

151
PROCESSUS s?oi_-Hn3'I
I QUES

EXERCICES

EXERCTL]E 45

5llt--,;,cs:.r.1. gi,1;_ rg i. .,: ..:l:E .iê sei lr'la * sDlt_i : ,r;: i-r8_J uîe
r"a:-ia'irle a1é.:î-è::t^€: :: i : -t CX.:1.riijt.-iCIle

Iln !ti^OCeSSUl ,jt: I

r_ I 1;S.,,:.,.

1) Donnez la notation
de cette ll_i* a,r.ilgrtts" i
:r t:e*_cr moyen
d,âti.ente ia_i:s la ii__-e
=t le teii,:r,; ;,"1;yg;r ç:;.ssi clans lr:
supermarché.

2) Calculez la- probabilit_Â

d,a,voir une file d,attente
de 5
pei^sonnes .derriére
celui en couis de service.
3) Calculez la protrabilité
gu,un client passe plus
d,un quart
r,i' j-rear.e dal!:t iê
si/srejre.

È.){5RL-.!r-i.û 45

Le schéma ci-.less:::,r,; aêrîili_.;âi,Le

\rne aui,iroute à deux
sens A
et B. l,es ârrivéesr au pc..rl il
.1: fri;e.iil ur) pl-ocessus de poisson
de *
raux égaj à.6C. 2û% de
_è:j venrcules son, ies il
cam:ons. Le nombre
de véhicules passant par
B foirqeJr.l:iussi un processus
de poisson
de +,aux éga] à gO. :ûli e.
a.-:: v..ti.iDuies scnt
des cailions" Un
carnion peut prendre
1 à 2 pessagers avec des
probabilités de
0.45 et 0.55 respectrvement.
Une voiture peut pr.endre
de i
jusgu'à T ra.:saga!-s
e\,r:.,-r j:-s F.i ct;:b.iiités
:-espectives de 0.30

152
 EXERCICES
PROCESSUS STOCHÀSTIQUES

0.30, 0.20, O.10, 0.10. Le point R représente un restaurant. Si

Ie bénifice d'un repas est estiné à 3 DA, quel est Ie gain moyen
pour une journée de 8 heures.

EXERCICE 47

Des travaux de réparation sont demandés au centre

de

maintenance d'une usine suivant un processus de Poisson

de taltx

de 2 par heure; le tenps nécessaire à Ia réalisation de

chacun

des travaux suit une Ioi exponentielle de moyenne 0'4 heures'

A

chaque comnande, Ia.narchandise occupe une superficie

d'un mètre
serait
carré , en attendant qu'eIIe soit prise en charge' Quelle
dans le
l'aire de stockage nécessaire si Ia capacité de travail
centre est élargi pour prendre en charge 2 réparations

simuJ-tanérnent, indépendemrnent et chacune suivant une loi

exponentielle de moyenne d.e 0'4 heures'

EXERCICE 48
: I
I
Destaxis arrivent au hasard à une station au taux noYen de
1 toutes les 2 ninutes. Si un taxi ne trouve aucun client à Ia
station, iI la quitte imnédiatenent pour une autre station. Les

153
PROCESSUS STOCHASTIQUES

EXERCICES

clients arrivent égalernent au hasard à la station

noyen de 1 toutes au nombre
les 3 ninutes.
- Quelle est la proportion
de taxis gui quittent
sans clients? la station
- Quel est Ie tenps d,attente
_ rnoyen
,rvrçrr è
à une station
client. pour un

EXERCICE 49

Une équipe d,ouvriers est affectée

au chargement de canions
qui arrivent au centre
de stockage d,une usine.
amivent un à un, indépendernment Les canions
et au
au hasard, au taux
un par heure. a. r.r..':^:^::^,: "t moven de
-'nps nécessaire rnis par
L,équipe pour charger
un canion suit une
Loi exponentielle dont
inversement proportionnelle
Ia moyenne est
à Ia taiIIe de 1,équipe.
moyen pour charger Le remps
un camion par une seule
personne est de
heures. La rénunération 2
d,une personne de
l,équipe revient à so
DA par heure.

r-a présence d,un

canrion au point
de chargement occasionne des
charges de 2OO DA
par heure.
QuelIe serait Ia taille
de l,équipe gui nininiserait
total noyen? le coût

EXERCICE 50

Une cornpagnie de
chenins defer repeint ses wagons
par an. EIle possède une fois
un grand nonbre de
wagons et leur
arrivée

154
PROCESSUS STOCHASTIQUES
EXERCICES

au centre d'entretien est supposée suivre une

loi de poissoit au
taux de 1 toutes les g heures. Les responsables
envisagent deux
possibilités:

a) Créer deux unités de peinture, chacune capable

de prendre
en charge un wagon à la fois. Le tenps de peinture
d,un
wagon suivant une loi exponentielle de
noyenne de 6 heures
et le coùt de fonctionnenent total est de 150OOO
DA .t an
(les wagons forment une file sinple et sont peints par la
première unité libre.
b) Créer une unité de peinture qui prendrait en
charge un wagon
à la fois, le temps de peinture par wagon
suivarrt une loi
exponentielle de moyenne de 3 heures avec
un coût de
fonctionnemerrt total de 2O0OO0 DA / an. Les charges dûes à
la présence d'un wagon au centre d'entretien sont
de 3o DA
par heure" Il est ouvert 9760 heures z an.
euelle est Ia
meilleure alternative?

EXERCICE 51

A un guichet d,une succursale de banque, on

a noté qu,il se
présente en moyenne 5 clients par heure.
Si on supppose que les
arrivées de ces personnes sont distribuées
indépendemment les
unes des autres et de façon équiprobable,
on demande Ia
probabilité que durant une heure, plus
de dix clients se
présentent au guichet.

ÈÉèæ_

rÈæ
PFiitIEss:j5 sT{](-1,.1 ;IT iii;i-:i
l;{EilcIcES

flXIRCIC.T, :)?

çri le nor:bi-e des accidects unù cert:irre

::1;_1a autoroute,
entre 9l'L et i0 h du natin, esl uDe vai.iabre a.l éatoire de
iisl-ribi'ri':.'rn poisson àvÉc Lln tai,," '2.3 arri,.'ées.r
unité de temps.
ijalcuiez- Ja pr.obi,.!:iJ i té pour qLl, j- j
lr aiL :
a) exacterileni 5 ar:c-i.i-:nls.
rr lrroit-,s :'i I "r .i.-,.....
c ) p1r-:s ,le 12 accitiant_s ,

ËXEÊCTEE 53

Devant une st.ation rl, essence les véhicules arrivent en

noyenne t-cr;.igs L+s 3 il;lr.;.j:es i_e temps de servrce
est en mcyenne
Ce 3il véhici,l.'res ,/ heul:. Le temps cie serv j ce
et . les instants
sépa.rr.l L I e:: il; ;- j rzées successi,zes suivent
Llne distribution
e>(poneniie jie |.égat j_ve.

.r - '';lt;,tt.ie.r...trrr,.,i.l
i_i_é,;l'rrn .çé!:.iet.:.ie arrj,v- el: attenC.
p{lirl i aJt; ,\ _ j:,:.

b) ,1,;e . ,.: es*, ii: proi::;,i i i-ré iroit; u',"*ln véhicule

ai-rirze et
1-::c!i.:.- :.r ., ',Lr-- jé;È ci.t:r:.; ,l-a. :,ia,:-icn <i.;;sence-r

",:.., i- ,..

Uc rnagasin plsb-ècie t L ois eni.i ées. Â chaque en+"rée les

'.. '.. a.'.i lê,j-:t1: ,i.i: Il,'j asijt.- i;-', :;rli( ég:liiX à : j:û.
':., ... l.i' ,r.:: - : i:- .,-_;ii';-:,i:,;a:r: tl,J:r.. ,i,.., i.:,tt,S ieS
PROCES5US STOCHAS1!QUFJS

EXERCICES

cl ienf_s sont de rnascultn. La probabilité

s-"ex
qu,un client achète
quelqLie chose est de
0.g et la proba.bj;ilé qu,une
c-lienie achète
quelque chose est de 0.1û.
Le propriétaire estirne
un bénéi.ice de
4.50 DA / achat.
a) Calculez le bénjfi:e
nuyei: glcbal pcur une journée
de 10
heurss.
b) Caj.culez Ia probabilité pour que la troisième
personne de
sexe féminin, qui n,effectrre
aucur, achat, aîrlvrl
durant les
15 prernières niinutes.

EXERCTCE 55

Considérons un processus
-
de poissor
--- r-t, î^2,
À. soien.r ,^l i::stants
les .-"
d,arrivée avec To = O. Si
lu,
représent_e le no;lbre
d,arrivées dans l,lntervalle
lO, tl alors.
t". u"a lL'instant de la
dernière arrivée avant t"
1) Définissez le pr.,)cessus V ut.i, t-eprésente le ternps
d,atter r_:
à parti_r ;.:,e L.

2) Calculez P (V. .q ,-- ,{=; s

s i I .

3) ,âPPî-IeA".I.{iJ?f : Supposons gue les bus

aii:ivent- devalt ;:n arrêt
fr.,r';c:rn{. i,.r jri ôa.1}tist,-:-: Cs pclssol
ie iar.:; :gai à i b;:s/*=
ri:_-..

renps d,attente.
(N.8. : Considérez E
cc rmne origine des temps 7 h) I.
Référcnces

- ERHAN CINLAR hrtroducto.

to stocrrastc processes. Northwestem
university, prentice'Hall. INC.,
Enp{ewood crilrs. New
- G. HADLEy. Lirrear prograrrrmimg
Jersey . rg75.
University of Chicago,
ADDISON-WESLEY publislùrg
Company. hrc. I 965.
- J,M. HELARY. R. PEDRONO,
Recherctre Opérariorure[e
Exercices Corriges. Hennaru
Collection pzris, 19g3.
- RICHARD BRONSON.
Th"ory and problenrs of Operations
Research scrra-um's outrine
series in Engeneeri'g. Mc
GRAv/-Hi'
Book Compeury, 19g2.
- RosEALrx phé'omenes aléatoires en Recherche opérationnere.
Masson, 19g3.

Achevê d'impimer sur les presses

de
I' OFFIC-E DES PUBLICATIONS
UNIVERSITAIRES
1, Plqce Centrale - &n-Ahnoun
- ALGER