1 Récurrence et transience
Définition 1.
1. Nombre de visites de y par la chaîne
X
Vy = 1fXn= yg
n2N
2. Temps de retour en y
Ty = inf fn > 1; Xn = yg
Théorème 2. Soit x 2 E. x vérifie nécessairement l'une des 2 conditions :
1. x est récurrent ssi
X
Px(Tx < 1) = Px(Tx = n) = 1
n2E
2. x est transitoire ssi
X
Px(Tx < 1) = Px(Tx = n) = 0
n2E
Théorème 3. Tous les états d'une classe sont de même nature : récurrents ou transitoires.
Définition 4. Etats récurrent et transitoire
1. récurrent si Py(Vy = 1) = 1 partant de l'état y, la chaîne y repasse p.s une infinité de
fois
2. transitoire si Py(Vy = 1) = 0 partant de y, elle n'y repasse p.s qu'un nombre fini de fois
Proposition 5. Soit C une classe de communication
i. C récurrente ) C fermée
ii. C ouverte ) C transitoire
iii. C fermée et finie ) C récurrente
iv. E fini ) (C récurrente , C fermée)
2 Invariance
2.1 Proba invariante
Définition 6. Mesure invariante
est invariante si
P = ie (y) = P (y) 8y 2 E
1
et
X
P (y) = (x)P (x; y)
x2E
Remarque 7. Si P est bistochastique alors toute mesure uniforme est invariante. En particulier,
si E est fini alors la proba uniforme est invariante.
Définition 8. Mesure réversible
est réversible sur E si
8(x; y) 2 E 2; (x)P (x; y) = (y)P (y; x)
Toute mesure réversible est invariante
Proposition 9.
i. E fini et la chaine irréductible récurrente ) 9! probabilité invariante
ii. E pas fini ) on peut pas conclure sur l'existence d'une proba invariante (mais si elle existe
alors elle est unique)
2.2 Récurrence positive et nulle
Définition 10.
Ex[Tx] < 1 ) x est récurrent positif. Sinon, x est nul
Théorème 11. On suppose la chaîne irréductible et récurrente. Alors les assertions sont équiva-
lentes :
i. Tout état de E est récurrent positif
ii. Il existe un état récurrent positif
iii. Il existe une unique proba invariante
Dans ce cas, on a x = pour tout x 2 E: Et l'on prendra
1
8y 2 E ; (y) =
Ey[Ty]
Théorème 12. On suppose la chaîne irréductible et récurrente. Alors les assertions sont équiva-
lentes :
i. Tout état de E est récurrent nul
ii. Il existe un état récurrent nul
iii. Il existe une mesure invariante pour la chaîne de masse infinie et unique à constante mul-
tiplicative près
2
Note 13. Différence entre mesure et proba : la somme des éléments de la proba fait toujours 1
mais celle de la mesure peut être infinie.
Note 14. Si l'espace d'états E est fini et la chaîne irréductible, alors tous les états sont récurrents
positifs. Et l'existence et l'unicité de la proba invariante sont assurées.
3 Période
3.1 Périodicité
Définition 15. Pour tout x 2 E, on appelle période de l'état x le nombre
dx = pgcdfn > 1; P n(x; x) > 0g
Par convention on a pgcd ? = 0
Et l'état x est dit apériodique si dx = 1:
En particulier, s'il existe x 2 E tel que P (x; x) > 0 alors dx = 1.
Proposition 16. Deux états appartenant à la même classe de communication ont la même
période. On parle de période de classe.
Théorème 17.
1. Si la chaîne est irréductible, récurrente positive ET apériodique alors la suite (Xn)
converge en loi vers l'unique probabilité invariante , qu'importe la loi initiale. Càd
8y 2 E ; Px(Xn = y) = P n(x; y) !
!
!
!!
!
!
!!
!
!
!!
!
!
!!
!
!
!! (y)
n!+1
Théorème 18. Théorème ergodique
Chaîne I, RP. Pour toute mesure inv et f ; g ¡ int avec g > 0 on a
Pn¡1 P
k=0 f (Xk) !
f (z)(z)
Pn¡1 !
!
!
!!
!
!
!!
!
!
!!
!
!
!! Pz 2E
!
!
!
k=0 g(X k ) n!+1
z 2E g(z)(z)
En particulier pour g 1 et = proba invariante :
n¡1
1X X
f (Xk) !
!
!
!!
!
!
!!
!
!
!!
!
!
!!
!
!
! f(x)(x)
n n!+1
k=0 x2E
Chaîne I, RN. Pour toute mesure et fonction ¡ int
n¡1
1X
f(Xk) !
!
!
!!
!
!
!!
!
!
!!
!
!
!!
!
!
!!0
n n!+1
k=0
