0% ont trouvé ce document utile (0 vote)
15 vues5 pages

Chaînes de Markov : Propriétés et Applications

Le document traite des chaînes de Markov, en définissant leurs propriétés, notamment la matrice de transition, les valeurs propres, et les concepts d'états récurrents et transitoires. Il explore également des exemples pratiques et des relations entre différentes fonctions mathématiques, comme la fonction β et la fonction Γ. Enfin, il aborde des questions de convergence et de distribution invariante dans le contexte des chaînes de Markov.

Transféré par

katahi9072
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd
0% ont trouvé ce document utile (0 vote)
15 vues5 pages

Chaînes de Markov : Propriétés et Applications

Le document traite des chaînes de Markov, en définissant leurs propriétés, notamment la matrice de transition, les valeurs propres, et les concepts d'états récurrents et transitoires. Il explore également des exemples pratiques et des relations entre différentes fonctions mathématiques, comme la fonction β et la fonction Γ. Enfin, il aborde des questions de convergence et de distribution invariante dans le contexte des chaînes de Markov.

Transféré par

katahi9072
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

PROBLEME 1

Soit r ∈ N∗ , (Xn )n∈N une suite de variable aléatoire sur un même espace probabilisé (Ω, T, P) ,
prenant un nombre finie de valeurs S = {1, ..., r} appelés états du système. (Xn )n∈N est dite une
chaı̂ne de Markov si :
∀ n > 0, ∀ i0 , ..., in ∈ S, P (Xn = in |X0 = i0 , ..., Xn−1 = in−1 ) = P (Xn = in |Xn−1 = in−1 )
Càd : que le futur du système ne dépend que du présent.
Une chaı̂ne de Markov est dite homogène si
∀ n > 0, ∀ k ≥ 0, ∀ i, j ∈ S, P (Xn = j |Xn−1 = i ) = P (Xn+k = j |Xn+k−1 = i )

On se donne dans toute la suite de ce problème une chaı̂ne de Markov (Xn )n≥0 homogène à r
états ; on considère la matrice P = (pij )1≤i,j≤r , définie par :

pij = P (Xn = j |Xn−1 = i ) = P (X1 = j |X0 = i )

P est dite la matrice de transition de la chaı̂ne de Markov (Xn )n .


Matrice de transition
1. Montrer que les pij ∈ [0, 1] et que la somme sur chaque ligne de P vaut 1. Une telle P matrice
est dite stochastique.
2. Montrer alors que 1 est valeur propre de P et donner un vecteur propre associé.
3. Montrer que toute valeur propre complexe λ de P vérifie : |λ| ≤ 1.
4. Montrer que, pour tout k ∈ N, P k est aussi une matrice stochastique.
Transition en m étapes :
5. Montrer par récurrence sur m que : ∀k ≥ 0, P (Xk+m = j |Xk = i ) = P (Xm = j |X0 = i ) . On
pourra considérer un système complet convenable.
On note  
(m) (m)
pij = P (Xm = j |X0 = i ) et P (m) = pij
1≤i,j≤r

dite la matrice de transition en m étapes


6. Expliciter P (0) et P (1) .
7. Montrer que ∀ m ≥ 0, P (m) = P m . (Formule de Chapman-Kolmogorov)
8. Donner la loi Πn de la variable Xn en fonction la loi Π0 de X0 (loi initiale) et de la matrice de
transition P.
n−1
P (X1 = ij+1 |X0 = ij )
Q
9. Montrer que P (Xn = in , ..., X0 = i0 ) = P (X0 = i0 )
j=0
10. Etude d’un exemple :
On considère d points dans le plan numérotés de 1 à d. Une particule se déplace chaque seconde
sur l’ensemble de ces points de la façon suivante : si elle se trouve au point i , elle reste au point
i avec une probabilité égale à p ∈ ]0, 1[ ou passe en un point j 6= i de façon équiprobable.
On note X0 une variable aléatoire de loi Π0 donnant la  position de laparticule à l’instant n = 0 ,
P (Xn = 1)
Xn la position de la particule à l’instant n et Πn = 
 ..  la loi de Xn .

.
P (Xn = d)
(a) Justifier que (Xn )n≥0 est une chaı̂ne de Markov homogène et finie. Puis donner sa matrice
de transition notée P .
(b) Exprimer Πn en fonction de P et de Π0 .
(c) Justifier que P est diagonalisable sur R et déterminer les valeurs propres et les sous-espaces
propres de P .
(d) Montrer qu’il existe un vecteur Π dont tous les coefficients sont strictement positifs tel
que : P Π = Π.
 
(e) Montrer que la suite P k converge vers une matrice L que l’on exprimera en fonction
k≥0
de Π et donner une interprétation en terme de probabilité du résultat obtenu.
(f) Donner une interprétation géométrique de la matrice L obtenue ci-dessus.

1
Communication entre deux états :
(n) (m)
Soit i, j ∈ {1, ..., r} , on dit l’état i communique avec l’état j, si ∃ n, m ≥ 0, pij > 0 , pji > 0.
11. Justifier que le coefficient d’indice (i, j) de la matrice P (m) s’écrit :
r
X r
X
[P m ]ij = ... pii1 pi1 i2 ...pim−1 j
i1 =1 im−1 =1

12. Montrer que la relation de communication est une relation d’équivalence sur l’ensemble S des
états.
Etats périodiques : n o
(n)
Soit i ∈ {1, ..., r} , on note Γi = n ≥ 1 / pii > 0 , lorsque Γi non vide, σ (Γi ) désigne le
sous-groupe de Z engendré par Γi
13. Justifier l’existence d’un entier d > 0 tel que σ (Γi ) = dZ. Lorsque d ≥ 2 l’état i est dit
périodique de période d; pour d = 1 l’état i est dit apériodique.
14. Montrer que les états d’une même classe d’équivalence ont la même période
15. Soit n1 , ..., nk ∈ N∗ premiers entre eux.
k
X
(a) Justifier l’existence de q1 , ..., qk ∈ Z tels que qi n i = 1
i=1
k
X k
X
(b) Soit s = |qi | ni et m ≥ s2 , montrer qu’il existent q10 , ..., qk0 ∈ N∗ tels que qi0 ni = m
i=1 i=1

16. En déduire qu’un état i est apériodique si et seulement si il existe n0 ≥ 1 tel que
(n)
∀ n ≥ n0 , pii > 0
17. Une matrice réelle A sera dite strictement positive lorsque ses coefficients sont tous stricte-
ment positifs ; on notera dans ce cas A > 0. Montrer qu’il existe un m ∈ N tel que P m > 0
si et seulement si la chaı̂ne de Markov (Xn ) contient une seule classe et tous ses états sont
apériodique.
Etat réccurent et état transitoire
+∞
X
Soit i ∈ {1, ..., r} , on note Ti = inf {n ≥ 1 / Xn = i} et Ni = 1Xn =i
n=0
18. Que représentent Ti et Ni ?
19. Justifier que P (Ti < +∞|X0 = i) = P (Ni > 1|X0 = i)
L’état i est récurrent si P (Ti < +∞|X0 = i) = 1, sinon il est dit transitoire
+∞ +∞ +∞
!
X (n) X X
20. Montrer que pii = EX0 =i (Ni ) . On pourra admettre et utiliser EX0 =i 1Xn =i = EX0 =i (1Xn =i ) .
n=0 n=0 n=0
X (n)
21. Montrer que l’état i est récurrent si et seulement si la série pii est divergente
n≥0
Existence d’une distribution invariante :
22. On appelle distribution invariante, tout vecteur ligne Π = (q1 , ..., qr ) dont les coordonnées sont
positifs, de somme 1et vérifiant Π = ΠP. Montrer alors que Π est invariante si et seulement si
t Π est un vecteur propre de t P associé à la valeur propre 1 vérifiant kΠk = 1.
1
23. Soit
 A ∈ M r (R) . On suppose A > 0 et ρ (A) = 1. Soit
 λ ∈ Sp (A) de module 1 et V
v1 |v1 |
=  ...  un vecteur propre associé, on note |V | =  ...  .
   
vr |vr |
(a) Montrer que A |V | − |V | est positif
 que A |V | = |V | . On pourra raisonner par l’absurde, en considérant un  > 0 tel
(b) Montrer
A
que A |V | > A |V |
1+
(c) Montrer que le sous-espace propre E1 (A) est une droite vectorielle.
24. En déduire que toute chaı̂ne de Markov finie possède au moins une distribution invariante. (On
pourra commencer par le cas où P > 0 ) .

2
PROBLEME 2
Xn 1 1 1
Dans tout le problème, on note pour tout entier n ≥ 1 , Hn = = 1 + + ··· + ·
k=1 k 2 n
X+∞ 1
On note ζ la fonction définie pour x > 1 par ζ(x) = ·
Z +∞
n=1 nx
On notera Γ la fonction définie sur R∗+ par Γ(x) = tx−1 e−t dt .
0
On admettra que Γ est de classe C ∞ sur R∗+ , à valeurs strictement positives et qu’elle vérifie, pour
tout réel x > 0 , la relation Γ(x + 1) = xΓ(x) .

I. Représentation intégrale de sommes de séries

I.A.
Soit r un entier naturel.
X Hn
Pour quelles valeurs de r la série est-elle convergente ?
(n + 1)r
n≥1
X+∞ Hn
Dans toute la suite on notera Sr = lorsque la série converge.
n=1 (n + 1)r

I.A.1) Vérifier que Hn ∼ ln n .


+∞

I.A.2) Montrer que la fonction


ln(1 − t)
t 7−→ −
1−t
est développable en série entière sur ]−1 ; 1[ et préciser son développement en série entière
à l’aide des réels Hn .
I.B. Pour tout couple d’entiers naturels (p, q) , on note :
Z 1
Ip,q = tp (ln t)q dt
0

I.B.1) Montrer que l’intégrale Ip,q existe pour tout couple d’entiers naturels (p, q) .
I.B.2) En déduire que l’on a :
q
∀p ∈ N, ∀q ∈ N∗ , Ip,q = − Ip,q−1 .
p+1
I.B.3) En déduire une expression de Ip,q en fonction des entiers p et q .
I.C.
Soit r un entier naturel non nul et f une fonction développable en série entière sur ]−1 ; 1[ .
X+∞ X an
On suppose que pour tout x ∈ ]−1 ; 1[ , f (x) = an xn et que converge
n=0 n≥0 (n + 1)r
absolument.
Montrer que :
Z 1 +∞
X an
(ln t)r−1 f (t) dt = (−1)r−1 (r − 1)! ·
0 n=0
(n + 1)r
I.D.
I.D.1) Déduire des questions précédentes que pour tout entier r ≥ 2 :
+∞
(−1)r
Z 1
X Hn ln(1 − t)
Sr = = (ln t)r−1 dt .
n=1
(n + 1)r (r − 1)! 0 1−t

(−1)r (ln t)r−2 (ln(1 − t))2


Z 1
I.D.2) Établir que l’on a alors Sr = dt .
2(r − 2)! 0 t
(ln t)2
Z 1
1
I.D.3) En déduire que S2 = dt , puis trouver la valeur de S2 en fonction de ζ(3) .
2 0 1−t

3
II. La fonction β

II.A. La fonction β et son équation fonctionnelle


Z 1
Pour (x, y) ∈ (R∗+ )2 , on définit β(x, y) = tx−1 (1 − t)y−1 dt .
0

II.A.1) Justifier l’existence de β(x, y) pour x > 0 et y > 0 .


II.A.2) Montrer que pour tous réels x > 0 et y > 0 , β(x, y) = β(y, x) .
x
II.A.3) Soient x > 0 et y > 0 . Établir que β(x + 1, y) = β(x, y) .
x+y
xy
II.A.4) En déduire que pour x > 0 et y > 0 , β(x + 1, y + 1) = β(x, y) .
(x + y)(x + y + 1)

II.B. Relation entre la fonction β et la fonction Γ


Γ(x)Γ(y)
On veut montrer que pour x > 0 et y > 0 , β(x, y) = , relation qui sera notée (R) .
Γ(x + y)
II.B.1) Expliquer pourquoi il suffit de montrer la relation (R) pour x > 1 et y > 1 .
Dans toute la suite de cette question, on supposera que x > 1 et y > 1 .

ux−1
Z +∞
II.B.2) Montrer que β(x, y) = du .
0 (1 + u)x+y
u
On pourra utiliser le changement de variable t = ·
1+u
II.B.3) On note Fx,y la primitive sur R+ de t 7→ e−t tx+y−1 qui s’annule en 0 . Montrer que :

∀ t ∈ R+ , Fx,y (t) ≤ Γ(x + y) .

ux−1
Z +∞

II.B.4) Soit G(a) = F x,y (1 + u)a du .
0 (1 + u)x+y
Montrer que G est définie et continue sur R+ .
II.B.5) Montrer que lim G(a) = Γ(x + y)β(x, y) .
a→+∞

II.B.6) Montrer que G est de classe C 1 sur tout segment [c ; d] inclus dans R∗+ , puis que G est
de classe C 1 sur R∗+ .

II.B.7) Exprimer pour a > 0 , G0 (a) en fonction de Γ(x) , e−a et ay−1 .


II.B.8) Déduire de ce qui précède la relation (R) .

III. La fonction digamma

On définit la fonction ψ (appelée fonction digamma) sur R∗+ comme étant la dérivée
de x 7→ ln(Γ(x)) .
Γ0 (x)
Pour tout réel x > 0 , ψ(x) = ·
Γ(x)
1
III.A. Montrer que pour tout réel x > 0 , ψ(x + 1) − ψ(x) = ·
x
III.B. Sens de variation de ψ
∂β
III.B.1) À partir de la relation (R) , justifier que est définie sur (R∗+ )2 .
∂y
∂β 
Établir que pour tous réels x > 0 et y > 0 , (x, y) = β(x, y) ψ(y) − ψ(x + y) .
∂y

4
III.B.2) Soit x > 0 fixé. Quel est le sens de variations sur R∗+ de la fonction y 7→ β(x, y) ?

III.B.3) Montrer que la fonction ψ est croissante sur R∗+ .

III.C. Une expression de ψ comme somme d’une série de fonctions


III.C.1) Montrer que pour tout réel x > −1 et pour tout entier n ≥ 1 :
n 
1 1
X 
ψ(1 + x) − ψ(1) = ψ(n + x + 1) − ψ(n + 1) + − ·
k=1
k k+x

III.C.2) Soit n un entier ≥ 2 et x un réel > −1 . On pose p = E(x) + 1 , où E(x) désigne la partie
entière de x .
Prouver que :
p+1
0 ≤ ψ(n + x + 1) − ψ(n) ≤ Hn+p − Hn−1 ≤ ·
n
III.C.3) En déduire que, pour tout réel x > −1 ,
+∞
X 1 1

ψ(1 + x) = ψ(1) + − ·
n=1
n n+x

III.D. Un développement en série entière


On note g la fonction définie sur [−1 ; +∞[ par :
+∞
X 1 1

g(x) = − ·
n=2
n n+x

III.D.1) Montrer que g est de classe C ∞ sur [−1 ; +∞[ .


Préciser notamment la valeur de g (k) (0) en fonction de ζ(k + 1) pour tout entier k ≥ 1 .
III.D.2) Montrer que pour tout entier n et pour tout x ∈ ]−1 ; 1[
n
g (k) (0) k
x ≤ ζ(2) |x|n+1 .
X
g(x) −
k=0
k!

Montrer que g est développable en série entière sur [−1 ; 1] .


III.D.3) Prouver que pour tout x dans ]−1 ; 1[ ,
+∞
X
ψ(1 + x) = ψ(1) + (−1)n+1 ζ(n + 1)xn .
n=1

• • • FIN • • •

Vous aimerez peut-être aussi