Jacques Franchi

Processus aléatoires
à temps discret
Cours, exercices
et problèmes corrigés
[Link]
 Références sciences

Processus aléatoires
à temps discret
Cours, exercices et problèmes corrigés

Jacques FRANCHI

[Link]
 Collection Références sciences
dirigée par Paul de Laboulaye
[Link]@[Link]

Arithmétique et cryptologie, Gilles Bailly-Maitre. Introduction à /'analyse des équations de Navier-

31 2 pages. 2012. Stokes. Pierre Dreyfuss. 168 pages, 2012.
Calcul différentiel. Marcel Grangé, 240 pages, Introduction à /'optimisation- 2° édition. Jean-
2012. Christophe Culioli, 384 pages. 2012.
Concevoir et programmer en C++, Philippe Mesure, intégration. probabilités, Thierry Gallouët.
d'Anfray, 576 pages. 2012. Raphaèle Herbin, 600 pages, 2013.
Convolution, séries et intégrales de Fourier. Les objets fondamentaux en mathématiques - Les
Jacques Peyrière. 120 pages. 2012. nombres, Marcel Grangé, 240 pages, 2013.
De /'intégration aux probabilités. Olivier Goret, Le plan, la sphère et le théorème de Jordan,
Aline Kurtzmann. 504 pages. 2011 . Jean-Yves Le Dimet. 144 pages. 2012.
Distributions, analyse de Fourier et transformation Probabilités via /'intégrale de Riemann. Charles
de Laplace - Cours et exercices, Ahmed Lesfari. Suquet, 528 pages. 2013.
384 pages, 2012. Processus aléatoires à temps discret, Jacques
Éléments d'analyse réelle - Rappels de cours Franchi. 360 pages. 2013.
illustrés et exercices corrigés, Mohamed Recherche Opérationnelle - Tome 7 - Méthodes
Boucetta. 288 pages. 2012. d'optimisation. Jacques Teghem. 624 pages,
Épistémologie mathématique, Henri Lombardi. 2012.
216 pages. 2011. Statistique mathématique, Benoît Cadre, Céline
L'évolution des concepts de la physique de Vial. 192 pages, 2012.
Newton à nos jours. Jean-Louis Farvacque. Suites et séries numériques. Suites et séries de
360 pages. 2012. fonctions, Mohammed El Amrani, 456 pages,
Exercices de probabilités pour futurs ingénieurs et 2011.
techniciens. Antoine Clerc, 168 pages. 2012. Systèmes de communications numériques, Gaël
Géométrie euclidienne élémentaire, Aziz El Kacimi Mahé, 216 pages, 2012.
Alaoui. 240 pages, 2012. Théorie des groupes, Felix Ulmer, 192 pages. 2012.
Géométries pour /'ingénieur. Frédéric Holweck, Traité de géométrie affine, Dominique Bourn,
Jean-Noël Martin. 480 pages, 2013. 168 pages, 2012.
Ingénierie Dirigée par les Modèles, Jean-Marc Une introduction moderne à /'algèbre linéaire,
Jézéquel. Benoît Combemale. Didier Vojtisek. Vincent Blanlœil. 216 pages, 2012.
144 pages, 2012.
Intégration - Intégrale de Lebesgue et introduction
à /'analyse fonctionnelle. Thierry Goudon.
192 pages, 2011 .

ISBN 978-2-7298-77521
©Ellipses Édition Marketing S.A., 2013
32, rue Bargue 75740 Paris cedex 15
® DANGER
PHOTocOPILLAGE
T\IELEUVRE
Le Code de la propriété intellectuelle n'autorisant, aux termes de l'article L. 122-5.2° et
3°a), d'une part, que les «copies ou reproductions strictement réservées à l'usage privé
du copiste et non destinées à une utilisation collective», et d'autre part, que les analyses
et les courtes citations dans un but d'exemple et d'illustration, «toute représentation ou
reproduction intégrale ou partielle faite sans le consentement de l'auteur ou de ses ayants
droit ou ayants cause est illicite» (art. L. 122-4).
Cette représentation ou reproduction, par quelque procédé que ce soit constituerait une
contrefaçon sanctionnée par les articles L. 335-2 et suivants du Code de la propriété
intellectuelle.

[Link]
[Link]
 Introduction
L'univers, c'est un livre, et des yeux qui le lisent.
Ceux qui sont dans la nuit ont raison quand ils disent :
Rien n'existe! Car c'est dans un rêve qu'ils sont.
Rien n'existe que lui, le flamboiement profond.
(Victor Hugo)

Ce livre est fondé sur un cours dispensé par l'auteur plusieurs années du-
rant en 4ème année de mathématiques {Ml) à l'université de Strasbourg,
cours centré sur un aspect important de la théorie des probabilités, à sa-
voir la théorie élémentaire des processus aléatoires à temps discret : marches
aléatoires, chaînes de Markov, martingales, et processus de Poisson (qui ne sont
toutefois à temps discret que d'un certain point de vue). Les nombreux exer-
cices et problèmes {résolus) qu'il contient portent sur ces sujets, les problèmes
faisant plus particulièrement la part belle aux chaînes de Markov.
L'exposé de cette théorie des processus à temps discret est conçu pour leur
intérêt propre, à l'intérieur des mahématiques comme pour plusieurs types
d'applications, mais également pour illustrer et exercer les connaissances fon-
damentales qui devraient être acquises à la suite d'un cours de base en pro-
babilités d'une part, et en algèbre linéaire d'autre part : théorèmes de conver-
gence monotone ou dominée (et de dérivation sous l'intégrale), loi des grands
nombres, théorème central limite, tribus, manipulation des matrices, des séries
(à termes positifs) et des intégrales. Les notions probabilistes faisant l'objet du
chapitre introductif, la lecture et l'usage de ce livre requièrent essentiellement
la connaissance de l'algèbre linéaire des matrices et des capacités minimales
de calcul {en particulier de manipulation des séries et des intégrales).
Limitant son propos à un sujet relativement focalisé, ce livre demeure
d'un volume raisonnable et par là reste maniable, et accessible aux étudiants
de master ou d'école d'ingénieurs. Il fournit en particulier les connaissances
probabilistes souhaitables pour présenter l'option probabiliste de l'agrégation
de mathématiques, tout en restant borné à ce qu'il est raisonnablement pos-
sible de détailler effectivement dans un cours d'une cinquantaine d'heures,
séances d'exercices incluses (qui laisserait toutefois de côté les deux chapitres
introductifs en les supposant acquis, et les problèmes).
Afin d'être relativement complet et de faciliter ainsi la lecture des chapitres
suivants, ce livre propose avec son premier chapitre un cours de base sur les
probabilités. Toutes les notions fondamentales y sont définies et expliquées :
tribus, probabilités, conditionnement, indépendance, fonctions indicatrices, va-
riables aéatoires, lois, espérance, densités, matrice de covariance, lois usuelles,
vecteurs gaussiens, transformées de Laplace et de Fourier, différentes notion
[Link]
4 INTRODUCTION

de convergence; et tous les résultats fondamentaux y sont exposés : inégalités

de Schwarz, de Markov, de Jensen, lemmes de Borel-Cantelli, théorèmes de
convergence monotone ou dominée, loi {forte) des grands nombres, théorème
central limite. Dans le but de rester dans un volume raisonnable, et puisque
bien qu'assez complet ce premier chapitre est conçu plutôt comme introductif,
les résultats qui y sont énoncés ne comportent pas tous une démonstration, et
les exercices qui y figurent ne visent pas à l'exhaustivité et ne sont pas tous
corrigés.
Le second chapitre traite de l'espérance conditionnelle, une notion essen-
tielle que les étudiants abordent en général difficilement et qu'ils peinent à
maîtriser. C'est pourquoi ce chapitre est rédigé très progressivement, avec
douceur ; et dans un souci pédagogique, il ne présente les démonstrations que
dans le cas des variables aléatoires discrètes, bien que le cas général soit ex-
pliqué et rigoureusement énoncé ; ceci dans le but de faire bien comprendre ce
qui se passe sans encombrer le propos par des détails techniques (en particulier
de théorie de la mesure). Les meilleures illustrations de cette notion essentielle
sont constituées par les chapitres suivant.
Bien entendu, les étudiants de master ou d'école d'ingénieurs connaissant
déjà suffisamment bien les probabilités élémentaires pourront passer plus ra-
pidement sur les deux premiers chapitres, pour se concentrer ensuite sur le
propos principal de ce livre.
Ce propos principal débute avec le troisième chapitre, par une étude des
marches aléatoires (considérées sur zd essentiellement, de façon à rester élé-
mentaire), qui ont la double qualité de constituer à la fois une catégorie
intéressante en soi avec quelques jolis résultats parlant à l'intuition, et une
très bonne introduction à la théorie des chaînes de Markov.
L'étude de ces dernières est l'objet du quatrième chapitre et constitue le
cœur de ce cours. L'algèbre linéaire {des matrices) y joue un rôle important.
Le succès des chaînes de Markov est dû à leur capacité à abstraire et modéliser
une grande variété de systèmes concrets, tout en proposant des résultats fins
sur leur évolution, asymptotique en particulier, et en ayant des liens forts avec
d'autres parties des mathématiques. Les notions fondamentales sont détaillées:
propriété de Markov forte, classification des états, mesures et lois invariantes,
récurrence et transcience, ergodicité. Beaucoup d'exemples sont traités, dans
le cours, les exercices, et de nombreux problèmes, où sont aussi abordées en
particulier les liens avec la théorie du potentiel et la théorie spectrale.
La théorie élémentaire des martingales, qui constitue l'objet du cinquième
chapitre, offre l'avantage de fournir des résultats profonds à peu de frais, c'est-
à-dire sans avoir à fournir de trop grands efforts mathématiques pour les ex-

[Link]
INTRODUCTION 5

poser et les démontrer. Elle est reliée à l'analyse harmonique, et s'applique

aussi assez aisément à des situations concrètes, comme les marchés financiers
ou autres casinos, comme aux chaînes de Markov abstraites.
Un sixième chapitre assez court sur les processus de Poisson clôt la par-
tie cours proprement dite. Ce chapitre sort du cadre des processus à temps
discret, puisque le temps y est continu, mais pas totalement, dans le sens où
c'est tout de même une suite d'instants (aléatoires) qui est l'âme de ces pro-
cessus. Leur intérêt réside dahs le fait qu'ils sont naturellement présents dans
plusieurs types d'applications, comme les files d'attente, les écoulements de·
trafic (clients, véhicules, etc.), voire la radioactivité.
Les exercices sont d'une part de difficulté variable, certains pouvant même
nécessiter une réflexion approfondie, et d'autre part d'importance inégale pour
la compréhension du cours proprement dit, bien que toujours soigneusement
choisis pour illustrer le propos principal et tenter de susciter l'intérêt et la
réflexion du lecteur. Environ une moitié d'entre eux peut être vue comme
faisant partie intégrante du cours, et est donc particulièrement nécessaire
à la bonne acquisition des notions et méthodes développées dans ce livre,
indépendamment de leur difficulté. Ils sont marqués d'un point noir : •, voire
de deux points noirs : •• quand ils sont essentiels au propos du cours. Tous
les exercices (hormis quelques uns des deux premiers chapitres) sont corrigés,
mais naturellement il est recommandé de les chercher sérieusement avant d'al-
ler voir la solution.
Ce livre s'achève avec une série de 34 problèmes résolus, eux aussi de diffi-
culté variable, destinés à la fciis à illustrer et à compléter le propos principal,
et souvent dans l'idée de donner une ouverture supplémentaire sur des ap-
plications et développements ultérieurs de la théorie, en particulier celle des
chaînes de Markov. Il est tout aussi recommandé de les chercher sérieusement
avant d'aller voir leur solution.
Afin de faciliter la lecture, un lexique détaillé, de notations mathématiques
comme de terminologie, est placé en fin d'ouvrage.
De nombreux autres livres, dont une partie de ceux cités en référence biblio-
graphique, présentent une intersection thématique plus ou moins importante
avec celui-ci, rendant difficile la prétention à une grande originalité ; toute-
fois une particularité notable est que celui-ci propose une importante série de
problèmes résolus. Cela mis à part, préférer l'un ou l'autre des livres dispo-
nibles est plutôt une affaire de goût, de style d'exposition, de centres d'intérêt,
de facilité plus ou moins grande d'accès. L'espoir de l'auteur est d'offrir avec
celui-ci tout à la fois un contenu raisonnablement accessible et complet, at-
tractif, et suffisamment varié, précis et clair pour retenir l'attention.
[Link]
[Link]
 Table des matières
Amis, je me remets à travailler; j'ai pris
Du papier sur ma table, une plume, et j'écris.
(Victor Hugo)

I. Fondements du calcul des probabilités 11

1.1 Probabilité; conditionnement ................................... 11
1.2 Variables aléatoires et leur lois .................................. 19
1.3 Lois usuelles .................................................... 27
1.4 Lemmes de Borel-Cantelli ....................................... 37
1.5 Transformées de Laplace et de Fourier .......................... 39
1.6 Convergences des variables aléatoires ............................ 41
1.7 Loi des Grands Nombres ........................................ 44
1.8 Théorème Central Limite ....................................... 45
II. Espérance conditionnelle 47
11.1 Espérance conditionnelle discrète ............................... 47
11.2 Autres propriétés de l'espérance conditionnelle ................. 52
11.3 Projection orthogonale dans L 2 ..••••••••••...••....••......... 54
11.4 Extension à L 1 ................................................. 58

III. Marches aléatoires sur zd 59

111.1 Marches aléatoires et temps d'arrêt ............................ 59
111.2 Temps de retour en 0 .......................................... 65
111.3 Récurrence des marches aléatoires simples ..................... 68
111.4 Récurrence des autres marches aléatoires ...................... 70
111.5 Loi de l' Arcsinus pour la marche simple sur '7l., .•••••..••••..••• 73
IV. Chaînes de Markov 79
IV.1 La propriété de Markov ....................................... 79
IV.2 Classification des états ........................................ 89
IV.3 Mesures invariantes des chaînes finies .......................... 94
IV.4 Mesures et probabilités invariantes ............................ 98
IV.5 Ergodicité .................................................... 104

[Link]
8 TABLE DES MATIÈRES

V. Martingales à temps discret 109

V.l Surmartingales et théorème d'arrêt ............................ 109
V.2 Inégalités ..................................................... 112
V.3 Convergence .................................................. 115
VI. Processus de Poisson 121
Vl.1 Processus de Poisson homogène réel .......................... 121
VI.2 Autres processus de Poisson .................................. 131
VII. Problèmes 133
VII.1 Convergences faible dans L 2 et en loi ............................... 133
VII.2 Loi des grands nombres et équirépartition ........................... 134
VII.3 Loi du logarithme itéré ............................................. 137
VII.4 Grandes déviations ................................................. 138
VII.5 Lemme de Blackwell et tribu FT .................................... 141
VII.6 Une file d'attente ................................................... 141
VII. 7 Un exemple de chaîne de Markov finie .............................. 144
VII.8 Un exemple de chaîne de Markov infinie ............................ 144
VII.9 Un modèle markovien d'endémie .................................... 145
VII.10 Un théorème limite quotient ....................................... 146
VII.11 Chaîne de Markov sur des configurations .......................... 148
VII.12 'fransition à puissance élémentaire ................................. 149
VII.13 Chaîne de Markov à transition coercive ............................ 149
VII.14 Méthode de Doeblin ............................................... 150
VII.15 Comparaison de deux chaînes de Markov .......................... 151
VII.16 Chaîne de Markov induite ......................................... 152
VII.17 Chemin de ronde .................................................. 154
VII.18 Chaîne de Markov et réseau électrique ............................. 155
VII.19 Opérateur associé à une transition ................................. 158
VII.20 Potentiel d'équilibre ............................................... 159
VII.21 Optimisation markovienne ......................................... 160
VII.22 Image d'une matrice I - P ........................................ 162
VII.23 Semi-groupe d'une matrice 6. = P - I ............................. 164
VII.24 Théorème du renouvellement ...................................... 165
VII.25 Temps moyens d'atteinte et pseudo-inverse ........................ 166

[Link]
TABLE DES MATIÈRES 9

VII.26 Processus de renouvellement sur N ................................ 168

VII.27 Algorithme de Propp-Wilson ...................................... 169
VII.28 Représentation déterministe d'une chaîne .......................... 171
VII.29 Asymptotique de temps d'atteinte ................................. 172
VII.30 Chaîne de Markov à boucles effacées ............................... 174
VII.31 Décomposition de Riesz ........................................... 176
VII.32 Décomposition de Krickeberg ...................................... 177
VII.33 Variables échangeables ............................................ 177
VII.34 Trou spectral et intégrabilité exponentielle ........................ 179

VIII. Solutions des exercices 181

VIIl.1 Réponses à certains exercices du chapitre 1 ................. 181
VIIl.2 Solutions des exercices du chapitre III ...................... 189
VIIl.3 Solutions des exercices du chapitre IV ...................... 202
VIII.4 Solutions des exercices du chapitre V ....................... 232
VIIl.5 Solutions des exercices du chapitre VI ...................... 248
IX. Corrigés des problèmes 259
X. Index des notations, figures et termes 339
X.l Notations générales ........................................... 339
X.2 Autres notations .............................................. 340
X.3 Table des figures .............................................. 341
X.4 Terminologie .................................................. 342

Bibliographie 345

Livre salutaire
Où le cœur s'emplit!
Où tout sage austère
Travaille et pâlit !
Dont le sens rebelle
Parfois se révèle !
Pythagore épèle
Et Moïse lit !
{Victor Hugo)

[Link]
[Link]
Chapitre 1

Fondements du calcul des

probabilités
Or du Hasard il n'est point de science :
S'il en était, on aurait tort
De l'appeler hasard, ni fortune, ni sort,
Toutes choses très incertaines.
(Jean de La Fontaine)

1.1 Probabilité; conditionnement

Une probabilité est d'abord une fonction qui à un événement associe un
nombre réel compris entre 0 et 1. Cela implique de préciser ce qu'est un
événement. Or cela n'a de sens que dans le cadre d'un ensemble d'épreuves
aléatoires ou tirages, qu'on note généralement n. Il peut s'agir par exemple
de lancers de dés ou de pièces de monnaie, de tirages d'urne, de durées de vie
(d'atomes ou d'individus), de tirs sur une cible, etc .. Ces premiers exemples
familiers montrent déjà que l'ensemble n peut être fini, dénombrable (ce qui
signifie : infini indexé par N ou N*), ou continu. Ce sera donc a priori un
ensemble non vide quelconque.
Lorsque n est fini ou dénombrable (c'est dire que ses éléments forment
une suite), toutes ses parties seront des événements. Tandis qu'en général
il est nécessaire de se restreindre à un sous-ensemble de parties de n : c r
P(O), qu'on nomme tribu (ou u-algèbre). On a naturellement besoin de pouvoir
considérer la réunion et la conjonction (l'intersection) de 2 événements, de
même que le complémentaire (le contraire) d'un événement; en outre il faut
aussi pouvoir considérer une réunion dénombrable d'événements. Enfin il est
naturel de considérer l'événement impossible (vide : 0) et l'événement certain
(sûr : 0). D'où la définition suivante.

[Link]
12 CHAPITRE I. FONDEMENTS DU CALCUL DES PROBABILITÉS

Définition 1.1.1 Une tribu (ou o--algèbre) est une partie T de P(O) stable
par réunion dénombrable et par passage au complémentaire, et contenant l'en-
semble vide 0. Le couple (0, T) est appelé espace probabilisable. Un événement
est un élément de T.

P(O) désigne l'ensemble de toutes les parties de n; Test donc un ensemble

de parties den. La stabilité par réunion dénombrable s'écrit formellement :
pour toute suite d'événements {En 1n E N} C T, leur réunion est aussi un
événement : LJ En E T.
nEN
La stabilité par passage au complémentaire s'écrit formellement : le com-
plémentaire Ec := n "'- E = {w E n 1w tf. E} de tout événement E est aussi
un événement : Ec E T.

r
la tribu P(O). Rappel : [ An = LJ A~; [ LJ An =
n
aussitôt les propriétés suivantes :
n n
r
Nota Bene Sur n fini ou dénombrable, on choisira toujours par défaut
n nn
A~. On vérifie

Proposition 1.1.2 n est un événement (certain). La réunion et l'inter-

section d'un nombre fini d'événements sont des événements. La différence
A "'-B := An Be et la différence symétrique AdB := (A "'-B) u (B"'-A) =
(AU B) "'-(An B) de deux événements A et B sont des événements. Toute
intersection dénombrable d'événements est un événement.

Nous pouvons maintenant définir rigoureusement ce qu'est une probabilité;

dans la pratique, ce sera le plus souvent soit une somme (soit finie, soit infinie,
c'est-à-dire une série) ou une intégrale (soit propre, dite de Riemann, soit
impropre). (Pour rassembler toutes ces possibilités, et d'autres encore, on parle
de mesure.)

Définition 1.1.3 Une probabilité sur l'espace probabilisable (n, T) est une
fonction lP de T dans [O, 1] qui vérifie : JP(n) = 1, et la propriété d'additi-
vité dénombrable : lP( LJ An) = 2: lP(An) pour tout suite {An 1 n E N}
. nEN nEN
d'événements deux à deux disjoints. Le triplet (n, T, lP) est appelé espace
probabilisé ou espace de probabilité. Les événements de probabilité nulle sont
dits négligeables. Les événements de probabilité 1 sont dits presque sûrs (et
«A= B p.s. » signifie que AdB est négligeable).

C'est toujours dans le cadre d'un espace de probabilité, plus ou moins

bien précisé, que peut avoir lieu un calcul de probabilité. Il est généralement
[Link]
I.1. PROBABILITÉ; CONDITIONNEMENT 13

préférable de bien le préciser. En effet c'est la non-précision de l'espace consi-

déré qui est à l'origine de paradoxes ou d'erreurs courantes sur les probabilités.
On vérifie aisément les propriétés suivantes :

Proposition 1.1.4 (i) L'événement impossible est négligeable: JP(0) =O.

(ii) ]p> est croissante : Ac [Link]} JP(A) :S JP(B), pour tous A, BE 7.

(iii) ]p>[ LJ An] :S E lP(An) pour tout suite {An ln EN} d'événements.
nEN nEN
(iv) JP(A '-B) = lP(A) - lP(B), lorsque A et B sont deux événements tels que
B CA. En particulier, lP(Ac) = 1 - lP(A) pour tout événement A.
(v) Toute intersection dénombrable d'événements presque sûrs est presque
sûre.
(vi) lP(A U B) = lP(A) + lP(B) - lP(A n B), pour tous A, BE 7.
(vii) lP est continue : lP [ LJ An] = lim JP(An) pour toute suite croissante
nEN n--+oo
d'événements {An 1n E N} (c'est-à-dire telle que An C An+l pour tout n);
et de même lP [ n Bn]
nEN
= lim lP(Bn) pour toute suite décroissante d'évé-
n--+oo
nements {Bn 1n EN} (c'est dire que Bn ::J Bn+l pour tout n).

Exercice 1.1.5 • Établir (dans l'ordre) les propriétés de la proposition I.1.4.

1.1.6 Exemples

1. Probabilité discrète sur un ensemble n = {w1, ... , wN} fini :

elle est clairement définie par la liste des probabilités des singletons : Pi :=
JP({wi}). Nous avons en effet lP(A) = E Pi pour toute partie Ac n.
w;EA
N
Réciproquement, toute liste {p1, ... ,pN} de réels Pi 2: 0 tels que E Pi = 1
i=l
définit bien (par la même formule) une probabilité unique sur n.
Exemples concrets : lancers de dés, de pièces de monnaie, tirages de cartes à
jouer, tirages de boules dans des urnes, loteries, etc ...

2. Probabilité discrète sur N (ou sur tout autre ensemble dénombrable) : elle
est encore définie par la liste des probabilités des singletons : Pi := JP( {wi}).
Nous avons en effet lP(A) = E Pi pour toute partie A c N. La seule
w;EA
[Link]
14 CHAPITRE I. FONDEMENTS DU CALCUL DES PROBABILITÉS

différence avec le cas précédent est que la somme peut être une série (c'est-à-
dire comporter une infinité de termes).
Réciproquement, toute suite {Pi J j E N} de réels Pi ~ 0 tels que L: Pi = 1
i~l
définit bien (par la même formule, forcément convergente) une probabilité
unique sur N.

3. Cordes (paradoxe de Bertrand). On tire une corde au hasard dans un

disque de rayon R. Quelle est la probabilité que la longueur f de la corde soit
~ R?
a. f varie continûment dans [O, 2R], de sorte que la probabilité cherchée vaut
1/2.
b. f est déterminée par la distance d de la corde au centre du disque ; d varie
continûment dans [O, R], et f, = 2../R2 - d2 ~ R <=> d ::; R../3/2, de sorte que
la probabilité cherchée vaut ../3/2.
c. f, est déterminée par le milieu M de la corde, qui varie continûment dans
le disque ; et f ~ R a lieu si et seulement si M est dans le disque concentrique
de rayon ../3/2, de sorte que la probabilité cherchée vaut 3/4.
Explication : la probabilité choisie est très insuffisamment précisée par l'ex-
pression« tirage au hasard». Ici on a considéré successivement la probabilité
uniforme sur l'ensemble : des longueurs, des distances au centre, des milieux.
Ce sont trois probabilités différentes!
4. Jeu de pile ou façe illimité; première apparition de «pile», ou d'une
quelconque séquence donnée.

Exercice 1.1. 7 Une armoire contient 10 paires de chaussures, parmi les-

quelles on prélève au hasard 8 chaussures. Quelle est la probabilité d'avoir
ainsi k paires de chaussures exactement ?

Exercice 1.1.8 Une urne contient n boules noires et b boules blanches. Deux
joueurs X et Y tirent avec remise une boule dans l'urne, tour à tour, X tirant
le premier. Quelle est la probabilité que X soit le premier à tirer une boule
noire? Même question lorsque les tirages sont effectués sans remise. (On ne
cherchera à calculer la somme obtenue que dans le premier cas.)

Exercice 1.1.9 Un joueur X lance 2 dés usuels, et obtient ainsi la somme S.

a) Calculer la probabilité de {S > n}, en fonction des différentes valeurs de
l'entier n.

[Link]
I.1. PROBABILITÉ; CONDITIONNEMENT 15

b) Un joueur Y relance les 2 dés et obtient une somme T. Quelles sont les
probabilités que S = T, que S > T, que S ~ T ?

Proposition 1.1.10 {Formule du crible, de Poincaré) Pour tout espace pro-

babilisé {n, 7, JP>), tout entier n E N*, et tous événements Ai, ... , An , nous
avons :
n
JP>[A1U ... UAn] = L(-l)k-l L JP>[Ai1 n ... nAik].
k=l 1::;i1::; ... ::;ik::;n

Exercice 1.1.11 Prouver la proposition I.1.10, par récurrence sur n.

Exercice 1.1.12 Un sac contient n jetons numérotés de 1 à n, qu'on tire

tous un par un, sans remise. a) Calculer la probabilité Pn qu'au moins un
jeton sorte au rang indiqué par son numéro, sa limite Poo , et majorer IPn -Poo I·
b) Soit Pn(k) := JP>(exactement k jetons sortent au rang indiqué par leur
numéros), pour k E {O, ... , n}. Déduire de a) ci-dessus une formule pour
Pn(k), puis lim Pn(k) (pour tout k EN).
n--+oo

1.1.13 Probabilités conditionnelles

Définition 1.1.14 (Probabilité conditionnelle) Fixons un espace de probabi-

lité (0, 7, JP>) et un événement C E 7, non négligeable. La probabilité condi-
tionnelle relative à C (ou « sachant C ») est définie par :
JP>(A/C) := JP>(A n C)/JP>(C).

On vérifie immédiatement qu'il s'agit encore d'une probabilité sur (0, 7).

Exercice 1.1.15 Lancer de 2 dés usuels: n = {1, ... , 6} 2 , avec JP> uniforme.
Soient X 1 Je chiffre indiqué par le premier dé, S la somme des chiffres indiqués
par les 2 dés, et C := {S = 5}. Dresser le tableau des valeurs de JP>(·/C), puis
de JP>(X1 = ·/C).

Exercice 1.1.16 Vous attendez un ami de Vancouver, qui voyage jusqu'à

Strasbourg avec changement d'avion à New York, Londres et Francfort. La pro-
babilité d'attentat est estimée à p pour chacun des 4 vols, avec indépendance
entre les 4 vols. Votre ami n'arrivant pas, quelle est la probabilité que l'atten-
tat dont il a été victime ait eu lieu: a) dans le 1er avion? b) dans le 2e avion?
c) dans le 3e avion? d) dans le 4e avion? Pourquoi la somme ne vaut-elle pas
1?
[Link]
16 CHAPITRE I. FONDEMENTS DU CALCUL DES PROBABILITÉS

Pour effectuer un calcul, il est très souvent indispensable de pouvoir « dis-

tinguer des cas». Cela s'exprime par la formule suivante, très élémentaire et
très utile à la fois.

Proposition 1.1.17 (Formule des probabilités totales) Fixons un espace de

probabilité (n, /,]p>) et une partition (presque sûre) den en événements non
N
négligeables: presque sûrement n = lJ Ci (et 1 ::; j < k::; N =? CinCk = 0).
j=l
N
Alors nous avons ]p>(A) = l: ]p>(A/Cj) ]p>(Cj), pour tout événement A. Cela
j=l
vaut aussi pour toute partition dénombrable : si n = lJ Cj presque sûrement,
jEN
alors ]p>(A) = l: ]p>(A/Cj) ]p>(Cj)·
jEN

On a souvent à inverser un conditionnement. Cela se fait simplement, au

moyen de la formule élémentaire suivante, très utile aussi, quoiqu'également
de preuve immédiate.
Proposition 1.1.18 (Formule de Bayes) Fixons un espace de probabilité
(n, 7, ]p>), et une partition presque sûre de n en événements non négligeables :
N
n = lJ Cj presque sûrement. Alors nous avons pour tout événement non
j=l
négligeable A et tout k E {1, ... , N} :
N
Il'(c.1A) = Il'( A/c.) Il'(c.) / ~ Il'( A/C;) Il'(C;) '
Exemple: Les candidats à un examen proviennent de 4 lycées K,L,V,W, à
raison de 203 pour K, de 253 pour L, de 153 pour V, et de 403 pour W. K
enregistre 353 de succès, L 303, V 503, W 453. Alors la probabilité qu'un
J
candidat reçu provienne de K est 0 , de L est 136 , de V est 136 , de W est io .
Exercice 1.1.19 • Vérifier que la probabilité conditionnelle ]p>(-jC) de la
définition I.1.14 est bien une probabilité sur (n, /), et établir les propositions
I.1.17 et I.1.18. Vérifier que conditionner successivement par deux événements
C et C' d'intersection non négligeable revient à conditionner par leur inter-
section: ]p>( · /C /C') = ]p>(-jC n C').

Exercice 1.1.20 Vous allez chez des gens dont vous savez qu'ils ont 2 en-
fants, dont au moins une fille. a) Quelle est la probabilité que l'autre enfant
soit aussi une fille?
[Link]
I.1. PROBABILITÉ; CONDITIONNEMENT 17

b) Une fille vous ouvre la porte; quelle est la probabilité que l'autre enfant
soit aussi une fille ?

Exercice 1.1.21 'Irois condamnés X, Y, Z sont informés que l'un d'eux,

choisi au hasard, va être exécuté, et que les 2 autres vont être libérés. Mais
ils ne doivent pas encore savoir qui le hasard a désigné. X demande au geôlier
de lui nommer l'un de ses 2 codétenus devant être libéré, arguant que cette
information serait innocente, puisqu'il sait que l'un des 2 au moins doit l'être.
Le geôlier refuse, arguant que cette information modifierait réellement l'esti-
mation que X peut faire de ses chances. Qui a raison ?

Exercice 1.1.22 Un livre a une probabilité p > 0 de se trouver dans une

commode comportant k tiroirs, et des chances égales de se trouver dans chacun
des tiroirs.
a) ({J}) On ouvre les (k - 1) premiers tiroirs, sans le trouver; quelle est la
probabilité de le trouver dans le dernier tiroir ?
b) Soit j E {2, ... , k- l}. On ouvre les (k-j) premiers tiroirs, sans le trouver;
quelle est la probabilité de le trouver dans le dernier tiroir? dans l'un des j
derniers tiroirs ?

Exercice 1.1.23 Le quart d'une population est vacciné contre le choléra. Au

cours d'une épidémie, on constate qu'il y a parmi les malades un vacciné pour
4 non-vaccinés, et qu'il y a un malade sur 12 parmi les vaccinés. Quelle est la
probabilité qu'un non-vacciné tombe malade? Le vaccin est-il [Link]?

1.1.24 Événements indépendants

L'indépendance est au cœur de la théorie des probabilités. Abordons-la

doucement, en commençant par le cas des événements. Le cas général des
variables aléatoires viendra ensuite (section 1.2.20).

Définition 1.1.25 Fixons un espace de probabilité (0, T, IP). Deux événe-

ments A et B sont dits indépendants lorsque IP(A n B) = IP(A) x IP(B).

Exemples : 1) «tirer un roi» et «tirer un trèfle», dans un jeu de bridge

ou de belote.
2) Lors du lancer de 2 dés : «obtenir un chiffre pair avec le 1er dé» et« obtenir
un 6 avec le 2e dé»= {X2 = 6}; noter que ces tirages sont indépendants au
sens usuel.
[Link]
18 CHAPITRE I. FONDEMENTS DU CALCUL DES PROBABILITÉS

3) Lors du lancer de 2 dés : «obtenir une somme paire» et «obtenir 5 avec

le 2e dé».
4) Lors du lancer de 2 dés : «obtenir une somme S égale à 7 » = {S = 7}
et « obtenir un produit égal à 12 » ne sont pas indépendants.
5) Lors du lancer de 2 dés : {S = 7} et {X2 = 2}, ou bien {S = 6} et
{X2 = 2}.
6) Lors du lancer de 2 dés : «obtenir un produit pair» et «obtenir 5 avec
le 2e dé».

Exercice 1.1.26 Montrer que 2 événements A et B sont indépendants si et

seulement si A et Be le sont, et si et seulement si Ac et Be le sont, ou bien
encore (lorsqu'ils sont non négligeables) si et seulement si JP>(A/ B) = JP>(A), et
si et seulement si JP>(B/A) = JP>(B).

Définition 1.1.27 Fixons un espace de probabilité (0, T, JP> ). Des événe-

ments Ai, ... , An sont dits indépendants lorsque
JP>( A 1 n Ai2 n ... n Aik) = JP>( Ai1) JP>( Ai2 ) ••• JP>( Aik)
pour tous 1 :'.S ii < ... < ik :'.S n. Les événements d'une suite sont dits
indépendants lorsque toute sous-suite finie est constituée d'événements indé-
pendants.

Proposition 1.1.28 Les événements Ai, ... , An sont indépendants si et

seulement si JP>(A~ 1 n A~2 n ... n A~n) = JP>(A~ 1 ) JP>(A~2 ) ••• JP>(A~n)
pour tout choix de êi, ... , ên , avec soit A? = Aj soit A? = Aj .

Preuve. Pour le sens direct, on vérifie par récurrence sur k E { 0, ... , n} que
pour tout choix de êi, ... , êk, tout RE {k + 1, ... , n} et tous ik+l, ... , ie E
{ k + 1 ... , n}, on a :

p [A~ 1 n ... n A~k n Âik+l n ... n Ait] = P[A~ 1 J ... JP>[A~k] X JP>[Aik+1l ... JP>[Ait].
Pour la réciproque, si ii, ... , ik sont fixés dans {1, ... , n}, on note
{ji, ... ,in-k} := {1, ... ,n}'-{i1, ... ,ik}, et on applique la formule des pro-
babilités totales avec la partition { A;: 1 n ... n A;:~~k j ê ii, ... , ê in-k = ou c}
(c'est bien une partition de n' car l'ensemble des intersections des éléments
de 2 partitions en forme encore une). <>

[Link]
I.2. VARIABLES ALÉATOIRES ET LEUR LOIS 19

Exercice 1.1.29 a) On jette un dé normal n (~ 3) fois de suite. Montrer

que les événements {les lancers j et k donnent le même résultat} sont deux à
deux indépendants, mais non indépendants.
b) Sur n :={a, b, c, d} on définit JP' par: JP'( {a})= a, JP'( {b}) = ,8,
JP'( {c}) = 'Y , JP'( {d}) = ô . '.frouver les valeurs de a, ,8, 'Y , ô telles que les
événements A := {b, c} , B := {c, a} , C := {a, b} soient 2 à 2 indépendants
mais non indépendants.
c) Pour ridiculiser un astrologue (ou un« voyant», ou n'importe quelle autre
sorte de charlatan), on le défie de prédire le résultat de 12 lancers successifs
d'une pièce de monnaie usuelle. Quelle est la probabilité (en fonction den E
{O, 1, ... , 5}) qu'il se trompe au plus n fois?

1.2 Variables aléatoires et leur lois

Définition 1.2.1 Une variable aléatoire(« v.a. » en abrégé) est une fonction
V définie sur un espace de probabilité {n, T, JP') et à valeurs dans Rd, telle que
{VEE} := v- 1 (E) E 7, pour tout E pavé {ou ouvert ou fermé) de ~d. Sa
loi est la probabilité IP'v := Jp> 0 v- 1 sur ~d' définie par :
IP'v(E) := IP'(v- 1 (E)) = JP'(V E E).
Lorsque d = 1, on parle de variable aléatoire réelle, « v.a.r. » en abrégé.
La tribu engendrée par des variables aléatoires Vi, ... , Vn est la plus pe-
tite tribu a{Vi, ... , Vn} c 7 qui contient tous les événements de la forme
(Vi, ... , Vn)- 1 (E).

On vérifie immédiatement que la loi d'une variable aléatoire est bien une
probabilité (sur V(n) c ~d, ou directement sur Rd, la tribu étant celle des
«boréliens», engendrée par les pavés ou par les ouverts ou par les fermés
de Rd). Notons que dans le cas où n est discret (fini ou dénombrable), dans
la définition ci-dessus la condition de mesurabilité sur V est vide, c'est-à-dire
qu'elle est forcément vérifiée par n'importe quelle fonction V. Rappelons que
v- 1 ( LJ Ei) = LJ v- 1 (Ei), v- 1 ( nEi) = nv- (Ei)·
1
i i i i
La tribu engendrée par Vi, ... , Vn est aussi la tribu a{V} engendrée par
V := (Vi, ... , Vn); c'est l'intersection de toutes les sous-tribus de 7 contenant
les {VEE} (pour tout E ouvert, ou borélien), et c'est aussi la plus petite tribu
sur n faisant de V une variable aléatoire. Rappelons encore que v- 1 ( Ec) =
(v-1(E)t.

[Link]
20 CHAPITRE I. FONDEMENTS DU CALCUL DES PROBABILITÉS

On vérifie les propriétés suivantes, qui autorisent toutes les opérations

usuelles sur les variables aléatoires.

Proposition 1.2.2 Une fonction den dans Rd est une v.a. si et seulement
si ses coordonnées (dans n'importe quelle base de Rd) sont des v. a. r. Une
combinaison linéaire de v.a. est encore une v.a. Un produit de v.a.r. est une
v.a.r. La composée d'une v.a. par une fonction continue de Rd dans Rd' est
encore une v. a.

Exemples. La somme et le produit des chiffres indiqués par 2 dés; les durées
de vie de particules fissiles; le nombre de fois qu'une suite de N lancers d'une
pièce de monnaie donne pile; les temps qu'il faut attendre pour tirer dans une
urne, lors de tirages successifs, une boule rouge, une boule verte ; ou bien lors
de lancers illimités d'une pièce, pour obtenir une séquence donnée ; etc ..

Remarque 1.2.3 La fonction de répartition d'une v.a.r. X est la fonction

xi-----+ Fx(x) := lP(X ::; x) = lPx (l-oo, xl) de R dans [O, 1], qui est croissante,
continue à droite, et vérifie lim Fx = 0 , lim Fx = 1 . Elle détermine la loi
-OO +oo
lPx de X. On appelle médiane de X (ou de sa loi) tout réel m tel que
=
Fx(m-) limFx::; ~ ::; Fx(m).
m-

La notion d'espérance est fondamentale dans la théorie des probabilités. Il

s'agit en fait d'une somme ou d'une série ou d'une intégrale, qui est aussi une
moyenne.

Définition 1.2.4 L'espérance d'une variable aléatoire V définie sur un es-

pace de probabilité (0, /, lP) est son intégrale par rapport à la probabilité lP :

lE(V) := ln V dlP.

Elle existe lorsque {la norme de) V est intégrable, c'est-à-dire lorsque lE(llVll)
est finie, auquel cas lE(V) E Rd, ou bien lorsque V est réelle ~ 0 , auquel cas
lE(V) E [O, oo].

Exemple Lorsque n= { W1' ... ' wN} est fini, ]p> étant donnée par la liste des
N
probabilités des singletons: Pi:= lP({wj}), on a lE(V) = L: Pi V(wj): c'est
j=l
une moyenne pondérée. Lorsque n = {w1, ... ,wn, .. .} est dénombrable, on a
une série: lE(V) = L: Pi V(wj)·
j;:::l
[Link]
I.2. VARIABLES ALÉATOIRES ET LEUR LOIS 21

Proposition 1.2.5 Soient V une v.a. et f une fonction continue bornée de

]Rd dans ]Rd'. Alors

JE(! o V) = { f oV dJlD = { f dPv .

ln lRd
Lorsque la loi de V (ou V elle-même) est discrète, c'est-à-dire lorsque presque
sûrement V ne prend qu'un ensemble fini ou dénombrable de valeurs, alors
nous avons
JE(! o V)= L
f(v) JP>(V = v),
V

cette série convergeant dès que f o V est intégrable (ce qui a lieu par exemple
dès que V ne prend qu'un nombre fini de valeurs, ou encore, dès que f est
bornée).

Justification. Pour toute v .a. discrète V = L: Vj lAi (avec les Vj distincts

j

2à2),ona: { foVdJP>=Lf(vj) { lAidJP>

ln i ln
= ~ f(vj)JP>(Aj) = ~ f(vj)JP>v({vj}) = kdfdJIDv.
J J

Comme toute intégrale, l'espérance est linéaire, propriété générale et fon-

damentale.
Proposition 1.2.6 L'espérance est linéaire : pour toutes variables aléatoires
intégrables Vi, ... , VN et tous réels >.1, ... , ÀN, nous avons

JE ( j~ Àj Vj) = j~l Àj JE(Vj) .

En particulier, l'espérance d'une variable aléatoire vectorielle intégrable a dans
n'importe quelle base (déterministe) pour coordonnées les espérances des co-
ordonnées.

Exercice 1.2. 7 On tire au hasard et sans remise toutes les boules d'une
urne remplie de r boules rouges et n boules noires.
a) Montrer que la probabilité de tirer une boule rouge au k-ième tirage
ne dépend pas de k. (Il y a au moins 2 solutions bien différentes : soit par
récurrence, soit en considérant directement l'ensemble de tous les tirages ex-
haustifs possibles.)
b) Quelle est l'espérance du rang de la j-ième boule rouge? (Calculer la loi
du vecteur (X1,X2-X1, ... ,Xr -Xr-1,r+n+ 1-Xr), Xj désignant le rang
de la j-ième boule rouge).
[Link]
22 CHAPITRE I. FONDEMENTS DU CALCUL DES PROBABILITÉS

Exercice 1.2.8 • Une urne U contient initialement 2 boules blanches, et

une urne U' 2 boules noires. A chaque instant, on tire au hasard une boule par
urne, et on les interchange. Notons Xk le nombre de boules blanches dans U
au k-ième instant, et vk le vecteur-colonne donnant la loi de xk.
a) Quelle est la relation entre Vk+l et Vk? b) Calculer lim lP'(Xk = 2).
k-+oo
Soient T le premier instant où U contient deux boules noires,
Pk := lP'(T ~ k, Xk = 1), et qk := lP'(T ~ k, Xk = 2).
c) Exprimer (pk+li qk+I) en fonction de (pk, qk), puis Pk+l en fonction de
(Pk1Pk-1).
d) Déduire la valeur de Pk, puis la loi de T. Que vaut lP'(T = oo)?

Exercice I.2.9 {[M-Nj) Un marchand de journaux a X clients par jour,

X étant une variable aléatoire entière intégrable, de loi supposée connue. Il
gagne a par journal vendu, perd b par journal invendu, et perd c par client
insatisfait. Quel est le nombre n de journaux qu'il doit commander par jour
pour optimiser son gain moyen ?

Définition I.2.10 Une variable aléatoire V à valeurs dans ]Rd et définie sur
un espace de probabilité (0, T, lP') admet la densité h lorsque sa loi est donnée
par : pour toute fonction f continue bornée de ]Rd dans lR,

JE(JoV) := { j(v)h(v)dv.
lR.d
Une telle variable aléatoire V est dite « à densité » ou bien « absolument
continue ». Étant donné que cette propriété ne dépend que de la loi de V, la
même terminologie s'applique aussi aux lois.

Notons tout de suite que la densité h est forcément une fonction intégrable
de ]Rd dans lR+, d'intégrale égale à 1. Réciproquement, toute telle fonction est
la densité d'une certaine variable aléatoire à valeurs dans JRd.
Attention, la plupart des variables aléatoires ne sont ni discrètes ni à den-
sité! Il suffit de songer par exemple à une variable aléatoire V égale à une
v.a. discrète X avec probabilité 1/2 et à une v.a. absolument continue Y avec
probabilité 1/2 : lP'v = (lP'x + lP'y )/2. Imaginons par exemple un tir sur cible,
avec probabilité 1/2 de rater la cible, auquel cas V prend la valeur disons -1,
et probabilité 1/2 d'atteindre la cible, auquel cas V prend ses valeurs dans le
disque formé par la cible, avec par exemple la loi uniforme sur ce disque.

[Link]
I.2. VARIABLES ALÉATOIRES ET LEUR LOIS 23

Cela dit les lois usuelles, c'est-à-dire celles qu'on rencontre le plus souvent,
sont discrètes ou à densité (c'est-à-dire que ce sont les lois de v.a. discrètes ou
à densité).

Définition 1.2.11 Une variable aléatoire V {définie sur un espace de proba-

bilité (n, r, IP')) est dite de carré intégrable ou dans L2 lorsque JE(llVll 2) <OO.
Elle est alors nécessairement intégrable (« dans L 1 » ).
La variance d'une v. a. r. V de carré intégrable est :

Var(V) := JE [IV - JE(V) 12] = lE(V 2) - lE(V) 2 .

La covariance de deux v. a. r. V, V' de carré intégrable est :

Cov(V, V') := JE [(V - JE(V)) x (V' - JE(V'))] = JE(VV') - JE(V) JE(V') .

La matrice de covariance (ou de dispersion} d'une variable aléatoire V

(Vi, ... , Vd) E Rd de carré intégrable est la matrice de format d x d :

Kv := JE[t(v -JE(V)) x (V -JE(V))] = JE(fvv) -JE(tv)JE(V)

= ((Cov(Vi, Vj)))l<i '<d.

- ,J_

Proposition 1.2.12 La covariance est bilinéaire, symétrique, positive, et

Var(V) est nulle si et seulement si V est presque sûrement constante. En outre
Var(.X V + V') = .X 2Var(V) + 2 .X Cov(V, V') + Var(V').

Preuve. : La symétrie : Cov(V, V') = Cov(V', V) est évidente. La linéarité

à gauche : Cov(a1 Vi + a2V2, V') = aiCov(Vi, V')+ a2Cov(V2, V') découle
immédiatement de la linéarité de l'espérance. Par symétrie elle entraîne la
linéarité à droite, et donc la bilinéarité. La positivité : Cov(V, V) = Var(V) 2
0 est claire. Ensuite, Var(constante) = 0 est clair, et réciproquement, si
lP' [V =f JE(V)] > 0 , alors il existe c > 0 tel que lP' (IV - JE(V) 1 > c) > c , de
sorte qu'alors Var(V) = JE(IV - JE(V)l2) > c x c2 > 0. Enfin, la dernière
formule découle très simplement du développement du carré d'une somme et
de la linéarité de l'espérance (détails à rédiger en exercice). <>
Constatant que le trinôme en À de cette proposition doit toujours être
positif ou nul, et donc doit avoir son discriminant négatif ou nul, on obtient
immédiatement l'inégalité de Schwarz (dite aussi de Cauchy-Schwarz) :

[Link]
24 CHAPITRE I. FONDEMENTS DU CALCUL DES PROBABILITÉS

Corollaire 1.2.13 (Inégalité de Schwarz) La covariance est majorée par le

produit des écart-types: ICov(V, V')I :::; u(V)u(V'), où u(V) := JVar(V) est
l'écart-type de la v.a.r. V. De sorte que le coefficient de corrélation linéaire
e(V, V') := ~~;~~(~:~ (défini pour V et V' E L 2 et non presque sûrement
constantes) appartient à [-1, l]. Il vaut ±1 si et seulement si V= aV'+ b
(presque sûrement, pour a, b réels fixés).

Exercice 1.2.14 • a) Vérifier que

K v = JE( tv V) - tJE(V) lE(V) = (( Cov(lti, Vj) )) 1-<i ,J_
"<d •

b) Vérifier que Vu E Rd, Var(utV) = uKv 1U = l.: uiuiCov(Vi, Vj).

l::;i,j~d

c) Montrer que K v est une matrice symétrique, et positive : vKv ÎJ 2 0

(V V E Rd).
d) Montrer que Kv est inversible si et seulement si il n'existe pas d'hyperplan
de Rd contenant presque sûrement V.
e) Soit M une matrice réelle à n lignes et d colonnes. Calculer lE(MV) et
KMv· Même question pour AV, si A est une application affine de Rd dans
Rn.

Exercice 1.2.15 .. (Inégalité de Markov, ou de Bienaymé-Tchebitchev)

Vérifier que Jp>[IVI 2 v] :::; lE[IVlk]/vk, pour tous v > 0 et k 2 O.

Exercice 1.2.16 (Neveu) Vous écrivez chaque jour avec probabilité 1 si

vous n'avez pas écrit la veille, et avec probabilité 1/2 sinon. Montrez que vous
écrivez ainsi en moyenne 243 lettres par an. (Considérer pour chaque jour la
variable indicatrice de l'événement« écrire ce jour-là».)

L'inégalité suivante est une importante inégalité de convexité (dans laquelle

on peut avoir lE[cp o X]= oo).

Théorème 1.2.17 (Inégalité de Jensen) Soient X une variable aléatoire

intégrable à valeurs dans Rd, et cp une fonction réelle convexe sur Rd. Alors
nous avons
cp(lE[Xl) :::; lE[cp o X] .

Preuve. Il suffit de noter que par convexité, cp est nécessairement le maximum

de toutes les fonctions affines [x 1--7 a· x + b] qu'elle majore, ce qui définit un
[Link]
I.2. VARIABLES ALÉATOIRES ET LEUR LOIS 25

ensemble E c Rd x IR de couples (a, b) tels que c.p(x) =max {a· x + b 1 (a, b) E

E} pour tout x E Rd. Ce constat entraîne : JE[c.p o X] ~ JE[a ·X+ b] =
a. JE[X] + b = c.p(JE[XJ), simplement en choissant (a, b) E Etel que la dernière
égalité ait lieu. o
Exemples. 1) Si 0 < p < q < oo , alors pour toute variable aléatoire
réelle ou complexe Z nous avons JE [IZIP] l/p ~ JE [IZlq] l/q. Il suffit en effet de
prendre c.p(x) = lxlq/p et X= IZIP.
2) Si p > 1, alors lz1 + · · · + znlP ~ nP- 1(lz1IP+ · ·+lznlP), pour tous n EN*
et z1, ... ,zn E <C. Il suffit en effet de choisir lP uniforme sur n = {1, ... ,n},
X(j) := Zj, et c.p(z) = lzlP.

Rappelons le théorème essentiel suivant, qui concerne non seulement des es-
paces de probabilité mais plus généralement des espaces« mesurés» (E, 7, µ),
de définition semblable à la définition 1.1.3, sauf que la masse totale de la
mesure positive µ n'est plus nécessairement égale à 1, et peut être infi-
nie. Comme par exemple l'ensemble discret (N, P(N), (Pj)jeN) muni de poids
Pi ~ 0, définissant µ(A) := E Pi E IR+ pour tout A c N; ou encore
jEA

(1Rd,B(1Rd),h(x)dx), définissant µ(B) := l h(x)dx E IR+.

Si (Ei, Ti, µi)i::;i9 sont deux espaces mesurés, on note usuellement 'Ti© T2 la
«tribu produit» engendrée par les deux projections canonique ('rri, 7r2), c'est-
à dire la plus petite tribu sur E1 x E2 contenant tous les produits Al x A2 (pour
Ai E Ti), et µ1 ©µ2 la« mesure produit» (un théorème en établit l'existence),
seule mesure sur E1 x E2 telle que µ1 © µ2(A1 x A2) := µl(A1) x µ2(A2) pour
tous Ai E 1i.

Théorème 1.2.18 (de Fubini) Soient (Ei, Ti, µih::;i9 deux espaces mesurés,
et X une variable aléatoire réelle définie sur (E1 x E2, 'Ti @72, µ1 ©µ2), qu'on
suppose soit positive soit intégrable. Alors nous avons

Exercice 1.2.19 • Montrer qu'on a JE(Z) = fo 00

IP(Z > s) ds pour toute
variable aléatoire Z ~ O. Particulariser au cas où Z prend ses valeurs dans
N.

[Link]
26 CHAPITRE I. FONDEMENTS DU CALCUL DES PROBABILITÉS

1.2.20 Variables aléatoires indépendantes

Définition 1.2.21 Fixons un espace de probabilité (n, T,H!'). Des v.a.

Vi, ... , Vn, ... définies sur (n, 7) sont dites indépendantes lorsque pour tous
B1, ... , Bn, ... , les événements {Vi E B1}, ... , {Vn E Bn}, ... sont indé-
pendants (au sens de la définition J.1.27).

Proposition 1.2.22 Les v.a. Vi, ... , Vn, ... sont indépendantes si et seule-
ment si

pour tout n EN* et toutes fonctions (mesurables) positives Ji, ... , fn.
Cela se dit aussi sous la forme : la loi de (Vi, ... , Vn, ... ) est le produit des
lois des Vn. En particulier, lorsque les v. a. r. indépendantes Vj admettent des
densités hj sur R, alors la v. a. (Vi, ... , Vn) admet la densité h1 © ... © hn
sur Rn (définie par: h1 © ... © hn (x1, ... ,xn) := h1(x1) X ... X hn(xn)).

Remarque 1.2.23 1) Les événements A1, ... , An, ... sont indépendants ssi
les v.a. 1A11 ••• , lAn, ... sont indépendantes (revoir la proposition 1.1.28, sec-
tion 1.1.24).
2) Si des v.a.r. Vi, ... , Vn, .. E L 2 sont indépendantes, alors leurs covariances
sont nulles. Mais la réciproque est fausse. Voici trois sortes de contrexemples :
a) Si G de loi N(O, 1)) et é de loi B( ± 1, U
sont indépendantes, alors
Cov(G,éG) = 0, mais H!'(G+éG = 0) =~contredit l'éventuelle indépendance
de G et de éG.
b) Cas de Vi, ... , Vn, ... indépendantes 2 à 2, mais non indépendantes.
c) Cas de Vi, ... , Vn, ... indépendantes mais de carré non intégrable.
3) Les v.a. discrètes Vi, ... , Vn, ... sont indépendantes si et seulement si
pour tous v1, ... , Vn, ... les événements {Vi = v1}, ... , {Vn = Vn}, ... sont
indépendants.

Exemples : les résultats de différents dés, de lancers successifs d'une pièce,

de tirages successifs (roulette, ... ), les durées de vie de différents atomes fissiles
(en l'absence de toute réaction en chaîne), etc ...

Exercice 1.2.24 Soient X, Y deux variables aléatoires indépendantes, de

densité respectivement f,g, avec n EN*, g(y) = l{y>o}Àe->.Y, et f(x) =
l{x>O} (n~l)! xn-le->.x. Calculer la densité de X + Y, puis E(X +Y) et
Var(X +Y).
[Link]
I.3. LOIS USUELLES 27

Exercice 1.2.25 ([Ne2}} Soient X et Y 2 v.a.r. indépendantes, admettant

toutes 2 la densité t M C 2 l[l,oo[(t). On pose U := XY et V := X/Y.
Calculer les lois de (U, V), de U, et de V. U et V sont-elles indépendantes?
Calculer IE(u- 1/ 2 v- 1 ).

Exercice 1.2.26 On effectue n tirages indépendants avec remise dans une

urne contenant une proportion Pj de boules marquées j, pour 1 ~ j ~ r ,
r > 1 étant fî.xé. On note Nj le nombre de boules marquées j qu'on tire ainsi.
Préciser la loi du vecteur N := (N1, ... , Nr), et calculer l'espérance et la
variance de Nj, la covariance de Nj et Nk, et le nombre moyen de j tels que
Nj =O.

1.3 Lois usuelles

1.3.1 Lois usuelles discrètes

Définition 1.3.2 La loi uniforme sur un espace de probabilité fini est celle
qui attribue la même valeur à tous les singletons.

Remarque 1.3.3 Si lP' est uniforme sur n fini, alors IP'(A) = g:~~~~j pour
toute partie A de n.

Exercice 1.3.4 Calculer l'espérance et la variance d'une variable aléatoire

uniforme sur un intervalle de Z.

Définition 1.3.5 La loi de Bernoulli de paramètre p, notée B(p), est sur

l'espace {O, 1} la loi {de probabilité} qui attribue la valeur p au singleton {1}.
Ici 0 ~ p ~ 1.

Toute variante déduite par une application affine, c'est-à-dire toute loi sur
une paire {a,b} i= {0,1} (souvent {-1,1}), sera encore dite de Bernoulli, et
notée B( a, b; p) ; ce qui ne devrait pas induire de confusion avec les lois B( n, p)
ci-dessous.

Exercice 1.3.6 Une enveloppe contient un chèque de a€ et une autre un

chèque de b €, avec 0 ~ a < b. Soient X une variable de loi B(a, b; ~), qui
représente l'enveloppe qu'un candidat tire, et V une variable aléatoire 2: 0
indépendante de X. Le candidat choisit l'enveloppe qu'il a tirée si X 2: V, et
l'autre sinon. Quel est son gain moyen? Comment faut-il choisir V pour être
sûr qu'il sera > lE(X) quels que soient a et b ?
[Link]
28 CHAPITRE I. FONDEMENTS DU CALCUL DES PROBABILITÉS

Définition 1.3. 7 La loi binômiale de paramètres n et p (pour n E N* et

0 ~ p ~ l} notée B(n,p), est sur l'espace {O, ... ,n} la loi {de probabilité) qui
attribue la valeur C~pk(l - pr-k au singleton {k}.

Remarque 1.3.8 C'est la loi de la somme de n variables aléatoires indépen-

dantes de même loi B(p). La formule du binôme est exactement équivalente
au fait que la somme de ces probabilités C~pk(l - pr-k vaut bien 1.

Exercice 1.3.9 • Justifier la remarque I.3.8, et montrer que l'espérance et

la variance d'une variable aléatoire de loi B(n,p) valent respectivement np et
np(l - p).

Exercice 1.3.10 Quand la somme de 2 variables aléatoires binômiales indé-

pendantes est-elle binômiale ?

Définition 1.3.11 La loi hypergéométrique de paramètres N, n,p ( N, Np, n

dans N, n ~ N, et 0 ~ p ~ l}, notée 1-l(N, n,p), est sur l'espace {O, ... , n}
Ck cn-k
la loi (de probabilité} qui attribue la valeur Np 0 :(1-p) au singleton {k}.
N

Remarque 1.3.12 C'est la loi du nombre d'éléments possédant un caractère

donné K dans un échantillon de taille n, prélevé au hasard, uniformément
parmi les parties de cardinal n, dans un ensemble de cardinal N, dont une
proportion p possède le caractère K. Cela s'applique aussi bien à des pièces
défectueuses dans une production industrielle, qu'aux individus malades dans
une population, etc ...

Exercice 1.3.13 a) Montrer que l'espérance d'une v.a. de loi 1-l(N, n,p) vaut
np.
b) Montrer que sa variance vaut np(l - p)~=~ (commencer par calculer
lE(X(X - 1)]).
c) Vérifier que lim 1-l(N, n,p)(k) = B(n,p)(k), pour n,p, k fixés.
N-+oo

Définition 1.3.14 La loi géométrique de paramètre p E JO, 1[, notée Ç(p),

est sur l'espace N* la loi (de probabilité} qui attribue au singleton {n} le poids
(1- p)n-1 p.

Remarque 1.3.15 C'est la loi du nombre N de tentatives nécessaires pour

obtenir un résultat positif (succès), lors d'une suite de tentatives identiques
et indépendantes, p étant la probabilité de succès à chaque tentative. On a
IP(N > n) = (1- pr pour tout n EN.
[Link]
I.3. LOIS USUELLES 29

Remarque 1.3.16 La remarque précédente 1.3.15 sous-entend l'existence

d'une suite infinie de variables aléatoires indépendantes de loi B(p), qui consti-
tuent ce qu'on nomme un «jeu de pile ou face illimité». Cette existence n'est
en fait pas évidente, mais elle résulte d'un important théorème dû à Kolmogo-
rov ; qui vaut aussi bien pour toute autre loi que les lois de Bernoulli, ou pour
une suite infinie de lois distinctes, et a même une portée plus générale.

Exercice 1.3.17 a) Les lois géométriques vé[Link] la propriété de non-

vieillissement :
JP(N > n + m/N > m) = JP(N > n) pour tous n, m EN.
b) Y a-t-il d'autres lois sur N* qui vé[Link] cette propriété?

Exercice 1.3.18 • [Link] la remarque I.3.15, et montrer que l'espérance

et la variance d'une variable aléatoire de loi Q(p) valent respectivement ~ et
7· (Utiliser la série entière I~z = L: zn, et pour la variance, commencer
nEN
par calculer lE[X(X + 1)).)

Exercice 1.3.19 • Au cours d'un jeu illimité de pile ou face, on note Xk le

rang de la k-ième apparition de« pile». Calculer en fonction de p := lP(pile)
la loi de Xk, son espérance et sa variance. Calculer JP[(:l k E N*) Xk = n]
(pour tout n E N* ).

Définition 1.3.20 La loi de Poisson de paramètre À> 0, notée P(À), est la

loi (probabilité) sur N qui attribue le poids e-À À~ au singleton {n}.
n.
Exercice 1.3.21 • a) Montrer que l'espérance et la variance d'une variable
aléatoire de loi P(À) valent À.
b) Vé[Link] que lim B(n,p)({k}) = P(À)({k}), pour À> 0, k EN fi.xés et
np--+À
n-+oo.

Exercice 1.3.22 • Soient X 1 , ... , Xn n v.a. indépendantes, Xj étant pois-

sonnienne de paramètre Àj. a) Quelle est la loi de X1 + X2, puis de
X1 + · · · +Xn?
b) Calculer la loi, l'espérance et la variance de Xj sachant X1 + · · · + Xn.
c) Soient Yj , j E N, des v. a. indépendantes à valeurs dans {1, ... , n}, de
même loi donnée par lP(Yj = k) = ak , pour 1 :::; k :::; n . Soient N une va-
N
riable de Poisson de paramètre À, indépendante des Yj, et Nk := L: l{Y:·=k}·
j=l J

Montrer que les variables N 1 , ... , Nk sont poissonniennes indépendantes.

[Link]
30 CHAPITRE I. FONDEMENTS DU CALCUL DES PROBABILITÉS

Exercice 1.3.23 Pour toute permutation (de {1, ... ,.e}) u E 81,, soit
N(u) := Card{(i,j) [Link]; i < j::::; f; <J'i > ui} le« nombre d'interversions»
de u, et pour 1 ::::; j ::::; .e, soit Nj(u) := Card{ i E {1, ... ,j - 1} 1 <J'i > Uj}.
La loi ]p> est supposée uniforme sur 81, .
a) Montrer que pour 2 ::::; k ::::; .e, si 0 ::::; ni < k pour 2 ::::; j ::::; k, alors

lP(N2 = n2, ... , Nk = nk) = lP(u1 < u2 < ... < uk) = 1/k!.
(On pourra utiliser l'invariance de ]p> par les translations u i-+ u ou' du groupe
81, pour remplacer progressivement n2, n3, ... , nk par o.)
b) Déduire que les variables aléatoires Ni, ... , N1, sont indépendantes, et
préciser leur loi. c) Calculer l'espérance et la variance du nombre d'in-
terversions N .

1.3.24 Lois usuelles à densité

Définition 1.3.25 La loi uniforme sur un ouvert (ou un fermé) 0 de Rd,

notée U(O), est la loi admettant une densité constante par rapport à la mesure
de Lebesgue (c'est-à-dire suivant d, de longueur, surface ou volume) sur O.

Exercice 1.3.26 Calculer l'espérance et la variance d'une variable aléatoire

uniforme sur un intervalle de R.

Exercice 1.3.27 (Aiguille de Buffon) Sur un sol plat sont tracées 2 droites
parallèles D et D', distantes de L ;:::: 1 . On laisse tomber entre D et D' une
aiguille de longueur 1, puis on note x la distance du centre de l'aiguille à D, et
()l'angle que fait l'aiguille avec D. On suppose que la v.a. (x, ()) est uniforme
sur [O, L] x [O, 7r/2]. Vérifier que la probabilité que l'aiguille intersecte D ou D'
vaut 2/(7rL). Qu'en est-il si 0 < L < 1?

Exercice 1.3.28 a) Soient U1, ... , Un des v.a. indépendantes, uniformes

sur [O, 1]. Montrer qu'elles sont presque sûrement 2 à 2 distinctes. b) On
les réordonne en Vi < ... < Vn . Montrer que (Vi, ... , Vn) admet la densité
n! X l{O<v1 < ... <vn<l}. c) En déduire la densité de vk' pour 1 ::::; k ::::; n.
d) Soient Jn := min{U1, ... , Un} et Mn:= max{Ui, ... , Un}· Calculer
lP(x < Jn, Mn< y), et en déduire la densité (conjointe) de (Jn, Mn)·
e) Que vaut lim lP(Jn < x <y< Mn)?
n-too

Définition 1.3.29 La loi exponentielle de paramètre À, notée &(.X), est la

loi (sur R+) admettant la densité t i-+ l{t>O} Àe-Àt. Ici À> O.
[Link]
I.3. LOIS USUELLES 31

Exercice 1.3.30 • a) Les lois exponentielles vérifient la propriété de non-

vieillissement : si la loi de Y est &(À), alors
lP(Y > s + t/Y > s) = lP(Y > t) pour tous s, t >O.
b) Y a-t-il d'autres lois à densité continue sur R~ qui vérifient cette propriété ?
c) En déduire la loi de la durée de vie d'un atome fissile, en fonction de sa
médiane (ou « demi-vie »).

Exercice 1.3.31 • a) Montrer que l'espérance et l'écart-type d'une va-

riable aléatoire de loi &(À) valent 1/À. b) Soient Yi, ... , Yn des v.a.
indépendantes, exponentielles. Quelle est la loi de min{Y1, ... , Yn}?

Définition 1.3.32 Une v.a.r. est dite gaussienne centrée réduite ou normale
centrée réduite ou gaussienne standard lorsqu'elle admet (sur R) la densité :
t ~ exp(-t 2 /2)/.,/27i. Une variable aléatoire réelle X est dite gaussienne
ou normale lorsqu'il existe m ER et a> 0 tels que (X - m)/a soit normale
centrée réduite. On dit alors que la loi de X est N(m, a 2 ).

Exercice 1.3.33 • a) Vérifier que m = lE(X) et a 2 = Var(X), et que

XE n V' (c'est-à-dire que lE(IXIP) <OO pour tout p > 0).
p<oo

b) TT, "fi.
v en er que
<
A2 e_.,2 /2
(A 2 +1) x _
100 e
x
-t2 /2 d
t :::;; e_.,2 /2
-x- sur [A , oo [, pour tout

A> 0. Déduire un équivalent de lP(X > x) quand x---+ +oo.

c) Montrer que la densité de X est t ~ exp [ - (t - m )2 /2a 2 ] / a..fiii.

Nota Bene (i) La courbe de la densité gaussienne est la célèbre « courbe

en cloche ».
(ii) Il est bon de connaître les 2 valeurs numériques approchées suivantes :

N(O, 1) (l - oo, 1,65]) ~ 0, 95, et N(O, 1) (l - oo, 1,96]) ~ 0, 975.

Exercice 1.3.34 Calculer la densité du carré d'une variable aléatoire réelle

normale standard, puis de la somme de 2 tels carrés, puis du quotient de deux
v.a.r. normales standard indépendantes.

Définition 1.3.35 Un vecteur aléatoire V = (Vi, ... , Vd) à valeurs dans Rd

d
est dit gaussien ou normal lorsque u · V = u tv = 2: Ui Vi est une variable
i=l
[Link]
32 CHAPITRE I. FONDEMENTS DU CALCUL DES PROBABILITÉS

aléatoire réelle gaussienne ou presque sûrement constante, pour tout u =

(u1, ... , ud) E Rd. On note N (m, K) la loi d'un vecteur gaussien d'espérance
m et de matrice de covariance K. Une probabilité (ou loi, respectivement
une densité) est dite gaussienne lorsqu'elle est la loi (respectivement la densité)
d'un vecteur gaussien.

Exercice 1.3.36 a) Vérifier que si V est un vecteur gaussien de Rd et si A

est une application affine de Rd dans Rn, alors A V est un vecteur gaussien.
b) Montrer que si V est un vecteur gaussien, alors ses coordonnées dans
n'importe quelle base sont gaussiennes (ou presque sûrement constantes).
c) Établir la proposition I.3.37 ci-dessous.

Proposition 1.3.37 Soit K une matrice réelle symétrique positive (voir

l'exercice l.2.14.c), de format d x d et de rang r, et soit M une matrice réelle
de format d x r telle que K = M x tM. Soient m E Rd, et V un vecteur-
colonne de Rr formé de coordonnées gaussiennes standard indépendantes.
Alors m + MV est un vecteur gaussien de loi N (m, K).

L'existence de la matrice M dans la proposition I.3.37 n'est pas évidente.

Elle est l'objet du lemme d'algèbre linéaire suivant, qui permet donc d'exhiber
un vecteur gaussien ayant une espérance et une matrice de covariance données
à l'avance.

Lemme 1.3.38 Soit K une matrice réelle symétrique positive (cf l'exercice
l.2.14.c), de format d x d et de rang r E {O, ... , d}. Alors
1) il existe une matrice réelle symétrique positive S de format d x d telle que
K=S 2 ;
2) il existe une matrice réelle M de format d x r et de rang r telle que K =
Mx tM.

Preuve. Il existe une matrice orthogonale P et une matrice diagonale positive

D telles que K = PDP- 1. S := py'l5p-l fournit une solution pour 1).
Permutant les vecteurs propres de K, ce qui revient à changer de matrice
orthogonale P, on se ramène au cas où les r premiers coefficients diagonaux
de D sont > 0 et les autres nuls. Alors si /:::,,. est égale à la matrice formée des
r premières colonnes de ...fl5, on voit aussitôt que M := P /:::,,. est solution de
d r
2) : Kij = E PikdkPjk = E PikVdk Pjk-idk = (MtM)ij. 0
k=O k=O

[Link]
I.3. LOIS USUELLES 33

Corollaire 1.3.39 Si la matrice de covariance K d'un vecteur gaussien d-

dimensionnel de loi N(m, K) est inversible, alors ce vecteur admet la densité
sur Rd :
v i-----+ (27r)-df 2 (det K)-i/ 2 exp( - ~ t(v - m)K-i(v - m)).

Preuve. Soit V un vecteur de Rd formé de coordonnées gaussiennes standard

indépendantes. Soit M une matrice réelle de format d x d telle que K =
M xtM. Alors M est inversible, et nous avons pour toute fonction-test f, par
changement de variable :

lE(f(m + MV)) = kd d
f(m +Mx)}] (27r)-i/2 e-x~/ 2 dxj

= { f(m +Mx) (27r)-d/2 e-txx/2 dx

}Rd
= r f(v) (211")-d/2 e-
h~.d
t(M-l(v-m)) X (M-l(v-m)) /21 det (M-i) 1dv

= kd f(v) (211")-d/ 2 (det K)-i/ 2 exp( - ~ t(v - m)K-i(v - m)) dv. <>

Exercice 1.3.40 (Simulation) Soit F une fonction de répartition sur R .

Pour tout p E [O, lJ, posons G(p) := inf{x E R 1 F(x) ~ p}. (Nota Bene :
inf R = -oo et inf 0 = +oo.)
a) Justifier l'existence dans R de G(p) pour tout p E JO, 1[.
b) Montrer que G(F(x)) S x pour tout x ER.
c) Montrer que si G(p) ER, alors F(G(p)) ~p.

d) Montrer que G(p) S x {:::::::::? F(x) ~p.

e) Montrer que si U est une variable aléatoire de loi uniforme sur [O, 1], alors
G o U admet F pour fonction de répartition.
f) Que vaut G lorsque Fest bijective de R sur JO, 1[? Comment simuler la loi
&(.X)?

1.3.41 Quelques lois de la mécanique statistique

La mécanique statistique classique s'appuie sur le modèle statistique de

Maxwell, dans lequel les N particules considérées sont réparties parmi n états,
dont ni ont un niveau d'énergie ej, j variant de 1 à d, de sorte que n =
ni + · · · + nd. Soit Nj le nombre de particules ayant le niveau d'énergie ej, de
sorte que N =Ni+···+ Nd. Quelle est la loi du vecteur (Ni, ... , Nd)?
[Link]
34 CHAPITRE I. FONDEMENTS DU CALCUL DES PROBABILITÉS

La réponse est la loi multinômiale (généralisant la loi binômiale) :

TID(( Ni, ... ,Nd ) -_ (ki, ... ,kd )) -_ k 1 N!

11 k 1X
n~ 1 x ...N x n~d
i· X ••. X d· n
pour tout (ki, ... , kd) E Nd tel que ki + ·· · + kd = N. En effet,
- d'une part le coefficient multinômial ki!x1:'..'xkd! (c'est un coefficient binômial
lorsque d = 2) est le nombre de partitions de l'ensemble des N particules
en d classes de cardinaux respectifs ki, ... , kd ; pour justifier ceci, notons
{1, ... , N} = Ki U ... U Kd la partition de {1, ... , N} en sous-intervalles
contigus successifs de longueurs respectives ki, ... , kd, et </> l'application qui
à toute a E SN associe la partition </>(a):= a(Ki)U .. . Ua(Kd) de {1, ... ,N};
alors l'image </>(SN) est précisément l'ensemble des partitions considérées ci-
dessus, et </>(a) = </>(a') si et seulement si a-ia' est un produit de permuta-
tions de Ki, ... , Kd respectivement; ce qui donne bien : N! = Card(SN) =
Card(</>(SN )) x Card(Ski) x ... x Card(Skd) = Card(</>(SN )) xki! ... kd! comme
voulu;
.. et d'autre part n~ 1 x · · · x n~d est le nombre de façons de répartir ki
particules d'énergie ei parmi ni états, ... , kd particules d'énergie ed parmi
nd états; tandis que nN est le nombre total de répartitions des N particules
parmi les n états.
Ici ]p> est uniforme sur l'ensemble n des fonctions de {1, ... , N} dans {1, ... , n }.
Notons que cela montre du même coup la généralisation de la formule du
binôme:
~ N! ki kd
L...J X Zi ..• Zd =
ki! ... kd!
{ {k1 ,. .. ,kd)E Nd 1ki +··+kd=N}
pour tous zi, ... , Zd E C , et en particulier :
L: -1:f.J_
ki!. .. kd! -- dN pour tous N, d E N*.
{ (k1 ,. .. ,kd)E Nd 1ki + ·+kd=N}
00

Ce modèle de Maxwell n'est en fait pas vraiment réaliste, du fait qu'il sup-
pose les particules distinguables, ce qui n'est pas le cas en mécanique quan-
tique. Supposant les particules indistinguables, on a le choix entre deux op-
tions : on peut les répartir entre les différents états soit sans répétition, soit
avec répétitions. L'option sans répétition est la statistique de Fermi-Dirac, re-
lative aux particules de spin demi-entier (électrons, neutrons, protons, ... ), qui
obéissent au principe d'exclusion de Pauli, et l'option avec répétitions est la
statistique de Bose-Einstein, relative aux particules de spin entier (photons,
mésons, ... ).
[Link]
 I.3. LOIS USUELLES 35

La statistique de Fermi-Dirac généralise la loi hypergéométrique :

ck1 x ... x ckd
]p> ( (Ni, ... ' Nd) = (ki, ... 'kd) ) = ni CN nd '
n

pour tout (ki, ... , kd) E Nd tel que ki + · · · + kd = N. En effet, il faut

simplement répartir ki particules parmi ni états d'énergie ei, ... , kd particules
parmi nd états d'énergie ed, cependant qu'il y a en tout N particules à répartir
parmi n états d'énergie; avec à chaque fois une seule particule au plus par état,
ce qui revient exactement à choisir le sous-ensemble des états occupés parmi
les états disponibles, d'où les coefficients binômiaux.
Dans ce cas ]p> est uniforme sur l'ensemble n' des parties de cardinal N dans
{1, ... , n}. Pour la statistique de Bose-Einstein, la loi est
ck1 x ... x ckd
lTD((Ni, .. ·, N)
.Ir d =
(k i, .. ·' kd )) = ni+k1-i
N
nd+kd-i
'
Cn+N-i
• d
pour tout (ki, ... , kd) EN tel que ki + · · · + kd = N. Le décompte est en
effet le même que pour la statistique de Fermi-Dirac, sauf que les combinai-
sons doivent être remplacées par des combinaisons avec répétitions, puisqu'ici
plusieurs particules peuvent occuper un même état d'énergie. Or Cf:+N-i est
le nombre des combinaisons avec répétitions de N particules placées dans n
états ; ce qui se voit en juxtaposant sur un segment les N particules, et en
considérant la bijection qui à chaque ensemble de (n - 1) signes délimitant n
sous-segments (figurant les états) associe la combinaison avec répétitions ainsi
constituée (voici par exemple le codage d'une combinaison avec répétitions
relative à n - 1 = 5 séparations et N = 11 particules (de sorte qu'il y a CfJ
telles combinaisons) : x x x 1 x x x 1 x 1 x x 1 1 x x ) .
Dans ce cas ]p> est uniforme sur l'ensemble n" des combinaisons avec répétition
de N éléments pris (ou placés) dans {1, ... , n}.
Voici la figuration d'un exemple de statistique de Bose-Einstein :

niveau ei : Ni = 5 particules réparties entre ni = 4 états : x x 1 1x x 1x

niveau ed : Nd = 4 particules réparties entre nd = 5 états : 1x 1 1x x 1x

Notons une structure de produit commune à ces trois «statistiques»

elles sont toutes trois de la forme
d
JP[(N1, ... , Nd)= (ki, ... , kd)] = c(N, n) TI >.(nj, kj).
j=l
[Link]
36 CHAPITRE I. FONDEMENTS DU CALCUL DES PROBABILITÉS

Exercice 1.3.42 Montrer que lorsque le nombre n des états tend vers l'in-
fini de façon que les proportions nifn, ... , nd/n convergent vers p1, ... ,pd,
alors les statistiques de Fermi-Dirac et de Bose-Einstein convergent vers la loi
multinômiale (analogue à la statistique de Maxwell).

Table de la loi normale centrée réduite : (104 <.I>(x)]

'
0,1 5398 5438 5478 5517 5557 5596 5636 5675 5714 5753
0,2 5793 5832 5871 5909 5948 5987 6026 6064 6103 6141
0,3 6179 6217 6255 6293 6331 6368 6406 6443 6480 6517
0,4 6554 6591 6628 6664 6700 6736 6772 6808 6844 6879
0,5 6915 6950 6985 7019 7054 7088 7123 7157 7190 7224
0,6 7257 7291 7324 7356 7389 7421 7454 7486 7517 7549
0,7 7580 7611 7642 7673 7703 7734 7764 7793 7823 7852
0,8 7881 7910 7939 7967 7995 8023 8051 8078 8106 8133
0,9 8159 8186 8212 8238 8264 8289 8315 8340 8365 8389
1,0 8413 8437 8461 8485 8508 8531 8554 8577 8599 8621
1,1 8643 8665 8686 8708 8729 8749 8770 8790 8810 8830
1,2 8849 8869 8888 8906 8925 8943 8962 8980 8997 9015
1,3 9032 9049 9066 9082 9099 9115 9131 9147 9162 9177
1,4 9192 9207 9222 9236 9251 9265 9278 9292 9306 9319
1,5 9332 9345 9357 9370 9382 9394 9406 9418 9429 9441
1,6 9452 9463 9474 9484 9495 9505 9515 9525 9535 9545
1,7 9554 9564 9573 9582 9591 9599 9608 9616 9625 9633
1,8 9641 9648 9656 9664 9671 9678 9686 9693 9699 9706
1,9 9713 9719 9726 9732 9738 9744 9750 9756 9761 9767
2,0 9772 9778 9783 9788 9793 9798 9803 9808 9812 9817
2,1 9821 9826 9830 9834 9838 9842 9846 9850 9854 9857
2,2 9861 9864 9868 9871 9874 9878 9881 9884 9887 9890
2,3 9893 9896 9898 9901 9904 9906 9909 9911 9913 9916
2,4 9918 9920 9922 9924 9927 9929 9930 9932 9934 9936
2,5 9938 9940 9941 9943 9945 9946 9948 9949 9951 9952
2,6 9953 9955 9956 9957 9958 9960 9961 9962 9963 9964
2,7 9965 9966 9967 9968 9969 9970 9971 9972 9973 9974
2,8 9974 9975 9976 9977 9977 9978 9979 9979 9980 9981
2,9 9981 9982 9982 9983 9984 9984 9985 9985 9986 9986
3,0 9986 9987 9987 9988 9988 9989 9989 9989 9990 9990
3,1 9990 9991 9991 9991 9992 9992 9992 9992 9993 9993
3,2 9993 9993 9994 9994 9994 9994 9994 9995 9995 9995
3,3 9995 9995 9995 9996 9996 9996 9996 9996 9996 9996
3,4 9997 9997 9997 9997 9997 9997 9997 9997 9997 9998
3,5 9998 9998 9998 9998 9998 9998 9998 9998 9998 9998
3,6 9998 9998 9999 9999 9999 9999 9999 9999 9999 9999

La fonction de répartition <P de la loi normale centrée réduite est définie par

r
<P(x) := ~ }_ 00 e-t 2 12 dt = 1 - <P(-x) ('v'x ER).

[Link]
I.4. LEMMES DE BOREL-CANTELLI 37

La table donne les valeurs de 104 <I>(x) pour les valeurs positives de x, de
0 jusqu'à 3,69, avec un pas de 0,01. Ces valeurs sont arrondies à l'unité la
plus proche. Cette table est à double entrée, l'entrée en ligne donnant les
deux premiers chiffres de x et l'entrée en colonne le chiffre des centièmes.
Exemples : <I>(O, 71) ~ 0, 7611; <I>(2, 48) ~ 0, 9934.

1.4 Lemmes de Borel-Cantelli

Ces fameux lemmes, quoique simples, illustrent bien l'hypothèse d'additi-
vité dénombrable faite sur les probabilités. Ils sont particulièrement utiles, et
ont aussi des conséquences qui frappent l'imagination. Pour toute suite d'en-
sembles {An 1n E N}, lim sup An :=
n n m2'.:n
n
LJ Am est l'ensemble des éléments
qui appartiennent à une infinité d'ensembles An. De même, liminf An :=
n
LJ n
n m2'.:n
Am est l'ensemble des éléments qui appartiennent à tous les ensembles
An sauf au plus un nombre fini. On a aussitôt : (lim sup An)c = lim inf A~ , puis
n n
lumsupAn
n
= limsup
n
lAn, lliminfAn
n
= liminf
n
lAn. Et limsupAn et liminf An
n n
sont des événements si les An en sont.

Proposition 1.4.1 (Borel-Cantelli) Soit {Anln EN} une suite d'événements.

1) Si ~ JP>(An) < oo, alors JP> ( lim:up An) = 0 .

2) Si 2.: JP>(An) = oo et les An sont indépendants, alors JP>(limsupAn) = 1.

n n

Preuve. 1) JP>( nn m;:::n

LJ Am) :::; 2.: JP>(Am) --+ 0 .
m2'.:n
2)

= lim Il (1- JP>(Am)) ::S limexp [- 2.: JP>(Am)J = 0. <>

n m2'.:n n m;:::n
Exemples 1) Un singe tapant sur un clavier d'ordinateur au hasard et
indéfiniment tapera presque sûrement à un certain moment les œuvres com-
plètes de Victor Hugo sans erreur (et même une infinité de fois). Mais ce
résultat ne fournit aucun majorant du temps qu'il faudra attendre pour voir
ceci se réaliser une première fois !
2) Si l'univers est infini et homogène à grande échelle, il y a une infinité
de planètes habitées par des êtres vivant; en effet, d'une part il est natu-
rel d'admettre l'indépendance entre des systèmes stellaires distincts et donc
[Link]
38 CHAPITRE I. FONDEMENTS DU CALCUL DES PROBABILITÉS

extrêmement éloignés, et d'autre part notre existence prouve que la probabilité

d'apparition de la vie est p > 0; enfin l'homogénéité à grande échelle garantit
l'existence d'une infinité de systèmes stellaires dans lesquels cette probabilité
est à peu près p, d'où la divergence de la série.
Les univers, d'où sort l'immense essaim des rêves,
Dispersés dans l'éther, cet océan sans grèves
(Victor Hugo)

3) Une utilisation typique du premier lemme de Borel-Cantelli :

records.
Considérons une variable aléatoire X 1 ~ 0 pour laquelle

(3 a, c > 0) lim
x--++oo
{x-°' loglP'(X1 > x)} = -c.
C'est le cas par exemple des variables gaussiennes, exponentielles ou géomé-
triques. Considérons une suite i.i.d. de telles v.a. {Xi, ... ,Xn, .. .}, et pour
tout n EN* posons Yn :=max{ Xi, ... ,Xn}· Nous voulons évaluer la valeur
du « record » Yn lorsque n est grand.
a) Fixons ê > 0. Pour n suffisamment grand, nous avons:
IP'[Yn ~ L(~\:))11°'] = IP'[x1 ~ L(~\:))1/ar

= (i-IP'[X1 > L~~\:)) 1 /°'J)n ~ exp(-n1P'[X1 > L 1(~\:)) 1 /°'J)

~) V'I±E"-1 ·'
_ exp ( - ne -c v'I+E c (l+e) = e -n vr:Fe =: e- n· ;
<

de sorte que E IP'[Yn ~ L~~\:)) 11 °'] ~ E e-n"' < oo, et donc que selon le
n n
premier lemme de Borel-Cantelli, nous avons presque sûrement : (Iog~i/a >
[c(l+ê)J- 11°' pour tout n > nl(w) (d'où liminf (I Y)i;a ~ c-l/a, en faisant
n--+oo ogn
ê '\i 0 a posteriori) .
b) Pour tous b > 0 et 0 < ê < 1 , si n est assez grand nous avons :

IP'[Y. > (Iog(nb))l/a] Iog))l/a] <_ nb X e-c vr=e

< nblP'[X1 > ( cb(1-e b/°g)
-e c 1-e
nb c (l-e) -

-eb
= n ,/I=e+I-e ;

de sorte qu'en fixant b = 4/ê, nous obtenons: E IP'[Ynb > (~0('i~:Dl/a J < oo.
n
Donc selon le premier lemme de Borel-Cantelli, nous avons presque sûrement :
[Link]
I.5. TRANSFORMÉES DE LAPLACE ET DE FOURIER 39

(log~b)i;a ~ [c (1 - ê)tl/a pour tout n > n2(w). Cela entraîne que pour tout
k > n 2(w)b, si n := [k 1lb], alors nb ~ k < (n+ l)b, et par croissance de la suite
(Yn), nous avons presque sûrement, pour tout entier k suffisamment grand :

1 < yk < Yén+I)b < 1 cog(n+Il )1/a

[c (1 + ê )]1/a (log k )1/a - (log nb)l/a - [c (1 - ê )]1/a logn

< [c (1 - ê)2r1/a;
d e sorte que nous ob tenons presque surement : l'1m ( yk) l/
A

= -cl11-a ·
k--+oo log k a

Exercice 1.4.2 Montrer que si une suite de variables aléatoires {Yn 1n E N}

est telle que L: llYnll~ converge, alors cette suite converge presque sûrement
n
vers O.

1.5 Transformées de Laplace et de Fourier

Définition 1.5.1 Soient Vi, ... , Vn des v.a. 2: 0 (définies sur un espace de
probabilité (0, T, lP)) . La tran~formée de Laplace de la variable Vi est la
fonction de~+ dans JO, lJ définie par : À i-+ lE(e-.X Vi ). La transformée de
Laplace de la variable (Vi, ... , Vn) est la fonction de (R+r dans JO, lJ définie
par .. {AI, \ ) .'---"-, JE [e -À1 Vi -· .. -Àn Vn] .
\ ... , An

Remarque 1.5.2 Dans le cas d'une v.a. positive discrète Vi, on écrit la trans-
formée de Laplace sous une forme légèrement différente (modulo un change-
ment de variable évident) : c'est la fonction génératrice, définie sur JO, lJ par :
si-+ lE(sVi ).

Définition 1.5.3 Soient Vi, ... , Vn des v.a.r. (sur un espace de probabilité
(0, T, lP)). La transformée de Fourier de la variable Vi est la fonction de R
dans (le disque unité de} CC définie par: t i-+ lE(eA tVi).
La transformée de Fourier de la variable (Vi, ... , Vn) est la fonction de Rn
dans (le disque unité de} CC définie par :
(ti, ... , tn) t-+ JE[eA (t1 Vi+··Hn Vn)].

Théorème 1.5.4 Les transformées de Laplace et de Fourier sont injectives :

la loi d'un vecteur aléatoire (Vi, ... , Vn) est déterminée par sa transformée
de Fourier (et aussi bien, par sa transformée dè Laplace s'il est à coordonnées
positives).
[Link]
40 CHAPITRE I. FONDEMENTS DU CALCUL DES PROBABILITÉS

Remarque 1.5.5 Noter que la transformée de Fourier (ou de Laplace) d'une

variable aléatoire est en fait celle de sa loi, et que l'injectivité du théorème 1.5.4
ne vaut que pour les lois, et non pour les variables elles-mêmes. Ainsi deux
variables aléatoires ayant la même loi ont la même transformée de Fourier,
sans pour autant devoir être égales. Il suffit de considérer par exemple une
variable normale centrée et la variable opposée.

Corollaire 1.5.6 Des variables aléatoires Vi, ... , Vn sont indépendantes si et

seulement si la transformée de Fourier du vecteur aléatoire (Vi, ... , Vn) est le
produit tensoriel des transformées de Fourier des Vj :

JE[eA (ti·Vi+ .. ·+tn·Vn)] = JE[eA ti·Vi J ... JE[eA tn·Vn J,

pour tous ti E ~di, ... , tn E ~dn. Même énoncé avec la transformation de

Laplace si les Vj sont à coordonnées positives.
Preuve. Dans le sens direct, c'est simplement la proposition 1.2.22, avec
fj(vj) := eA t;·v;, Pour la réciproque, il suffit de considrer des variables
aléatoires V{, ... , V~ indépendantes et telle que chaque VJ ait la même loi que
Vj. Le sens direct montre que le membre de droite de la formule de l'énoncé
est la transformée de Fourier de (V{, ... , V~). Donc le théorème 1.5.4 assure
que (Vi, ... , Vn) a la même loi que (V{, ... , V~), et donc que Vi, ... , Vn sont
indépendantes. o

Proposition 1.5.7 La transformée de Fourier d'une v.a.r. normale N de loi

N(m, u 2 ) est donnée par eAlE( tN)
= eA tm-u 2 t 2 / 2 , t E ~. V
Preuve. Posons F(t) := f eA tx-x 2 dx .
2
/ Dérivant sous le signe J
lIR. ../2i
puis intégrant par parties, on trouve: F'(t) = -tF(t), équation différentielle
très élémentaire. Le résultat découle immédiatement de sa résolution, par
simple changement affine de variable. o
Corollaire 1.5.8 La transformée de Fourier d'un vecteur gaussien V (à va-
leurs dans ~d, identifié à une matrice-colonne, et de matrice de covariance
K v) est donnée par

Exercice 1.5.9 • a) Déduire le corollaire I.5.8 de la définition I.3.35 et de

la proposition I.5. 7.
[Link]
I.6. CONVERGENCES DES VARIABLES ALÉATOIRES 41

b) Soient N gaussienne standard, et ê indépendante de Net uniforme sur ±1.

Montrer que EN est gaussiennne standard, mais que le vecteur (N,êN) n'est
pas gaussien.
c) Montrer que toute combinaison linéaire non nulle de v.a. normales indépen-
dantes est normale. Donner un contrexemple simple s'il n'y a pas indépendance.
d) Montrer que si le vecteur aléatoire V a ses coordonnées gaussiennes et
indépendantes, alors il est gaussien (revenir à la définition I.3.35).
e) Montrer que les coordonnées (dans la base canonique de JRd) d'un vecteur
gaussien sont indépendantes si et seulement si la matrice de covariance est dia-
gonale, et donc si et seulement si elles sont non corrélées. Vérifier que c'est faux
si le vecteur n'est pas gaussien (même si ses coordonnées sont gaussiennes).

Exercice 1.5.10 a) Calculer les fonctions génératrices des lois usuelles :

B(n,p), Q(p), P(>..). b) Calculer les transformées de Fourier des lois usuelles:
U({m, ... ,n}), B(n,p), Q(p), P(>..), U([a,bl), E(>..). c) Retrouveràpartir
de là les valeurs des espérances et variances de ces différentes lois.

1.6 Convergences des variables aléatoires

Soient X et Xn, n EN, des v.a. à valeurs dans JRd, définies sur un même
espace de probabilité (n, 7,JP>). Notons llXll := [ w 1-7 llX(w)ll] une norme (de
X) dans JRd. Le choix de cette norme n'importe pas, du fait de l'équivalence
des normes dans JRd.
En revanche l'espace vectoriel V des variables aléatoires sur (0, 7, JP>) à valeurs
dans JRd étant de dimension infinie (dès que 7 est infinie), les normes sur V ne
sont généralement pas comparables, et il convient d'en distinguer plusieurs,
qui donnent lieu à des notions distinctes de convergence, d'où la définition
suivante.

Définition 1.6.1 On dit que la suite {Xn , n E N} converge vers X :

i) dans LP (où p E [1, oo[) lorsque la norme dans LP, à savoir
llXn -XllP := lE(llXn -XllP) 11P, tend vers 0; la convergence dans L 1 est aussi
appelée« convergence en moyenne», et la convergence dans L 2 «convergence
en moyenne quadratique » ;
ii) presque sûrement lorsque JP>(Xn converge vers X) = 1;
iii) en probabilité lorsque pour tout ê > 0 JP>(llXn - XII > ê) tend vers O.
[Link]
42 CHAPITRE I. FONDEMENTS DU CALCUL DES PROBABILITÉS

Théorème 1.6.2 1) Convergence monotone : Si (Vn) est une suite presque

sûrement croissante de v. a. r. ~ 0 , alors
lim JE(Vn) =JE( lim Vn).
n n
2) Convergence dominée (de Lebesgue) : Si (Xn) est une suite de variables
aléatoires qui converge presque sûrement vers une v. a. X, et si elle est dominée
par une v.a.r. fixe intégrable Y : llXnll ~ Y E L 1 , alors X E L 1 et Xn
converge vers X dans L 1 .
3) Lemme de Fatou : Si (Xn) est une suite de variables aléatoires ~ 0,
alors presque sûrement JE [ li~inf Xn J ~ li~inf JE[Xn].

L'énoncé suivant découle aussitôt du théorème de convergence dominée et

de l'inégalité des accroissements finis.

Corollaire 1.6.3 (dérivation sous l'espérance) Si t 1-7 Xt = Xt(w) est un

processus intégrable et presque sûrement dérivable dont la dérivée est dominée
dans un voisinage de 0 par une fonction intégrable fixe, alors t 1-7 JE(Xt) est
dérivable en 0 et ~JE(Xt) = JE(~Xt)·

Exercice 1.6.4 a) Montrer que la convergence presque sûre et la convergence

dans IJ' entraînent (chacune) la convergence en probabilité.
b) Montrer que la convergence dans IJ' entraine la convergence dans Lq si
p>q.
c) Supposons que Xn converge en probabilité vers X et que Yn converge en
probabilité vers Y. Soient a et b réels. Montrer que aXn + bYn et Xn · Yn
convergent en probabilité.

Exercice 1.6.5 'lrouver sur (n = [O, 1], ]p> = dx) :

a) une suite de v.a.r. qui converge dans Lq mais pas dans LP (pour p > q
fixés);
b) une suite de v.a.r. qui converge dans IJ' mais pas presque sûrement (pour
p fixé);
c) une suite de v.a.r. qui converge presque sûrement mais dans aucun LP.

Exercice 1.6.6 Soit {Xn 1n EN*} une suite de v.a.r. indépendantes, telles
que lP(Xn = n) = 1/n et lP(Xn = 0) = 1 - 1/n pour chaque n E N*.
Montrer que cette suite converge en probabilité, mais ni presque sûrement ni
dans aucun IJ'.
[Link]
I.6. CONVERGENCES DES VARIABLES ALÉATOIRES 43

Exercice 1.6. 7 a) Montrer qu'une suite de variables aléatoires qui converge

en probabilité admet une sous-suite qui converge presque sûrement. (Utiliser
le premier lemme de Borel-Cantelli, proposition I.4.1.)
b) Montrer qu'une suite convergente en probabilité et dominée par une variable
de V' converge dans V'.

Exercice 1.6.8 a) Montrer que {Xn 1 n E N} converge en probabilité vers

X si et seulement si IE( min { llXn - XII , 1}) tend vers O.
b) Vérifier que (X, Y) !---? IE(llX - Yll /\ 1) est une distance sur l'espace
L 0{n, T, IP; JRd) des variables à valeurs dans ]Rd définies sur (0, T, IP).

Définition 1.6.9 On dit que la suite {Xn 1n E N} de variables aléatoires à

valeurs dans ]Rd converge en loi vers X (à valeurs dans ]Rd) lorsque la loi
de Xn converge vers celle de X, c'est-à-dire lorsque IE(f o Xn) tend vers
IE{f o X), pour toute fonction f continue à support compact (ou continue
bornée) de ]Rd dans lR.

Proposition 1.6.10 La convergence en probabilité entraîne la convergence

en loi.

Exercice 1.6.11 a) Prouver que lorsque X est presque sûrement constante,

les convergences vers X en probabilité et en loi sont équivalentes.
b) Montrer que ces deux convergences sont en général non équivalentes.

Exercice 1.6.12 Montrer que si Xn converge en loi vers X et si Yn converge

en probabilité vers 0, alors Xn ·Yn converge en probabilité vers 0 (distinguer
entre {IYnl >A} et {IYnl::; A}), et Xn + Yn converge en loi vers X.

Remarque 1.6.13 a) Si les lois de Xn et de X ont un même support

dénombrable discret S (en général S c zd), alors la convergence en loi de
Xn vers X équivaut à :
IP(Xn = s) tend vers IP(X = s) pour tout s ES.
b) Si Xn converge en loi vers X et si g est n'importe quelle fonction continue
T!Jld T!Jld'
de 11'. dans 11'. , alors g o Xn converge en loi vers g o X.

Proposition 1.6.14 La convergence en loi équivaut à la convergence simple

des transformées de Fourier :
Xn loi X {:::=} (IE[eA t·Xn] lE[eA t·Xj \:/ t E lRd).
n--+oo n--+oo
[Link]
44 CHAPITRE I. FONDEMENTS DU CALCUL DES PROBABILITÉS

Proposition 1.6.15 La convergence en loi d'une suite de v.a.r.

{Xn 1n EN*} vers une v.a.r. X équivaut à la convergence simple de Fn vers
F en chaque point de continuité de F; Fn désignant la fonction de répartition
de Xn, et F celle de X.

Exemples 1) La loi B(n,pn) converge vers la loi P(À) si n -+ oo et

npn-+ À> O.
2) La loi 1-l(N,n,pN) converge vers la loi B(n,p) si N-+ oo et PN-+ p E
]O, 1[.
3) Soient B une variable de Bernoulli B(±l; 1/2), et pour tout n E N :
Xn = B = X~n et X~n+I =-B. Alors les 2 suites X et X' convergent en
loi, mais pas la suite X + X'.
Exercice 1.6.16 a) Justifier les assertions des trois exemples ci-dessus. b)
Soient a > 0, et {Xn 1 n E N*} une suite de v.a.r.i.i.d. gaussiennes centrées.
Étudier la converuence en loi de n"' Xi +(n-l)"' X 2 + .. +Xn
o n"' ..,fii, •

1.7 Loi des Grands Nombres

Théorème 1.7.1 Soit {Xn 1n EN*} une suite de variables aléatoires indé-
pendantes et intégrables, de même loi. Alors la suite des moyennes de Cesàro
X1 + ···+Xn
converge presque sûrement vers lE(X1).
n

Remarque 1. 7.2 La réciproque suivante de la loi des grands nombres est

vraie : Si {Xn 1n E N*} est une suite de v.a.r indépendantes et de même
loi telle que la suite des moyennes de Cesàro Xi +·~+Xn converge presque
sûrement, alors X 1 est intégrable.

Preuve. Remarquons qu'alors Xn = Xi+·+Xn -

n n Xi+··+Xn-i X n-l
n-1 n doit
converger presque sûrement vers O. Donc lE(IX1I) :S l: lP'(IXnl > n) est finie
n
d'après le deuxième lemme de Borel-Cantelli. o

Remarque 1. 7.3 1) Le théorème I. 7.1 ci-dessus constitue la loi forte des

grands nombres. On appelle loi faible des grands nombres le résultat (stricte-
ment plus faible) qui énonce la convergence des moyennes en probabilité, au
lieu de leur convergence presque sûre.

[Link]
I.8. THÉORÈME CENTRAL LIMITE 45

2) Une preuve du théorème 1.7.1 est présentée dans l'exercice V.3.13, qui
montre aussi que la convergence dans la loi forte des grands nombres a lieu
également dans L 1.

Exercice 1. 7.4 Prouver la formulation suivante de la loi faible des grands

nombres : Si les variables aléatoires réelles Xn sont non-corrélées 2 à 2 et
ont la même loi admettant un second moment, alors leurs moyennes de Cesàro
convergent dans L 2 (et donc en probabilité) vers E(X1).

Exercice 1.7.5 • Soit {Xn 1n EN*} une suite de v.a.r.i.i.d. telles que
E(Xt) = oo > E(Xï). Montrer que presque sûrement Xi+·~+Xn --+ +oo.
(Utiliser X~:= min{Xn, k}.)

Exercice 1.7.6 (/M-Nj} a) Soient p E [O, 1] et f une fonction continue sur

n
[O, 1]. Étudier la convergence de n r-+ E c~ pk(l - pr-k f (~). (Penser à la
k=O
remarque I.3.8.)
b) Soient >. > 0 et g une fonction continue bornée de~+ dans lR. Étudier la
)k
convergence de ni--+ e->.n E >.~ g(k/n); puis de ni--+ e->.n E
k~O
( [>.n] (>. )k

k=O
+
(utiliser le théorème suivant I.8.1; interpréter en terme de médiane).

1.8 Théorème Central Limite

Théorème 1.8.1 Soit {Xn 1n E N*} une suite de v.a. à valeurs dans Rd,
indépendantes, et de même loi admettant un second moment. Alors
X1 + · · · + Xn - nE(X1)
Vn converge en loi, vers la loi gaussienne N(O, Kxi),
Kx 1 := E(tX1 X1) - tE(X1)E(X1) désignant la matrice de covariance de X1.

Preuve. L'énoncé étant clairement invariant par une translation sur la suite
X, il suffit de considérer le cas où X 1 est centrée. Notons <f>(v) := E(ev'=Iv·X1)
la transformée de Fourier de X 1, qui est de classe 0 2 , puisque X 1 est sup-
posée de carré intégrable. La formule de Taylor-Young à l'origine s'écrit alors :
<f>(v) = 1 - ~ tvK(X1)v + o(llvll 2 ).
Par indépendance, la transformée de Fourier de Xi+;txn est égale à

[Link]
46 CHAPITRE I. FONDEMENTS DU CALCUL DES PROBABILITÉS

<P(v//nr, qui vaut [1 - tvK(Xi)vt: 0 Cllvll 2 fn)r, et donc qui converge vers
exp( - ~ tvK(X1)v), du fait de la convergence de (1 + ~)n vers ez uni-
formément sur les compacts de C. En effet, si izl :::; A, nous avons :

= eA - (1 + ~r = eA - en Iog(l+~) ---t O.
Finalement, nous venons de montrer la convergence simple de la transformée
de Fourier de Xi +;n+Xn vers celle de N(O, Kx 1 ), ce qui suffit d'après la pro-
position 1.6.14. <>

Remarque 1.8.2 Le Théorème Central Limite (« TCL » en abrégé) évalue

les fluctuations d'une somme de v.a.i.i.d. (de carré intégrable) autour du terme
(déterministe) dominant, donné par la loi des grands nombres (« LGN » en
abrégé) ; en dimension 1 (pour simplifier) on peut en effet le réécrire sous forme
d'égalité en loi :

Exercice 1.8.3 • (Surlocation) Une agence de voyage dispose de 160 places

à louer pour une destination donnée. Elle sait que les locations sont honorées
par ses clients avec une probabilité fixe p. Elle vend N = 160a > 160 places.
Pour quelles valeurs de a la probabilité de ne pas louer trop de places vaut-elle
0, 95 ; 0, 975 ?

Exercice 1.8.4 Soit {Xn 1n EN*} une suite de v.a. indépendantes de loi de
Poisson de paramètre 1.
a)Montrerque 1E[(x1
+··foXn-nrJ = n<n+!)e-n/n!.

b) Montrer que (Xi +··foXn-n r converge en loi vers N-, partie négative
d'une v.a.r. gaussienne centrée réduite.
c) Montrer que Xi+ ..Jtn-n est bornée dans L 2 , et que

J1~ JE[ ( X1+ . foXçnr] = JE(N-).

d) Déduire la formule de Stirling: n! rv (;t v'27rn lorsque n--+ OO.

[Link]
Chapitre II

Espérance conditionnelle
Mon esprit, où la crainte accompagne l'espoir,
Du portail rayonnant allait au porche noir,
Et, me ressouvenant de ce qu'on fait sur terre,
J'entrevis que c'étaient les portes du mystère.
(Victor Hugo)

Il s'agit ici d'introduire une notion essentielle, par exemple pour définir
les martingales. Elle généralise la notion d'espérance (définition I.2.4), en te-
nant compte de la connaissance (conditionnement, probabilité conditionnelle :
voir la section I.1.13) d'une certaine information, représentée par une tribu
(définition I.1.1). Le plus simple est de penser cette tribu comme engendrée
par une certaine variable aléatoire X. Alors l'espérance conditionnelle (d'une
variable aléatoire intégrable quelconque Y) sachant X dépendra de X, et sera
ainsi elle-même une variable aléatoire, fonction déterministe de X. Nous allons
procéder progressivement, du cas le plus élémentaire vers le cas le plus général.

11.1 Espérance conditionnelle discrète

Le cas le plus simple est celui l'espérance conditionnelle par rapport à une
variable aléatoire X discrète, c'est-à-dire ne prenant (avec probabilité 1) ses
valeurs que dans un ensemble fini ou dénombrable.

11.1.1 Cas d'une indicatrice d'événement : X= ls

Partons du cas particulier le plus élémentaire : lorsque la variable aléatoire

discrète X ne prend que 2 valeurs, qu'on peut ramener (par une fonction affine
évidente) à 0 et 1. Alors X est simplement la fonction indicatrice X = 1.B

[Link]
48 CHAPITRE II. ESPÉRANCE CONDITIONNELLE

de l'événement B .- {X = 1}, et l'information que contient X se résume

à celle de B, c'est-à-dire simplement au fait de savoir si le tirage w tombe
dans B ou dans son complémentaire Be. La tribu associée à cette information
est la tribu engendrée par X, c'est-à-dire l'ensemble des événements de la
forme x- 1 (A), pour A ensemble quelconque de valeurs que X peut prendre;
c'est aussi la plus petite tribu contenant {B}, c'est-à-dire : u{X} = u{B} =
{0, n, B, Be}.
Alors l'espérance conditionnelle par rapport à X (ou ici : par rapport à
B) ne peut prendre que 2 valeurs, suivant que w E B ou que w E Be. Et il
est bien naturel que ces 2 valeurs possibles soient données par les probabilités
conditionnelles de la définition 1.1.14: f'(-/B) et f'(·/Be), ou les espérances
associées : JE(-/ B) et JE(-/ Be). Et puisque nous souhaitons aboutir à une
espérance, cette considération conduit à la définition suivante.

Définition 11.1.2 Soit V une variable aléatoire intégrable définie sur un

espace de probabilité (0, T, f> }, et soit B E T. L'espérance conditionnelle de
V par rapport à la variable aléatoire 1B (ou bien : par rapport à la tribu
u{B} = u{lB}) vaut:

lE(V l lB) =: lE(V i u{lB}) =: lE(V i u{B}) := lE(V/B) lB + lE(V/Be) lBc.

Noter que si l'événement Best négligeable, alors lB = 0 presque sûrement, de

sorte qu'on conviendra que lE(V/ B) lB = 0. De même pour le second terme
si Be est négligeable.
Cette définition donne bien pour l'espérance conditionnelle lE(V l lB) une va-
riable aléatoire ne prenant que deux valeurs, fonction déterministe de la va-
riable aléatoire lB puisqu'on peut la réécrire :
JE(V l lB) = JE(V/Be) + [JE(V/B) - JE(V/Be)) X lB.
Noter que si on intègre cette espérance conditionnelle, on obtient par la formule
des probabilités totales (Proposition 1.1.17) : lE[lE(V l lB)) = lE(V).

11.1.3 Cas d'une v.a. prenant un nombre fini de valeurs

Plaçons nous maintenant dans le cas où la variable aléatoire X prend

(avec probabilité 1) ses valeurs dans un ensemble fini {x1, ... , Xn}. La tribu
engendrée par X (c'est-à-dire l'ensemble des événements de la forme x- 1 (A),
pour A ensemble quelconque de valeurs que X peut prendre) est alors la
plus petite tribu contenant les événements {X = x1}, ... , {X = xn} (c'est
l'ensemble, de cardinal 2n, des réunions de ces n événements). Et il doit

[Link]
II.1. ESPÉRANCE CONDITIONNELLE DISCRÈTE 49

suffire de se placer sur chacun de ces événements élémentaires pour décider de

la valeur de l'espérance conditionnelle par rapport à la variable aléatoire X.
Dans le cas précédent de la définition II.1.2, on avait n = 2, x1 = 0, x2 = 1, et
lE(V JX)= lE(V Ja{X}) = lE(V/X = x1) l{x=xi} + lE(V/X = x2) l{x=x2}·
La définition II.1.2 est alors très naturellement généralisée comme suit.

Définition 11.1.4 Soit V une variable aléatoire intégrable définie sur un es-
pace de probabilité (n, T, lP>J, et soit X une variable aléatoire sur (0, T),
prenant presque sûrement ses valeurs dans un ensemble fini {x1, ... , Xn}.
L 'espérance conditionnelle par rapport à la variable aléatoire X (ou par rap-
port à la tribu finie a{ X}} vaut :
n
lE(V 1 X)= lE(V 1 a{X}) := L lE(V/ X= Xj) l{X=xj}.
j=l

Noter qu'il n'y a pas de raison de faire figurer une valeur Xj que la v.a. X
ne prend pas (ou prend avec probabilité 0). Mais même dans ce cas, c'est-
à-dire si l{X=xi} = 0 presque sûrement, on conviendra comme en II.1.1 que
lE(V/ X= Xj) l{x=xj} = 0, ce qui équivaut à ne pas faire figurer Xj dans la
liste des valeurs prises par X.
Comme dans la section II.1.1 ci-dessus, si on intègre cette espérance condi-
tionnelle, on obtient par la même formule des probabilités totales (proposition
I.1.17): lE[lE(VJX)] =lE(V).
Nous allons maintenant largement généraliser cette égalité.
Considérons n'importe quelle fonction réelle f définie sur {x1, ... , Xn}
X(D), et notons f(X) pour la v.a.r. f o X. Utilisant successivement la défi-
nition I.1.14, le corollaire I.2.5 et la définition II.1.4, nous avons :

E [f (X) V] =E[ t. l(x=x; if (x;) V l = t. f (x;) E(Vl{ x =x,))

= t. f (x; )E[V/X = x; ]ll'[X = x;] = E [ t. f (x; )E[V/ X = x;]l( x =x,)]

= E[t./(X) E(V/X = x;)l{x=x;ll = E[J(X) E(V 1X)]

Nous avons ainsi démontré la très importante propriété suivante.

50 CHAPITRE II. ESPÉRANCE CONDITIONNELLE

Proposition 11.1.5 Soient V une variable aléatoire intégrable vectorielle

définie sur un espace de probabilité (0, 7, ]p>), et X une variable aléatoire
sur (0, /), ne prenant qu'un nombre fini de valeurs. Alors pour toute fonc-
tion réelle f définie sur X(O) (par exemple l'application identique, ou bien
la fonction constante égale à 1), nous avons

lE[f(X) V] = lE[f(X) lE(V 1 X)).

Remarque 11.1.6 Si une tribu finie F est donnée sans référence à une
variable aléatoire X, elle est tout de même nécessairement engendrée par une
n
partition : n = LJ Ai presque sûrement, avec {Ai, ... ,An} engendrant la
j=i
tribu F (plus précisément, tout événement de F est alors réunion de certains
des événements élémentaires Aj ; pour vérifier cela, il suffit de considérer les
atomes de F : A(w) := n{E E Flw E E} (Y w E 0) : ils constituent
automatiquement la partition cherchée {Ai, . .. , An}).
Ce cas est en fait identique au cas envisagé ci-dessus : il suffit de considérer
n
alors (par exemple) la variable aléatoire X := L: j lAi valant Xj = j sur
j=i
l'atome Aj, de sorte que Aj ={X= Xj}· La définition 11.1.4 prend ainsi la
forme:
n
lE(V 1F) = L JE(V/Aj) lAj.
j=i

11.1.7 Cas général d'une variable aléatoire discrète

Commençons par étendre directement le cas précédent de la section 11.1.3

au cas où la variable aléatoire X prend (avec probabilité 1) ses valeurs dans
une partie dénombrable {xj li EN*}= {xi, ... ,xj, .. .}. La tribu engendrée
par X est toujours la plus petite tribu contenant les événements de la suite
{X= xi}, ... ,{X = Xj}, ....
Définition 11.1.8 Soit V une variable aléatoire intégrable définie sur un es-
pace de probabilité (0, 7, ]p>), et soit X une variable aléatoire sur (0, T), pre-
nant presque sûrement ses valeurs dans une suite {xi, ... , x j, ... } . L'espérance
conditionnelle par rapport à la variable aléatoire X (ou par rapport à la tribu
a{X}) vaut

lE(V 1 X)= lE(V 1 a{X}) := L lE(V/X = Xj) l{X=xj}.

j;:::i
II.1. ESPÉRANCE CONDITIONNELLE DISCRÈTE 51

L'intégrabilité de V suffit à garantir dans cette définition (qui étend la défi-

nition 11.1.4) l'intégrabilité de la série. La proposition 11.1.5 s'étend aussi (avec
la même preuve).

Proposition 11.1.9 Soient V une variable aléatoire vectorielle intégrable

définie sur un espace de probabilité (0, T, JP>}, et X une variable aléatoire
discrète sur (0, T ). Alors pour toute fonction réelle f bornée définie sur X(O)
(par exemple l'application identique si X est réelle bornée, ou bien la fonction
constante égale à 1), nous avons

lE[f(X) V] = lE[f(X) lE(V 1 X)).

Notons que l'hypothèse de bornitude, automatique dans le cas de X(O) fini,

n'est là que pour garantir l'intégrabilité, et peut être un peu affaiblie.
Observons que si la fonction f est injective, alors {!(X)= f(xj)} ={X= Xj}
pour tout j, de sorte que la variable f(X) = f o X contient exactement la
même information que la variable X. C'est-à-dire que f(X) et X engendrent
la même tribu. Au contraire, si f n'est pas injective, c'est-à-dire dans le cas
général, alors ceci devient faux : si par exemple f (x) = x 2 , savoir que X 2 = 1
ne dit pas si X = 1 ou si X = -1. Mais on a tout de même pour tout y E R :
{f(X) =y} = LJ {X= Xj} E u{X}.
{j 1qif=y}
Ce qui signifie qu 1 6~·\l 1'inclusion immédiate suivante entre tribus :
u{f o X} c u{X}, pour toute fonction f; ce qu'on interprète en disant que
l'information que contient f(X) est contenue dans celle que contient X. Il se
trouve que la réciproque suivante est vraie.

Proposition 11.1.10 Soient X, Y deux variables aléatoires définies sur un

espace probabilisé (0, T). L'inclusion des tribus engendrées : u{Y} c u{X}
a lieu si et seulement si il existe une fonction (déterministe) f définie sur
X(O) telle que Y= f o X.
Preuve. Il reste à établir la réciproque. Considérons pour simplifier de
nouveau le cas où X est discrète. Par hypothèse, pour toute valeur y prise
par Y, il existe des valeurs Xjp •.. Xjk' •.. prises par X telles que {Y= y}=
LJ{X = xiJ· Et il est clair que les listes des valeurs Xji correspondant à des
i
valeurs y distinctes sont disjointes deux à deux. On peut donc définir f sans
ambigüité en posant : f(xji) = ... = f(xik) = ... := y, pour toutes les
valeurs y prises par Y (qui sont nécessairement en quantité au plus égale au
nombre des valeurs prises par X). Il n'y a plus qu'à constater qu'on a bien
ainsi f(X) =Y (avec probabilité 1). o
52 CHAPITRE II. ESPÉRANCE CONDITIONNELLE

Le sens direct de cet énoncé s'applique en particulier à la v.a. JE(V 1 X). Ceci
et la proposition II.1.9 montrent le sens direct de l'importante caractérisation
suivante.
Proposition 11.1.11 (Caractérisation de l'espérance conditionnelle)
Soient V et W deux variables aléatoires vectorielles intégrables dé.finies sur
un espace de probabilité (n, /, IP), et X une variable aléatoire discrète sur
(n, /). Alors W = lE(V 1X) presque sûrement si et seulement si nous avons
(i) O'{W} c O'{X} et (ii) lE[VlA] = lE[WlA] pour tout A E O'{X}.
Preuve. Il reste à établir la réciproque. L'hypothèse (i) et la proposition
11.1.10 permettent d'écrire W = g(X) et lE(V 1 X) = h(X), pour deux fonc-
tions déterministes g, h. Rappelons que tout A E O'{X} s'écrit A= x- 1 (B)::::::
{XE B}, pour B = X(A) c X(n), de sorte que lA = lx-1(B) = lB(X). Ap-
pliquant la proposition 11.1.9 avec f = lB, nous obtenons : lE[h(X)lA] =
lE[VlA] = lE[g(X)lA] par l'hypothèse (ii), ceci pour tout A E O'{X}. Donc en
posant cp := h-g: lE[cp(X)lA] =O. Choisissant A= {cp(X) ~ é} E O'{X},
cela donne 0 ~ é IP(cp(X) ~ é), et donc IP(cp(X) ~ é) = 0, c'est-à-dire
cp(X) < c presque sûrement, pour tout c > 0. D'où cp(X) :::; 0 presque
sûrement. Changeant cp en -cp, cela prouve que cp(X) = 0 presque sûrement,
c'est-à-dire W = g(X) = h(X) = lE(V 1 X) presque sûrement. o
Exercice 11.1.12 Soient X, Y deux v.a.r. indépendantes, et soit S :=X +Y
leur somme. Calculer la loi conditionnelle de X sachant S (calculer JE[f(X) 1S]
pour f fonction-test), puis lE[X - Y 1 S], dans chacun des cas suivant.
a) IPx = B(m,p) et IPy = B(n,p) ; b) IPx = P(>..) et IPy = P(µ) ;
c) IPx = Ç(p) et IPy = Ç(q). Dans ce dernier cas, calculer aussi la loi
conditionnelle de X sachant min{X, Y} et la loi conditionnelle de min{X, Y}
sachant X.

11.2 Autres propriétés de l'espérance conditionnelle

L'espérance conditionnelle jouit des mêmes propriétés élémentaires que
l'espérance.
Proposition 11.2.1 L'espérance conditionnelle est linéaire : pour des va-
riables aléatoires Vi, ... , Vn vectorielles intégrables dé.finies sur le même es-
pace (n, 'T, IP) que la variable aléatoire réelle discrète X, et pour tous réels
À1, ... , Àn, nous avons

lE[tÀjltj
J=l
1 x] = tÀJ
J=l
lE(Vj 1 X).
II.2. AUTRES PROPRIÉTÉS DE L'ESPÉRANCE CONDITIONNELLE 53

Par ailleurs, nous avons les règles de calcul suivantes.

Proposition 11.2.2 Soient V une v. a. vectorielle intégrable définie sur un
espace de probabilité (0, T, "JP>), et X, Y des variables aléatoires discrètes sur
(0, T). Alors
(o) V 2: 0 p.s. => JE(V 1 X) 2: 0 p.s. (d'où V 2: V' p.s. => JE(V 1 X) >
JE(V'I X) p.s.);
(i) JE [JE(V 1X)] = JE(V) ;
(ii) Si u{V} c u{ X}, alors JE(V 1 X) = V presque sûrement;
(iii) Si V est indépendante de X, alors JE(V 1 X)= JE(V) p.s.;
(iv) Si u{X} c u{Y}, alors presque sûrement
JE[JE(V 1Y)1 X] = JE(V 1X)= JE[JE(V 1X)1 Y];
(v) JE[f(X)V 1X] = f(X) JE(V 1 X) presque sûrement, pour toute fonction
réelle f bornée sur X(O).

Preuve. (i) a déjà été mentionnée (et découle de la proposition 11.1.9). Si

on a u{V} c u{X}, alors la proposition 11.1.10 permet d'écrire V = f(X),
et la définition 11.1.8 entraîne :

j j

Et si V est indépendante de X, elle l'est de tout événement {X = Xj}, de

sorte que presque sûrement :

JE(V 1X)= L JE(V/X = Xj)l{X=x;} = L JE(V)l{X=x;} = JE(V) ·

j j

La seconde égalité de (iv) découle directement de (ii). Enfin, la première

égalité de (iv) découle de la caractérisation (proposition 11.1.11) : en effet,
A E u{X} =>A E u{Y}, et donc

JE(JE[JE(V iY) 1X] lA) = JE[JE(V 1 Y) lA] = JE[V lA] = JE(JE(V 1 X) lA)·

Enfin (v) découle de la caractérisation (proposition 11.1.11). En effet, la tribu

engendrée par f (X) JE(V 1 X) est clairement une sous-tribu de u{ X}, et pour
tout A E u{X}, écrivant lA = g(X) et posant h := fg, nous avons:

JE [f (X) JE(V 1X) lA] =JE [h(X) JE(V 1 X)] =JE [h(X) V]

=JE[(f(X)V)lA] =JE[JE[f(X)VIX] lA]· <>

54 CHAPITRE II. ESPÉRANCE CONDITIONNELLE

11.3 Projection orthogonale dans L 2

Nous considérons maintenant le cas général d'une sous-tribu F de la tribu

de base T Non seulement elle pourra être engendrée par une (ou des) va-
riable(s) aléatoire(s) pouvant désormais prendre un continuum de valeurs,
mais nous allons en outre directement nous passer de mentionner une telle
façon de la représenter: F sera seulement une sous-tribu de T, sans plus nous
soucier même de savoir s'il existe bien une variable aléatoire qui l'engendre.
D'autre part nous allons exiger que les variables aléatoires intervenant
dans cette section soient de carré intégrable, c'est-à-dire dans L 2 (et non plus
seulement intégrables, c'est-à-dire dans L 1 ). Par simple commodité (car ce
n'est pas essentiel), nous ne considérerons que des variables aléatoires réelles.
Ce cas général reprend bien entendu l'essentiel du cas discret précédent
(sections 11.1.7 et 11.2), en le généralisant. Les preuves, quand il y en aura, se
limiteront au cas précédent de sous-tribus engendrées par une variable aléatoire
discrète.

Théorème 11.3.1 Fixons un espace de probabilité (0, T, lP), et une sous-

tribu F de T (c'est-à-dire une tribu F sur n telle que F c T). Soit VE
L 2 (n, T,JP). Alors il existe une unique variable aléatoire définie p.s., notée
JE(V 1F), telle que :
(i) JE(VIF)EL 2 (0,F,JP) et (ii) V-JE(VIF)EL2 (0,F,JP)1-.
En outre, nous avons le théorème de Pythagore :

JE(V 2 ) = JE (JE(V 1F) 2) +JE [(V - JE(V 1F)) 2] ,

ainsi que la propriété de minimalité suivante :

JE[ (V - JE(V 1F)J 2] =min { JE((V - Y) 2 ) 1 Y E L 2 (0,F,lP) }·

Noter l'analogie rigoureuse avec le théorème de projection orthogonale dans

l'espace vectoriel euclidien Rd ; la seule différence est qu'ici la dimension est
infinie. L 2 (n, T, JP) est le gros espace vectoriel «euclidien» (on dit plutôt
«hilbertien» lorsqu'on est en dimension infinie) ambiant dans lequel tout a
lieu, et L 2 (n, F, JP) est le sous-espace vectoriel sur lequel on projette ortho-
gonalement (le vecteur V). La propriété de minimalité énonce que la distance
de V au sous-espace L 2 (n, F, JP) est réalisée en considérant sa projection or-
thogonale (pied de la perpendiculaire), c'est-à-dire ici JE(V 1F).
Noter aussi que le sens de (i) est double: la variable aléatoire projetée JE(V 1F)
est F-mesurable, et de carré intégrable.
II.3. PROJECTION ORTHOGONALE DANS L 2 55

La condition d'orthogonalité (ii) a le même sens qu'en dimension finie, en n'ou-

bliant toutefois pas la définition du produit scalaire de L 2 (n, 7, JP) : (V, Z) f-+
JE[VZ]. De sorte que (ii) signifie précisément: pour tout Y E L 2 (S1,F,lP),
JE [(V - lE(V 1F)) x YJ = 0 , ou encore :

lE [VY] = JE [JE(V 1 F) x Y] , pour toute Y E L 2 (S1,F,lP). (11.1)

Définition 11.3.2 La variable aléatoire projetée lE(V 1 F) du théorème II.3.1

est appelée espérance conditionnelle par rapport à la tribu F de la v.a. V E
L 2 (n, 7, JP).

Preuve. (du théorème 11.3.1 de projection orthogonale, dans le cas où F =

u{Z} avec Z discrète) Soit comme dans la définition II.1.8:
JE(V 1 F) := L JE(V/Z = Zj) l{Z=zj},
j

qui par définition est bien F-mesurable. Comme (du fait de la disjonction des
{Z = Zj}) on a
JE [JE(V 1F) 2] =JE[ L JE(V/Z = Zj) 2 1{Z=zj}]
j

:::; :EJE(V2 /Z = zj)JP(z = zj) = 1E[V2 ],

j

on est assuré que JE(V 1 F) E L2 (n, F, JP). Soit ensuite Y E L2 (n, F, JP). Alors
selon les propositions 11.1.10 et 11.1.9, Y s'écrit Y= J(Z) et nous avons :

JE[VY] = JE[V J(Z)] = JE[JE(VIF) f(Z)] = JE[JE(VIF) Y].

Ceci montre la propriété d'orthogonalité (ii), sous sa forme équivalente (11.1).
Ensuite, si W était une autre solution, on aurait (par soustraction) à la fois
W - lE(VIF) E L2 (n, F, lP) et W - JE(VIF) E L 2 (n, F, JP)1-, d'où
JE[[w - JE(VIF)] 2] = 0, ce qui implique l'unicité : W = JE(VIF) presque
sûrement. Quant au théorème de Pythagore : nous avons

JE[V 2 ] = E[[(V -JE(VIF)) + JE(VIF)] 2] = E[[v -JE(VIF)] 2] + E[JE(VIF) 2 ]

puisque le terme rectangle s'annule, selon (i) et l'orthogonalité (ii).
Enfin, pour toute variable aléatoire Y E L2 (n, F, JP), nous avons dans le même
esprit :
56 CHAPITRE II. ESPÉRANCE CONDITIONNELLE

lE[(V - Y) 2) = E[ [(V - lE(VIF)) + (lE(VIF) - Y)J 2]

= E [[V - JE(VIF)) 2] + E [ [lE(VIF) - Y] 2] ~ E [ [v - lE(VIF)) 2]. o
Les propriétés vues aux sections Il.1.7 et Il.2 demeurent valables : la pro-
position 11.1.9 est remplacée par (11.1); la caractérisation (proposition 11.1.11)
est maintenant (i), (ii) du théorème 11.3.1, (ii) pouvant être remplacé par
(11.1), ou bien encore par :
pour tout A E F. (11.2)
(Justification : si on a (11.2), on peut par linéarité remplacer lA par toute
variable en escalier F-mesurable, puis par limite croissante, par toute variable
F-mesurable positive de carré intégrable, et enfin par différence, par toute
Y E L 2 (0,F,lP').)
De même pour les propositions 11.2.1 et 11.2.2, qui deviennent :

t.
Proposition 11.3.3 (oo) L'espérance conditionnelle est linéaire :

E [t, .r]
À; V; 1 = À; IE(V; 1F), \1 V; E L2 (!1, T, Il'), \1 À; Elit

Soient VE L2 (0, /, JP>), et F, g deux sous-tribus de T. Alors

(o) V ~ 0 p.s. :::} lE(V 1 X) ~ 0 p.s. (d'où V ~ V' p.s. :::} lE(V 1 X) >
lE(V'I X) p.s.);
(i) lE[lE(V 1F)) = E(V);
(ii) Si VE L 2 (n, F, JP>), alors lE(V 1F) =V presque sûrement;
(iii) Si V est indépendante de F, alors lE(V 1F) = lE(V) p.s.;
(iv) Si g c F c /, alors presque sûrement
JE [lE(V 1F) 1 Q) = lE(V 1Q) = E [lE(V IQ) 1 F) ;
(v) E[ZV 1F] = ZlE(VIF) p.s., pour toute variable aléatoire Z F-mesurable
bornée.

Remarquons que (i) et (ii) sont des cas particuliers de (iv) : on obtient (i) en
prenant Q = {0, n}, car alors on a trivialement lE(VIQ) = lE(V); et (i) en
prenant Q = F.
Exemple. Soit (Y, X1, ... , Xn) un vecteur gaussien, de matrice de covariance
K. Alors
n
lE(YIXi, ... ,Xn) =ao+ La; X;.
j=l
II.3. PROJECTION ORTHOGONALE DANS L 2 57

Pour établir cette formule, commençons par trouver la valeur des coefficients
n
aj, et tout d'abord de ao en l'intégrant : on aussitôt lE(Y) = ao+ .L:': aj lE(Xj).
j=l
n
Il suffit donc de poser ao = lE(Y) - .L:': aj JE( Xj) , et
(par différence) de traiter
j=l
le cas de (Y, X1, ... , Xn) centré (pour lequel ao = 0), sur lequel nous nous
concentrons maintenant. Nous devons avoir pour chaque k E {1, ... , n}
n n
K(O,k) =lE(YXk) =1E(2:ajxjxk) = 2:ajK(j,k).
j=l j=l

Donc notant a := (a1,. . ., an) et K = (f~ ix), où Œ est l'écart-type

de Y et Kx la matrice de covariance de X := (X1, ... , Xn), nous avons :
V=a x Kx.
Si Kx n'est pas inversible : il existe un vecteur (déterministe) v = (v1, ... , vn)
=/. 0 dans le noyau de Kx, de sorte que lE[IXtvl 2 ] = lE[vtxxtv] = vKx tv =
n
0 , et donc p.s. : 0 = X tv = .L:': Vj Xj : le vecteur _aléatoire X
= (X1, ... , Xn)
j=l
est presque sûrement cantonné dans l'hyperplan déterministe vl_. L'un au
moins des Vj doit être non nul ; quitte à réordonner les Xj , nous pouvons
n-1
supposer Vn =/. 0, de sorte que Xn = .L:': vjXj. Cela entraîne aussitôt que
j=l
lE(Y 1 X1, ... , Xn) = lE(Y 1 X1, ... , Xn-1). Donc par récurrence sur n, nous
pouvons diminuer n jusqu'à avoir Kx inversible, ou alors n=O, auquel cas a=
0 convient trivialement. Nous sommes ainsi ramenés au cas de Kx inversible.
Or si Kx est inversible, nous avons simplement a = V Kx 1 .
Il reste seulement à vérifier que réciproquement, le vecteur a ainsi obtenu
convient bien. Or pour chaque k E { 1, ... , n} :
n
lE[(Y - a tx)xk] = K(O, k) - Lai K(j, k) =O.
j=l

C'est dire que la matrice de covariance du vecteur gaussien

(Y - a t X, X1, ... , Xn) est ( 0 2

flx), ce qui implique que ses coordonnées
Y - a t X et (X1, ... , Xn) sont indépendantes (cela se déduit par exemple du
corollaire I.3.39 et de la proposition I.2.22 : la matrice de covariance détermine
la loi d'un vecteur gaussien centré, et elle a cette forme en cas d'indépendance,
de sorte que la réciproque est vraie). Donc
58 CHAPITRE II. ESPÉRANCE CONDITIONNELLE

lE(Y - atx 1 X1, ... ,Xn) = 0, ou bien:

n
lE(Y 1 Xi, ... ,Xn) = lE(atx 1 X1, ... ,Xn) = atx =Lai Xi. o
j=l

Exercice 11.3.4 Soit (X, Y) E lRk x lRl une variable aléatoire admettant une
densité h = h(x, y). Montrer que la loi conditionnelle de X sachant Y admet
la densité h~;:~? dx ·
(Calculer lE[f (X) 1 Y], pour toute fonction-test f sur
IRk).

11.4 Extension à L 1
Ayant fait le détour par L 2 dans la section précédente, nous pouvons fina-
lement revenir aux variables seulement intégrables, tout en conservant la no-
tion d'espérance conditionnelle par rapport à une sous-tribu quelconque. (Cela
se fait par densité de L 2 dans L 1 et passage à la limite croissante pour des
variables intégrables positives, puis par différence pour des variables réelles
intégrables quelconques, et enfin, pour des variables vectorielles intégrables,
coordonnée par coordonnée.) On perd ainsi en route la notion de projection
orthogonale, mais il reste l'essentiel.

Théorème 11.4.1 Fixons un espace de probabilité (0, T, f' }, et une sous-

tribu F de T. Soit V E L 1 (0, T,f'). Il existe une unique variable aléatoire,
définie presque sûrement, notée lE(V 1F), et et appelée l'espérance condition-
nelle de V par rapport à F, telle que :
(i) lE(V 1F) E L 1 (0, F, f') ; (ii) lE[VlA] = lE(lE(V 1F) x lA] (\f A E F).

L'inégalité de Jensen (théorème 1.2.17) reste valable dans ce cadre (avec

essentiellement la même preuve).
Théorème 11.4.2 (Inégalité de convexité de Jensen) Soient V E L 1 (0, T, f'),
et F une sous-tribu de T. Pour toute fonction convexe réelle minorée c.p, nous
avons
lE (c.p(V) 1 F] ~ c.p(IE[V 1F]).

Exemple : pour tout p ~ 1, nous avons lE [llVllP 1 F] ~ jjlE[V 1F] llP·

La proposition 11.3.3 reste valable en remplaçant partout L 2 par L 1 •
Chapitre III

Marches Aléatoires sur zd

Si vous n'avez pas la vocation, vous n'arriverez à rien. Si vous l'avez, vous
n'arriverez pas davantage; mais vous travaillerez pour faire comme moi,
pour savoir que vous ne savez rien! (Charles Cros)

Les marches aléatoires constituent à la fois une catégorie de processus

aléatoires intéressante en soi, et une introduction naturelle aux chaînes de
Markov, dont elles sont un important cas particulier et exemple. De façon à
rester élémentaire, ne sont considérées dans ce livre que des marches à valeurs
dans un réseau 71,d; à l'exception de l'exercice IIl.3.2, qui présente une exten-
sion au cas d'un arbre homogène, et de quelques allusions au cas d'un groupe
7/,/nZ. Les marches aléatoires sur des groupes plus généraux, en particulier
non commutatifs, qui constituent une branche importante et toujours active
de cette théorie, ne sont pas du tout abordées dans ce livre.

111.1 Marches aléatoires et temps d'arrêt

Comme il est d'usage, on se donne un espace de probabilité (0, T, IP'), fixé

une fois pour toutes, dans le cadre duquel tout ce qui suit aura bien un sens
précis.

Définition 111.1.1 Soit {Xn 1 n E N*} une suite de variables aléatoires à

valeurs dans 71,d, indépendantes, et de même loi notée µ . On appelle marche
aléatoire (sur 71,d) le processus {Sn 1 n E N} à valeurs dans 71,d défini par :
Sa:= 0, et pour tout n EN* : Sn:= X1 + · · · + Xn.
La marche est dite simple lorsque µ( { ej}) = µ( { -ej}) = 1/ (2d) , où
(e1, ... , ed) désigne la base canonique de 71,d.
60 MARCHES ALÉATOIRES SUR zd
s. J

FIGURE 111.1 - Graphe (j, Sj) d'un début de trajectoire de la marche simple
sur Z

L'indice entier naturel n de la marche aléatoire (Sn) doit être vu comme le

temps, suite des instants successifs auxquels on observe son déplacement dans
l'espace d'états zd. La loi µ est celle d'un pas élémentaire, et comme de
juste, la marche aléatoire est obtenue en additionnant successivement les pas
élémentaires (indépendants) Xj.
La notion de tribu, et plus particulièrement de tribu engendrée, qui semble
abstraite au premier abord, va apparaître dès maintenant sous un jour plutôt
concret, comme modélisation de l'information associée aux trajectoires
(So, S1, ... , Sn), c'est-à-dire correspondant à ce qu'on sait du parcours de la
marche aléatoire à un instant n. En outre, comme on s'intéresse à l'évolution
au cours du temps de la marche aléatoire, c'est non seulement une tribu qu'il
est légitime de considérer, mais la suite croissante de toutes les tribus naturel-
lement associées à tous les temps, qu'on nomme filtration. Précisément, c'est
l'objet de la définition suivante.

Définition 111.1.2 Soit pour tout n EN*: Fn := a{X1, ... , Xn}

= a{Si, ... , Sn} la tribu représentant l'information connue au temps n. On
note aussi Fo = {0, n} la tribu triviale, et F 00 la tribu engendrée par LJ Fn.
nEN

Noter que l'égalité des tribus a{Xi, ... ,Xn} et a{Si, ... ,Sn} est immédiate,
puisque d'une part la définition de Sn montre que a{Si, ... , Sn} est incluse
III.1. MARCHES ALÉATOIRES ET TEMPS D'ARRÊT 61

FIGURE III.2 - Un début de trajectoire de la marche simple dans '/l.,2

dans a{X1, .. . ,Xn}, et que d'autre part la réciproque résulte aussitôt du

constat que Xn =Sn - Sn-1 est a{S1, ... , Sn}-mesurable.
Noter aussi qu'ainsi définie la filtration (Fn) est bien croissante :
{0, n} = Fo c Fn c Fn+i c ... c F= c T LJ Fn n'est
Noter enfin que
nEN
pas une tribu, puisqu'elle ne contient que des événements qui ne dépendent
que d'un nombre fini des v. a. indépendantes Xn, tandis que la tribu F= est
engendrée par toutes ces variables aléatoires.
La notion suivante est essentielle à l'étude des marches aléatoires, et plus
généralement à l'étude des chaînes de Markov.

Définition 111.1.3 On appelle temps d'arrêt toute variable aléatoire N à

valeurs dans N telle que { N ::; n} E Fn pour tout n E N . On pose alors :
FN :={A E F= 1 (Vn EN) An {N :Sn} E Fn}·

Intuitivement, un temps d'arrêt doit être imaginé comme l'instant auquel

se produit pour la marche aléatoire (Sn) un certain événement (éventuellement
compliqué à décrire précisément, mais peu importe); la propriété imposée par
la définition se comprend alors aisément : la connaissance de la trajectoire de
la marche aléatoire jusqu'à un instant n quelconque permet de savoir si à cet
62 MARCHES ALÉATOIRES SUR zd
instant n cet événement s'est produit ou non. Le contrexemple suivant est à
cet égard éclairant : le dernier temps de passage max{n E N 1 Sn E E} par
une partie E c zd n'est pas un temps d'arrêt, puisqu'à tout instant n on ne
sait pas encore si la marche aléatoire (Sn) repassera dans l'avenir par E ou
non.
Les temps constants sont des exemples triviaux de temps d'arrêt, puisque
si N est constant alors {N s n} E Fo (il est soit vide soit certain). Mais ils
sont trop rigides, et ne suffisent pas pour examiner des propriétés tant soit peu
subtiles (de nature géométrique, en particulier) des trajectoires de la marche
aléatoire.
Les temps d'arrêt constituent précisément la généralisation des temps cons-
tants nécessaire à l'étude des marches aléatoires (et aussi bien à celle des
chaînes de Markov). Une des lignes directrices de la démarche que nous al-
lons suivre consistera à vérifier assez systématiquement que les propriétés des
marches aléatoires (et des chaînes de Markov dans le chapitre suivant) qui sont
valables pour les temps constants le sont aussi bien pour les temps d'arrêt. La
définition (III.1.3) de FN, qui modélise l'information connue au temps d'arrêt
N (c'est-à-dire associée aux trajectoires (So, Si, ... , SN)), ressort déjà de cette
démarche.
L'exemple fondamental de temps d'arrêt est le temps d'atteinte par le pro-
cessus d'une certaine partie E de 'll..d : TÉ:= min{n EN 1 Sn E E} est bien
un temps d'arrêt; en effet {TÉS n} = U {Bk E E} E Fn. C'est le premier
o::;k::;n
instant auquel se produit pour la marche aléatoire l'entrée dans E. Il se peut
que la marche aléatoire n'entre jamais dans E, auquel cas on attribue la valeur
oo à TÉ : cela justifie que dans la définition IIl.1.3 la valeur oo soit autorisée
pour un temps d'arrêt N.
Le temps de retour en E : TE := min{n E N* 1 Sn E E} est aussi un temps
d'arrêt, puisque {TE Sn}= U {Bk E E} E Fn. C'est le premier instant
I::;k::;n
auquel se produit pour la marche aléatoire le retour dans E si 0 E E, et l'entrée
dans E si 0 ~ E. Noter que TÉ s TE, que TE= TÉ si 0 ~ E, et que si 0 E E
alors 0 = TÉ < TE .
À ce propos, observons que le rôle particulier joué par 0 n'est qu'apparent,
dans zd vu comme un réseau : quoique selon la définition IIl.1.1 la marche
aléatoire (Sn) soit en 0 à l'instant 0 (elle démarre de 0), il est de fait très aisé
de la faire partir de n'importe quel point V E 'll..d, simplement par translation
de vecteur v, en considérant la marche translatée (v +Sn). La notant alors de
nouveau (Sn) pour alléger, nous sommes ramenés ainsi au cas plus général de
Bo = v, c'est-dire d'une marche aléatoire d'origine quelconque dans zd. Nous
III.l. MARCHES ALÉATOIRES ET TEMPS D'ARRÊT 63

verrons plus loin (à propos des chaînes de Markov) une généralisation plus
notable de ce point de départ, puisqu'il pourra devenir lui-même aléatoire.

Exercice 111.1.4 .. Montrer que N est un temps d'arrêt si et seulement si

{N = n} E Fn pour tout n EN, et montrer que
FN ={A E Foo 1 (Vn EN) An {N = n} E Fn}·

Exercice 111.1.5 .. Soient Net N' deux temps d'arrêt tels que N:::; N'.
a) Vérifier que FN est une tribu. b) Montrer que FN c FN'.
c) Soit A E FN. Montrer que NlA + N'lAc est un temps d'arrêt.
d) Montrer que si Z est un processus adapté (Zn est Fn-mesurable pour tout
n) à valeurs dans ]Rd et si N est [Link], alors ZN est FN-mesurable.

Exercice 111.1.6 •• Soient Net N' deux temps d'arrêt.

a) Vérifier que min{N,N'} et max{N,N'} sont aussi deux temps d'arrêt;
qu'en est-il de N + N' ?
b) Montrer que les événements {N < N'}, {N :::; N'}, {N = N'} appar-
tiennent à Fmin{N,N'}' puis que Fmin{N,N'} = FN n FN'.

Exercice 111.1. 7 • {Identité de Wald) Soit N un temps d'arrêt. Supposons

que lE(llX1 Il) et lE(N) sont [Link]. Montrer que lE(SN) = lE(X1) x lE(N).
( Écrire SN = l: Xnl{N<n}c, et commencer par justifier l'intégrabilité de
neN*

Le lemme simple mais fondamental suivant est une première ébauche (dans
le cas des marches aléatoires) de la propriété de Markov (du chapitre suivant).

Lemme 111.1.8 (Lemme fondamental) Soit N un temps d'arrêt.

Conditionnellement par rapport à { N < oo}, la suite {XN+n 1 n E N*} est
indépendante de FN, et a la même loi que {Xn 1 n EN*}.

Preuve. Notons d'abord que puisque les sous-tribus Fk engendrent la tribu

F 00 , deux probabilités égales sur chaque Fk doivent être égales sur (n, F 00 ).
Autrement dit, toute probabilité sur (n, F 00 ) est déterminée par ses restric-
tions aux sous-tribus Fk. En particulier, la loi de toute la suite (Xn) est
déterminée par les lois des sous-suites finies (Xi, ... , Xk), et de même la loi
64 MARCHES ALÉATOIRES SUR zd
de toute la suite (XN+n) est déterminée par les lois des sous-suites finies
(XN+I, ... ,XN+k), pour k variant dans N*.
Ainsi, et selon la définition III.1.1, la loi de la suite (Xn) est donnée par la
k
formule générique 1P'[X1 = v1, ... ,Xk = vk] = TI µ(vj), pour k EN* et
j=l
v1 , ... , vk E zd (où selon la convention usuelle les virgules, à lire comme des
«et», indiquent des intersections d'événements). L'énoncé est donc équivalent
à la vérification de la formule générique
k
JP>[A, XN+l = v1, ... ,XN+k = Vk 1 N < oo) = lP'[A 1N < oo) x II µ(vj),
j=l
pour A E FN, k EN*, et v1, ... , Vk E zd fixés. Or nous avons

JP>(A, N < oo, XN+I = vi, ... , XN+k = vk)

= L JP>(A, N = n, Xn+l = V1, ... , Xn+k = Vk)

nEN

= L lP'(A, N = n) lP'(Xn+l = V1, ... , Xn+k = vk)

nEN k
= JP>(A, N < oo) II µ(vj). <>
j=l

Remarque 111.1.9 (Espace canonique) Soit n' := (Zd)N* l'espace ca-

nonique de toutes les trajectoires a priori possibles, qui contient l'image de
n par la variable aléatoire X = (X1,X2, ... ), puisque pour tout w E n,
w' := X(w) = (X1(w),X2(w), ... ) En'.
Identifiant w~ = Xn(w) à Xn(w'), les variables Xn apparaissent alors simple-
ment comme les applications-coordonnées sur n'. La définition de la filtration
(Fn), vue comme filtration sur n', est inchangée. La loi lP' est changée en son
image par la variable X, donc en une loi sur (n', F 00 ) rendant les coordonnées
Xn indépendantes et de même loi µ ; or il n'y a qu'une telle loi, qui est la loi
produit µ®N*.
Dès lors on peut oublier le triplet initial (0, T, JP>), en le remplaçant défini-
tivement par (n', F 00 , µ®N*) , qui est le cadre naturel pour considérer la marche
aléatoire (toujours définie comme dans la définition III.1.1). Pour alléger l'écri-
ture, nous continuerons de noter n pour O', et lP' pour µ®N* .

Définition 111.1.10 (Décalage) L'opérateur de décalage {shift en anglais)

est l'application (} de n dans n définie par (Ow)n := Wn+l' pour tout n E
III.2. TEMPS DE RETOUR EN 0 65

N*, ou bien de façon équivalente : Xn o (} = Xn+l (et par suite Sn o (} =

Bn+1 - 81 ).
Ses itérées ()k sont classiquement définies par : e0 := Id, (} 1 := (}, ()k+ 1
:= (} o ()k, pour tout k E N, et vérifient : (()kw )n = Wn+k , pour tout n E N*,
c'est-à-dire Xn o ()k = Xn+k (et par suite Sn o ()k = Bn+k - Bk).
Enfin si N est un temps d'arrêt, on pose : ()N := en sur {N = n}, et
eNw := 8 si N(w) =OO' où 8 <t. n est un point qu'on rajoute à n, et qu'on
nomme cimetière.

Le lemme fondamental 111.1.8 ci-dessus se réécrit : Conditionnellement à

{N < oo}, la suite {Sn o (}N 1 n E N} est indépendante de F N , et a la même
loi que {Sn 1 n EN}. Nota Bene: Sn o (}N = BN+n - SN.

Exercice 111.1.11 .. Soient Net N' deux temps d'arrêt. Montrer que N +
N' o (}N est un temps d'arrêt. Interpréter, lorsque N et N' sont des temps
d'atteinte. Évaluer ()N' o ()N.

Exercice 111.1.12 (Chung) Supposons lE(Xi) < oo, lE(X1) < 0, et posons
M := sup{S; li EN*}, puis Mn:= max{S; l [Link]; j:::; n} pour tout n EN*.
On veut établir que lE(M-) = -lE(X1).
a) Montrer que lE[[Link] +lE[e-itM.;:-J -1 = lE[eitMn) = lE[eitM:_1JlE[eitX1J
pour tous n E N* et t E R . (Pour la deuxième égalité, on pourra décaler la
suite X.)
b) Déduire le résultat lorsque X1 est intégrable et lE(X1) < 0. (Vérifier que
M+ < oo presque sûrement et que M- est intégrable.)
c) Déduire le résultat (par troncation) lorsque 1E(X1) = -oo.

111.2 Temps de retour en 0

Soient To := 0, Ti = T := min{n E N*I Sn = O} le premier temps de

retour en 0 (qui vaut oo s'il n'y en a pas), puis pour tout k EN* :
Tk := min{n > Tk-1 ISn= O} le k-ième temps de retour en O.

Exercice 111.2.1 •• a) Vérifier que SN+k =SN+ Bk 0 eN et que = n

Tk-l +To()Tk- 1 = T+Tk-l o()T, pour tout k EN et tout temps d'arrêt N.
b) Montrer que IP'(Tk < oo) = IP'(T < oo)k. (Utiliser le lemme III.1.8.)
c) Pour tout VE zd, V=1- 0' notons Tk(v) le k-ième temps de passage en V.
Montrer que IP'(Tk(v) < oo) = IP'(T1(v) < oo) x IP'(T < oo)k-l.
66 MARCHES ALÉATOIRES SUR zd
Proposition 111.2.2 a) Les énoncés suivant sont équivalents :
(i) lP[T < oo] = 1; (ii) lP[limsup{Sn = O}] = 1; (iii) l:lP[Sn = O] = oo.
n n
b} Si lP[T < oo] < 1, alors JP[limsup{Sn = v}] = 0 pour tout VE zd.
n

Preuve. a) L'exercice IIl.2.1.b montre que (i) entraîne 1P(Tn < oo (Vn))
= 1 , c'est-à-dire (ii). Le premier lemme de Borel-Cantelli montre que (ii) ~
(iii). Ensuite nous avons E l{Sn=O} = E l{Tk<oo} presque sûrement, et
n k
donc en intégrant :
E 1P(Sn = 0) = E lP(Tk < oo) = l:lP(T < oo)k = lP(T = oo)- 1
nEN kEN k
d'après l'exercice 111.2.1.b à nouveau, d'où (iii) ~ (i).

b) E [:L:
n
l{Sn=v}] = L lP(Tk(v) < oo) = 1P(T1(v) < oo)/lP(T = oo) < oo
k
d'après l'exercice 111.2.1.c, d'où
JP[ lim:up{Sn = v}] = JP[ ~ l{Sn=v} = oo] = 0. <>

Proposition 111.2.3 Soient R := {v E zd l limsup{Sn = v} = Op.s.} l'en-

n
semble des points presque sûrement infiniment visités par la marche aléatoire,
et e := {V E zd 1 (3 n E N) JP>(Sn = v) > 0} l'ensemble des points pouvant
être visités par la marche aléatoire. Alors
soit R est vide, soit c'est un sous-groupe de zd et il est égal à & .

Preuve. Soient V E e, et w ~ V+ R. Fixons k E N tel que JP(Sk =

V) > 0. Notons que v' ~ R signifie que Jp> [ u n {Sn # v'}] > 0, et donc
mn;:::m
(de par la proposition l.1.4(vii)) équivaut à l'existence de m E N* tel que
JP>[(Vn ~ m) Sn # v'] > 0. Fixons un tel m, relatif à v' = w - v. Alors le
lemme fondamental 111.1.8 (appliqué avec le temps constant N = k) permet
d'écrire:

JP((Vn ~ m + k) Sn# w] ~ JP((Vn ~ m + k) Sn - Sk # w -v, Sk = v] =

lP((Vn ~ m + k) Sn - Sk # w - v]lP(Sk = v)
= lP[(Vn ~ m) Sn# w-v]P(Sk = v) >O.
Donc nous venons de prouver que si w - v ~ R et v E & , alors w ~ R .
Autrement dit (par contraposition) : V E e et w E R impliquent w -v E R.
III.2. TEMPS DE RETOUR EN 0 67

Remarquons que R c & . Donc prenant v et w dans R, nous voyons que R

est bien un sous-groupe, s'il est non vide. Enfin, dans ce cas toujours, prenant
w = 0, nous obtenons & c R. <>

Exercice 111.2.4 • a) Donner un exemple où & n'est pas un sous-groupe

deZd.
b) Montrer que si & est un sous-groupe de zd, alors c'est le sous-groupe
engendré par le support de µ .

Exercice 111.2.5 Considérons une probabilitéµ sur zd qui ne charge pas

0, un réel q E ] 0, 1[, et la probabilité µ' sur zd dé[Link] par : µ' ({0}) = 1 - q
et µ 1( { v}) = q µ( {v}) pour tout v =f. 0 . Soient B et B' les deux marches
associées.
Soit {rj 1 j E N*} une suite indépendante de B de v.a.i.i.d. géométriques de
paramètre q (i.e. JP>(rj = k) = (1 - q)k-lq), et soient Ro := 0, puis pour
k E N* : Rk := r1 + · · · + rk .
a) Montrer que pour tout m E N*, JP>((:J k E N*) Rk = m] = q. (Par
récurrence.)
Posons ensuite B~ :=Bk sur {Rk ~ n < Rk+I}, pour tout n EN.
b) Montrer que B" et B' ont la même loi. (Indication : évaluer
JP>[ n~=l n~:6{BJ'1+··+Je-1+m = Zi-1}], pour Ji, ... ,jk EN*, 0 = zo =1- z1 =/:-
. · · =/:- Zk-l·)
c) Déduire que L:JP>(Bk = 0) = qL:JP>(B~ = 0), et que Best récurrente
k n
(ce qui signifie que l'ensemble R de la proposition III.2.3 est non vide) si et
seulement si B' l'est.
d) Comparer JP>(T' < oo) et JP>(T < oo). (T' désigne le temps de retour en 0
pour B').
e) Soient R' := min{n EN 1B~ =/:- O}, Rb:= 0, puis R~ := R~_ 1 +R'o9R~-1
pour k E N*. Identifier la loi de la suite R~, puis montrer que la suite Bk~ &
la loi de S. et est indépendante de la suite R~. (Indication : évaluer
JP>[ n~=i{R~ =Ji, Bk~ = zi}] .)
68 MARCHES ALÉATOIRES SUR 71,,d

111.3 Récurrence des marches simples

Dans le cas de la marche simple sur zd (voir la définition III.1.1), il est
clair que & = zd .
Les propositions 111.2.2et111.2.3 nous assurent donc que soit la marche simple
repasse indéfiniment par chaque point de zd, soit chaque point n'est visité
qu'un nombre fini de fois par elle, et donc elle tend vers l'infini, tout ceci
presque sûrement. Dans le premier cas, on dit que la marche est récurrente,
et dans le second, qu'elle est transitoire (ou transiente, d'après l'anglais).
Le célèbre résultat suivant peut se traduire (un peu abusivement) en lan-
gage courant par la phrase : un homme ivre finira par retrouver sa demeure,
alors qu'un oiseau ivre peut se perdre définitivement. G. Polya en eut l'idée
en déambulant dans Budapest avec des étudiants.

Théorème 111.3.1 (Polya) La marche aléatoire simple sur zd est récurrente

pour d = 1 ou d = 2 , mais est transitoire pour d 2".: 3 .

Preuve. La marche est récurrente si et seulement si 0 est récurrent, c'est-à-

dire si et seulement si la marche repasse presque sûrement indéfiniment par 0,
et donc, d'après la proposition IIl.2.2, si et seulement si E JP>(Sn = 0) = oo.
n
Comme JP>(S2n+i = 0) = 0 pour tout n, la récurrence a lieu si et seulement
si E JP>(S2n = 0) = oo.
n
Pour d = 1, nous avons aussitôt JP>(S2n = 0) = 2- 2nc~n '"" (rrn)- 112 ,
puisqu'il faut autant de pas vers la gauche que vers la droite, et qu'on peut
appliquer la formule de Stirling; ce qui garantit la divergence de la série (noter
qu'un équivalent du terme général suffit, puisqu'on considère une série à termes
positifs).
Pour d = 2 , distinguant selon le nombre m de déplacements de la marche
dans le sens horizontal, on retrouve la loi multinômiale (vue dans la section
1.3.41) :
llD( ) -2n ~ (2n)!
J.L S2n = 0 = 4 L....J 1 1( _ ) 1( _ ) 1 , d'où
m=O m.m. n m .n m .

JP>(S2n = 0) = 2- 4nc~n Î: c;:ic;:-m = (2- 2nc~nr'"" (rrn)- 1, dont la série

m=O
diverge.
Pour d = 3 , de nouveau de par la loi multinômiale, distinguant selon les
nombres l et m de déplacements de la marche dans les sens droite-gauche et
III.3. RÉCURRENCE DES MARCHES SIMPLES 69

avant-arrière respectivement, nous avons (selon la loi multinômiale vue dans

la section 1.3.41) :

JP(S2n = 0) = 6-2n L (2n)! 2

l,mEN,l+m~n (l!m! (n-l - m)!]

= 2
-2n n
C2n L (3-n l! m! (n n.- 1l - m)! )2 :'.S 2
-2n n
C2n X
l,mEN, l+m~n

3-n n! 3-n n!
x max
l,mEN,l+m~n (l! m! (n - l - m)!]
2 x L
O~l+m~n l! m! (n - l - m)!

= 2- 2n C2 X max {3-n n! }
n n2+n2+na=n ni! n2! ng!
2- 2n C~n X 3-n X n!
=
min {ni! n2! ng! 1 ni+ n2 + ng = n, lni - nil :'.S 1} '
puisque si par exemple ni - n2 2: 2 alors ni! n2! ng! > (ni -1)! (n2+1)! ng!
;
cela impose ni, n2, ng 2: (n - 2)/3, d'où par la formule de Stirling la conclu-
sion pour d = 3 (on obtient bien un terme général de série convergente) :
IP(S2n = 0) =

n-i/ 2 x 3-n x (n/er fo ]

=0 [ = 0 [ 3-n x nn]
= O(n- 312 ).
(ni/ e )ni (n2/ e )n2 (ng/ e )na Jni n2n3 ( n32 )n+3/2

Finalement, si d > 3, considérons la projection S~ de la marche Sn sur

les trois premières coordonnées de 'li}, puis To := 0, et pour n EN* :
Tn := min { m > Tn-i 1 s:n
i- Sj.n-i}. Alors Tn est presque sûrement fini,
Sj.n est la marche simple sur 71}, et donc d'après le cas d = 3 ci-dessus,
ne passe plus par 0 après un certain temps aléatoire presque sûrement fini
N. Comme S~ est constante entre deux instants Tn-i et Tn, nous avons a
fortiori s~ i- 0 (et donc Sn i- 0) pour n > TN' d'où le caractère transitoire
annoncé. <>

Exercice 111.3.2 • Marche aléatoire simple sur un arbre homogène connexe.

Soit A un arbre: c'est un graphe (non vide) non orienté sans boucle, de sorte
que 2 points (ou sommets) quelconques de l'arbre sont reliés par un unique
chemin injectif; le nombre d'arêtes que comporte ce chemin définit la distance
entre ces deux points; elle fait de l'arbre un espace métrique. Supposons A
homogène : chaque point admet exactement d voisins (points situés à distance
70 MARCHES ALÉATOIRES SUR zd
1). À quoi A est-il isométrique lorsque d = 1 ou 2? À quoi ressemble-t-il
pour d = 3, d = 4?
Fixons d 2'.: 3 , et un point 0 E A. La marche simple S sur A part de
Bo := 0, et pour tout n E N*, la loi de Sn sachant Bn-1 est uniforme sur
l'ensemble des d voisins de Bn-1· Notons Ôn la distance entre So et Sn. a)
Montrer qu'il existe une suite b de v.a.i.i.d., de loi à déterminer, telle que pour
tout n EN : Ôn+l - Ôn = bn l{ôn>O} + l{ôn=O}. (Définir bn sur {ôn = O} par
b~ indépendante ayant la bonne loi, puis vérifier que b convient en calculant
IP(bn = 1 Ib~-1• · · ·, bi, Fn).)
b) Montrer que la marche S est transitoire, et qu'elle admet une vitesse de
fuite, limite presque sûre de ôn/n, à déterminer. (Commencer par minorer
ôn .) Comparer avec zd.

111.4 Récurrence des autres marches

En général, la marche aléatoire est dite récurrente lorsque 'R est non
vide, et transitoire (ou transiente, d'après l'anglais) sinon.
Les propositions IIl.2.2 et III.2.3 entraînent qu'il y a récurrence si et seule-
ment si L: IP(Sn = 0) = oo.
n
Nous supposerons que la loi µ du déplacement élémentaire de la marche
admet un premier moment. Fixons pour norme sur zd le maximum des valeurs
absolues des coordonnées. Nous aurons besoin du lemme suivant.

Lemme 111.4.1 Pour tout MEN, nous avons:

Preuve. Posons E := {-M, ... , M}d, et pour tout v E E, Tv := min{n E

N 1 Sn = v} . Distinguant suivant les valeurs de Tv et utilisant le lemme
fondamental IIl.1.8, nous avons :

L IP(llSnll ~ M) = L L IP(Sn = v) = L L L IP(Sn = v, Tv = m)

ne:NvEE vEEmeNneN

=
vEE,mEN,n:2'.m vEE,mEN,n:2'.m

= L LIP(Si = 0) L IP(Tv = m) ~ Card(E) LIP(Si = 0). <>

vEE iEN mEN iEN
III.4. RÉCURRENCE DES AUTRES MARCHES 71

Voici un résultat frappant pour le cas de la dimension 1 : il est à la fois

très simple à énoncer et optimal.

Théorème 111.4.2 (Chung et Fuchs) Une marche aléatoire à pas intégrable

sur Z est récurrente si et seulement si elle est centrée.

Preuve. La loi des grands nombres nous dit que Sn/n converge vers
E(X1). Donc si E(X1) i= 0, Sn --+ ±oo, et donc la marche est transitoire.
Supposons ensuite que E(X1) = 0, et donc que Sn= o(n). Le lemme III.4.1
entraîne: LJP>(Sn = 0)
AM
~ (2M + 1)- 1 L JP>(llSnll::; M) ~ (2M + 1)- 1 LJP>(llSnll::; n/A),
n=O

pour MEN et A EN*. Puisque lim

n-too
JP>(llSnll ::; n/A) = 1, le critère de
Cesàro nous donne, en faisant tendre M vers l'infini : 2: JP>(Sn = 0) ~ A/2,
n
et donc 2: JP>(Sn = 0) = oo, puisque A est arbitraire. o
n

Voici le résultat analogue pour le cas de la dimension 2.

Théorème 111.4.3 Si la loi µ (sur Z 2 ) admet un second moment, la marche

aléatoire correspondante (sur Z 2 ) est récurrente si et seulement si elle est
centrée.

Preuve. Comme pour d = 1, on voit que llSnll --+ oo si la marche n'est pas
centrée. Sinon, le théorème limite central assure que Sn/ ..jn converge en loi
vers une gaussienne centrée, de matrice de covariance K = K (X1) (la matrice
de covariance de X 1).
Si K = 0, alors E(llX111 2 ) = 0, et la marche reste presque sûrement constam-
ment en O. Si K est de rang 1, elle admet deux vecteurs propres orthogonaux
u, v tels que
E[(u · X1) 2] = 0 et E[(v · X1) 2 ] = 1. Alors la marche reste presque sûrement
sur la droite dirigée par v, et nous sommes ramenés au cas d = 1 du théorème
III.4.2.
Supposons donc que K est inversible. La loi gaussienne limite admet alors
une densité f continue > 0 sur JR2 (qu'on peut expliciter). Par ailleurs le
lemme III.4.1 entraîne :
72 MARCHES ALÉATOIRES SUR zd

('v' A> 0).

D'une part le théorème limite central assure la convergence de la loi de ~

vers la loi de densité f, et d'autre part /'fiftj
converge vers 1, lorsque
M ~ oo (et cela uniformément par rapport à s 2: A). De sorte que (via
l'exercice 1.6.12, la remarque 1.6.13.b et la proposition 1.6.15) pour tout s 2: A:

où G désigne une variable aléatoire gaussienne de densité f . Finalement, étant

donné que la série ~ JP>(Sn = 0) ne dépend ni de M ni de A, le lemme de
nEN
Fatou fournit :

L JP>[Sn = O] > i j f r
nEN -
00

A J[-s-1/2 18 -1/2]2
f(x)dxds >
-
i j fA
00 2 J(O) ds =OO
s

pour A tel que f 2: f(0)/2 sur le carré [ -A- 112 ,A- 112]2. <>

Exercice 111.4.4 • Un joueur va au casino avec une fortune initiale a E N*.

A chaque partie, il gagne 1 avec probabilité p et perd 1 avec probabilité q =
1 - p. Les parties sont supposées indépendantes.
1) Fixons un entier b > a, et notons Pb( a) la probabilité qu'a le joueur d'at-
teindre la fortune bavant d'être ruiné.
a) Montrer que Pb( a) = pPb(a + 1) + q Pb( a - 1). b) Déduire la valeur de
Pb( a).
2) Autorisons le joueur à s'endetter, notons T le premier instant où sa fortune
vaut a+ 1, puis, pour n EN, 9n := JP>(T = n), et enfin g la fonction génératrice
deT.
a) Montrer que 9n+2 = q (919n + · · · + 9n91). b) Déduire que
g(s) - ps = qsg2(s). c) Calculer g, JP>(T < oo), et lE(T).
III.5. LOI DE L'ARCSINUS POUR LA MARCHE SIMPLE SUR /Z 73

s.J
b ----------------------------------------

a
Qi--~~~-+-~~~~~~*""-r~~~~~-+---+

n+m J
-a ---------

FIGURE III.3 - Principe de réflexion de Désiré André (lemme 111.5.2)

111.5 Loi de l'Arcsinus pour la marche simple sur Il

Concentrons-nous ici sur la marche simple sur Z. Nous allons nous intéres-
ser au temps T de son premier retour en 0, à la suite (Tn) de ses temps de
retour en 0, puis au temps qu'elle passe dans N.

Exercice 111.5.1 Soit n E N. a) Montrer que si d = 1 alors pour tout

~
v E Z : JP>(Sn = v) = l2N{n - lvl) x 2-ncn 2 •

JP>(Sn = v) = (2d)-n X

Le résultat suivant est connu sous le nom de principe de réflexion de Désiré

André, illustré par la figure III.3.

Lemme 111.5.2 Pour tous n, m, a, b E N, nous avons :

JP>[sn =a, Bn+m = b, (3 k E [n, n + m]) Sk = o] = JP>[Sn =-a, Bn+m = b).

Preuve. Notons T := min{k ~ n ISk = O}. Considérons l'ensemble E
des trajectoires de la marche (restreinte à [n, n + m]) dont le graphe relie le
74 MARCHES ALÉATOIRES SUR 71,,d

point (n, a) au point (n + m, b) et rencontre l'axe horizontal, puis l'ensemble

E' des trajectoires de la marche (restreinte à [n, n + m]) dont le graphe relie
le point (n, -a) au point (n + m, b). Considérons aussi l'application qui va
de E dans E', associant à w la trajectoire w' déduite de w en remplaçant la
partie du graphe de w située avant T(w) par son symétrique (relativement à
l'axe horizontal; voir la figure 111.3). C'est une bijection de E sur E', et donc
Card(E) = Card(E'). Le résultat en découle aussitôt. <>
Voici une application électorale de ce résultat.

Corollaire 111.5.3 Un scrutin donne a voix à un candidat A et b voix à un

candidat B, avec a> b. La probabilité qu'au cours du dépouillement le score
du candidat A dépasse toujours strictement le score du candidat B est ::;t .
Preuve. Notons Sn le score de A moins le score de B après le n-ième bulle-
tin. C'est une marche aléatoire simple sur 7l,,, et nous cherchons la probabilité
qu'elle reste > 0 sur [1, a+ b], sachant que Sa+b =a - b. Utilisant le lemme
111.5.2 et l'exercice 2.5.1.a, nous avons :

1J:l>( (Vk E [1, a+ b]) Sk > 0 j Sa+b = a - b)

_ 1J:l>(S1 = 1, (V k E [1, a+ b]) Sk :f= 0, Sa+b =a - b)

W(Sa+b =a - b)
_ 1J:l>(S1=1, Ba+b =a - b) - 1J:l>(S1 = -1, Sa+b =a - b)
- W(Sa+b =a - b)
1J:l>[S1=1] W[Sa+b-1 =a - b- 1] - 1J:l>[S1 = -1] W[Sa+b-1 =a - b + 1)
W(Sa+b =a - b]
2-a-b(ca-l - ca ) a-b
a+b-l a+b-l - - • <>
a+b

Venons-en à une application à la < queue » de la loi de T.

Corollaire 111.5.4 1J:l>(T > 2n) = 1J:l>(S1 :f= 0, ... , S2n :f= 0) = 1J:l>(S2n = 0) ,...,
(7rn)-1/2.

Preuve. Utilisant la preuve du corollaire 111.5.3 ci-dessus, nous avons :

1J:l>(S1 :f= 0, ... , S2n :f= 0) = 21J:l>(S1 > 0, ... , S2n > 0)

=2 L 1J:l>(S1 >0, ... , S2n-l >0, S2n = 2m)

mEN*
III.5. LOI DE L'ARCSINUS POUR LA MARCHE SIMPLE SUR Z 75

= L [1J.l>(S2n-l = 2m - 1) - 1J.l>(S2n-l = 2m + 1) J = 1J.l>(S2n-l = 1)

mEN*

= 21-2n C2n-1 = r2n C2n = 1J.l>(S2n = 0). <>

Nous déduisons de là le comportement asymptotique de Tn, qui est un

exemple de convergence en loi différente du théorème central limite.

Proposition 111.5.5 La suite Tn/n 2 converge en loi, vers une variable

aléatoire Œ telle que E( e-s u) = e-ffs pour tout s ;: : : 0.

Preuve. Nous allons montrer que les transformées de Laplace de ces lois
convergent simplement sur IR+, vers la fonction e-ffs, qui est continue en O.
Un théorème de Paul Lévy (voir par exemple le Théorème 11.30.c dans [B-J])
assure que cela entraîne bien la convergence en loi énoncée.
Le lemme III.1.8 et l'exercice 2.2.1 assurent que les variables aléatoires Tn -
Tn-l forment une suite i.i.d. ; nous avons donc, pour s > 0 fixé :
E(e-sTn/n2) = (E(e-sT/n2) )n. Or E(e-sT/n2)

= L e- 2sk/n21J.l>(T = 2k) = L e- 2sk/n2(lJ.l>(T > 2k - 2) - lJ.l>(T > 2k))

kEN* kEN*

= e-2s/n 2 + L (e-2s(k+l)/n 2 - e-2sk/n 2) lJ.l>(T > 2k)

kEN*

_ -2s/n2 _ 2s ( ) ~ 1 + E~ -2sk/n2
- e 2 1 +En ~ ~ e ,
n IM* V7r k
kE1~

où lim En = lim E~ = 0 . Ensuite, comparant la série ci-dessus avec une

n k
intégrale (par la méthode des rectangles), nous obtenons :

n
rv -- '
ffs
puisque pour a \. 0 :

L (1 +EU e-ak = r'° (1 +ED e-at dt+ 0(1)

kEN* Vk 11 Vt

=
1
Va
100a (1 +Vtt/a
E' )
e-t dt+ 0(1),....., ~.
76 MARCHES ALÉATOIRES SUR zd
Nous concluons finalement par:

= ( e- 2s/n 2 - ~ (1 + ên)) n = (1- ~ (1 + ên)) n - t e-ffs . <>

Exercice 111.5.6 a) Montrer que T et u ne sont pas intégrables, mais

que u est presque sûrement finie > 0 et que lE(u-r) < oo pour tout r > 0.
J
(Utiliser r(r) := 000 e-ssr- 1ds et un changement de variable).
e-1/(2s)
b) Montrer que u admet la densité sur R~ : s i-------+ ~ • (Dériver sa
271" s3
transformée de Laplace et changer de variable pour obtenir une équation
différentielle du 1er ordre.)

Proposition 111.5.7 Soit L2n := max{m < 2nlSm = O}, pour tout
n EN. Alors

lim 1P'(L2n ::::; 2n a) = ~ Arcsin (va) , pour tout a E (0, lj .

n-+oo 7r

Preuve. Nous déduisons d'abord du corollaire 111.5.4 que pour tout k::::; n:

lP'[L2n = 2k] = 1P'[S2k = 0, S2k+i =/= 0, ... , S2n =/= 0) = JP'[S2k = OjlP'[S2n-2k = Oj.
Ensuite, pour 0 < e < a < 1 fixés, nous avons :
[na] r[na]+l
1P'[2ne < L2n::::; 2na) = L
k=[ne]+l
lP'[L2n = 2k] = Jr,
(ne]+l
lP'(L2n = 2(s]) ds =

[na]+l [na}+l
{ n nlP'[L2n = 2(ns])ds = { n Jnr2[nsJctns] xJn22[ns]-2ncn-[nsJ ds
}l'!'e]+l }l'!'el+l 2[ns] 2n-2[ns]
n n

-t la e
(11" s)-1/2 (7r (1- s))-1/2 ds =~!Va
11" Ve
ds
v1f=S2
= ~ [ Arcsin( va) - Arcsin( .,fi)) ,
car l'équivalent employé dans l'intégrale est uniforme sur (e, (a+ 1)/2]. On
passe à e = 0 en utilisant ci-dessus que ..jnB 2- 2 [nsJc~Î~~l est borné sur {n E

N,s ER+}, d'où JF[~::::; a]= o(foa V7r~s-s)J = O(va), qu'on applique
à e au lieu de a . <>
III.5. LOI DE L'ARCSINUS POUR LA MARCHE SIMPLE SUR Z 77

Remarque 111.5.8 Appliquant la proposition IIl.5.7 avec a=!'

on obtient
la conséquence suivante : si deux joueurs jouent à pile ou face chaque jour de
l'année civile, il y a environ une chance sur deux qu'un des deux joueurs soit
en tête du jeu du 1er juillet au 31 décembre; ce qui pourrait faire croire (à
tort) à l'autre joueur qu'il est particulièrement malchanceux!

Proposition 111.5.9 Soit A2n := Card {m < 2n 1 Sm V Sm+l > O}, pour
tout n E N. Alors

lim IP'(A2n ~ 2n a) = 1 Arcsin (Va) , pour tout a E [O, l] .

n--+oo 7r

Preuve. Il suffit d'utiliser la proposition précédente, en prouvant que A2n

et L2n ont la même loi, c'est-à-dire :

IP'(A2n = 2k) = IP'(L2n = 2k) = IP'(S2k = O)IP'(S2n-2k = 0),

pour n E N et 0 ~ k ~ n. Établissons ceci par récurrence sur n. C'est
clair pour 0 ~ k ~ n ~ 1. Supposons l'égalité vraie pour les (k, n') tels que
0 ~ k ~ n' < n. Pour k = n, nous déduisons du corollaire IIl.5.4 :

IP'(A2n = 2n) = IP'(S1 2 0, ... , S2n 2 0) = IP'(S1 2 0, ... , S2n-1 2 0)

= IP'(S2 -81 2 0, ... ,S2n - 81 2 0)

= 2IP'(S1 = l,82 - 81 2 0, ... ,S2n - 81 2 0)
= 2IP'(S1 > 0, ... , S2n > 0) = IP'(S2n = 0) = IP'(L2n = 2n).
Changeant Sen -S, i.e. X en -X, nous voyons que le résultat pour k = n
est équivalent au résultat pour k = O. Reste à considérer le cas 0 < k < n.
Alors 2 ~ T ~ 2n - 2 . Distinguant suivant la valeur de T et selon que
81 = 1 ou 81 = -1 , puis appliquant l'hypothèse de récurrence, nous obtenons :
IP'(A2n = 2k)
k n-k
= ! L IP'(T = 2m)IP'[A2n-2m = 2k - 2m] +!L IP'[T=2m]IP'[A2n-2m=2k]
m=l m=l
k
= ! IP'(S2n-2k = 0) L IP'(T = 2m)IP'(S2k-2m = 0)
m=l n-k
+! IP'(S2k = 0) L IP'(T = 2m)IP'(S2n-2k-2m =0)
m=l
78 MARCHES ALÉATOIRES SUR zd
n
Exercice 111.5.10 Soient Nn := I: l{sk=O} le nombre de passages en 0
k=l
au cours des n premiers pas, A~n := Card {m :'.S 2n 1 Sm > O} et A~n :=
Card {m :'.S 2n 1Sm2: O}, pour tout n EN.
a) Déduire de la proposition III.5.5 que n/Tn et Nn/n convergent en proba-
bilité vers O.
b) Déduire que A~n et A~n obéissent à la même loi limite de l'Arcsinus que
A2n·
Chapitre IV

Chaînes de Markov
Je cherchais à saisir le sens des strophes sombres
Qu 'écrivaient sous mes yeux les formes et les nombres
{Victor Hugo)

Les chaînes de Markov sont des processus aléatoires sans mémoire, ou

autrement dit, sans inertie : à chaque instant leur évolution future ne dépend
que de leur position, et non de leur trajectoire ou histoire passée. Elles jouent
un grand rôle en modélisation, dans divers domaines (en particulier statistique,
biologie, et physique), en raison de leur capacité à abstraire une grande variété
de systèmes concrets, tout en constituant un excellent cadre pour fournir des
résultats fins sur leur évolution. Elles présentent également un lien fort avec la
physique électrostatique, et avec d'autres parties des mathématiques comme
la théorie du potentiel et l'analyse harmonique.

IV.1 La propriété de Markov

La propriété de Markov, écrite précisément ci-dessous, exprime que la loi
du futur ne dépend que du présent, et non du passé: il n'y a pas d'inertie.

Définition IV.1.1 Soit E un ensemble fini ou dénombrable, dit espace des

états. Soit (0, 7, JP>) un espace de probabilité. Une suite X = { Xn 1n E N}
de variables aléatoires de (0, 7,JP>) dans (E, P(E)) est une chaîne de Markov
sur E lorsqu'elle est markovienne, ou de façon synonyme, lorsqu'elle vérifie la
propriété de Markov : pour tout n E N, la loi de Xn+l sachant Xo, ... , Xn
est la même que la loi de Xn+l sachant Xn ; ce qui est précisé par la formule
suivante, qui doit être valable pour tous les états eo, ... , en+l E E rendant
l'événement {Xo = eo, ... , Xn =en} non négligeable :
JP>(Xn+1 = en+1 j Xo = eo, ... , Xn = en) = JP>(Xn+1 = en+l j Xn = en) .
80 CHAPITRE IV. CHAÎNES DE MARKOV

Exemple. Toute marche aléatoire (sur zd en particulier) est une chaîne de

Markov:
JP>(Sn+I =V 1S1 = V1, .. ·,Sn= Vn)
= JP>(Sn+l - Sn= V - Vn 1S1 = V1, ... 'Sn= vn) = JP>(Sn+I - Sn= V - Vn)
= µ( {v - Vn}) = JP>(Sn+I - Sn= V - Vn 1 Sn= Vn) = JP>(Sn+I =V 1 Sn= Vn)·
Un autre exemple, sur l'espace E = {O, 1, 2} à 3 états, a été l'objet de l'exercice
1.2.8.

Exercice IV.1.2 • Vérifier que le processus X = {Xn 1 n E N} est une

chaîne de Markov si et seulement si pour tout n E N il existe une fonction cpn
de E 2 dans [O, 1] telle que pour tous eo, ... , en+I E E,

JP>(Xn+l = en+1 IXo = eo, ... , Xn =en) = cpn(en, en+1).

Rappel Pour tout n EN, notons Fn := u{Xo, ... ,Xn} la sous-tribu de 7

qui représente l'information connue au temps n, et F 00 la tribu engendrée par
LJ Fn·
nEN

Remarque IV.1.3 En termes d'espérance conditionnelle plus élaborée (se-

lon le chapitre II), la propriété de Markov s'énonce de façon équivalente par :

E(f o Xn+I IFn) = E(f o Xn+I Iu{Xn}),

pour tout n EN et toute fonction (réelle) f bornée sur E. Cette formulation
fait sens sans avoir à éviter de conditionner par un événement négligeable, et
va être amplement développée dans les importants exercices IV .1. 7 et surtout
IV.1.8.

La notion de temps d'arrêt est la même pour les chaînes de Markov que
pour les marches aléatoires: revoir la définition 111.1.3. De même pour la tribu
FT. Afin que Xr ait un sens même si T peut être infini, on pose X 00 = ô, où
ô fi. E est un point isolé ajouté à E, parfois dénommé cimetière.
Pour appréhender les mouvements d'une chaîne de Markov, il faut s'inté-
resser de près à ses transitions, qui à chaque instant gouvernent le passage de
la marche d'un état à un autre. C'est l'objet de la définition suivante.

Définition IV .1.4 On appelle probabilité de transition ou noyau de transi-

tion sur l'espace d'états E toute application P de Ex E dans [O, 1] telle que
pour tout e E E, P(e, ·) définit une probabilité sur 'P(E) :
JV.1. LA PROPRIÉTÉ DE MARKOV 81

P(e, e') ~ 0 (Ve' E E), et L: P(e, e') = 1.

e'EE
Si X= {Xn 1 n EN} est une chaîne de Markov de (0, 7,lP) dans E, ses pro-
babilités de transition sont par définition les noyaux Pn tels que Pn(Xn, A) =
JP(Xn+i E A 1 Xn), ou autrement dit, tels que
Pn(e, e') = lP(Xn+l = e' 1 Xn = e) pour tous e, e' E E et n EN.
Comme déjà souligné dans la remarque IIl.1.9 (relative aux marches aléa-
toires), et toujours dans l'esprit de visualiser son évolution temporelle, il est
naturel de considérer toute chaîne X = (Xn), plutôt que comme une suite
de variables aléatoires (Xn) (chacune à valeurs dans E), comme une seule
variable aléatoire X à valeurs dans l'espace des traiectoires EN, appelé aussi
espace canonique.
La loi de la chaîne X = (Xn) est ainsi une probabilité sur l'espace cano-
nique EN, et vue comme fonction sur cet espace canonique, la variable Xn est
simplement la n-ième projection canonique, c'est-à-dire la n-ième application
coordonnée.
Pour déterminer complètement la loi d'une chaîne de Markov X, une fois
fixées ses lois de transition il ne reste qu'à préciser comment elle démarre,
à l'instant 0, c'est-à-dire quelle est la loi de Xo ; c'est évidemment une loi
(probabilité) sur E, que bien naturellement on nomme loi initiale de la chaîne
X. Ainsi à toute chaîne de Markov correspond la suite (Pn) de ses probabilités
(ou lois) de transition et sa loi initiale µ. Noter que (Pn) et µ ne dépendent
de fait que de la loi de X : deux chaînes ayant la même loi ont a fortiori les
mêmes transitions et la même loi initiale.
Réciproquement, donnons-nous n'importe quelle suite (Pn) de probabilités
de transition sur E et une probabilité (loi) µ sur E, et constatons qu'il leur
correspond une unique loi de chaîne de Markov. C'est une loi sur EN qu'on
note lPµ , et qu'on peut toujours considérer comme étant celle du processus
canonique X = (Xn) défini directement sur EN. De sorte que la remarque
IIl.1.9 demeure valable ici.
Comme déjà souligné dans la preuve du lemme fondamental III.1.8, la loi de X
est totalement déterminée par la connaissance de toutes ses lois marginales fini-
dimensionnelles lP(Xo = eo, ... ,Xn =en), où n varie dans Net eo, ... ,en
varient dans E.
Il s'agit donc de définir précisément lPµ ( Xo = eo, ... , Xn = en) à l'aide
deµ et de (Pj)· Étant entendu que X démarre suivantµ et bouge à l'instant
j selon la transition Pj , la bonne formule est nécessairement : pour tous
 82 CHAPITRE IV. CHAÎNES DE MARKOV

n EN, eo, ... , en E E,

IPµ(Xo = eo,X1 = ei, ... ,Xn =en)= µ(eo)Po(eo,e1) ... Pn-1(en-lien)·

(IV.l)
Un théorème dû à Kolmogorov assure que ceci définit bien une loi (néces-
sairement unique) IPµ sur (EN, F 00 ).

Exercice IV.1.5 •• a) Vérifier que si X est une chaîne de Markov de loi

initiale µ et de suite probabilités de transition (Pn), alors ses lois margi-
nales [Link]-dimensionnelles sont nécessairement données par la formule (IV.1)
ci-dessus.
b) Vérifier qu'on a plus généralement, pour n EN et fo, ... , fn fonctions~ 0

sur E : JE [Il
3=0
fj o X3]

c) Vérifier que réciproquement, pour IPµ dé[Link] comme en (IV.l) par ses
marginales [Link]-dimensionnelles, le processus canonique X sur (EN,F00 ,IPµ)
constitue effectivement une chaîne de Markov sur E, admettant (Pn) comme
suite de probabilités de transition et µ comme loi initiale.
Notons que la formule (IV.1) présente un avantage par rapport à la défini-
tion IV.1.1, bien qu'elle soit moins intuitive au premier abord: elle ne comporte
pas de conditionnement, de sorte qu'en particulier elle ne nécessite pas qu'on
prenne garde à la possibilité qu'un événement par lequel on conditionne soit
négligeable.
Lorsqueµ est la masse de Dirac en un état e E E, on note simplement
IPe la loi de la chaîne issue de e. Notons qu'il suffit de connaître la famille
{IPe 1 e E E}, puisque pour toute loi µ sur E, il ressort de la formule (IV.1)
qu'on a simplement IPµ = E µ(e)IPe.
eEE

Définition IV.1.6 Une chaîne de Markov est dite homogène lorsque la suite
de ses probabilités de transition est constante.

Si (Xn) est une chaîne de Markov sur E, alors (n, Xn) est une chaîne de
Markov homogène sur l'espace d'états agrandi N x E. De ce fait, il suffit pour
l'essentiel de considérer des chaînes de Markov homogènes, ce qui simplifie
utilement et agréablement la notation.
Nous nous limiterons dorénavant aux chaînes de Markov homogènes.
JV.1. LA PROPRIÉTÉ DE MARKOV 83

L'unique probabilité de transition sera notée P. Pour une marche aléatoire

dont le pas élémentaire av pour loi, cela se réduit à P(x, y) = v( {y-x} ), et une
telle expression caractérise les marches aléatoires (sur un groupe commutatif)
au sein des chaînes de Markov. La formule (IV.1) se restreint désormais à:

ou encore, pour tous n EN, e, eo, ... , en E E :

Dans le cas où E est fini de cardinal n, P est simplement une matrice carrée
de format (n, n) « stochastique », c'est-à-dire (conformément à la définition
IV.1.4) à coefficients dans [O, 1] et telle que la somme de chacune de ses lignes
vaut 1. Le cas de E dénombrable est analogue, sauf qu'alors la «matrice»
de transition P a une infinité de lignes et de colonnes, et que de ce fait la
somme des coefficients d'une ligne est une série. Il n'y aura pas de difficulté
particulière de manipulation de ces séries, du fait qu'elles ne comportent que
des termes 2: 0 et qu'elles sont donc absolument convergentes. En particulier,
le produit de deux telles matrices a bien du sens, par l'extension naturelle à
des séries du cas fini de la formule du produit. Voir l'exercice IV.1.7. Comme
dans le cas fini, po désignera la matrice comportant des 1 sur sa diagonale
(éventuellement infinie) et des 0 ailleurs, élément neutre pour le produit.
Il peut être utile d'insister, en soulignant de nouveau que la loi d'une
chaîne de Markov (homogène désormais) est déterminée par la seule donnée
de sa matrice de transition P (même si E est infini), plus la donnée de sa
loi initiale, qui est de moindre importance puisqu'aisément modifiable à loisir.
De sorte qu'on aura tendance à assimiler la donnée (de la loi) d'une chaîne
de Markov à celle de la matrice stochastique P, ou plutôt du couple (E, P),
étant entendu que la loi initiale peut rester éventuellement imprécisée, comme
en suspens.
Ayant en vue d'utiliser l'algèbre linéaire, nous identifierons désormais toute
probabilité, et plus généralement toute mesure (positive) sur E avec le vecteur-
ligne donnant sa loi : la coordonnée d'indice e E E de la mesure-vecteur-
ligne µ est µ({e}), c'est-à-dire que µ = (µ({e}))eEE. Nous noterons souvent
µ(e) ou µe, pour alléger. Autrement dit, si (eo, e1 , ... ) est une numérotation
de E, µ = (µ(e 0), µ(e 1 ), ... ) E (~+)E. Ce n'est en fait rien d'autre que
l'identification de l'exemple [Link], sauf que la masse totale µ(E) = E µe E
eEE
~+ U {oo} diffère de 1 siµ n'est pas une probabilité.
 84 CHAPITRE IV. CHAÎNES DE MARKOV

Dans le même esprit, nous identifierons désormais toute fonction réelle

sur E au vecteur-colonne dont la coordonnée d'indice e E E est la valeur de
cette fonction en e : f = t(f(e))eEE. Autrement dit, si (eo, ei, ... ) est une
numérotation de E, f =
t(f(eo),f(e1), ... ).
Lorsque E est dénombrable (infini), ces vecteurs (ligne ou colonne) ont une
infinité de coordonnées, ce qui comme nous le constaterons ne posera pas de
problème particulier.

Sur 0 =EN (conformément à la remarque 111.1.9) l'opérateur de décalage

() est défini (ainsi que ses itérés) par :

Xi o en = Xj+n pour tous j, n E N.

Noter la différence (due seulement à l'usage établi, elle ne devrait pas causer
de réel trouble) avec la définition 111.1.10, si S est la chaîne qu'on considère,
au lieu de X.
· Cet opérateur de décalage est étendu à tout temps d'arrêt N dans l'esprit de
la définition 111.1.10 : Xj o ()N := l{N<oo} Xj+N + l{N=oo} Ô.
L'exercice suivant est simple mais important, puisqu'il servira souvent au
cours de plusieurs démonstrations à venir, et qu'il est une première illustration
du lien entre chaînes de Markov et manipulation des matrices (de format fini
ou dénombrable).

Exercice IV .1. 7 .. a) Vérifier que si P, P' sont 2 matrices de transition (de

format [Link] ou infini), et sin EN, alors Px P' et pn sont aussi des matrices
de transition.
b) Vérifier que pour tous états e, e', e" et tous entiers 0 :::; q < n , nous
avons (P P')(e, e') ~ P(e, e")P'(e", e') et
pn(e, e') ~ (P(e, e))q P(e, e')(P(e', e')r-q-l.
c) Vérifier que si la loi initiale de X est µ, alors pour tout n la loi de Xn
est µPn, et pour tous m E N,x,y E E:
lPµ(Xn+m = yjXm = x) = lPx(Xn =y)= pn(x,y).
d) Vérifier que la loi conditionnelle de Xn+l est donnée par le prolongement
suivant de la remarque IV.1.3: pour tout n E Net toute fonction f mesurable
bornée sur E,

I
E(f o Xn+i Fn) = E(f o Xn+i IXn) = Pf o Xn.
JV.1. LA PROPRIÉTÉ DE MARKOV 85

Comme souligné à propos des marches aléatoires, et comme vu en par-

ticulier à l'occasion du lemme fondamental III.1.8, nous voulons autant que
possible étendre aux temps d'arrêt ce qui vaut pour les temps constants. Et
en premier lieu la propriété de Markov, qui s'enrichit effectivement dans cette
direction.
C'est le propos de l'exercice essentiel suivant (dans lequel lEµ désigne l'espé-
rance relative à la loi lP'µ , notation en vigueur dorénavant).
Exercice IV .1.8 ••
a) Propriété de Markov, 2ème état : Vérifier que la propriété de Markov
équivaut à:
Pour n E N, k E N*, xo, ... , Xn, YI, ... , Yk E E, et toute loi µ sur E, nous
avons
lP'µ (Xn+k = Yk, ... 'Xn+I =YI, Xn = Xn, ... 'Xo = xo)
= lP'xn(Xk = Yk, ... 'XI= YI) X IPµ(Xn = Xn, ... 'Xo = xo).
b) Propriété de Markov, 3ème état : Déduire que la propriété de Markov
équivaut à:
Pour tous n EN, x E E, Bn E Fn tel que Bn C {Xn = x}, A E F 00 , et
toute loi µ sur E, nous avons
]p>µ ([ (en)-I(A)] n Bn) = lP'x(A) X ]p>µ(Bn).

c) Propriété de Markov, 4ème état : Déduire que la propriété de Markov

équivaut à:
Pour tous temps d'arrêt T, x E E, BE Fr tel que B C {Xr = x}, A E F 00 ,
et toute loi µ sur E, nous avons
lP'µ([(er)-I(A)] n B) = lP'x(A) x lP'µ(B).
d) Propriété de Markov, 5ème état : Déduire que la propriété de Markov
équivaut à:
Pour toute variable Y F 00 -mesurable (bornée ou positive), tout temps d'arrêt
T, et toute loi µ sur E, nous avons
lEµ(Y 0er1 Fr)= lExT(Y) lP'µ - p.s. sur {T < oo}.
e) Propriété de Markov, 6ème état : Déduire que la propriété de Markov
équivaut à:
Pour toute variable Y F 00 -mesurable (bornée ou positive), tout temps d'arrêt
T, et toute loi µ sur E, nous avons
(y
lEµ (y
0 er 1 Fr) = lEµ 0 er 1 Xr) lP'µ - p.s. sur {T < OO}.
86 CHAPITRE IV. CHAÎNES DE MARKOV

Noter que (au moins pour Y bornée) ExT(Y) désigne la variable aléatoire
u{ Xr }-mesurable, obtenue par composition de la variable aléatoire Xr suivie
de la fonction [e r-+ Ee(Y)] : ExT(Y) = [e r-+ Ee(Y)] o Xr, ou bien encore :
ExT(Y)(w) = ExT(w)(Y) (pour tout w En).
L'exercice IV.1.8 prouve en particulier la propriété essentielle :

Théorème IV.1.9 (Propriété de Markov forte) Soient X une chaîne de

Markov sur E, IP'µ sa loi, x E E, et T un temps d'arrêt. Alors, conditionnel-
lement à l'événement {Xr = x}, la chaîne {Xr+n 1 n EN} est markovienne
de loi IP'x , et indépendante de Fr .
Autrement dit, pour toute variable aléatoire Z 2: 0 sur n :
Eµ(Z o ()T 1 Fr)= ExT(Z) presque sûrement sur {T < oo}.
Trois exemples de chaînes de Markov
1) (Chaîne de Galton-Watson) E =Net P(k, ·)est la loi de Sk, S étant la
marche aléatoire associée à une loi v donnée sur N. Ici Xn modélise le cardinal
d'une population à la n-ième génération, chaque individu se reproduisant avant
de mourir avec la loi fixe v, indépendamment des autres. Voir l'exercice
IV.1.14.
2) (Urnes d'Ehrenfest) E = {0,1, ... ,n} et P(k,k-1) = k/n = 1-
P(k, k + 1).
Cette chaîne modélise le nombre de molécules de gaz situées dans une urne U
à chaque instant, sur un nombre total n de molécules se trouvant soit dans U
soit dans une autre urne reliée à U par un mince passage; la transition d'un
instant au suivant s'effectue en tirant une molécule au hasard parmi les n et
en la changeant d'urne.
3) (Rebonds en zéro) E = N et P(k, k - 1) = 1 si k EN*, P(O,j) = qj
pour j E N, q = (%) désignant une probabilité donnée sur N. La chaîne
décroît régulièrement jusqu'à retomber en 0, d'où elle rebondit à chaque fois à
une hauteur aléatoire (gouvernée par q), indépendamment d'une fois à l'autre.
On peut visualiser une chaîne de Markov au moyen de son graphe de transi-
tion: c'est le graphe orienté dont les sommets (ou nœuds) sont les états (points
de E), et les arêtes orientées les couples (x, y) E E 2 tels que P(x, y) > 0, sur
lesquelles on porte la valeur P(x, y).
Exemples. Représenter le graphe de transition des chaînes des exemples 2)
et 3) ci-dessus, ainsi que de la marche simple sur zou Z 2 .
IV.1. LA PROPRIÉTÉ DE MARKOV 87

Exercice IV.1.10 • [No] Fixons une variable aléatoire Xo à valeurs dans E,

une suite {Yn 1n EN} de v.a.i.i.d. uniformes sur [O, 1], indépendantes de Xo,
une fonction mesurable f de Ex [O, 1] dans E, et posons pour tout n EN:
Xn+I := J(Xn, Yn+I) ·
a) Montrer que X est une chaîne de Markov homogène, et calculer sa matrice
de transition.
b) Montrer que toute chaîne de Markov homogène est de ce type. (Comment
simuler une loi discrète au moyen d'une loi uniforme?). Comment simuler par
ordinateur une chaîne de Markov homogène ?

Exercice IV.1.11 • Soient {Bn 1 n EN*} une suite de variables aléatoires

indépendantes et de même loi de Bernoulli B(O, l;p), puis S. la marche as-
sociée. Déterminer dans chacun des cas suivant si la suite X est marko-
vienne, précisant son espace d'états et sa matrice de transition si oui, et un
contrexemple sinon : a) Xn = Bn ; b) Xn = Sn ;
c) Xn = Bo+ 81 + .. ·+Sn; d) Xn = (Sn, Bo+ 81 + .. · +Sn).
e) Montrer qu'en général l'image d'une chaîne de Markov par une application
f n'est pas markovienne. Donner une condition suffisante sur f pour que cela
soit cependant le cas.

Exercice IV.1.12 [No] Une puce saute chaque seconde d'un sommet d'un
triangle à un autre, indépendamment et au hasard. Tandis qu'une tique choisit
2 fois plus souvent de sauter dans le sens direct que dans le sens indirect. Dans
les deux cas, calculer la probabilité que l'animal se retrouve à son sommet de
départ au bout de n secondes.

Exercice IV.1.13 Soient Ti, ... , Tn, ... les temps de retour successifs d'une
chaîne de Markov X en un état fixée E E. Montrer que pour tout n E N*,
JP>µ(Tn+I -Tn < oojT1 < oo, T2 -T1 < oo, ... , Tn -Tn-1 < oo] = JP>e[T1 < oo].
(Utiliser que {Tn < oo} = {XTn = e}.)

Exercice IV.1.14 • Étude de la transmission du nom «Pinot», porté

à la génération 0 par un unique homme (= humain mâle). Notons Zn le
nombre d'hommes s'appelant« Pinot» à la génération n EN, Fla fonction
génératrice de Z1 (F(s) := lE(sz1 )) , Pk la probabilité, supposée fixe, qu'un
homme ait k fils, et posons m := 2: k Pk .
kEN
Supposons l'indépendance entre les descendances des différents hommes, et
Pl =/= 1 .
88 CHAPITRE IV. CHAÎNES DE MARKOV

a) Calculer par récurrence la fonction Gn , génératrice de Zn , en fonction de

F.
b) Vérifier que Fest monotone et convexe sur [O, 1]. Quelle est sa régularité?
c) En déduire en fonction de m le comportement asymptotique de œn :=
]p>(Zn = 0). Interprétation? On montrera que pour m ~ 1 Je nom s'éteint
presque sûrement.
Ce modèle est dû à Galton et Watson, un généticien et un statisticien anglais
du 19ème siècle, et correspond au souci qu'avaient les aristocrates anglais de
la disparition de leur jolis patronymes; le modèle simplifié faisant l'objet de
cet exercice met en évidence, sans grande surprise, que le taux moyen de re-
production m = 1 est critique; il est moins évident que le cas critique conduit
(aussi bien que le cas sous-critique m < 1 quoique moins vite) à une extinc-
tion presque sûre. Ce modèle élémentaire, populaire en théorie des probabilités
comme en génétique, a fait l'objet de bien des généralisations et amplifications.
Il est d'ailleurs clair que ce modèle ne saurait être limité à l'aristocratie an-
glaise, mais vaut aussi bien pour des plébéiens ou pour des paramécies dans un
bocal (sous réserve de non-surpopulation, de façon à préserver l'indépendance).

Exercice IV.1.15 Fixons n EN*, et l'espace d'états E := {1, ... ,n}, muni
d'une matrice de transition P associée à une chaîne de Markov X sur E.
Fixons une permutation u de E, et notons E' := { u(l), ... , u(n)} l'espace
d'états égal à E en tant qu'ensemble, mais dont les éléments sont écrits dans
un autre ordre; de sorte que la matrice de transition P' associée à la même
chaîne de Markov X vue comme chaîne sur E' diffère de P. À la permutation
u associons la matrice carrée Mu de taille n dé[Link] par Mjk := l{j=u{k)} .
Exprimer la matrice P' en fonction des matrices P et Mu.

Exercice IV.1.16 («Probabilité tabou» et loi de temps d'atteinte) Consi-

dérons une matrice de transition P associée à une chaîne de Markov X sur
espace d'états E, une partie A c E fixée (de temps d'atteinte TA), l'espace
des états restant: Ac= E"-A, et la matrice AP déduite de P par restriction
à (Ac) 2 , c'est-à-dire la matrice dé[Link] par AP(e, e') := P(e, e') pour tous
e,e' E Ac.
a) Montrer que (APr(e, e') = ]p>e(TA > n, Xn = e'), pour tous n E N et
e,e' E Ac.
b) Déduire que la loi de TA est donnée par ]p>_(TA > n) = (APr1, pour tout
nEN*.
Pour deux exemples d'application, voir les exercices I.2.8.c,d et IV.4.12.f.
IV.2. CLASSIFICATION DES ÉTATS 89

IV.2 Classification des états

L'espace des états dans lequel évolue une chaîne de Markov est fréquem-
ment de grande taille, sinon infini; de sorte qu'on imagine aisément la situa-
tion comme apparaissant plutôt embrouillée. Dans ce type de cas, la réaction
scientifique naturelle est de procéder par classification, pour tenter de démêler
quelque peu l'écheveau et d'y voir un peu plus clair. C'est le but de cette
section. Comme souvent en mathématiques, nous allons d'abord définir une
partition qui permettra de simplifier notablement l'étude.
Rappelons que les classes d'équivalence d'une relation d'équivalence sur E
constituent toujours une partition de E.
Définition IV.2.1 Considérons une chaîne de Markov X de matrice de tran-
sition P sur E (ce que nous noterons souvent simplement (E, P, X)) , et deux
états x, y E E.
On dit que x conduit à y (noté x --* y) lorsqu'il existe n E N tel que
pn(x, y) > 0. On dit que x et y communiquent (x +------+ y) lorsque x
conduit à y et y conduit à x. On appelle classe de communication toute
classe d'équivalence de E pour la relation +------+.
On dit que la chaîne de Markov (E, P, X) est irréductible (ou que la matrice
P est irréductible sur E) lorsqu'il n'y a qu'une seule classe de communication.

Exercice IV.2.2 • a) Vérifier que la relation (x +------+ y) est bien une

relation d'équivalence sur E.
b) Montrer que lP'x (temps d'atteinte Ty < oo) > 0 {:::::::} x --* y .
c) Les exemples 2) et 3) de la section précédente (urnes d'Ehrenfest et rebonds
en zéro) sont-ils des exemples de chaîne irréductible? Déterminer les classes
de communication de la chaîne définie par E := {1, ... , 6} et
P{l, 2) = P{2, 3) = P(3, 4) = P( 4, 5) = P(5, 3) = P(6, 6) = 1.
d) Montrer que si une chaîne est irréductible son graphe de transition (non
orienté) est connexe, mais que la réciproque est en général fausse.

Définition IV .2.3 On dit qu'une classe de communication C conduit à une

classe de communication C' (C --* C') lorsqu'il existe x E C et x' E C' tels
que x conduit à x' . Une partie A de E est dite fermée lorsque ( x E A et
x --* y) :::::} y E A, et elle est dite absorbante lorsqu'elle est fermée et lorsque
de plus on atteint presque sûrement A en partant de n'importe quel point de
E.
90 CHAPITRE IV. CHAÎNES DE MARKOV

Exercice IV.2.4 a) Vérifier que la relation (C-+ C') sur l'ensemble des
classes de communication est une relation d'ordre (partiel).
b) Trouver les parties fermées et les parties absorbantes pour l'exemple de
l'exercice IV.2.2.c, puis pour la chaîne dé[Link] par E := {1, ... , 6} et
P(l, 2) = 2P(2, 3) = P(3, 3) = 2P(2, 4) = P(4, 5) = P(5, 6) = P(6, 5) = 1.

Une autre notion associée à un état sera importante dans la section IV.5.
Définition IV.2.5 On appelle période d'un état fixé e E E :
de :=p.g.c.d.{n EN* 1 pn(e,e) > o}, qui vaut +oo si pn(e,e) = 0 pour tout
n E N*. L 'etat e est dit apériodique lorsque de = 1 .

Exercice IV.2.6 Déterminer les périodes pour les deux exemples de l'exer-
cice IV.2.4.b et pour les marches simples sur zd, ainsi que pour les urnes
d 'Ehrenfest.
L'énoncé suivant montre que la période est en fait une notion relative aux
classes de communications, plutôt qu'aux états individuellement.
Proposition IV.2.7 Deux états d'une même classe de communication C
ont nécessairement la même période, qu'on appelle période de la classe de
communication C.
Preuve. Soient x, y deux états distincts qui communiquent. Notons que dx
et dy sont nécessairement finis (comme on le voit en prenant j = 0 ci-dessous),
et fixons n,m,k EN* tels que pn(x,y)Pm(y,x)Pk(y,y) >O. Alors pour
tout j EN nous avons pm+jk+n(x,x) ~ pn(x,y) (Pk(y,y))j pm(y,x) > O
(selon l'exercice IV.1.7.b), de sorte que dx divise m + jk + n, donc k =
(m + k + n) - (m + n), dès que pk(y, y) > 0. Par conséquent dx divise dy,
et réciproquement par symétrie, d'où l'égalité. <>
Le résultat suivant ne sera utilisé que pour établir le théorème ergodique
IV.5.5, mais là de façon cruciale.

Lemme IV.2.8 Soit x un état de période finie dx. Il existe un entier nx

tel que pnd,, (x, x) > 0 pour tout entier n > nx .

Preuve. Fixons ni, ... , nk EN* dont dx est le p.g.c.d., tels que pn; (x, x) >
0 pour 1 :S j :S k. Nous allons montrer qu'il existe un entier nx tel que tout
t.
enier n > nx secnve', . !!!
n = aid,, !!/;.
+···+akd,,' avec ai, ... ,ak E ~T
1~.
La
preuve est en effet aisément déduite de ceci, puisqu'on a alors: pnd"'(x,x) ~
(Pn 1 (x, x)t 1 ••• (Pnk(x, x)tk > O (comme dans l'exercice IV.1.7.b).
IV.2. CLASSIFICATION DES ÉTATS 91

Établissons la propriété alléguée ci-dessus. Montrons en fait par récurrence

sur k la propriété plus forte Pk : si mi, ... , mk E N* sont premiers entre eux
(comme le sont les ~ ci-dessus) et si a E N, alors tout entier n suffisamment
grand peut s'écrire n = ai mi + · · · + akmk, avec des coefficients ai, ... , ak
entiers 2 a .
La propriété 'Pi est triviale. 'P2 se déduit de la relation de Bézout : pour
m, m 1 E N* premiers entre eux et a donné, il existe a, /3 E Z tels que 1 =
am + f3m'. Effectuons la division euclidienne de tout entier n par (m + m') :
n = q(m+m') +r avec q,r EN et [Link]; r < (m+m'), de sorte que n =
(q + ra)m + (q + r/3)m', avec (q +ra) 2 q - lal(m + m') et (q + r/3) 2
q- l/31(m+m'); il suffit donc de se limiter à q 2 a+max{lal, l/31}(m+m'),
{::} n 2 a(m + m') + max{lal, l/31}(m + m') 2.
Supposons ensuite Pk-i vraie pour un certain k 2 2, fixons mi, ... , mk EN*
premiers entre eux, ainsi que a, et notons m le p.g.c.d. de mi, ... , mk-i·
Alors d'une part il existe M tel que tout entier n' 2 M s'écrive
n' = ai~ + · · · + ak-i m~i avec des coefficients entiers ai, ... , ak-i 2 a, et
d'autre part m, mk sont premiers entre eux. Appliquant P2, nous obtenons
N tel que tout entier n 2 N s'écrive n = n'm + akmk avec des coefficients
entiers n', ak 2 max{ M, a}. De sorte que nous avons finalement bien
n =ai mi+···+ ak-imk-i + akmk, avec ai, ... , ak entiers 2 a. <>
Nous allons maintenant distinguer les états suivant que la chaîne de Markov
considérée (E, P, X) aura tendance à y repasser ou pas; la notion suivante
est cruciale dans l'étude du comportement asymptotique de la chaîne. Elle
généralise la notion de récurrence déjà rencontrée dans le cas des marches
aléatoires.

Définition IV.2.9 Un état e est dit récurrent pour la chaîne de Markov

(E, P, X) lorsque le temps de retour en e est Pe-p.s. fini. Il est dit transitoire
{ou transient, qui est le terme anglais) sinon. Une classe de communication
est dite récurrente lorsque tous ses états sont récurrents, et transitoire (ou
transiente) sinon.

Notons que la récurrence ne dépend que de la seule matrice de transition

P. L'exercice suivant contient plusieurs importantes propriétés, qui seront
réénoncées ensuite.

Exercice IV.2.10 .. Notons Te:= inf{n EN* 1Xn = e} le temps de retour

en e E E, T: le k-ième temps de retour, et Ne := L: l{Xn=e} le nombre
nEN
total de passages en e .
92 CHAPITRE IV. CHAÎNES DE MARKOV

a) Montrer que JP>e(Ne > k) = JP>e(T: < oo) = (JP>e(Te < oo))k, pour tout
k EN. b) Montrer que lEe(Ne) = I:: pn(e, e).
nEN
c) Montrer que si JP>e[Te < oo] = 1, alors JP>e[Ne = oo] = 1 et lEe[Ne] = oo.
d) Montrer que si JP>e[Te < oo] < 1, alors e est transitoire et lEe[Ne] < oo.
e) Déduire que les états d'une même classe de communication sont soit tous
récurrents, soit tous transitoires.
(Indication : lEe(Ne) ~ pk(e, x) lEx(Nx) P 1(x, e).)
f) Montrer que toute classe de communication récurrente est fermée (définition
IV.2.3). (Indication: si e est récurrent, alors 1 = I::Y pn(e, y)JP>y(Te < oo)
pour tout n EN.)
g) Montrer que toute classe de communie. fermée et finie est récurrente. En
particulier une chaîne irréductible sur E fini est récurrente.
(Indication : lEx(Nx) ~ pk(x, e) lEe(Nx) pour tous x, e, k .)
h) Montrer que la chaîne définie par [E = N* et P(n, 1) = 1- P(n, n + 1) =
2-n pour tout n E E] est irréductible et transitoire. (Indication : évaluer
JP>2(T1 = oo) .) Quel autre exemple a déjà été vu?

Notons que a,b,c,d de l'exercice IV.2.10 ci-dessus entraînent aussitôt :

Proposition IV.2.11 Fixons un état e E E, et notons Te := inf{n E

N* 1 Xn = e} et Ne := I:: l{Xn=e}i respectivement le temps de retour et
nEN
le nombre total de passages en e de la chaîne de Markov (E, P, X). Nous
avons les équivalences suivantes :
e récurrent ~ JP>e(Te < oo) = 1 ~ lPe(Ne = oo) = 1

~ lEe(Ne) = LPn(e,e) =OO;

n
e transitoire ~ JP>e(Te < oo) < 1 ~ JP>e(Ne < oo) = 1
~ lEe(Ne) = LPn(e,e) < oo.
n

Réénonçons l'important résultat de l'exercice IV.2.10.e ci-dessus.

Proposition IV.2.12 Les états d'une même classe de communication sont
soit tous récurrents, soit tous transitoires.
IV.2. CLASSIFICATION DES ÉTATS 93

Voici un autre résultat important, qui éclaire notablement le comportement

d'une chaîne irréductible et récurrente.
Proposition IV.2.13 Tous les temps d'atteinte ou de retour d'une chaîne
de Markov irréductible et récurrente sont presque sûrement finis.

Preuve. Fixons x E E. Puisque Pµ(Tx < oo) = E µ(y)Py(Tx < oo), il

yEE
suffit de montrer que Py(Tx < oo) = 1 pour tout y E E. Si y= x, cela résulte
aussitôt des propositions IV.2.11 et IV.2.12. Supposons donc y f. x, et fixons
n EN* tel que pn(x, y)> 0. Utilisant la proposition IV.2.11, nous avons:

Lpn(x,e) = 1 = Px(Nx = oo) = 1Px((3m > n) Xm = x)

eEE

eEE eEE

d'où

0 = L (1- Pe(Tx < oo)) pn(x, e) 2: (1 - Py(Tx < oo)) Pn(x, y). <>
eEE

Réénonçons le résultat de l'exercice IV.2.10.g ci-dessus, dont l'idée de

départ est assez intuitive, analogue au principe élémentaire des tiroirs : lors
d'un déplacement illimité dans un ensemble fini, il faut bien qu'on repasse
plusieurs fois par un même point; cela dit, il reste tout de même une preuve
rigoureuse à donner.
Proposition IV.2.14 Si E est fini, il contient au moins un point récurrent
pour P.
Preuve. Supposons le contraire : selon la proposition IV.2.11, pour tout
x E E nous avons ]p>x ( N x = oo) = 0 . Soient x, y E E. Utilisant le théorème
IV.1.9, nous avons:

Py[Nx = oo] = Py[Tx < oo, Nx o er., = oo) = Px[Nx = oojjp>y[Tx < oo] = 0,

d'où Py((3x E E) Nx = oo) = 0, et donc Pµ((3x E E) Nx = oo) = O;

d'où enfin

1 = Pµ(('v'x E E) Nx < oo) = Pµ( L Nx < oo) = Pµ(oo < oo) = 0. <>
xEE
94 CHAPITRE IV. CHAÎNES DE MARKOV

Exercice IV.2.15 • Supposons E irréductible et de cardinal [Link] n EN*, et

considérons pour tout y E E le temps de retour Ty := min{k EN* 1 Xk =y}
et le temps d'atteinte T~ := min{k EN 1 Xk =y}.
a) Montrer que ]p>x(T~ < n) > 0, et ensuite que ]p>x(Ty :::; n) > 0 (pour tous
x,y E E).
b) Déduire de a) qu'il existe a E ]O, 1[ tel que ]p>x(Ty ~ k(n + 1)) :::; ak
pour tous k EN et x, y E E; et aussi qu'il existe f3E]O,1[ et c > 0 tels que
]p>x(Ty ~ m) :S cf3m pour tous m EN et x, y E E.
c) Déduire que tout temps d'atteinte ou de retour possède un moment expo-
nentiel : il existe e > 0 tel que lEµ [é Ty] < oo (pour toute loi initiale µ sur
E).

Exercice IV.2.16 (Neveu) Soit {bn 1 n EN} une suite décroissante de réels
n
> 0 telle que bo = 1, et soient O'n := L: b; et f3n := bn/O'n, pour tout
j=O
n EN. Considérons la matrice de transition P sur E = N dé[Link] pour tous
i,j dans N par P(i,j) := ~(/3i - /3i+i)l{j::;i} + !3ïl/
l{j=i+l}. Montrer que P
est irrréductible, et que pn(o, i) = ~l{i::;n} pour tous i, n dans N. Pest-elle
récurrente ?

IV .3 Mesures invariantes des chaînes finies

Nous abordons ici une autre notion essentielle à l'étude des chaînes de
Markov.
Définition IV.3.1 Une mesure v sur E (fini ou dénombrable) est dite
invariante (ou stationnaire) pour une chaîne de Markov de matrice de transi-
tion P (ou pour la matrice de transition P) lorsque v P = v .

Notons que si la loi initiale v de la chaîne de Markov X est invariante

pour P, alors toutes les variables Xn ont aussi v pour loi (voir l'execrcice
IV.1.7.c), et pour tout n E N la chaîne X o on a la même loi que X. C'est
l'idée que contient la dénomination « stationnaire ». Mais attention, même
lorsque la chaîne de Markov X fonctionne ainsi en régime stationnaire, il ne
faut pas croire qu'elle reste plus ou moins immobile; c'est seulement sa loi qui
reste constante. On peut imaginer cette situation comme celle d'une solution
chimique dans laquelle des réactions, convections ou autres échanges ont lieu
tout en préservant la proportion de chacun des constituants. On peut aussi
songer à l'exemple simple d'une rotation uniforme sur E = Z/mZ, sous la loi
uniforme.
IV.3. MESURES INVARIANTES DES CHAÎNES FINIES 95

Exercice IV.3.2 • Supposons que E est fini et que, pour un certaine E E,

pn(e,x) converge lorsque n---+ oo vers un certain Px, pour chaque x E E.
Montrer que (px 1 x E E) est une probabilité invariante pour P. Montrer que
la finitude de E est ici une hypothèse indispensable.

Exercice IV.3.3 •• Chercher les mesures invariantes des chaînes suivantes:

a) E = N et P(n, n + 1) = 1, pour tout n E N (translation uniforme vers la
droite).
b) E = N et P(n, 0) = Pn = 1 - P(n, n + 1), pour tout n E N. Discuter
suivant les Pn·
c) E = Z et P(n,n-1) = p = 1- P(n,n + 1), pour tout n E Z. Discuter
suivant p.

L'exercice IV.3.3 met en évidence qu'en général il n'y a pas de raison qu'il
existe une mesure invariante, ni qu'il ne puisse pas en exister plusieurs non
proportionnelles. Nous avons cependant le résultat agréable suivant, dans le
cas fini.
Proposition IV .3.4 Sur E fini, il y a au moins une probabilité invariante
pour P.
Preuve. Fixons une probabilité quelconque µ sur E, et posons µn :=
n-1
~ L: µPk, pour tout n E N*. C'est une suite de probabilités sur E. Or
k=O
l'ensemble des probabilités sur E s'identifie au fermé {p1 + · · · + Pcard(E) = 1}
dans [O, l]Card(E), et donc est compact. La suite (µn) admet donc une sous-
suite (µnk) convergente, vers une certaine probabilité v. Par ailleurs nous
avons pour tout k EN* : µnkP = µnk + (µPnk - µ) /nk, d'où vP = v en
passant à la limite k ---+ oo. <>
Le résultat suivant permettra de ne pas s'embarrasser des points transi-
toires dans le théorème IV .3. 7 ci-dessous.
Proposition IV.3.5 Les points transitoires de (E, P) fini sont négligeables
pour toute mesure invariante. C'est faux en général si E est infini.
Preuve. Soit v une probabilité invariante chargeant un point transitoire.
Notons 7 l'ensemble des points transitoires chargés par V. Supposons que
L: P(e, t) = 1 pour tout e E 7; alors la chaîne issue d'un point de 7 resterait
tET
dans 7, qui est fini, et la proposition IV.2.14 imposerait l'existence d'un point
récurrent dans 7, ce qui est contradictoire. Donc il existe e E 7 tel que
96 CHAPITRE IV. CHAÎNES DE MARKOV

2:: P(e, t) < 1. Cela entraîne finalement (avec l'exercice IV.2.10.f) :

tET

LVt = L
VeP(e,t) = LVeLP(e,t) = LVeLP(e,t) < LVe. O
tET tET, eEE eEE tET eET tET eET

Le lemme suivant va en sens inverse; il est facile, mais servira à plusieurs

reprises.
Lemme IV.3.6 Sur (E, P) irréductible (fini ou infini}, toute mesure inva-
riante (ou seulement« excessive», c'est-à-dire telle que vP:::; v) non nulle
charge tous les états (autrement dit : elle a son support égal à E entier).

Preuve. Si vP :::; v, alors Vx ~ vyPn(y, x) pour tous x, y E E, de

sorte que [vx = 0 et pn(y, x) > 0] =? Vy = 0. Par conséquent [vx = 0 et
y --+ x] =? Vy = 0, ce qui prouve que si v ne charge pas un certain état, alors
elle est identiquement nulle. o

Théorème IV .3. 7 Sur E fini, il y a une seule probabilité invariante pour P

si et seulement si il n'y a qu'une seule classe de communication récurrente.

Preuve. S'il y a au moins deux classes récurrentes Cet C', la restriction de

la chaîne à C admet une probabilité invariante v, d'après la proposition IV.3.4.
On peut étendre v en une probabilité ;; sur E entier, simplement en décidant
que v(E"'-C) = 0 (autrement dit, en complétant par des 0 le vecteur-ligne
v). Alors ;; est automatiquement invariante pour P. De même, nous avons v'
pour C'. De sorte que les deux probabilités ;; et ;;' sont distinctes (puisque
de supports disjoints C et C') et invariantes pour P. La réciproque est plus
subtile. La proposition IV.3.5 et l'exercice 3.2.4.f permettent de se restreindre
au cas où P est récurrente irréductible. Il suffit alors d'établir que le sous-
espace propre de la matrice t P associé à la valeur propre 1 est une droite.
Or les noyaux de P - I et t P - I (notant I la matrice unité) ont la même
dimension. En effet, ceci voit soit sur la réduction de Jordan de P, soit comme
dans l'exercice IV.4.6.c) ci-dessous, soit en considérant le produit scalaire eu-
clidien canonique ( ·, ·) sur ]RE, comme suit : pour toutes fonctions f, g sur E
(c'est-à-dire f, g E JRE), nous avons
((tp _ I)f,g) = (!, (P- I)g), de sorte que Im(t P- I) c (Ker(P- I))_L, et
de même Im(P- I) C (Ker(tp - I))_L; d'où en utilisant le théorème du
rang: dim[Ker(P- I)] = CardE - dim[Im(P - I)]
~ CardE - dim [ (Ker(t P - I)) _L] = dim [Ker(t P - I)] ,
IV.3. MESURES INVARIANTES DES CHAÎNES FINIES 97

qui donne aussitôt l'égalité voulue, en intervertissant Pet t P.

Il suffit donc d'établir que le sous-espace propre de la matrice P associé à la
valeur propre 1 est une droite; c'est-à-dire que toute fonction f sur E telle
que P f = f .est nécessairement constante. Fixons une telle fonction, et posons
x
pour tout ~ E :
Fn(x) := E pn(x, y)(f(x) - f(y)) 2 , pour tout n EN.
yEE

Développant le carré, on voit aussitôt que Fn = J2 - 2/ pn f + pn(f 2)

pn(J2 ) - J2. Fixons finalement une probabilité invariante li, qui selon le
lemme IV.3.6 charge nécessairement tous les états. Alors pour tout n EN nous
avons llpn = l i et donc : 0 = (llPn - ll)(/2)

= J(Pn(f 2 ) - / 2) dll = J
Fn dll = L
x,yEE
llx pn(x, y)(f(x) - J(y)) 2 ,

ce qui montre que pn(x, y) > 0 => f(x) = f(y). Et donc x, y E E => x-+
y => f(x) = f(y). (Un autre argument, plus bref, figure dans le corrigé du
problème VII.23 : voir sa question 3 .) <>

Corollaire IV.3.8 S'il n'y a qu'une classe récurrente sur (E,P) fini, pour
toute loi µ sur E la suite µn := (µ + µP + · · · + µpn-l) / n converge vers la
probabilité invariante.
Preuve. Supposons le contraire : une certaine sous-suite (µnk) resterait hors
d'une certaine boule ouverte B(ll,ê) (centrée en la probabilité invariante li)
dans l'espace métrique (0, 1]Card(E) (déjà utilisé dans la preuve de la proposi-
tion IV.3.4). Mais pour la même raison dans la preuve de la proposition IV.3.4,
elle devrait admettre une valeur d'adhérence dans (0, l]Card(E) "- B(ll, ê), qui
serait nécessairement une probabilité invariante, distincte de li qui plus est,
contredisant donc l'unicité du théorème IV.3.7. <>

Exercice IV.3.9 Déduire des résultats ci-dessus et de leur preuves que s'il y
a exactement k classes de communication récurrentes, alors le cône des mesures
positives invariantes est de dimension k. Déduire aussi que si l'on suppose de
plus qu'il n'y a pas de point transitoire, alors l'espace des fonctions invariantes
(! telles que P f = f) est aussi de dimension k .

Exercice IV.3.10 Soit P une matrice stochastique sur E = {1, ... , n}.
Montrer qu'une loi li sur E est invariante si et seulement si ll(I - P + U) =
u , où I désigne la matrice unité, U désigne la matrice ne comportant que
des 1, et u désigne le vecteur-ligne ne comportant que des 1. Déduire que
98 CHAPITRE IV. CHAÎNES DE MARKOV

si P est irréductible, alors la matrice (I - P + U) est inversible (et donc

1.1 = u(I - P + u)- 1 ). (Indication : considérer une loi invariante 1.1, et
tµ E Ker[t(I - P + U)] .)

Exercice IV.3.11 Soit P la matrice stochastique sur E = {1, ... , 5}

donnée par
Préciser pour la chaîne de Mar-

1~2}
1/2 0 1/6
p := c31/4 0 0 3/4
1/8 0 1/4 1/8
1/4 0 0 3/4
kov dé[Link] par p sur E
les classes de communication, les
classes récurrentes, les périodes,
0 0 1/2 0 1/2
les mesures invariantes.

IV .4 Mesures et probabilités invariantes

Revenons au cas général : nous n'imposons plus ici que E soit fini.

Définition IV.4.1 Un état récurrent e E E est dit récurrent nul pour (E, P)
lorsque le temps moyen de retour lEe(Te) est infini, récurrent positif sinon, et
ergodique lorsqu'il est récurrent positif et apériodique.

L'énoncé suivant fournit dans le cas récurrent une mesure invariante ex-
plicite, donnée par les nombres moyens de passage entre deux retours en un
état.

Théorème IV.4.2 Soit e E E un état d'une chaîne de Markov irréductible

récurrente de matrice de transition P. Considérons le vecteur-ligne (donc la
mesure sur E) ve dont le terme d'indice x E E est

Alors tous les Vi sont finis et > 0, ~e = 1, lEe(Te) = ve(E), et ve est

une mesure invariante : ve = ve p.
Te
Preuve. Observons d'abord que ~e = 1, et que Te = 2: 2: l{Xn=x}, de
xEEn=l
sorte que lEe(Te) = L: v; = ve(E). Ensuite, pour X t= e et n E N*, fixant
xEE
m E N* tel que Px(Te = m) > 0 (son existence découle de la proposition
IV.2.13), nous avons :
IV.4. MESURES ET PROBABILITÉS INVARIANTES 99

Pe(Te = m + n) = Pe(Te 2: n,Xn f:. e, Te o fin= m)

2: Pe(Te 2: n,Xn = x )Px(Te = m), de sorte que
OO
v;:::; [Link] lPe(Te = m + n)/Px(Te = m) :::; Px(Te = m)- 1 <OO.
n=l
Pour l'invariance de ve, observons que lPe(X1=x,Te2:1) = P(e,x), et que
pour tout n 2: 2 :
Pe(Xn =X' Te 2: n) = [Link] Pe(Xn-1 =y' Te 2: n - l)P(y, x) j
Y#
ce qui donne par sommation :

v: = P(e, x) +L L Pe(Xn-1 =y, Te 2: n - l)P(y, x)

y#e n?;2

= YeeP(e,x) + [Link]#e v,;P(y,x) = (VeP)x.

Enfin le lemme IV.3.6 montre que vee > 0 entraîne v; > 0 pour tout XE E.
<>

Exercice IV .4.3 • En plus des notations du théorème IV.4.2, notons T~

Te
le temps d'atteinte de x E E, et N; := L l{Xn=x}· Montrer que N; =
n=l
l{T.,<Te} [1 + N; o ()T.,]
et lEx(N;) = ~=~~=~~:~ < oo si X f:. e, et déduire
que Vi = Pe(T~ < Te)/Px(Tx 2: Te)·

Noter que d'une mesure invariante finie non nulle v on déduit aussitôt la
probabilité invariante 1 /E)
v. D'où le corollaire suivant, qui résulte immédia-
tement du théorème IV.4.2 et de la définition IV.4.1.

Corollaire IV.4.4 Si une chaîne de Markov (E, P) est irréductible récur-

rente, elle admet une mesure invariante dont le support est E entier. Si de plus
E contient un état récurrent positif, alors il existe une probabilité invariante
dont le support est E entier.

Voici l'énoncé général d'unicité qui complète le théorème d'existence IV.4.2.

Noter que la définition IV.3.1 d'une mesure invariante étant linéaire, il est
naturel de ne considérer distinctes que des mesures invariantes non propor-
tionnelles, ainsi que d'écarter a priori la mesure nulle, trivialement toujours
invariante (et sans intérêt).
100 CHAPITRE IV. CHAÎNES DE MARKOV

Théorème IV.4.5 Une chaîne de Markov (E, P) irréductible et récurrente

admet une mesure invariante unique (non nulle, définie à une constante mul-
tiplicative près). Plus généralement, toute mesure «excessive», c'est-à-dire
telle que vP ~ V' s'écrit nécessairement V= Ve X ve (pour tout e E E, ve
étant celle du théorème IV.4.2).

Preuve. Fixons e E E, une mesure v (positive) P-excessive sur E, et

montrons par récurrence sur NE N* la propriété 'PN: pour tout état x E E,
N
Vx ~Ve L lP'e(Te ~ n,Xn = x) + L VylP'y(Te ~ N,XN = x).
n=l yEE'-{e}
La propriété 'P1 se réduit à l'hypothèse v ~ vP, et si 'PN est vraie et si x E E,
alors (via la propriété de Markov) :
N
Vx - Ve L lP'e(Te ~ n, Xn = x) ~ L L VzP(z, y) lP'y(Te ~ N, XN = x)
n=l yEE'-{e} zEE

= L Vz L lP'z(X1 = y)lP'z(B- 1{Te ~ N,XN = x} 1 X1 =y)

zEE yEE'-{e}

= LVz L lP'z(X1=Y,TeoO~N,XNoO=x)
zEE yEE'-{e}

= L VzlP'z(Te > 1,Te -1 ~ N,XN+I = x)

zEE
= VelP'e(Te ~ N + 1,XN+l = x) + L VzlP'z(Te ~ N + 1,XN+l = x)'
zEE'-{e}
ce qui achève la récurrence. Faisant tendre N vers l'infini, cela donne par
définition de ve: v' :=V - Ve ve ~ 0. Comme V~= 0 et v' ~ v' P, le lemme
IV.3.6 assure finalement que v' = 0. <>
Deux autres preuves très différentes seront données: l'une dans le problème
VII.10, et l'autre résultera du théorème de convergence des martingales, dans
l'exercice V.3.14.

Exercice IV.4.6 • (Noyau adjoint et chaîne retournée) Soit (E, P, X) une

chaîne irréductible récurrente. Fixons e E E. Soit v une mesure non nulle
invariante pour P, normalisée pour que Ve = 1. Pour tous x, y dans E,
posons Q(x,y) := P(y,x) x vy/vx.
a) Montrer que Q est une matrice stochastique, calculer Qn(x, y) pour tout
n E N*, et montrer que Q est irréductible récurrente. Comparer les périodes
de (E, P) et de (E, Q).
IV.4. MESURES ET PROBABILITÉS INVARIANTES 101

b) Montrer que (E, Q) est nulle-récurrente si et seulement si (E, P) l'est. Ca-

ractériser les mesures P-invariantes au moyen de leur densité par rapport à v
et de Q.
c) Déduire une variante de la preuve du théorème IV.3. 7.
d) Vérifier que Qn(x, y) = 1P11(XN-n =y 1 XN = x) pour tous n, N entiers
tels que 0 ~ n ~ N et tous x, y dans E : Q est associée à la chaîne X
«retournée», pour laquelle les transitions s'effectuent à rebours de celles de
P, en« remontant le temps».
e) Montrer par récurrence sur n E N* que pour tout x E E '- {e} on a
Vx Qx (Te = n) = lPe (Xn = x, Te > n), où Q désigne la loi de la chaîne associée
àQ.

Le résultat suivant est très satisfaisant : non seulement il donne une ca-
ractérisation simple et nette et il assure que la récurrence positive ne dépend
que des classes, mais de plus il permettra le calcul effectif de temps moyens
de retour (et d'atteinte).
Théorème IV .4. 7 Une chaîne de Markov irréductible admet une probabilité
invariante si et seulement si tous ses états sont récurrents positifs, ou bien si et
seulement si l'un de ses états est récurrent positif. Dans ce cas, la probabilité
invariante est unique, et confère le poids lEe(Te)- 1 à chaque état e E E.

Preuve. Le corollaire IV.4.4 ci-dessus assure l'existence d'une probabilité

invariante s'il y a un état récurrent positif. Réciproquement, soit v une proba-
bilité invariante. Si les états sont transitoires, alors la proposition IV.2.11 (et
l'exercice IV.2.10.b,g) montrent que tous les pn(y, x) tendent vers 0 lorsque
n--+ oo ; et donc pour tout x E E : Vx = 2:: vyPn(y, x) --+ 0 par convergence
y
dominée, ce qui est contradictoire. La chaîne est donc récurrente. Plaçons-
nous ensuite dans le cas où la loi de Xo est v, et fixons e E E. Rappelons que
selon le lemme IV.3.6, Ve > 0. Cela dit, nous avons : Ve lEe(Te)

= L 1P11(Xo = e) lPv(Te > n 1 Xo = e) = L lPv(Te > n, Xo = e)

nEN nEN

= lPv(Xo = e) + L 1P11(Xo = e, X1 -/: e, ... , Xn-/: e)

nEN*

= lPv(Xo = e) + L [1P11(X1-/: e, ... , Xn-/: e) - 1P11(Xo-/: e, ... , Xn-/: e) J

nEN*
102 CHAPITRE IV. CHAÎNES DE MARKOV

= lP'v(Xo = e) + 2: [1Pv[Xo-/= e, ... ,Xn-1-/= e] -lP'v[Xo-/= e, ... ,Xn-/= eJ]

neN*
= lP'v(Xo = e) + lP'v(Xo-/= e) -
lP'v[('v'n EN) Xn-/= e] = 1,
par la proposition IV.2.13. Ceci prouve à la fois que l'état (quelconque) e
est récurrent positif, puisque lEe(Te) = (lle)- 1 < oo, et que la probabilité
invariante (quelconque) li est bien nécessairement égale à ce qu'énonce le
théorème. <>

Définition IV .4.8 Une chaîne irréductible récurrente est dite positivement

récurrente lorsque tous ses états sont récurrents positifs, et sinon, lorsqu'aucun
ne l'est, elle est dite nulle-récurrente.

Selon la définition IV.4.8 et le théorème IV.4.7, la chaîne de Markov irré-

ductible récurrente considérée est positivement récurrente si la mesure inva-
riante du théorème IV.4.5 est finie, et nulle récurrente sinon.

Proposition IV.4.9 Supposons la chaîne de Markov irréductible positive-

ment récurrente. Alors (pour toute E E) tous les temps d'atteinte sont 1P'e-
intégrables.
Preuve. Fixons x-/= y dans E. Nous savons déjà que tous les temps d'at-
teinte sont presque sûrement finis (proposition IV.2.13), et que les temps de
retour sont intégrables.
Supposons qu'on ait Tx > r; lP'y-p.s., pour un k EN*; on aurait alors aussi
par la propriété de Markov forte Tx o or: > Ty o or: !Py-p.s. , et donc !Py-
p.s. : Tx = r; r;
+ Tx o or: > + Ty o or: = r;+i,d'où par récurrence, si
Tx > Ty lP'y-p.s. : Tx > r;
2'.: k pour tout k E N*, et donc Tx = OO • Donc
il faut que !Py(Tx < Ty) > 0.
Ensuite Ty 2'.: (Tx + Ty o or"') l{r.,<ry} 2'.: Ty o or., l{r.,<ry}, et donc par la
propriété de Markov forte lEy(Ty) 2'.: lP'y(Tx < Ty) x lEx(Ty), d'où lEx(Ty) <
OO. <>

La notion suivante est utile, car elle correspond à une situation plus simple
que la situation générique, qui se présente souvent (c'est le cas où le noyau
adjoint Q de l'exercice IV.4.6 est égal au noyau P), et peut alors simplifier la
recherche de mesure(s) invariante(s) (voir l'exercice IV.4.11).

Définition IV.4.10 (Réversibilité) Une mesure li sur E est dite réversible

pour la matrice de transition P lorsque llx P(x, y) = lly P(y, x) pour tous
les états x, y E E. Et une matrice stochastique est dite réversible si elle admet
une mesure réversible.
IV.4. MESURES ET PROBABILITÉS INVARIANTES 103

Exercice IV.4.11 •• a) Vérifier que toute mesure réversible est invariante.

b) Pour les exemples 2) (urnes d'Ehrenfest) et 3) (rebonds en 0) de la section
IV.l, chercher les mesures réversibles et les mesures invariantes, et conclure
quant à la récurrence (positive).
c) Pour l'exemple 3) (E = N, P(n, n - 1) = 1 si n ~ 1, P(O, n) = IP'(Y =
n) > 0 si n ~ 0), on vérifiera que la récurrence est positive si et seulement
si Y E L 1 et qu'alors, v étant invariante, 1Ev(T6) est [Link] si et seulement si
Y E L 2 . En particulier, dans la proposition IV.4.9 ci-dessus, on ne peut pas
avoir l'intégrabilité des temps d'atteinte sous n'importe quelle loi initiale.
d) De même, chercher les mesures invariantes de la marche aléatoire sur Z
dé[Link] par P(j,j ± 1) = P(j,j ± 2) = 1/4; vérifier que c'est une chaîne de
Markov irréductible, apériodique, nulle-récurrente.

Exercice IV.4.12 • Une particule se déplace sur les huit sommets d'un
cube, choisissant à chaque seconde (avec loi uniforme) l'un des trois sommets
voisins. Fixons deux sommets opposés du cube, disons e et a, et faisons partir
la particule de e au temps O.
a) Quel est le temps moyen de retour en e ?
b) Quel est le nombre moyen de passages en a avant le retour en e ?
c) Notons B l'ensemble des trois sommets voisins de e, et A l'ensemble des
trois sommets voisins de a . La particule étant en Xn au temps n , posons
Yn := B lB(Xn) +A lA(Xn) +Xn l{Xn=e ou a}. Vérifier que Y est une chaîne
de Markov sur {e, a, A, B}, et donner sa matrice de transition. (On dit qu'on
a pu « agréger» les états de A et de B ; ce qui n'est en général pas possible;
Y est la chaîne « quotient»).
d) Relativement à la chaîne Y, calculer 1Ea(Ta), puis lEe(Ta), lEB(Ta) et
lEA(Ta)· (Indication: écrivant les formules relatives à ce qui se passe lorsqu'on
fait effectuer un premier pas à la chaîne, on obtient un système d'équations
linéaires en ces quantités.)
e) Quel est le temps moyen lEe(Ta) nécessaire à la particule pour atteindre
a?
f) Calculer la loi du temps d'atteinte Ta (sous IP'e) (utiliser l'exercice IV.1.16).

Exercice IV.4.13 Supposons que l'état e E E est récurrent positif pour

la chaîne X issue de e, et notons G la fonction génératrice de Te : G(t) :=
lEe(tTe)' pour ltl < 1. Soit Yn := max{k ~ n 1 xk = e} le dernier instant de
passage en e avant l'instant n.
a) Montrer que L: tk IP'e(Te > k) = (1 - G(t))/(1 - t), pour ltl < 1.
kEN
104 CHAPITRE IV. CHAÎNES DE MARKOV

b) Montrer que Ee(ur:) = G(u)k, pour tous k EN, lul < 1.

c) Montrer que Pe(Yn = j) = E Pe(T: = j) Pe(Te > n-j), pour 0 S j Sn.
kEN

d) Déduire que E tn Ee(sYn) = (l-t~(1~__(;)(st)) ' pour lsl, ltl < 1. (Changer
nEN
nenn+j.)

IV.5 Ergodicité
Exercice IV.5.1 • Montrer que pour tous états x, y on a:
LPn(x,y) = lEx(Ny) = Px(min{nENIXn=Y}<oo) xEy(Ny)·
nEN

L'énoncé simple suivant est une réciproque du corollaire IV.4.4.

Lemme IV.5.2 Si v est une probabilité invariante chargeant l'état y, cet

état est récurrent.
Preuve. Utilisant l'exercice 3.5.1 ci-dessus, nous avons :

n n X X n

= LvxPx(Ty < oo)lEy(Ny) = P11 (Ty < oo)lEy(Ny) s lEy(Ny),

X

et nous concluons par la proposition IV.2.11. <>

La propriété suivante, qui offre l'avantage de ne nécessiter aucune hy-

pothèse, donne explicitement le comportement asymptotique presque sûr du
temps moyen passé par une chaîne de Markov (E, P, X) en un état donné.

Proposition IV.5.3 Considérons deux états e, x E E. Alors

1 n
lim - L
n-+oo n k=l
l{xk=e} lEe(Te)- 1 X l{Te<oo} Px - presque sûrement.

n .
Preuve. Notons N: :=
k=l
E l{xk=e} = max{j E N 1 Traitons n s n}.
d'abord le cas x = e, et utilisons la proposition IV.2.11. Si e est récurrent,
Nn Nn+l
e ~ OO ,
alors Jp>e-presque sûrement .. Nn • T.
ee_ < n < [Link] '. et les Tk
e - rk-l
e
étant i.i.d. > 0, la loi des grands nombres assure que T: /k converge vers
IV.5. ERGODICITÉ 105

lEe(Te) lorsque k -t oo; d'où nous déduisons que n/N: converge lP'e-p.s. vers
lEe(Te). Tandis que si e est transitoire alors d'une part lP'e(Te = oo) > 0
et donc lEe(Te) = oo, et d'autre part presque sûrement N:
est borné et donc
N: /n -t 0. Donc si x = e le résultat est valable, avec ou sans l'indicatrice
de {Te < oo} (et avec la convention !
= 0).
Lorsque x f: e, le résultat est clair sur {Te = oo }, et pour tout m E N* (tel
que 1P'x(Te = m) > 0) on a

1P'x [N: /n -t lEe(Te)- 1 1 Te= m] = 1P'e [N:-m /n -t lEe(Te)- 1] = 1,

d'où le résultat également sur {Te < oo}. <>

Voici un corollaire de la proposition IV.5.3, immédiat par application du

théorème de convergence dominée. Noter que 1 :::; lEy(Ty) :::; oo. Dans le cas
où lEy(Ty) = oo, voir le problème VII.10 pour un résultat complémentaire.

Corollaire IV.5.4 Pour tous x, y E E, nous avons lorsque n -t oo :

Il est en général faux qu'on puisse se passer de prendre la moyenne de

Cesàro des pn(x, y) pour avoir le résultat du corollaire ci-dessus. Par exemple
si P est la matrice (2,2) avec 0 sur la diagonale. Pour contrer le phénomène
de périodicité qu'on voit ainsi s'opposer au résultat fort dit d'ergodicité (selon
lequel partant de n'importe quel état la chaîne se répartit asymptotiquement
suivant sa loi invariante), c'est justement l'hypothèse d'apériodicité qui est la
bonne.

Théorème IV.5.5 (ergodique) Soit (E, P) une chaîne de Markov irréduc-

tible, apériodique (tout état est apériodique) et admettant une probabilité inva-
riante v. Alors nous avons lim pn(x, y) = Vy, uniformément par rapport
n--+oo
à y E E, ceci pour tout x E E .

Preuve. Procédons par « couplage > ; définissons la transition produit P

sur E 2 en posant: P((x,x'),(y,y')) = P(x,y)P(x',y'), et vérifions que
l'irréductibilité et l'apériodicité de P entraînent l'irréductibilité de P. Fixons
j,k entiers tels que Pj(x,y)Pk(x',y') > O. Le lemme IV.2.8 assure que
pk+m(y, y)PHm(y', y') > 0, pour tout entier m suffisamment grand. De sorte
que
106 CHAPITRE IV. CHAÎNES DE MARKOV

pi+k+m((x, x'), (y, y')) = pi+k+m(x, y) pi+k+m(x', y')

~ PJ(x,y)pk+m(y,y)Pk(x',y')Pi+m(y',y') >O.

Observons ensuite que 'iï(x,y) := VxVy définit une probabilité invariante pour
(E2 , P), pour laquelle tous les états de E 2 sont récurrents, selon le lemme
IV.5.2 (rappelons que selon le lemme IV.3.6 le support de v est E entier) ou
le théorème IV.4.7.
Notons Xn = (Yn, Zn), et u le temps d'atteinte de la diagonale de E 2 • Puisque
(E2 , P, X) est une chaîne de Markov (à coordonnées indépendantes et marko-
viennes de transition P) irréductible et récurrente, tout point de la diagonale
est presque sûrement atteint (selon la proposition IV.2.13), et donc a fortiori
u < oo presque sûrement. Ensuite, sous toute loi initiale µ pour X 0 , pour
tous n E N et y E E nous avons :
n
ÏPµ(Yn = y,u ~ n) = L L ÏPµ(u = m, Ym = x, Yn =y)
m=OxEE
n
= L L ÏPµ(u = m, Ym = Zm = x) ÏP(x,x)(Yn-m =y)
m=OxEE
n
=L L ÏPµ(u = m, Ym = Zm = x) X pn-m(x,y)
m=OxEE
n
= L L ÏPµ(u = m, Zm = Ym = x) ÏP(x,x) (Zn-m =y)
m=O xEE
= ÏPµ (Zn = y , u ~ n) .
Donc ÏPµ(Yn =y)= ÏPµ(Zn = y,u ~ n) + ÏPµ(Yn = y,u > n)
~ ÏPµ(Zn =y)+ ÏPµ(Yn =y, <5 > n)
et de même ÏPµ(Zn = y) ~ ÏPµ(Yn = y) + ÏPµ(Zn = y , u > n) ; d'où

ÏPµ(Yn
1 = Y) - ÏPµ(Zn = y) 1 ~ ÏPµ(Yn = y , <5 > n) + ÏPµ(Zn = y , <5 > n) ,
et par conséquent E
yEE
IÏPµ(Yn =y) -ÏPµ(Zn = y)I ~ 2 ÏPµ(u > n).
Si Yo = x et si Zo a v pour loi, c'est-à-dire µ = Ôx ® v, cela donne la
conclusion :

sup IPn(x, y) - Vy
yEE
1 ~ L IPn(x, y) - Vy
yEE
1 ~ 2 ÏPô.,®v(u > n) n--+oo 0. o
IV.5. ERGODICITÉ 107

Exercice IV.5.6 • a) Montrer que les valeurs propres d'une matrice sto-
chastique (sur E [Link]) sont de modul[Link]; 1.
b) Montrer que les valeurs propres f: 1 d'une matrice stochastique irréductible
et apériodique (sur E [Link]) sont de module < 1, et que la multiplicité de la
valeur propre 1 est 1 (pour cette dernière propriété, on pourra par exemple
utiliser soit le théorème ergodique soit la réduction de Jordan). L'apériodicité
est-elle ici indispensable ?
c) Réciproquement, si les valeurs propres d'une matrice stochastique P (sur
E de cardinal n) sont (1, >.2, ... , Àn) avec 1>.il < 1 pour 2 :S j :Sn, alors pn
converge vers une matrice dont les lignes sont identiques, et (E, P) possède une
seule classe de communication récurrente, nécessairement apériodique, et une
seule probabilité invariante. ( Trigonaliser P, et examiner en détail lim pm.)
m-+oo

Exercice IV.5. 7 • On lance n fois un dé ordinaire, dont chaque face a une

probabilité > 0 de sortir, et on note Sn la somme des résultats. Soit m E N*.
Trouver la limite quand n --+ oo de la probabilité que Sn soit multiple de m.
Quelle(s) hypothèse(s) plus faible(s) suflirai(en)t à garantir le même résultat?
Chapitre V

Martingales à temps discret

Les gens qui veulent fortement une chose sont presque toujours
bien servis par le hasard. (Honoré de Balzac)

La théorie élémentaire des martingales est agréable à double titre : d'une

part elle est élégante et assez simple, et d'autre part elle est gratifiante, four-
nissant sans grands efforts plusieurs résultats profonds {les théorèmes V.1.8,
V.2.3 et V.3.1 ci-dessous), aux implications multiples dans toute la théorie des
probabilités et dans ses applications. Elle est due à J.L. Doob, qui l'a élaborée
vers le milieu du vingtième siècle.

V.1 Surmartingales et théorème d'arrêt

Donnons-nous un espace de probabilité (0, F, JP) muni d'une suite crois-
sante {Fn 1n EN} de sous-tribus de F, nommée filtration.

Définition V.1.1 Une suite {Xn 1n EN} de v.a.r. intégrables est une sur-
martingale lorsque (i) elle est adaptée : Xn est Fn -mesurable, pour tout
n EN; et (ii) lE(Xn+I IFn) ~ Xn presque sûrement pour tout n EN.
La suite (Xn) est une sousmartingale lorsque (-Xn) est une surmartin-
gale, et est une martingale lorsqu'elle est à la fois une surmartingale et une
sousmartingale.

Remarque : Si (Xn) est une surmartingale, la suite de ses espérances est

décroissante !
Cela constitue un moyen mémotechnique pour se rappeler le sens de l'inégalité
{ii), et donc ne pas intervertir surmartingales et sousmartingales.
110 CHAPITRE V. MARTINGALES À TEMPS DISCRET

Exemples. 1) Si X est une v.a.r. intégrable, Xn := E(X 1 Fn) définit une

martingale.
2) Soit {Yn 1 n E N} une suite de v.a.r. intégrables indépendantes, et soient
n
Xn := L: Yj, puis Fo := {0, n}, et Fn := a{Yj l 1 ~ j ~ n}. Alors (Xn) est
j=O
une martingale si et seulement si les Yj sont centrées (et donc en particulier
les marches aléatoires centrées sont à la fois des martingales et des chaînes de
Markov), (Xn) est une surmartingale si et seulement si les Yj ont toutes une
espérance ~ 0, et c'est une sousmartingale si et seulement si les Yj ont toutes
une espérance 2 O.

Exercice V.1.2 • a) Si (Xn) est une surmartingale, alors on a

E(Xm 1 Fn) ~ Xn presque sûrement pour tous m > n dans N, et de plus
(Xn) est une surmartingale dans sa propre filtration (a{Xo, ... , Xn} ).
b) L'ensemble des sousmartingales forme un cône convexe (= stable par
=
somme et par produit par À> 0) stable par (Xn, Yn) 1--7 XVY max{Xn, Yn}·
c) Si (Xn) est une sousmartingale et si c/J est une fonction convexe croissante
de R dans R telle que chaque c/J o Xn est intégrable, alors (c/J o Xn) est une
sousmartingale. ~i (Xn) est une martingale et si c/J est une fonction convexe
de R dans R telle que chaque c/J o Xn est intégrable, alors (c/J o Xn) est une
sousmartingale.

Exercice V.1.3 Notons X la chaîne de Markov sur Z de transition P définie

par : P(j,j ± 2) = 1/2 si j E 3Z, et P(j,j ± 1) = 1/2 sinon. Soit Yn le
résidu de Xn modulo 5. Montrer que (Yn) est une martingale (relativement
à sa propre filtration), mais n'est pas une chaîne de Markov (considérer par
exemple lP'(Y3 = 21 Y2 = 0, Y1 = i) et lP'(Y3 = 21 Y:2 = 0, Yi = 2)).

Exercice V.1.4 Soient N un entier 2 2, ai, ... , aN des réels de somme

nulle, a une variable aléatoire uniforme sur le groupe des permutations SN,
n
puis pour 1 ~ n < N : Xn := J!.n L: au; , et Fn la tribu engendrée par
j=l
{ai, ... , O"n} •
a) TI-ouver pour 1 ~ n ~ j ~ N la loi conditionnelle de O"j sachant Fn-I ·
b) Expliciter (pour n 2 2) Xn - Xn-1' et en déduire que (Xn) est une (Fn)-
martingale.

Exercice V.1.5 Soient {Yn 1n E N} une chaîne de Markov de matrice de

transition P sur un espace d'états discret E, et f une fonction bornée sur E.
V.1. SURMARTINGALES ET THÉORÈME D'ARRÊT 111

a) Montrer que si P f = eÀ f , alors (e-Àn f o Yn) est une martingale.

b) Montrer que si f ~ P f, alors (! o Yn) est une sousmartingale.

c) Montrer que (!(Yn) + :~~ [f(Yk) - Pf(Yk)]) est une martingale.

Exercice V.1.6 Soient p E ]O, 1[, G une variable aléatoire géométrique de

paramètre (1 - p) : lP(G = n) = (1 - p) pn, et Fn la tribu engendrée par la
variable aléatoire n /\ G = min{n, G}, pour n EN.
a) Vérifier que {Fn 1n EN} définit une filtration.
b) Montrer que 1E(l{G>n} 1 Fn) = p l{G2'.n}, pour tout n E N.
c) Déduire que JE( G /\ (n + 1) 1 Fn) = G /\ n + p l{G2'.n}, pour tout n EN.
d) '.frouver a E IR tel que Xn :=a x (G /\ n) + l{G2:n} définisse une (Fn)-
martingale.
I
e) Calculer 1E((Xn+l -Xn) 2 Fn), et déduire que Yn := X~-ax (G/\(n-l))
définit une (Fn)-martingale.

Proposition V.1.7 Si (Xn) est une surmartingale et si T est un temps

d'arrêt (relativement à la filtration (Fn)}, alors la « surmartingale
arrêtée» (Xnt\T) est encore une surmartingale.

Preuve. (Xnt\T) est intégrable, puisque sa valeur absolue est majorée par
IXol + · · · + IXnl. L'adaptation découle aussitôt des exercices 111.1.6et111.1.5.
Enfin
lE(X(n+I)AT - Xnt\T 1Fn) = lE((Xn+l - Xn)l{T2'.n+I} 1Fn)
= l{T2:n+l} JE(Xn+l - Xn 1Fn) ~ 0. <>
Exemple. Dans un jeu de pile ou face : (Xn)n;::::1 v.a.i.i.d. de loi de Bernoulli
B(±l, !), soit r := min{n E N*I Xn = 1}. Parier deux fois plus à chaque
lancer jusqu'à gagner revient mathématiquement à poser Hn := 2n- 11{r2:n}•
n n
Sn := E Xk, et à considérer la martingale (H ·S)n := E Hk(Sk - Sk-1) =
k=l k=l
n
E Hk xk = 1 - 2n1{n<r}• qui représente le gain algébrique à l'instant n : on
k=l
gagne 1 au temps r, qui est presque sûrement fini. Mais r n'est pas borné, et
dans la pratique on ne peut pas jouer indéfiniment ni engager une somme non
bornée (outre que pour contrer ce type de stratégie, les casinos plafonnent les
enjeux autorisés); de sorte qu'il y a un risque significatif de perdre gros!

Nous avons maintenant l'important« théorème d'arrêt» de Doob:

112 CHAPITRE V. MARTINGALES À TEMPS DISCRET

Théorème V.1.8 (d'arrêt) Soient S et T deux temps d'arrêt presque sûre-

ment bornés, tels que S ~ T presque sûrement. Soit (Xn) une surmartingale.
Alors on a presque sûrement lE(Xr 1Fs) ~ Xs.

Preuve. Soit Mun entier fixe majorant presque sûrement le temps T. Xr

est intégrable, sa valeur absolue étant majorée par IXol + · · · + IXMI. Pour
tout A E Fs, la proposition V.1.7 ci-dessus entraîne:
M
lE[(Xr - Xs)lA] = L lE[(XM/\T -XmAr)lAn{S=m}] ~ 0. <>
m=O

En particulier, pour toute martingale (Xn) et tout temps d'arrêt borné

T, on a lE(Xr) = lE(Xo).
Si T n'est pas borné: le temps d'atteinte T1 de 1 pour la marche simple
(Sn) sur Z fournit un contrexemple, puisqu'alors lEo(Sr1 ) = 1 '=f: lEo(So) = 0.

Exercice V.1.9 • Soient N un entier ~ 2, un réel A > 0, une filtration

{Fn 1n EN}, (Mn) une (Fn)-martingale, (Hn) un processus (Fn)-adapté,
T/\n
T := N /\min { n E N* l IHnl > A}, et Xn := E
j=l
Hj-I (Mj - Mj-I) pour
n E N*. Montrer que T est un (Fn)-temps d'arrêt, et que (Xn) est une (Fn)-
martingale.

Le processus X de cet exercice est l'intégrale stochastique (discrète et arrêtée)

de H par rapport à M. Dans l'exemple d'un portefeuille de valeurs, Mn =
(M~, ... , M~) représente le cours à l'instant n de d titres boursiers, H =
(H1, ... , Hd) la quantité qu'on en détient (ou stratégie de gestion), et Xn la
valeur de ce portefeuille. On suppose implicitement la stratégie autofinancée :
Xn+l - Xn = Hn · (Mn+l - Mn) signifie que les variations de valeur du por-
tefeuille proviennent uniquement des fluctuations des cours.

V.2 Inégalités
Plusieurs inégalités expriment que pour contrôler toutes les valeurs d'une
(sur)martingale sur un intervalle de temps, il suffit de contrôler ses valeurs
aux extrémités de cet intervalle. C'est assez comparable avec ce qui a lieu
pour les fonctions harmoniques (ce n'est pas un hasard). Ces inégalités sont
essentielles à la théorie des (sur)martingales. Commençons par une« inégalité
maximale ».
V.2. INÉGALITÉS 113

Proposition V.2.1 Soient (Xn) une surmartingale, NE N, et À> O. Nous

avons :
ÀIP'( max {IXnl 10 ~ n ~ N} ~À) ~ lE(Xo) + 2lE(XjV).

Preuve. Considérons le temps d'arrêt T := N /\ min{n EN 1 Xn ~À}. Le

théorème d'arrêt V.1.8 nous donne (en séparant { min{n EN 1 Xn ~À}~ N}
de son complémentaire) : lE(Xo) ~ lE(XT)

~ ÀIP'(max{Xn IO~ n ~ N} ~À) +JE(XN l{max{XnlO:::;n:::;N}<>.})'

d'où
ÀIP'( max{Xn 10 ~ n ~ N} ~À) ~ lE(Xo) + lE(XjV).
Considérons ensuite le temps d'arrêt T' := N /\ min{n EN 1 Xn ~ -À}. Le
théorème d'arrêt V.1.8 nous donne : lE(XN) ~ lE(XT')

~ -ÀIP'( min{Xn 10 ~ n ~ N} ~-À)+ lE(XN l{min{Xn jO:::;n:::;N}>->.}),

d'où ÀIP'( min{Xn 10 ~ n ~ N} ~-À)

~JE( - XN l{min{Xn jo:::;n:::;N}:::;->.}) ~ lE(XjV) · <>

Corollaire V.2.2 Soient (Xn) une martingale, N E N, p ~ 1, et À > O.

Nous avons :
ÀPIP'( max {IXnl 10 ~ n ~ N} ~À) ~ lE(IXNIP).
Preuve. L'exercice V.1.2.c assure que (-IXnlP) est une surmartingale, et il
suffit de lui appliquer la dernière inégalité de la preuve de la proposition V.2.1
ci-dessus, avec ÀP au lieu de À . <>

Le théorème suivant énonce l'importante «inégalité de Doob ».

Théorème V.2.3 Soient (Xn) une martingale, N E N, et p > 1. Nous

avons:

Preuve. Posons X1 := max{IXnl IO ~ n ~ N}. La dernière ligne de la

preuve de la proposition V.2.1 ci-dessus appliquée à (-JXnl) montre que pour
tout À> 0
114 CHAPITRE V. MARTINGALES À TEMPS DISCRET

Ceci et l'inégalité de Holder entraînent :

x•
=pIE(lxN1fo Àp- 2dÀ) = ï&IE(IXNI x 1x11p-1)
N

:S ~ llXNllp X 111x11p-lllï& = p~l llXNllp X 11x11œ-1 '

d'où le résultat en divisant par llX11œ- 1 , lorsque X1 E LP. Or le résultat est
trivial si XN ~ LP, et 11x111p :S llXollp + ... + llXNllP :S (N + l)llXNllP est
fini si XN E LP. <>

Faisant tendre N vers l'infini et appliquant le théorème de convergence mono-

tone, on déduit aussitôt du théorème V.2.3 le corollaire suivant.

Corollaire V.2.4 Soient (Xn) une martingale, et p > 1. Nous avons:

Il sup { IXnl 1 n E N} llP :S ~ SUPn llXn llP ·

Un deuxième type d'inégalité traite du contrôle des oscillations d'une

(sur)martingale, en vue d'en déduire le résultat fondamental de convergence.
Ce sont les inégalités de montées (voire de descentes) à travers un intervalle
[a, b]. Définissons d'abord ces montées. Pour cela, fixons deux réels a, b tels
que a< b, et un processus (Xn)·
Soit (Tf) la suite croissante de temps d'arrêt définie par : T{ := 0, et pour
tout k 2: 1 :
T2};_ 1 := min { n 2: T2};_ 2 I Xn :S a} , T2}; := min { n > T2};_ 1 1 Xn 2: b} .
Le « nombre de montées » de (Xn) à travers l'intervalle [a, b] avant N E N
est M'f./(X) := max { k E N 1 T2}; :S N} . Voir la figure V.1.
L'inégalité sur les montées est la suivante.

Proposition V.2.5 Soient (Xn) une surmartingale, 2 réels a< b, et NE N.

Nous avons:

Preuve. Le théorème d'arrêt V.1.8 nous donne pour tout k EN* :

(b - a) IP(M~b(X) 2: k) = (b - a) IP(T2}; :SN)

V.3. CONVERGENCE 115

b
a

Tf r,X
5 Tfn

FIGURE V.l - Les 3 montées à travers [a, b] d'un début de trajectoire

:=:; JE[(xN/\T.x
2k
-XN/\T.x
2k-1
)l{r.x<N}J
2k-

= JE[ (XN/\Tdf. - XN/\Tdf._) (1{Tdf._ 1 ::;N} - l{Tdf._ 1 :5N<Tdf.})]

= JE[ (XN/\Tdf. - XN/\Tdf._) l{Tdf._ 1 ::;N}] - JE[ (XN - XTdf._) l{Tdf._ 1 :5N<Tdf.}]

:=:; 0 + JE [(a - XN) l{T.x <N<T.x}J

2k-1- 2k
:=:; JE [(a - XN) + l{T.x <N<T.x}J
2k-1- 2k
,

d'où (b- a)JE[M~b(X)]

L (b- a)JI»(M~b(X);::: k) :=:; JE[(a - XN)+] = JE[(XN - a)-]. <>

keN*

V.3 Convergence

Voici le théorème fondamental de convergence des (sur)martingales, dû à

Doob, comme toute cette théorie. C'est un résultat profond et puissant.

Théorème V.3.1 (de Doob) Soit (Xn) une surmartingale, telle que
sup JE(X;) < oo. Alors (Xn) est bornée dans L 1 , et converge presque
n
sûrement vers une variable intégrable X 00 •
116 CHAPITRE V. MARTINGALES À TEMPS DISCRET

Preuve. La première assertion est très simple : on a pour tout n E N

E(IXnl) = E(Xn) + 2E(X;) :::; E(Xo) + 2 sup E(X;) < oo.

n

Ensuite, notant {X. --t X 00 } l'événement« (Xn) a une limite dans R »,nous
avons : {X. --t X 00 }c

C LJ
a,bEQ
{liminf Xn <a< b < limsupXn} C
n n u
a,bEQ, a<b

Or la proposition V.2.5 et le théorème de convergence monotone nous donnent :

E[M~b(X)]

:::; (b- a)- 1 supE[(XN - a)-] :::; (b- a)- 1 sup {E(IXNI) +lai} < oo
N N

dès que a< b. Donc JP>[M~b(X) = oo] = 0, et par conséquent

JP>( X. n'a pas de limite dans R) = 0, c'est-à-dire JP>( X. --t X 00 ) = 1.
Enfin le lemme de Fatou assure que
E(IXool) ::S liminfE(IXnl) ::S supE(IXnl) < oo. o
n n

Corollaire V.3.2 Toute surmartingale positive (Xn) converge presque sûre-

ment vers une variable intégrable X 00 , et nous avons presque sûrement pour
tout n EN:
E(X00 Fn) :::; Xn. (On dit que la surmartingale est fermée par X 00 .)
J

Preuve. Il suffit d'appliquer le théorème V.3.1 précédent, puis le lemme de

Fatou:
Xn 2'. liminf
m--+oo
E(Xn+m Fn) 2'. E(Xoo Fn).
J J O

Corollaire V.3.3 Soient p > 1 et (Xn) une martingale bornée dans LP.
Alors (Xn) converge presque sûrement et dans LP, et la martingale est fermée:
(Xn)nEN est encore une martingale, c'est-à-dire qu'on a E(X00 J Fn) = Xn
pour tout n EN.

Preuve. Puisque llX;lli :::; llXnll1 :::; llXnllP, le théorème V.3.1 ci-dessus
assure la convergence presque sûre. L'inégalité de Doob (corollaire V.2.4)
montre que sup IXnl E LP, et donc que X 00 E LP. Puisque
n
V.3. CONVERGENCE 117

IXn - XoolP ~ (2supn IXnlY, on a bien llXn - Xoollp--+ 0 par convergence

dominée. Enfin l'inégalité de Jensen fournit :

llJE(Xoo 1 Fn) - Xnll: ~ lim~upJE[IJE(Xoo - Xn+m 1 Fn) IP]

~ limsup llX00 - Xn+mll~ = 0. o

m

Exercice V.3.4 • Soient (Sn= X1 + · · · + Xn) une marche aléatoire, où

X 1 est une variable aléatoire de loi de Bernoulli B(O, l;p) ou B(±l;p), avec
O < p < 1, et soit Mn := e8 n /1E(e8 n). Vérifier que M est une martingale
bornée dans L 1 , qui converge presque sûrement vers O. Comparer avec le
corollaire V.3.3.

Exercice V.3.5 • Soit (Xn) une suite de variables aléatoires réelles indépen-
dantes et de carré intégrable. Montrer que si la série L: Xn converge dans L 2 ,
n
alors elle converge aussi presque sûrement. (Commencer par montrer qu'on
peut se ramener à des variables Xn centrées.)

Exercice V.3.6 Soient p > 1, et Y une v.a.r. appartenant à LP(F00 , JP).

a) Montrer que Xn := JE(Y 1 Fn) définit une martingale, convergeant presque
sûrement et dans LP vers Y. (n faut là établir le résultat intermédiaire suivant,
qui constitue la partie la plus consistante de cet exercice: si Z E L 1 (F00 ,JP)
et lE(ZIFn) = 0 pour tout n EN, alors Z = 0 presque sûrement. Ceci se fait
en considérant successivement :
l
'P := {A E Foo JE(ZlA) = o}; une partie maximale e stable par réunions
et intersections finies, contenue dans 'P et contenant LJ Fn ; puis, pour toute
n
A := LJ t An union dénombrable croissante de (An) c e : A := { (B n A) u
n
B' 1 B, B' E & } ; idem pour toute intersection dénombrable décroissante; et
enfin, &':={A E & 1 Ac E &}.)
b) Qu'obtient-on si on suppose Y E LP(F, JP) (Y pouvant n'être pas F 00 -
mesurable) ?
Soient {Zn 1n E N*} une suite de v.a.r. indépendantes, Fn la tribu en-
gendrée par {Zk 1 k ~ n}, 9n la tribu engendrée par {Zk 1 k > n}, et soit
nn
900 := 9n la tribu des événements « asymptotiques».
c) Déduire de (a) (avec Y= lA) la loi du 0-1 : tout A E 900 est de probabilité
0 ou 1.
118 CHAPITRE V. MARTINGALES À TEMPS DISCRET

Exercice V.3.7 • (Urne de Polya) Fixons n,b,a EN*. Une urne contient
initialement n boules noires et b blanches. On tire une boule dans l'urne, selon
la loi uniforme, puis on remet la boule tirée avec a autres boules de la même
couleur. On itère indéfiniment cette procédure. Notons X1. la proportion de
boules noires dans l'urne après le R-ième tirage (de sorte que Xo = n/(n + b)).
a) Montrer que (X1.) est une chaîne de Markov inhomogène sur Q n [O, 1].
b) Montrer que (X1.) est l'image par une application à expliciter d'une chaîne
de Markov homogène sur (N*) 2 , dont on précisera le noyau de transition.
c) Montrer que (X1.) est une martingale, qui converge p.s. et dans tous les LP.
d) Dans le cas n = b = a = 1 :'.S .e, calculer la loi de X1. , et en déduire la loi
de X 00 •

Exercice V.3.8 a) Soit {Bn 1n E N*} une suite i.i.d. de v.a. de Ber-
noulli prenant les valeurs 0, 2 avec probabilité 1/2. Posons Xo = 1, puis
n
Xn := II Bk, pour tout n E N*. Montrer que (Xn) est une chaîne de
k=l
Markov (préciser sa transition) et une martingale p.s. convergente, mais non
convergente dans les LP, et telle que lE(Xoo 1 Fn) =f. Xn.
b) Reprenons les mêmes B et X, sauf que cette fois les deux valeurs prises
par les Bn sont ±1 . Montrer que (Xn) est une chaîne de Markov mais n'est
pas une surmartingale, et qu'elle converge en loi mais non en probabilité (et
donc ni p.s. ni dans L 1 ).

Exercice V.3.9 • Soit {Xn 1n E N*} une suite de v.a.r. indépendantes,

n
centrées et de carré intégrable. Pour tout n E N*, notons : Mn := L: Xj ,
j=l
n
An:= L: Var(Xj), Nn := M~ - An, et Fn la tribu engendrée par
j=l
{X1, ... ,Xn}· (En particulier, Mo= Ao = 0, et Fa= {0, O}).
a) Que peut-on dire du processus (Mn)? b) Calculer de deux façons
différentes lE[(Mn+l -Mn) IFn], et déduire que (Nn) est une (Fn)-martingale.
2

c) Déduire que si A00 < oo, alors (Mn) et (Nn) convergent p.s.
Réciproquement, supposons dorénavant que (Mn) converge avec une pro-
babilité > 0, et posons n
:= min {n E N l IMnl > b} pour tout b E JR~.
d) Montrer que Tb est un temps d'arrêt, et qu'on peut prendre b tel que
JP>(Tb = oo) > 0.
e) Déduire de (b) que lE(ATbAn) :'.S lE[(IXTbll{Tb<oo} + b) 2 ] pour tout n EN.
V.3. CONVERGENCE 119

f) Déduire que si (Xn) est uniformément bornée, alors A 00 < oo.

Soient (an) une suite réelle, et (Bn) une suite i.i.d. de variables aléatoires
de Bernoulli prenant les valeurs ±1 avec probabilité 1/2, 1/2.
g) Montrer que E Bnan converge presque sûrement si et seulement si
n
E a~ converge. h) Montrer que si E a~ diverge, alors presque sûrement
n n
lim inf E Bnan < lim sup E Bnan .
k n$k k n$k

Exercice V.3.10 On considère un espace de probabilité fixé (n, 7, JP).

a) Soient F une sous-tribu de 7, et X, Z deux variables aléatoires réelles
discrètes, telles que X est F-mesurable et Z est indépendante de F. Montrer
que pour toute fonction réelle bornée f sur JR 2 nous avons lE[f(X, Z)J F] =
Ef(X,z)lP(Z = z).
z
Soient N E N*, ~ < p < 1 , a := p log p + (1 - p) log( 1 - p) + log 2 , et
{Bn 1n EN*} une suite i.i.d. (définie sur (n, 7, JP)) de variables aléatoires de
Bernoulli prenant les valeurs 1, -1 avec probabilité p, 1 - p respectivement.
Considérons un jeu se déroulant en N parties, et tel qu'à la n-ième partie on
gagne BnYn si on a misé Yn. Notons Fn la tribu engendrée par {B1, ... , Bn},
et Gn la fortune du joueur après la n-ième partie, pour tout n E N. Go est
une constante positive donnée.
Le processus Y = (Yn) représente la stratégie du joueur, et doit donc être
«prévisible», c'est-à-dire tel que Yn est Fn-1-mesurable pour tout n E N*.
De plus, Yn doit appartenir à [O, Gn-d.
b) Par rapport à quelle tribu est mesurable Gn? (Justifier.)
c) Montrer que (log Gn - an) est une surmartingale, pour toute stratégie Y.
d) 1Touver une stratégie faisant de (log Gn - an) une martingale.
e) Quelle est la stratégie maximisant lE[log(GN/Go)] ?

Exercice V.3.11 • (Décomposition de Doob) Tout processus X= {Xn 1 n E

N} adapté de v.a.r. intégrables se décompose de façon unique en X= Xo +
M + A , où M est une martingale nulle en 0 et A est un processus nul en 0,
intégrable et «-prévisible» (An est Fn-1-mesurable pour tout n E N* ).
n
a) Montrer que nécessairement An = E lE[Xk-Xk-1 IFk-1] presque sûrement.
k=l
b) Prouver l'énoncé ci-dessus.
c) Montrer que X est une surmartingale si et seulement si A est presque
sûrement décroissant.
120 CHAPITRE V. MARTINGALES À TEMPS DISCRET

Exercice V.3.12 • (Martingales renversées) Fixons un espace de probabi-

lité (n, F, JP), et une filtration «renversée» {Fn 1n E -N} :
F-k-I c F-k c F pour tout k EN. Soient Y E LI(n, F, JP) et pour tout
k EN: X_k := IE(YIF-k).
a) Vérifier que X= {Xn 1 n E -N} est une (Fn)-martingale bornée dans LI.
b) Vérifier que la preuve du théorème V.3.1 de convergence (de certaines sur-
martingales) s'adapte (sans [Link]é) pour montrer que X converge presque
sûrement, vers une certaine variable aléatoire intégrable X_ 00 •
c) Montrer que lE(IXnll{IXnl;:>:c}) ~ IE(IYll{IXnl;:>:c}), et que
lim sup lE(IXnll{IX i>c}) = 0. (Distinguer suivant que IYI >a ou non.)
c-+oo nE-N n -

d) Déduire que X converge dans LI et que X-oo = IE(Y 1 nFn) p.s.

n

Exercice V.3.13 • (Preuve martingale de la loi forte des grands nombres)

Soit {Xn 1n E N*} une suite de v.a.r.i.i.d. intégrables, d'espérance m. Pour
n
tout n EN*, notons: Sn:= 2: Xj, et gn la tribu engendrée par {Sk 1k2: n}.
j=I
a) Montrer que IE(XII Qn) = IE(XII Sn), pour tout n EN*.
b) Montrer que IE(XII Sn)= Sn/n, pour tout n EN*.
c) Déduire de l'exercice V.3.12 que Sn/n converge presque sûrement et dans
LI vers une variable aléatoire A .
d) Déduire de l'exercice V.3.6 (loi du 0-1) que A est presque sûrement
constante.
Conclure (au vu du théorème I.7.1 et de la remarque I.7.3).

Exercice V.3.14 • (Unicité de la mesure invariante d'une chaîne de Markov

irréductible récurrente.) Soient (E, P, X) une chaîne de Markov irréductible
récurrente, v une mesure invariante non nulle pour P, et µ une mesure
« P-excessive » : µP ~ µ. Soient J définie sur Epar J(e) := µe/ve, et
Q (Q(x, y) := P(y, x) x vy/vx) le noyau« adjoint» de P (correspondant à la
chaîne retournée, voir l'exercice IV.4.6).
Montrer successivement que : Qf ~ f , f o X est une surmartingale (pour
quelle(s) probabilité(s) ?) , f est constante, v est unique à une constante mul-
tiplicative près.
Cet exercice fournit en particulier une preuve alternative du théorème IV.4.5.
Chapitre VI

Processus de Poisson
Il s'agit de processus décomptant des nombres d'événements indépendants
survenant sans mémoire, de façon impromptue, comme des désintégrations
d'atomes radioactifs ou des arrivées dans des files d'attente. Ils sont dénommés
d'après Denis Poisson, sans référence ichtyologique. Le contenu mathématique
essentiel de ce chapitre est le lien organique entre les lois exponentielles et les
lois de Poisson.

VI.1 Processus de Poisson homogène réel

C'est le type le plus simple de processus de Poisson, objet essentiel de ce

chapitre; «réel» est ici synonyme de« mono-dimensionnel».
Voici le fait crucial du chapitre, qui établit le lien direct entre variables
exponentielles indépendantes et ce qui sera dénommé processus de Poisson
(homogène réel). Rappelons que P(r) désigne la loi de Poisson de paramètre
r, pour tout r > 0 .

Théorème VI.1.1 Soit {Tn; n E N*} une suite de variables aléatoires

indépendantes, toutes exponentielles de même paramètre À> 0. Posons pour
tout t E ~+ :

Nt := L l{Ti +··+Tn9} = max { n E N 1T1 + · · · + Tn :S t} .

nEN*

Alors pour tout n E N* et toute subdivision 0 = to < ti < ... < tn < oo , les
variables aléatoires {(Nt; - Nt;_ 1 ); 1 ::; j ::; n} sont indépendantes et de lois
respectives {P(.X(tj - ti-d); 1::; j::; n}.
122 CHAPITRE VI. PROCESSUS DE POISSON

Preuve. Fixons n E N*, 0 = to < ti < . . . < tn < oo , ki, ... , kn E N, et

posons

J=l
an := ]p>[ n {Ntj - Ntj-l = kj}].
n et les tj, kj étant quelconques, l'énoncé sera établi quand nous aurons
prouvé que

n .
Il
a = n ( e-.X(t;-tj-1) x (.X (t.J - t.J-1 ))kj)
(k ·) ! .
J=l J

Posons cro := 0 et CTj := ki + · · · + kj pour tout j E {1, ... , n }, de sorte que

an = ]p>[
J=l
n
{Ntj = CTj}], puis Bo := 0 et Sm :=Ti+ ... + Tm pour tout

m E N*. Montrons d'abord que le vecteur (81, ... , Sm) admet la densité
Àm l{s 1< ... <sm}e-Àsm par rapport à la mesure de Lebesgue sur R~ : ds =
ds1 ... dsm.
Effectuons pour cela le changement de variables: Sk = r1 +· · +rk, 1 ~ k ~ n,
de jacobien égal à 1, de sorte que pour toute fonction borélienne positive F
sur R~:

= J F(r1, r1 + r2, ... , r1 +···+'Tm)

m
Il l{rk>O}
k=l
À e-ÀTk drk

-lm
-
~~
F( 'Tl , 'Tl + r2 , · · · , r1 + ···+ )
'Tm "\m e-À(r1+ .. +rm) dr1 . . . d'Tm

= J F(s1, s2, ... , Sm) .xm l{O<s1< ... <sm} e-Àsm ds1 ... dsm,

ce qui met bien en évidence la densité alléguée ci-dessus.

Ensuite, nous avons Nti = CTj {::::::::} Sui ~ tj < Sl+uj par définition de Nti,
et donc
an = ]p> [ n{ ~
J=l
Suj ti < Sl+uj }]

-JIl
-
n

j=l
1{s.,j::;fj<s1+a;} X Àl+un 1{O<s1< ... <si+an} e -ÀSi+an d S1 • • • d Sl+un

= Àl+unJ e-ÀSi+an ds1 .. • dSundSl+un

{O<s1 < ... <s., 1 <t1 <s1+a 1< ... <sa2<t2< ... <san <tn<s1+an}
VI.1. PROCESSUS DE POISSON HOMOGÈNE RÉEL 123

= x:Tn r
}{O<s1 <... <Bu1 <t1 <si+u 1 < ... <s.,2 <t2< ... <Bun <tn}
[100
tn
Àe-ÀBi+un dSl+u ]
n
ds1 ... dsun
\Un
=A e-Àtn 1 {O<s1 < ... <s., 1 <t1 <s1+u 1 < ... <s., 2<t2< ... <Bun <tn}
dSl··· dSun

-- A\Un e-Àtn X
n
II 1~
r dSl+u;-l ...
dSu;
j=l {t;-1 <si+"j-l <... <Bu; <t;}

= e-Àtn X ÏI Àk; (tj - tj-l)k; = ÏI (e->.(t;-t;-1) X (À (tj - tj-1))k;).

j=l (kj)! j=l (kj)!
Ce calcul clé a utilisé successivement : l'expression donnée précédemment
de an, la définition de Nt;, le densité du vecteur aléatoire (81, ... , Sm), le
théorème de Fubini, la définition des O"j , le changement de variable Si i-+
tj-1 + (tj - tj-1)si (pour 1 ::; i ::; kj), et enfin la valeur 1/(kj)! du volume
euclidien du simplexe {O < s1 < ... < Sk; < 1} ;
en effet, ce volume s'obtient aisément en constatant que le cube unité a le même
volume que l'ouvert U := {(s1, ... ,sk) E]O, l[k 1 (Vi of. j) Si#- sj}, qui est la
réunion disjointe des ouverts U1r := { (s~ ... , St;;l E ]0, l[k 1 S7r1 < ... < s7rk },
où 7r parcourt le groupe sk des permutations de {1, ... , k }, de cardinal k!;
de sorte que par changement de variable [(s7r 1 , ••• , s7rk) i-+ ( s1 , ... , s k), de
jacobien égal à 1] on obtient bien : 1= lu ds1 ... dsk

Notons que la formule du théorème Vl.1.1 définissant le processus Nt

permet de le simuler aisément.

Définition VI.1.2 Un processus N = (Nt)tE~+ est à accroissements indé-

pendants lorsque pour tout n dans N* et toute subdivision 0 ::; s1 < tl ::; ... :'.S
Sn < tn < oo , les variables (Nti - N 81 ) , ••• , ( Ntn - Nsn) sont indépendantes.
124 CHAPITRE VI. PROCESSUS DE POISSON

Définition Vl.1.3 On appelle processus de Poisson homogène réel d'intensité

À (.>. étant quelconque dans ffi.~) tout processus N continu à droite, nul en
0, à accroissements indépendants, et tel que pour tous s, t E Dl+ la loi de
(Ns+t - N 8 ) est P(>.t).

Le sens du théorème Vl.1.1 est ainsi que le processus (Nt) qui compte (pour
des Tj indépendantes, exponentielles de paramètre À) le nombre des arrivées
T1 + · · · + Tn se produisant avant l'instant t est un processus de Poisson ho-
mogène réel d'intensité À. (Pour la continuité à droite, voir l'exercice Vl.1.4.e
ci-dessous.) Noter que selon la définition Vl.1.3 un processus de Poisson est
nécessairement à valeurs dans N.
Nous allons voir progressivement qu'en fait tout processus de Poisson ho-
mogène réel d'intensité À est de ce type.
Notons que de par la propriété de non-vieillissement des atomes radioactifs,
les signaux d'un compteur Geiger constituent très précisément un processus
de Poisson homogène réel {d'intensité égale à 1°K 2 , si ô désigne la demi-vie
des atomes radioactifs considérés, supposés ici commune à tous; le cas d'un
mélange de plusieurs constituants radioactifs différents se ramène à celui-ci,
via l'exercice Vl.1.13.a).
Fixons dorénavant un processus de Poisson homogène réel N =(Nt), d'in-
tensité À et de filtration (Ft) (chaque Ft étant la tribu engendrée par toutes
les variables N 8 , 0 ~ s ~ t), qui n'est a priori plus celui du théorème Vl.1.1.

Exercice VI.1.4 .. a) Un processus de Poisson homogène réel est croissant,

et à accroissements stationnaires : la loi de tout vecteur
(Na+ti - Na+s 1 , ••• , Na+tn - Na+sn) est indépendante de a E Dl+.
b) Un processus de Poisson homogène réel vérifie Q
JP>( {Nt < oo}) = 1,
c'est-à-dire qu'il est presque sûrement fini (à valeurs dans N) à tout instant.
c) En temps t petit, on a: lP'(Nt = 1) = >.t+o(t) et lP'(Nt 2: 1) = >.t+o(t).
d) On a presque sûrement: lim Ntft = À = "JE(Ntft).
t-+oo
e) Le processus (Nt) du théorème VI.1.1 est continu à droite : lim N 8 = Nt
s\,t
pour tout t E Dl+ , presque sûrement.

Nous avons de nouveau besoin de la notion de temps d'arrêt, avec la nuance

par rapport à la définition IIl.1.3 que maintenant le temps t n'est plus discret,
mais varie continuement dans Dl+ .
VI.1. PROCESSUS DE POISSON HOMOGÈNE RÉEL 125

Définition VI.1.5 On appelle temps d'arrêt de la filtration continue (Ft)

toute variable aléatoire S à valeurs dans lR+ telle que {S ~ t} E Ft pour
tout t E lR+ . On pose alors :
F s := {A E F oo 1 ('v't E lR+) A n {s ~ t} E Ft} .

On vérifie aussitôt (le faire!) que les temps {Sn 1 n E N} à valeurs discrètes
définis par
- := """"
Sn L.J 2nk 1{ k-1 <S<-1>....} +OO l{S=oo}
kEN 2n -2n

forment une suite décroissante de temps d'arrêt qui converge uniformément

vers S.
Exercice Vl.1.6 .. Soient N un processus de Poisson homogène réel d'in-
tensité À, et S un temps d'arrêt presque sûrement fini de la filtration (Ft)
engendrée par (Nt)·
a) Pour tout t > 0, la variable aléatoire (Ns+t - Ns) est indépendante de
Fs et a pour loi 'P(..\t). (Commencer par le cas de S discret, puis utiliser la
suite (Sn) ci-dessus.)
b) (NS+t - N s 1 t E lR+) est un processus de Poisson d'intensité À , indépen-
dant de Fs. (Noter l'analogie avec le lemme fondamental IIl.1.8 des marches
aléatoires.)
Nous voulons établir que le processus de Poisson homogène réel N est
du type de celui du théorème VI.1.1, c'est-à-dire qu'il décompte des instants
successifs de survenue d'événements (d'un type donné a priori : arrivées dans
une file, passages de bus, désintégrations d'atomes, etc ... ), qu'on observe au
cours du temps t ; de sorte que pour tous 0 ~ s < t , la variable aléatoire
Nt - N 8 décompte le nombre de ces événements survenus dans l'intervalle de
temps ]s, t].
Les temps que décompte N vont être obtenus comme :

Sn := inf {t > 0 1 Nt > n - 1} , pour tout n E N*. (VI.1)

Exercice VI.1. 7 •• Montrer que les Sn sont des temps d'arrêt presque
sûrement finis et strictement positifs. (Commencer par n = 1.)

Le lemme suivant exprime que deux événements décomptés par N ne

peuvent pas survenir simultanément.

Lemme Vl.1.8 On a presque sûrement Ns1 = 1.

126 CHAPITRE VI. PROCESSUS DE POISSON

Preuve. Pour tout ê > 0 , nous avons d'une part N s 1 +e > 1 et donc
Ns1 2: 1 par continuité à droite en Si, et d'autre part :

]p>(Ns1 > 1) = L jp>(Ns 1 2: 2, ké < 81 s (k + l)ê)

kEN

S L jp>(Nke = 0, N(k+l)e - Nke 2: 2) = L ]p>(Nke = 0) X ]p>(Ne 2: 2)

kEN kEN

= """' e-k>.e [1 - ]p>(N. < 1)] = 1 - e->.e - Àê e->.e

L.J e- 1 _ e->.e
kEN

qui tend vers 0 avec ê; ceci conclut la preuve, puisque ]p>(Ns1 > 1) ne dépend
pas de ê. <>

Théorème Vl.1.9 L'ensemble e des temps Sn de (VI.1) (auxquels on

ajoute Bo := 0) s'ordonnent en une suite strictement croissante Bo < 8 1 <
... < Sn < . . . de temps d'arrêt finis tendant presque sûrement vers +oo.
Pour tout n EN, nous avons Nsn = n, et posant (N o()Sn )t := Nsn+t -Nsn :
Sn+l = Sn + 81 o ()Sn = 81 + Sn o ()Si, Sj o ()Sn désignant le j-ième temps
(Sj) relatif au processus de Poisson décalé No ()Sn. Enfin nous avons presque
sûrement:
Nt = max{ n E N 1 Sn S t} pour tout t E ~+ .

Preuve. Montrons par récurrence sur n E N* que Bo , 81 , ... , Sn sont des

temps d'arrêt finis tels que Bo < 81 < ... < Sn et Nsn = n : l'amorçage
(comme la propriété de temps d'arrêt) est le fait de l'exercice VI.1.7 et du
lemme VI.1.8. Et si c'est vrai au rang n, alors l'exercice VI.1.6.b permet
de considérer le processus de Poisson homogène réel décalé N o ()Sn, et de
lui appliquer l'amorçage : cela fournit un temps 8 1 o ()Sn presque sûrement
fini et strictement positif, tel que 1 =(No ()Sn)s 109sn = Nsn+s 109sn - Nsn =
Nsn+S106Sn -n. De sorte que Sn< Sn+B1 o()Sn <OO et Nsn+S106Sn = n+l;
en outre sur {t < Sn + 81 o ()Sn} on a soit t S Sn et alors Nt n, soit s
t = Sn + t' avec 0 < t' < 81 o ()Sn et alors 0 = (N o ()Sn )t' = Nt - n,
d'où Nt Sn de nouveau. Au vu de (VI.1), ceci prouve que Sn+ 81 o ()Sn =
Bn+l et donc établit la récurrence voulue, en plus de la première formule
de récurrence de l'énoncé. La deuxième formule de récurrence de l'énoncé
se déduit aisément par récurrence de la première, exactement comme dans
l'exercice III.2.1.a (relatif aux temps de retour en 0 d'une marche aléatoire).
Il reste principalement à vérifier que l'événement A := { lim Sn < oo} est
n--too
VI.1. PROCESSUS DE POISSON HOMOGÈNE RÉEL 127

négligeable. Or

= m--+oo
lim lP [n
nEN
{Nm;::: n}] = m--+oo
lim lP[Nm = oo] =O.

Pour prouver la dernière assertion, posons nt := max{n E N 1 Sn ~ t} pour

tout t ;::: 0, de sorte que nt E N, Snt ~ t < Sl+nt et nt = Nsnt ~ Nt <
Nsi+nt = 1 +nt, d'où finalement Nt= nt. <>

Définition VI.1.10 On appelle processus de comptage tout processus

(Nt 1 t E ~+) défini par Nt := Card(& n ]O, tl)' où la donnée e
est une partie
discrète aléatoire de ~+ . (Ainsi N est à accroissements indépendants lorsque
les nombres de points de e situés dans des intervalles disjoints deux à deux
sont indépendants.)

Le sens du théorème VI.1.9 est ainsi d'une part que le processus de Poisson
homogène réel N est le processus de comptage relatif à la partie discrète
aléatoire (sans point d'accumulation dans li:~+) e := {Sn 1n E N}, et d'autre
part qu'il est de la même forme que celui du théorème Vl.1.1; à ceci près qu'il
n'est pas encore établi que les variables aléatoires Tn := Sn -Sn-1 sont comme
dans le théorème Vl.1.1. Ce dernier point est l'objet du résultat suivant, qui
achève d'établir que tout processus de Poisson homogène réel est bien du type
de celui du théorème Vl.1.1.

Corollaire VI.1.11 Pour tout n EN*, notons Tn :=Sn -Sn-1 l'intervalle

de temps entre les (n - 1)-ième et n-ième points de la partie & associée au
processus de Poisson homogène réel N. Les variables aléatoires {Tn, n EN*}
sont indépendantes, et toutes de loi exponentielle de paramètre À .

Preuve. L'indépendance découle aussitôt du théorème Vl.1.9 et de l'exercice

Vl.1.6.b : nous avons en effet Tn = S 1 o () 8 n- 1 , qui est un temps d'arrêt relatif
au processus de Poisson décalé No () 8 n- 1 , indépendant de Fsn-l et donc a
fortiori de Tn-1, ... , T1.
De plus, selon l'exercice Vl.1.6.b encore (l'analogie avec le lemme fondamental
111.1.8 des marches aléatoires se poursuit), le processus décalé No () 8 n- 1 a la
même loi que N, de sorte que chaque Tn a la même loi que S1 .
128 CHAPITRE VI. PROCESSUS DE POISSON

Notons (Nf) le processus de Poisson du théorème VI.1.1, qui selon ce théorème

a la même loi que N, et Tf la première des variables exponentielles du
théorème VI.1.1. D'après le théorème VI.1.9, nous avons finalement pour tout
t2::0:
lP(Tn > t) = lP(S1 > t) = lP(Nt = 0) = JP(Nf = 0) = lP(Tf > t) = e-Àt. <>

Exercice VI.1.12 • a) Montrer que pour tout n E N* la loi de Sn est

la loi Gamma de paramètres n et >., c'est-à-dire la loi de densité sur R+
~ -Às
S 1--7 Tn=T}! X À e .
b) Pour t > 0 et f E L 1 ([O, tl), calculer JE ( E J(Sn) l{sn~t}).
nEN*
c) Fixons t > 0 et n E N*. Montrer que conditionnellement par rap-
port à {Nt = n}, le vecteur (Si, ... ,Sn) admet la densité de Dirichlet :
n!
(Si, · · · , Sn) 1--7 tn l{O<s1 <... <sn <t} ·

d) Montrer que (pour t > 0 et n E N*) si Ui, ... , Un sont n variables

indépendantes uniformes sur [O, t] , et si (Vi, ... , Vn) est le vecteur obtenu en
ordonnant U1, ... , Un dans le sens croissant, alors la« statistique d'ordre»
(Vi, ... , Vn) admet aussi la densité de Dirichlet ci-dessus.
e) Déduire que pour 0 < s < t, conditionnellement par rapport à {Nt= n},
la loi de N 8 est binômiale B(n, s/t).
f) Déduire de c),d) que pour 0 :S s < t, conditionnellement par rapport à
{Nt -N8 = n}, les n points de &n]s,t] sont des v.a.i.i.d. de loi uniforme
U[s, t] sur [s, t].

Exercice VI.1.13 • a) Soient Net N' deux processus de Poisson homogènes

réels indépendants, d'intensités >. et >.'. Montrer que N + N' définit un pro-
cessus de Poisson homogène réel d'intensité >. + >.'.
b) Soit {Xn 1n E N} une suite i.i.d. indépendante de N, à valeurs dans
Nt
N. Le processus défini par Et := E Xn est appelé« processus de Poisson
n=l
composé». (Exemple: N peut décrire le nombre de clients d'un magasin et
Xn la dépense du n-ième client.) Calculer la transformée de Laplace de Et en
fonction de celle des Xn et de >., t, puis en déduire l'espérance et la variance
de Et.

Exercice VI.1.14 a) Soit N un processus de Poisson d'intensité>. comptant

les passages successifs de voitures sur une route. Un piéton a besoin d'une durée
VI.1. PROCESSUS DE POISSON HOMOGÈNE RÉEL 129

d > 0 entre deux voitures pour traverser la route. Calculer la transformée de

Laplace du temps Y qu'il doit attendre avant de pouvoir traverser. (On trouve
a i-----t [Link]°'+"i>..e_"'a ) Calculer l'espérance de Y. (On trouve e>-d_J->..d ·)
b) Considérons une route à deux voies, les voitures étant comptées par deux
processus de Poisson homogènes réels indépendants, d'intensité À dans un
sens et >.' dans l'autre, et nécessitant des durées respective d et d' pour être
traversées. Soient Z le temps que le piéton doit attendre pour traverser les
deux voies d'un coup, et Z' le temps qu'il doit attendre pour traverser les
deux voies sachant qu'il peut les traverser séparément du fait de la présence
d'un refuge au milieu de la route. Donner les transformées de Laplace de Z et
de Z', leur espérances, et discuter l'intérêt du refuge.

Imaginons que la direction d'un grand magasin, en vue de faire des statis-
tiques sur ses ventes, trie ses clients en fonction du rayon (qu'on suppose ici
unique pour chaque client, pour simplifier) auquel ils vont faire un achat. Du
fait de leur indépendance (qu'on suppose, assez raisonnablement) et de l'im-
possibilité de les voir venir, les arrivées des différents clients constituent natu-
rellement (selon le théorème Vl.1.1) un processus de Poisson homogène réel N.
Soient 1, ... , r les différents rayons du magasin, qu'on considère comme des
«marques » attribuées moralement à chacun des clients y effectuant un achat,
et (Nl, ... , N[) le vecteur aléatoire obtenu en notant N/ le nombre des clients
ayant effectué un achat au rayon j avant l'instant t . La question naturelle est
alors celle de la loi de ce« processus de Poisson marqué» (Nl, ... , N[). Il se
trouve que sous une hypothèse additionnelle simple et raisonnable la réponse
à cette question est aisée, et constitue une réciproque de l'exercice Vl.1.13.a.

Proposition VI.1.15 (Processus de Poisson marqué) Fixons un entier r 2: 2

et une probabilité p = (p1, ... ,Pr) sur l'ensemble {1, ... , r }. Soit {Yn 1 n EN*}
une suite i.i.d. indépendante d'un processus de Poisson homogène réel N, et
de loi commune p . Accolons à chaque temps Sn décompté par N le type Yn , et
notons Ni le processus de comptage des temps de type j . Alors chaque Ni
est un processus de Poisson homogène réel d'intensité ÀPj, et les r processus
Ni sont indépendants.

Preuve. Conditionnellement à {Nt= k}, les instants 81, ... , Sk se répartis-

sent dans les différents types suivant la loi multinômiale de paramètres k
et pi, . .. , Pr , par définition de la procédure. Nous avons donc pour tous
ki, ... , kr E N , notant k := ki + · · · + kr :
130 CHAPITRE VI. PROCESSUS DE POISSON

rr
r

j=l
e
->..p; t (Àpj
k·!
J
t)k; .

Ceci prouve que pour chaque t ~ 0 les variables Nl, ... , N[ sont indépen-
dantes et ont chacune la loi de Poisson annoncée. La même observation vaut
aussi bien pour 0 ::; t ::; t' et Nt~ - Nl, ... , N[, - N[ . La nullité en 0 est
claire. Vérifions enfin la stationnarité, et l'indépendance des accroissements,
en considérant des instants 0 < t 1 < ... < tq , et des entiers naturels k} , et
en posant mi := k] + · · · + kj :

Il' [ôô{Ni; - Nf;_, = kj} l

= Jp>[ n(
J=l
n{Nf; - Nf;_ 1 = k}}
i=l
n {Nt; - Nt;_ 1 =mi})]

r
(car les événements n{Nf;-Nf;_ 1 = k}} n{Nt;-Nt;_ 1 =mi} appartiennent
i=l
aux q tribus indépendantes a{Ni; - Ni;_ 1 , Ym 1 +·+m;- 1 +i, .. , Ym 1 +···+m;})

(comme lorsqu'il n'y a qu'un seul temps t). <>

Exercice VI.1.16 Le flux (poissonnien) des trams passant aux halles de

Strasbourg est en moyenne de 12 trams par heure et comporte une proportion
p = 40% de trams de la ligne D, et (1 - p) de trams de la ligne A.
a) Quelle est la probabilité qu'au moins 2 trams D passent en un quart d'heure
donné?
b) Sachant que 3 trams D sont passés en 20 minutes, quel est le nombre moyen
de trams passés dans le même temps ?
c) Sachant que 10 trams sont passés en 45 minutes, quelle est la probabilité
que la moitié soient des trams D ?
VI.2. AUTRES PROCESSUS DE POISSON 131

Exercice VI.1.17 • Pour t > 0 fixé, vérifier que SNt :::; t < sl+Nt. SNt
et Sl+Nt sont les points de t: précédant et suivant directement l'instant t.
Autrement dit, on peut les voir comme les instants de naissance et de décès de
l'intervalle « vivant» à l'instant t. Notons T{ := t - SNt et T{' := Sl+Nt - t
respectivement l'âge de cet intervalle vivant et le temps qu'il lui reste à vivre.
a) Montrer que pour a, b > 0 on a JP>(T/ > a, T{' > b) = e->.(a+b) l{t>a} .

b) Déduire que T{ et T{' sont indépendants et donner leur lois et leur

moyennes.
c) Comparer la durée de vie moyenne de l'intervalle vivant à l'instant t avec
celle du n-ième intervalle de t:. Quelle est l'explication de cet apparent para-
doxe?

Exercice VI.1.18 On veut estimer par son maximum de vraisemblance ~

la valeur de l'intensité >. dans les deux cas suivant.
a) On observe jusqu'à l'instant t > 0 fixé, et on connaît donc Nt , S1, ... , S Nt.
Calculer ~ , et vérifier qu'il est sans biais. (Utiliser la densité conditionnée par
Nt.)
b) On observe jusqu'à l'instant Sn , pour n fixé, et on connaît donc S1, ... , Sn .
Calculer ~ , et vérifier qu'il est biaisé.

VI.2 Autres processus de Poisson

Voici la généralisation de la définition VI.1.3 (qui selon le théorème Vl.1.9

et la définition Vl.1.10 correspond ci-dessous à d = 1 et au cas homogène sur
R+, c'est-à-dire à µ(dx) = >. lll~+ (x) dx = >. fois la mesure de Lebesgue de
R+)·
Définition VI.2.1 Soient t: une partie aléatoire de Rd et µ une mesure
positive sur Rd. Pour tout borélien A de Rd, notons N(A) E N le nombre
des points de t: n A . La fonction aléatoire N est appelée processus de Poisson
ponctuel d'intensité µ sur Rd si pour tout ensemble borélien µ-intégrable A c
Rd la loi de N(A) est P(µ(A)) et si les variables N(A) correspondant à des
A disjoints deux à deux sont indépendantes.
Ce processus de Poisson ponctuel est dit homogène d'intensité >. > 0 lorsque
la mesure µ est égale à >. fois la mesure de Lebesgue de Rd.

L'exercice suivant montre qu'un processus de Poisson ponctuel homogène

peut être obtenu comme limite en loi de systèmes de points aléatoires répartis
uniformément dans des grandes boules.
132 CHAPITRE VI. PROCESSUS DE POISSON

Exercice VI.2.2 • Fixons d E N*, À > 0, et pour tout R > 0 notons BR

la boule B(O; R) c :!Rd et VR = 11"~ Rd /f(l + ~) son volume. Considérons
r := [À VR] points aléatoires indépendants répartis uniformément dans BR,
formant une partie eR de BR. Fixons m E N*, m ensembles boréliens disjoints
m
2 à 2 : A1, ... , Am inclus dans BR, Ao := BR"'- LJ Aj, et pour 0 ~ j ~ m
j=l
notons NR(Aj) le nombre des points de eR contenus dans Aj.
a) Donner la loi du vecteur (NR(Aj); 1 ~ j ~ m).
b) Montrer que lorsque R -t oo la loi du processus ponctuel N R converge
vers celle d'un processus de Poisson ponctuel homogène d'intensité À .

Exercice VI.2.3 • Fixons un processus de Poisson ponctuel homogène d'in-

tensité 1 N sur 1R2 , et une fonction borélienne positive bornée f dé[Link] sur IR .
Projetons sur J'axe horizontal de JR2 les points du nuage e définissant N qui
sont situés entre l'axe horizontal et la courbe d'équation y= f(x). Autrement
dit, considérons l'ensemble aléatoire f' des points XE JR pour lesquels existe
y E [O, f(x)] tel que (x, y) E e. Soit N' le processus ponctuel associé à f'.
a) Vérifier que presque sûrement 2 points de e ne peuvent se projeter sur le
même point de e'. (On pourra subdiviser tout carré en bandes verticales de
largeur 1/ n .)
b) Montrer que N' est un processus de Poisson ponctuel, et donner son in-
tensité.

Exercice VI.2.4 • Fixons un processus de Poisson ponctuel sur IR+ d'in-

tensité µ admettant une densité continue h . Soit g une fonction borélienne
localement bornée de IR+ dans IR.
a) Montrer que la loi du n-ième point Sn admet une densité, à exprimer sans
signe E.
b) Montrer que JE ( ~- g(Sn)l{s,, 9 }) ~ J.' g h , pour tout t > 0.

Exercice VI.2.5 • (Processus de naissance et de mort) Soient N un pro-

cessus de Poisson homogène réel d'intensité À et {Xn; n EN*} une suite i.i.d.
indépendante de N. Voyons Sn comme l'instant de naissance d'un n-ième in-
dividu, et Xn comme sa durée de vie. Notons u i--t r(u) := 1P(X1 > u) la
queue de la loi de la durée de vie, et Qt le nombre des individus en vie à
l'instant t.
Montrer que la loi de Qt est la loi de Poisson 'P (À J~ r ) .
(Expliciter Qt à J'aide de Nt et des Sn, Xn, et utiliser l'exercice VI.1.12.f.)
Chapitre VII

Problèmes
Nous vivons à tâtons et, dans ce monde ici,
Souvent avec travail on poursuit du souci;
Car les dieux courroucés contre la race humaine
Ont mis avec les biens les sueurs et la peine.
(Mathurin Régnier)

VII.1 Convergences faible dans L 2 et en loi

Nous avons vu dans la section 1.6 que la convergence en loi est la plus faible
des convergences rencontrées jusque là. Or il existe classiquement une autre
notion faible de convergence : la convergence faible dans L 2 . Rappelons que
L 2 désigne l'espace des variables aléatoires de carré intégrable (sur un espace
probabilisé donné). On dit qu'une suite de variables aléatoires (Zn) c L 2
converge faiblement dans L 2 vers une variable aléatoire Z 00 E L 2 lorsque
lim lE[Zn f] = lE[Zoo f], pour toute f E L2 .
n--+oo
0) Vérifier d'une part que la convergence dans L 2 entraîne la convergence
faible dans L2 , et d'autre part qu'aucune suite ne peut avoir 2 limites faibles
distinctes dans L 2 .
Nous allons voir avec l'exemple suivant que la réciproque est fausse, et
qu'en outre la convergence faible dans L 2 et la convergence en loi ne sont pas
comparables: aucune des deux n'entraîne l'autre.
Considérons l'espace de probabilité n = [O, 1], muni de sa tribu borélienne
et de sa mesure de Lebesgue JP, et sur cet espace les 2 suites de variables
aléatoires {Zn 1n EN*} et {Z~ 1n EN*} définies par :
2n
Zn:= :~:)-1l1[(k-1)2-n,k2-n[ et Z~ := (l+Zn)/2.
k=l
134 CHAPITRE VII. PROBLÈMES

Soit x E [O, 1[, que nous écrivons en base 2 : x = E 2-ixi, avec (xik::1 E
f2:1
{O, l}N* comportant une infinité de O.
1) Pour tout n EN* et tout (ë1, ... , ên) E {-1, l}n, calculer Zn(x), Z~(x),
E 2-n Z~(x), et lJl>(Z1 = ë1, ... , Zn = ën)· Que cela signifie-t-il pour la
nEN*
suite (Zn)?
2) Considérant la suite de fonctions (gë )n;:::1, 1g9n sur n, définies par :
gë(x) = (x- t;1) l{t-i<x<2t-1}
2n - 2'ï-Ff
+ (2~ -x) l{u-1<x< t}
2n+i - - 2fï

et intégrant par parties, montrer que nous avons lE[Zn cp] = 0(2-n), pour
toute fonction réelle cp de classe C 1 sur n .
3) Déduire que (Zn) converge faiblement vers 0 dans L 2(n) = L 2(n, lJl>).
4) Déduire que (Zn) ne converge pas dans L 2 (0).
5) Quelle est la loi de Zn ?
6) Exhiber une suite qui converge faiblement vers 0 dans L 2 (0), mais qui ne
converge pas en loi.
7) Exhiber une suite qui converge en loi mais qui ne converge pas faiblement
dans L 2 (n).

VII.2 Loi forte des G.N. L 2 et équirépartition

Ce problème est librement inspiré d'une conversation avec l'auteur du livre
[Les] cité en référence. Toutes les variables aléatoires seront ici à valeurs dans
~d (d ~ 1), muni de son produit scalaire usuel · et de sa norme euclidienne
J· J, et définies sur un espace probabilisé (n, T, lJl>). IJYll2 := JlE [JYJ 2] désigne
comme d'habitude la norme L 2 de la variable aléatoire Y.
I. Considérons une suite de variables aléatoires (réelles ou vectorielles)
{Xn 1n N*} , que nous supposons :
E

* bornée dans L 2 : (3 A > 0) (Vn E N*) JJXnll2 := lE(JXnJ 2)112 :S A;

* non-corrélée : (V n f:. m dans N*) lE(Xn · Xm) = lE(Xn) · lE(Xm) ;
* d'espérance fixe : (3e E ~d) (Vn E N*) lE(Xn) = e.
LOI DES GRANDS NOMBRES L 2 ET ÉQUIRÉPARTITION 135

Il s'agit d'abord d'établir dans ce cadre la loi forte des grands nombres : la
suite des moyennes de Cesàro ~ := Xi+~+Xn de la suite {Xn 1n E N*}
converge presque sûrement vers e .
1) Montrer qu'il suffit de traiter le cas e = 0, dans lequel nous nous plaçons
désormais.
2) Montrer que si une suite de variables aléatoires {Yn 1 n E N*} est telle
que E llYnll~ < oo, alors elle converge presque sûrement vers O. (Considérer
n
IP(IYnl > é).)
3) Estimer Il~ 12 et montrer que la sous-suite ~ converge p.s. vers O.
.
4) Estimer Il Sn-S[fo]2
n n li 2, et montrer que la smte . n
Su-S[fo]2
n converge presque
sûrement vers 0 ([x] désigne la partie entière du réel x).
5) Conclure.
6) Exemple : n = R/27rZ = le tore identifié au cercle unité, IP = la mesure de
Lebesgue normalisée du tore, Xn(x) :=exp( FI an x), pour tous n E N*
et x En, où {an 1n EN*} est une suite fixée strictement croissante d'entiers
naturels.
Vérifier que les hypothèses plus haut sont bien remplies dans cet exemple, et
conclure.
II. Affaiblissement des hypothèses sur la suite {Xn 1 n E N*} : nous la sup-
posons toujours bornée dans L 2 , mais nous affaiblissons les deux autres hy-
pothèses de la façon suivante: l'espérance converge, c'est-à-dire lim JE(Xn) =
n-+oo
e, et les variables sont à décorrélation exponentielle. Nous voulons de fait
établir le résultat suivant.

Théorème VII.2.1 Soit {Xn 1n EN*} une suite de variables aléatoires, que
nous supposons : * bornée dans L 2 : (=I A> 0) (Vn EN*) llXnll2 :SA;
* exponentiellement décorrélée : (=I a E JO, 1[) (V n < m dans N*)
JE[Xn · Xm] = JE[Xn] · lE[Xm] + O(am-n);
* d'espérance convergente : (=I e E Rd) lim lE[Xn] = e.
n-+oo
Sn X1 +···+Xn
Alors la suite de ses moyennes de Cesàro converge
n n
presque sûrement vers e .

1) Montrer qu'il suffit de traiter le cas e = 0 , dans lequel nous nous plaçons
désormais.
2) Estimer 11~11 2 et Il Sn-~vnl 2 11 2 , et conclure comme dans la partie 1.

III. Équirépartition presque sûre modulo 1 d'une suite de réels.

Reprenons l'exemple de (1.6) ci-dessus, avec la différence sensible que la
suite (an)nEN* est maintenant constituée de nombres réels > 0 non nécessaire-
ment entiers. Nous allons établir le résultat suivant d'équirépartition presque
sûre modulo 1.

Théorème VII.2.2 Soit (an)nEN* une suite de nombres réels> 0 telle que
p := lim inf an+I > 1. Soit lP la mesure de Lebesgue normalisée sur le cercle
n--too an
unité n = R/27rZ, muni de sa tribu borélienne /.
Alors il existe une partie lP-négligeable no de n telle que pour toute fonction
.
f cont inue sur ~n~ et t ou t x E ~ne
~0 ,
la su•te
•
f(aix) + ... + f(anx) converge
n
vers k f dlP =lE[f].
Remarque VII.2.3 Selon qu'on considère n comme le tore R/27rZ ou
comme le cercle unité dans C, les fonctions sur n s'écrivent comme des fonc-
tions 27r-périodiques de x E R : f(x), ou bien comme des fonctions f(eit).
Avec la seconde écriture, la moyenne de Cesàro de l'énoncé s'exprime de façon
, . J(eia1t) + ... + f (eiant)
eqmvalente : .
n
Choisir l'une ou l'autre écriture est donc seulement une question de notation.

Soit {&n ln EN*} la suite de fonctions définies sur 0 par &n(t) = exp(iant),
qu'on peut considérer comme des variables aléatoires sur (n, 7, JP).

1) Montrer que lE(ho&n) = k+ h O(llhllifan), (Vh E Li(n)).

2) Montrer que pour g continue d'intégrale nulle et f de classe ci sur n, et

pour q > 0, nous avons 1 fo 2
7r f(eA t) g(eA qt) dt'

:S (lf(l)I + llf'lli) llgllifq. (Intégrer par parties.)

3) Déduire que pour f fixée de classe ci et d'intégrale nulle sur n, nous avons
pour tous n < m dans N* : JE(! 0 &n X f 0 &m) = o(e<n-m)f 2 ) •
4) Déduire que pour f fixée de classe ci sur n, il existe une partie n' de
[O, 1] de complémentaire Lebesgue-négligeable telle que la suite des
(f(aix) + · · · + f(anx))/n converge pour chaque x En'. Vers quoi?
VII.3. LOI DU LOGARITHME ITÉRÉ 137

5) Déduire qu'il existe une partie no de n de complémentaire Lebesgue-

négligeable telle que pour toute f E C 0 (n) la suite des
(f(a1x) + · · · + f(anx))/n converge pour chaque x E no. Vers quoi?
(Considérer la suite des caractères de n, c'est-à-dire la suite des exponentielles
complexes x 1-7 exp (A k x) , et utiliser le théorème de Stone-Weierstrass.)

VIl.3 Loi du logarithme itéré

L'objet de ce problème est d'établir le théorème portant ce nom, énoncé
ci-dessous. Sa signification est de préciser quelle est asymptotiquement la taille
maximale de la marche aléatoire simple {Sn 1n E N} sur Z .
Théorème VIl.3.1 Considérons la marche aléatoire simple {Sn 1n E N}
sur Z. Nous avons presque sûrement
.
l1msup Sn
= 1.
n-too J2n log(log n)

1) a) Montrer que pour tout réel u on a lE(euS1 ) s eu 2/ 2.

b) Déduire que pour tous réels positifs a, u et n E N on a

1 2
JP>(Sn 2: a) S e2 nu -au.
c) Déduire que pour tous a> 0 et n EN* on a JP>(Sn 2: a) S e-a 2 /( 2n).
d) Déduire que pour tous a> 0 et n EN* on a JP>(ISnl 2: a) S 2e-a2 /( 2n).

Pour tous k EN* et a> 0, notons A~:= {S1 <a, ... , Sk-1 <a, Sk 2: a}.
2) a) Montrer que pour tous u > 0 et n EN* : lE(eu 8 n)
n
2: L lE(euSk lA~) JE(eu8n-k) 2: eau JP>(max{Sk l 1 S k Sn} 2: a).
k=l

b) Déduire que JP>( max{Sk l 1 S k Sn} 2: a) S e-a2 !< 2n).

c) Déduire que l
JP>(max{ISkl 1 S k Sn} 2: a) S 2e-a2 /( 2n).
3) Soit 'Y > 1. a) Déduire de 2) que

L 1P( max{ !Ski l 1 S k S 'Ym} > "f V2"fmlog(log'Ym)) < oo.

mEN*

b) Déduire que presque sûrement

138 CHAPITRE VII. PROBLÈMES

c) Déduire que presque sûrement

(3n EN) k > 'Yn => ISkl S 'Y2 V2klog(logk).

d) Déduire que presque sûrement limsup ISnl s 1.

n--+oo J2n log(log n)
4) a) Soit bn = o(n213 ). Montrer qu'il existe NE N tel que pour n > N
1
et 0 S k S bn on ait 4-nc;:k ~ (2nn)-2 x e-(k+1) 2 /n. (On pourra faire
une récurrence sur k ) .
b) Fixons une suite rélle an tendant vers +oo telle que an = o( n 116 ) .
Montrer que pour n assez grand JP>(S2n > 2an v'n)

Soient ô E ]O, 1[ et N un entier > (ô - 02 )- 2 •

5) a) Déduire de la question précédente que (pour ô, N fixés)
L JP>(SNm - SNm-1 > ô J2Nm log(logNm)) = oo.
mEN*

b) Déduire de ce qui précède que p.s. il existe une infinité de m E N* tels

que SNm - SNm-1 > 8 J2Nm log(log Nm) et
sNm-1 > (ô2 - ô) J2Nm log(log Nm) .

c) Déduire que presque sûrement limsup Sn = 1.

n--+oo J2n log(log n)
. f
. d e l"imm
Q ue peut -on d ire Sn ?.
n--+oo J2n log(log n)

VII.4 Grandes déviations

L'objet de ce problème est d'établir le théorème dit de grandes déviations,
énoncé ci-dessous. Sa signification est de préciser comment la moyenne de
Cesàro Sn/n d'une marche aléatoire dévie de la loi des grands nombres :
Grossièrement dit, il énonce en effet que
VII.4. GRANDES DÉVIATIONS 139

1P'(Sn 2: lE(Sn) + nê) ~ e-ncp(e) et 1P'(Sn::; lE(Sn) - nê) ~ e-n.,P(e),

pour certaines fonctions cp, 'ljJ de JR~ dans JR~.

Théorème VII.4.1 Soient {Xj 1 j E N*} une suite de variables aléatoires

réelles intégrables indépendantes et de même loi, d'espérance commune m, et
pour tout n EN*: Sn:= X1 + · · · + Xn, et Mn:= Sn/n. Posons pour tout
u réel: q,(u) := lE(euX1 ), L(u) := logq,(u), et pour tout x réel: A(x) :=
sup{ux-L(u)lu E lR}. Supposons quel:= {u E JRlq,(u) < oo} est un
0 0
voisinage de 0, et notons a:= inf {L'(u) 1 u El}, {3 := sup {L'(u) 1 u El}.
Nous avons alors :
lim ~loglP'[Mn 2: x] = -A(x) pour tout x E]m,,B[, et
n-too
lim ~loglP'[Mn::; x'] = -A(x') pour tout x' E]a,m[.
n-too

Fixons une v.a.r. X, et posons pour tout u réel : q,(u) := lE(eux),

L(u) := logq,(u), et pour tout x réel: A(x) := sup {ux - L(u) 1 u E lR}.
1) Montrer que l := {u E lR 1q,(u) < oo} est un intervalle, contenant O.
2) a) Montrer que sil est un voisinage de 0, alors X admet des moments de
0
tous ordres, et Lest dérivable sur l'intérieur l de l; que vaut L'(O)?
b) Montrer que sil est un voisinage de 0 et si X n'est pas presque sûrement
constante, alors L est strictement convexe.
3) Montrer que A est 2: 0, convexe, semi-continue inférieurement, et qu'on a
A(x) = sup{ux - L(u) 1u El}.
4) Supposons X intégrable d'espérance m.
a) Montrer que A(m) = 0, que A est croissante sur [m, oo[ et décroissante
sur] - oo, m], et que A(x) = sup{ux - L(u) 1u2: O} pour tout x 2: m.
b) Montrer que lP'(X 2: x)::; e-ux q,(u) pour tous u 2: 0 et x réel, et que
lP'(X 2: x)::; exp[ -A(x)] pour tout x 2: m. Énoncer et justifier l'analogue
pour x::; m.

Soient {Xj 1j E N*} une suite de v.a.r.i.i.d. intégrables d'espérance m

et de même loi que X, et pour tout n E N* : Sn := X1 + · · · + Xn et
Mn:= Sn/n.
5) Montrer que pour tout ê 2: 0 et tout n E N* on a :
IP(Mn 2: m + ê) ::; exp ( - nA(m + ê)) et
140 CHAPITRE VII. PROBLÈMES

IP'(Mn:::; m - c) :::; exp ( - nA(m - c)).

6) Soit F un ensemble fermé de ~.

Montrer que limsup ~log IP'(Mn E F) :::; -inf{A(x) 1 x E F} :

n--+oo

a) séparément lorsque F c [m, oo[, puis lorsque F c] - oo, m];

b) à partir de a), dans le cas général.
0
Supposons dorénavant que I est un voisinage de 0, d'intérieur noté I.

Posons a:= inf { L'(u) 1 u El}. f3 := sup { L'(u) u El}. et fixons ô > 0 et
1

X Eja,(3[.

0
7) Montrer qu'il existe u El tel que A(x) = ux-L(u), et que A est continue
en x.

Notons µ la loi de X, et considérons la probabilité v sur ~ admettant la

densité t i-------+ eut /<P(u) par rapport ൠ: dv(t) :=eut dµ(t)/<P(u).

Soient {lj 1j EN*} une suite de v.a.r.i.i.d. de loi v, et pour tout n EN* :
S~ := Y1 + · · · + Yn et M~ := S~/n.

8) Montrer que E(f oSn) = <I>(u)n x E(e-us~ x f oS~) si f est mesurable

positive.
9) Déduire: ~log IP'(IMn - xi < ô] 2: L( u) - ux - ôlul + ~log 1P' [IM~ - xi < ô].
10) Vérifier que logE(evYi) = L(u + v) - L(u) pour tout v, et en déduire
que 1E(Y1) = x.
11) Déduire que liminf ~ loglP'(IMn - xi < ô) 2: -A(x) - ô lui.
n--+oo

12) Déduire que pour tout x E ]m, (3[ on a lim inf .!. log IP'(Mn 2:
n--+oo n
x) >
-A(x). (Utiliser y E ]x, (3[ .)
13) Déduire que \:lx E]m,(3[ on a lim ~ log!P'(Mn 2: x) = -A(x).
n--+oo

14) Montrer que Vx E ]a, m[ on a lim ~ log!P'(Mn:::; x) = -A(x).

n--+oo

15) Exemple : dans le cas de la marche simple sur Z, expliciter <I>, I, L,

L', a , f3 , u , A .
VII.5. LEMME DE BLACKWELL ET TRIBU FT 141

VII.5 Lemme de Blackwell et tribu Fr

Le but de ce problème est de donner de la tribu FT associée à un temps
d'arrêt T de la filtration (Fn) la caractérisation suivante : c'est aussi la tribu
engendrée par la suite des variables nt--+ Xmin{T,n}· L'idée est d'utiliser pour
cela un lemme dû à Blackwell.
1) Soit Y une variable aléatoire d'un espace mesurable (0, F) dans un espace
mesurable (A, T). Soit g une variable a(Y)-mesurable den dans~+.
a) Sous quelle forme simple peuvent s'écrire les éléments de la tribu a(Y)?
b) Pour n EN posons 9n := oo l{g=oo} +E j2-n l{j2-n:::;g<(j+l)2-n}.
jEN

Que peut-on dire de la suite (gn)?

c) Montrer que pour tout n E N il existe une fonction f n mesurable de
(A, T) dans~+ telle que 9n = fn o Y.
d) Déduire qu'il existe f mesurable de (A, T) dans ~+ telle que g =
foY.
2) Pour la variable Y ci-dessus et pour A c n tel que Y(A) E T, montrer
que A E a(Y) ssi pour tous w,w' En tels que w E A et Y(w) = Y(w') on a
w' E A.
Notations Soit (n =EN, (Xn), (Fn), F 00 = F) l'espace canonique des tra-
jectoires associé à un ensemble dénombrable ou fini fixé E (muni de la tribu
de toutes ses parties). Soit T un temps d'arrêt. Notons gT := a{XTAn 1n E
N} la tribu engendrée par la famille {XTAn 1 n E N}, et de même g~ :=
a{XTAn 10 :Sn :S k}, pour tout k EN.
3) a) Soient k,k' EN et w,w' En tels que XTAj(w) = XTAj(w') pour
[Link]; j:::; k, T(w) = k, et T(w') = k'. Déduire de 2) que k = k'.
b) Déduire que {T = k} E g~ pour tout k E N, et que {T = oo} E gT.
c) Rappeler la définition de FT .
d) Déduire de 1.a) et de 3.b) que si A E FT et k EN, alors
An {T = k} E g~. e) Déduire que FT = gT.

VIl.6 Une file d'attente

Les files d'attente constituent un sujet d'étude ayant son intérêt propre,
en particulier en raison de leurs liens avec les applications pratiques. On les
142 CHAPITRE VII. PROBLÈMES

distingue suivant leur nombre de serveurs, l'ordre de service des clients, et les
lois de la durée d'un service et de l'arrivée des clients. Voir [B-B), [Rob].
Nous considérons dans ce problème un cas simple, celui d'une file à un
seul serveur, servant les clients dans l'ordre d'arrivée, et à loi poissonnienne
d'arrivée des clients.
L'objet du problème est l'étude du régime asymptotique du temps d'attente
d'un client dans la file.
Notations Soient {Xn 1 n EN*} et {un 1n EN*} deux suites indépendantes
de v.a.i.i.d. à valeurs dans N*. Notons Bo := 0 , et pour n E N* : Sn :=
X1 +··· +Xn.
O'n représente le temps de service du n-ième client, et Sn son instant d'arrivée
dans la file. Soit Un := O'n - Xn+l , pour tout n E N* .
Notons ensuite W1 := 0, et pour n E N* : Wn+l := max{Wn +Un, O}, qui
représente le temps d'attente dans la file du (n + 1)-ième client.
Notons enfin Fn la fonction de répartition de la variable Wn.

1) a) Montrer que pour tous n - l, k EN:

Fn+i(k) = L JP>(U1 = z)Fn(k - z) = L JP>(U1 = k - j)Fn(j) .

zEZ, z5,k jEN

b) Quelle est la bonne formule lorsque n E N* et k E R ?

2) Préciser F1 et F2, et montrer que la suite Fn est décroissante.
3) Déduire que la suite Fn converge vers une fonction F croissante, nulle sur
R~, majorée par 1, et vérifiant F(k) = L: JP>(U1 = k - j)F(j) pour tout
jEN
kEN.
4) Montrer que pour tous n - 2, k EN:
Fn(k) = JP>( U1 ~ k' U1 + U2 ~ k' ... ' U1 + ... + Un-1 ~ k).

5) Montrer que F(k) = JP>( ('v' j EN*) iti Ui ~ k) pour tout k ER+.

Supposons dorénavant U1 intégrable.

6) Si 1E(U1) > 0 : calculer F, et montrer que la suite Wn tend p.s. vers
+oo.
7) Supposons pour cette question que 1E(U1) < 0.
VII.6. UNE FILE D'ATTENTE 143

a) Montrer que la limite de F en +oo est 1.

b) Déduire que la suite (Wn) converge en loi et que la fonction F est la
fonction de répartition de la limite.
8) Supposons pour cette question que lE(U1) = 0.
n
a) Montrer que la marche aléatoire L: Uj est récurrente.
j=l
b) Exprimer le support Supp(U1) de la loi de U1 à l'aide de Supp(u1) et
de Supp(X1).
c) Montrer que l'ensemble des points presque sûrement infiniment sou-
n
vent visités par la marche L: Uj est égal au sous-groupe de Z engendré par
j=l
Supp(u1) - Supp(X1).
d) Montrer que si les variables aléatoires X1 et u1 ne sont pas toutes deux
p.s. constantes, alors la fonction F est nulle et la suite Wn tend en probabilité
vers +oo.
9) Fixons 2 réels p, q tels que 0 < p < q < 1, et prenons X1 géométrique
de paramètre pet u1 géométrique de paramètre q : ]Jl>(u1 = j) = q(l - q)i-I
pour tout j E N*.
a) Montrer que ]Jl>(U1 = z) =a (1- q)z+ (1 - py- pour tout z E Z, pour
un réel a à déterminer. (Rappel: z+ := max{z,0} et z- := max{-z,O}.)
Calculer lE(U1).
b) Soit pour 0 < s < 1: G(s) := L: si F(j). Montrer que pour si- 1-p
jEN
on a:
G( S ) = a(l - p)G(l - p) +a G( s ) X
( 1
-
1- p )
•
1- p- s 1 - (1 - q)s 1- p- s

c) Déduire que G est proportionnelle à s 1-7 6 - (I-:~~({~q)s

d) Déduire que la variable limite W 00 de la question (7,b) a sa loi donnée
par:
. p(q-p) (1-q)j q-p
]p>(Woo=J)= q(l-p) X l-p +-q-xl{j=O}i pour tout j E N .
144 CHAPITRE VII. PROBLÈMES

VII. 7 Un exemple de chaîne finie

Soit P la matrice stochastique suivante, sur E := {1, ... , 6} :

4/9 0 1/9 1/9 2/9 1/9

0 1/2 1/3 0 1/6 0
.-
P·- 0 3/4 1/4 0 0 0
0 0 0 0 0 1
0 1/3 1/6 0 1/2 0
0 0 0 1 0 0

Il est rappelé que JP>j désigne la loi de la chaîne la chaîne de Markov X issue
de j E E et de matrice de transition P , et que Tj désigne le premier temps
de retour en j E E .

0) Représenter le graphe de transition de la chaîne de Markov X.

1) Préciser (en justifiant) pour la chaîne de Markov X :
a) les classes de communication ; b) les classes récurrentes , les classes
fermées; c) les classes absorbantes; d) les périodes.
2) Que peut-on déduire de la question précédente, concernant les probabilités
invariantes pour la chaîne de Markov X ? Les déterminer toutes.
3) Le temps aléatoire D1 := max{ n E N 1 Xn = 1} est-il un temps d'arrêt?
Quelle est sa loi sous JP>1 ? Que vaut lE1 (D1)?
4) a) Que vaut la probabilité JP>1 (T3 < oo) d'atteindre 3 sous JP>1 ? Que vaut
lE1 (T3)?
b) Que vaut la probabilité JP>1(T4 < oo) d'atteindre 4 sous JP>1? Que vaut
lE1(T4)?
5) Calculer lEj(Tj), pour j = 1, puis pour les autres j E E.
6) a) Utiliser la propriété de Markov (au temps 1) pour déterminer les
équations reliant les lEj(T2), pour j E {3, 5}, et les calculer.
b) Calculer de même lE2(T3), lEs(T3), lE2(Ts), lE3(Ts).

VII.8 Un exemple de chaîne infinie

Considérons la chaîne de Markov sur Z de matrice de transition P définie

par P(n,n+l) = l-P(n,n-1) = qn, pour tout n E Z, où q := {qn ln E Z}
est une suite donnée de réels E [O, 1].
VII.9. UN MODÈLE MARKOVIEN D'ENDÉMIE 145

1) Déterminer les périodes des points de Z pour cette chaîne. À quelle

condition sur la suite q cette chaîne est-elle irréductible?
Nous supposons dorénavant que Q-n = 1 - Qn E JO, 1[ pour tout n EN.
2) Écrire les équations exprimant qu'une mesure v est invariante, en donnant
Vn+I en fonction de (vn, Vn-i. et {qn 1 n E N}), ceci séparément pour n 2: 1 ,
n = 0, et n::; -1.
3) Vérifier que v est invariante si et seulement si v' définie par v~ := v_n
(pour tout n E Z) l'est aussi.
4) Déduire le système d'équations que doit vérifier {vnl n EN} pour qu'une
mesure v symétrique (c'est-à-dire telle que Vn = V-n pour tout n E Z) soit
invariante.
Nous supposons de plus dorénavant que Qn = ni 2 pour tout n EN.

5) Pour a E ~+ , notons µn := a~ pour tout n E Z.

Montrer queµ définit une mesure finie, et déterminer a pour qu'elle soit une
probabilité.
6) Vérifier que µ est invariante, et déterminer toutes les mesures invariantes.
7) Déterminer le temps moyen de retour de la chaîne en m E Z, et le nombre
moyen de passages en k E Z entre deux passages en m .
8) Pour n E N, posons an := lE_n(T1). Montrer que a1 = 2(ao - 1) et
Œn+I = (n + 2)an - (n + l)an-1 - (n + 2), pour tout n 2: 1. Les an sont-ils
bien finis?
9) a) Vérifier que Œn = Œn-1 + lE_n(T1-n) pour tout n 2: 1.
b) Soit f3n := Œn - Œn-1 - 1 pour tout n 2: 1; vérifier que cette suite
(3 est positive et décroissante (noter la décroissance de q).
c) Quelle équation vérifie f3? Calculer 'Yn := f3n/n! en fonction de ao et
de n, et déduire la valeur de ao .
d) Exprimer en fonction de la suite f3, pour 0 ::; m ::; ri : 1En(To), puis
lEn(Tm).

VII.9 Un modèle markovien d'endémie

Les N individus d'une population sont susceptibles d'être affectés par une
maladie durant systématiquement une semaine, de sorte qu'un individu ma-
lade durant la n-ième semaine ne peut pas l'être durant la (n+l)-ième. Notons
146 CHAPITRE VII. PROBLÈMES

Zn le nombre d'individus malades durant la n-ième semaine. La loi de la conta-

mination d'une semaine sur la suivante est fixée par un facteur de contagion
p E JO, 1[, de sorte que la chaîne {Zn 1n E N} est markovienne, de matrice de
transition donnée par :

P(j, k) = l{j+k::;N} x C~-j(l - pi)k pi(N-j-k), pour j E {0, ... , N}, k 2: 1.

1) Préciser les coefficients P(N, m), P(O, m), P(m, N), pour 0 5 m 5 N.
2) Préciser les classes de communication; dire lesquelles sont récurrentes. Que
peut-on dire de l'état 0? Quelles sont les mesures invariantes?
Notons Q la matrice de transition de la chaîne de Markov précédente
restreinte à l'espace d'états E := {1, 2, ... , N - 1, O} (dans cet ordre).

3) Vérifier que Q = (o.~. 0 ?) , A et C étant des matrices à préciser.

Soit T := min{n EN 1 Zn= O}, relatif à la chaîne (E, Z, Q).
Pour tout n E N , soit Mn la matrice-colonne ayant (N - 1) lignes et pour
j-ième terme Mn(j) = 1Pj(T = n), pour 1 S j SN - 1.
4) Montrer que Mn= A x Mn-1, pour tout n 2: 2.
5) Déduire la valeur de Mn, pour n EN*.
d
6) Posons llMll := m~ L: IM(i,j)I
1::;i::;dj=l
pour toute matrice M de format dxd.

Montrer que Il· Il est une norme et majorer llM x M'll en fonction de llMll
et llMll'·
7) Montrer que llAll < 1, et déduire que L: An et L: nAn-l convergent, et
n n
que I - A est inversible (I désignant la matrice unité).
8) Calculer (I - A) U, U désignant la matrice-colonne ne comportant que
des 1, et déduire que T est 1Pj-presque sûrement fini pour chaque j < N.
9) Montrer que les lEj(T) sont finis, et donner leur valeur à l'aide de la
matrice (I -A)- 1 . (Noter que le problème VII.25 propose une généralisation
de ceci.)

VII.10 Un théorème limite quotient

Soit (X, P) une chaîne de Markov irréductible récurrente sur E fini ou
dénombrable.
VII.10. UN THÉORÈME LIMITE QUOTIENT 147

L'objet principal de ce problème est d'établir un théorème limite quotient dû à

n
E pk(y,e)
Doeblin, calculant lim k;:o , et de fournir en même temps une nouvelle
n--+oo E pk(x,a)
k=O
démonstration alternative de l'unicité de la mesure invariante de {X, P), c'est-
à-dire encore une autre preuve du théorème IV.4.5 (que celle de l'exercice
V.3.14). Pour tous n EN et x E E, notons
n
N'(; := L l{xk=x} et Tx := min{k ENI xk = x}.
k=O
1) Rappeler la définition de «irréductible» et de «récurrente», et donner
une caractérisation en termes de N.n et de JE. pour « récurrente ».
2) Fixons y,e,e' E E et n,m EN tels que n ~m.
m

a) Montrer que JEe{N;) ~ L JEe ( N;-j o ()i X l{Tei=j}) ;

j=O
b) Déduire que JEe{N;) ~ IPe(Te' ~ m) X JEei(N;) - m;
c) Déduire le comportement de JEe(N;) lorsque n---+ oo.
3) Déduire que pour tous e, e', a, x, y E E :
. . JEe{N;) . . JEei(N;) . lEe{N;) . JEe1{N;)
hmmf
n--+oo
JE a (Nn)
x
= hmmf JE (Nn) ; hmsup JE (Nn) = hmsup JE (Nn) ·
n--+oo a x n--+oo a x n--+oo a x

4) Déduire que pour tous e, e', a, a', x, y E E :

. . JEe{N;) . . JEe1{N;) . lEe{N;) . JEe1{N;)
hmmf
n--+oo
JE a (Nn)
x
= hmmf
n--+oo
JEa' (Nn);
x
hmsup
n--+oo
JE a (Nn)
x
= hmsup
n--+oo
JE a' (Nn)
x
·

Soit v une mesure invariante non nulle de (X, P), et soit Q la matrice
définie sur E 2 par : Q(x, y) := P(y, x) x vy/vx (comme dans l'exercice
IV.4.6).
5) a) Montrer que Q est bien définie et est une matrice stochastique;
b) Trouver une mesure invariante pour Q;
c) Calculer Qn(x, y), pour n EN* et x, y E E;
d) Q est-elle irréductible? récurrente?
6) a) Écrire JEe{N:) à l'aide de P (sans JE ni X), et montrer que
Va lEy(N:)
= Vx E~=O Qk(e, y) Va,e,x,y E E et n assez grand.
Ve JEx(N~) Ïly E~=O Qk(a, x)
148 CHAPITRE VII. PROBLÈMES

b) D e'd.
mre que . .m f llalEy(N;i)
11m et ne
n~oo lie lEx(N~)
dépendent pas de (a,e,x,y) E E 4 •
n
JE (Nn) E pk(y,e)
c) Déduire que pour tous (a,e,x,y) E E 4 , Y e - _k';;_o_ __
lEx(N~) - L: pk(x,a)
k=O
converge lorsque n --+ oo , et trouver sa limite.
7) a) Montrer que si µ est une autre mesure invariante pour P, elle est
nécessairement proportionnelle à li .
b) Montrer que Q est positivement récurrente si et seulement si P l'est.

VIl.11 Chaîne de Markov de configurations

Voici un exemple de chaîne de Markov sur un ensemble E de configurations,

qui modélise un cristal constitué par un réseau (hyper)cubique K d'atomes
excités ou non.
Fixons deux entiers : N 2: 2 et d 2: 1, et notons K := {1, ... , N}d. Soit
d
ô(k, k') := E lkj - kj] la distance séparant deux sites
j=l

k = (ki, ... , kd) et k' = (ki, ... , k~) de l'hyperèube K. Les deux sites k, k'
sont dits voisins lorsque ô(k, k') = 1.
Notons Eo := {O, l}K l'ensemble des fonctions de K dans {O, 1}, E l'en-
semble des éléments de Eo ne prenant jamais la valeur 1 en deux sites voisins
(e(k) + e(k') :'.S 1 si e E E et ô(k, k') = 1), M le cardinal de E, et m la
probabilité uniforme sur E. Considérons sur l'espace d'états E une chaîne de
Markov {Xn 1 n EN}, dont la transition Xn--+ Xn+I est obtenue (pour tout
n E N) de la façon suivante :
- on tire au sort uniformément un site k dans K, et on lance une pièce
(non truquée);
- si face sort et si Xn prend la valeur 0 en tous les sites voisins de k , on
pose Xn+I(k) = 1; sinon, on pose Xn+I(k) = 0;
- pour tout site k' =/= k, on pose Xn+I(k') = Xn(k').
Notons P la matrice de transition de cette chaîne, et Li(e, e') le nombre
des sites en lesquels deux états e et e' diffèrent (cela définit une distance sur
E).
VII.12. TRANSITION À PUISSANCE ÉLÉMENTAIRE 149

1) Évaluer P(e, e') lorsque Li{e, e') 2'. 2.

2) Supposons que deux états e et e' diffèrent en un unique site k E K.
a) Que peut-on dire de e(k') et e'(k'), si k' E K est un site voisin de k?
b) Calculer P(e, e') et P(e', e).
3) Quelle propriété algébrique simple possède la matrice de transition P?
Montrer que m est invariante pour P.
4) Montrer que tout état communique avec l'état nul.
5) a) Montrer que les coefficients de la diagonale de P sont tous strictement
positifs. b) Déterminer les périodes de la chaîne.
6) Que peut-on dire de pn(e, e') lorsque n-+ oo?

VII.12 Transition à puissance élémentaire

Soit P une matrice stochastique irréductible et apériodique sur E .-

{l, ... ,f}.
1) Donner un exemple de matrice stochastique irréductible Q sur E ayant
une puissance non irréductible.
2) Montrer que pn est également irréductible et apériodique sur E, pour
tout n EN*.
Notons J la matrice stochastique sur E qui a tous ses coefficients égaux,
et m la loi uniforme sur E. On suppose qu'il existe NE N* tel que pN = J.
3) Montrer que m est ?-invariante. On dit alors que P est « bistochas-
tique » ; pourquoi ?
4) Déterminer le rang et les valeurs propres (avec leur multiplicité) de J.
5) Montrer que le rang de P est 1, et déduire l'existence de u, v E (lR+)l
tels que P(j,k) = UjVk pour tout (j,k) E E 2 •
6) Déduire que nécessairement P = J. Décrire le comportement de la chaîne
associée.

VII.13 Chaîne à transition coercive

Supposons que la chaîne de Markov {X, P) sur E satisfasse l'hypothèse
suivante : il existe une mesureµ sur E et k EN* tels que pour tous x, y E E :
Pk(x, y) 2'. µ(y) > 0.
150 CHAPITRE VII. PROBLÈMES

Considérons la matrice Q définie sur ExE par: Q(x, y) := pk(x, y)-µ(y),

puis la suite de mesures sur E définie par : µi := µ, et µn+l := µ Qn + µn ,
pour tout n E N* . •
1) Montrer que pkn(x, y) = Qn(x, y)+ µn(Y), pour tout n E N* et tous
x,yEE.
2) a) Montrer que lorsque n ---+ oo la suite (µn) converge simplement sur
E. Notons v sa limite.
b) Montrer que v est une probablité sur E, de support égal à E entier.
(Vérifier en particulier que lim L: Qn(x, y) = 0 pour tout x E E .)
n--+ooyEE

c) Montrer que v(y) = lim pkn(x, y) pour tous x, y E E.

n--+oo
d) Déduire que v(y) = lim pn(x, y) pour tous x, y E E.
n--+oo
e) Montrer que v est une mesure invariante pour (X, P).
3) Déduire que la chaîne (X, P) est irréductible positivement récurrente.

VII.14 Méthode de Doeblin

Il s'agit d'une méthode simple et efficace (due à W. Doeblin, le fils de
l'auteur de Berlin Alexanderplatz, adversaire des nazzis mort très jeune en
1940) pour obtenir une convergence géométrique vers la loi invariante, dans le
cas d'une chaîne de Markov ergodique et finie.
Soit {Zn 1 n E N} une chaîne de Markov irréductible et apériodique sur
un espace d'états fini E = {e1, ... ,ee}. Pour tous n EN et 1 ~ i,j ~ f,
notons Pij := lP'ei(Zn = ej), puis mj := min{pij l 1 ~ i ~ f}, et Mj :=
max {pij l 1 ~ i ~ f} .
1) Rappeler en termes de pij les définitions de« irréductible» et de« apério-
dique».
2) Montrer que pour chaque j E {1, ... , f}, les deux suites mj et Mj sont
monotones.
3) Montrer qu'il existe un entier N tel que pour tout n 2: N et tous i, j on ait
pij > 0 . (on pourra utiliser un résultat du cours pour commencer par obtenir
les Pjj > 0 .)
Posons ô := min{pij l 1 ~ i,j ~ f}.
4) Que peut-on dire de ô f?
VII.15. COMPARAISON DE DEUX CHAÎNES 151

5) Fixons q, r quelconques dans {1, ... , f}, et notons

J := {j E {l, ... ,f} 1p~ ~ p~} et J' := {j E {l, ... ,f} 1P~ < p~} ·

a) Montrer que L(p~ - p~) + L(p~ - p~) = 0 et que

jEJ jEJ'

L(P~ - p~) ~ 1 - o.e.

jEJ

b) Déduire que pour tous n EN et 1 ~ k ~ .e nous avons

c) Déduire que pour tous n EN et 1 ~ k ~ .e nous avons

6) Déduire que pour tout 1 ~ k ~ .e les deux suites M'f: et m~ convergent

vers Àk E [O, 1].
7) Montrer que pour tous n EN et 1 ~ j, k ~ .e nous avons

8) Montrer que (>..k) définit une probabilité invariante pour (Zn).

9) Montrer que si on suppose seulement (Zn) irréductible ou seulement (Zn)
apériodique, le résultat de 7) ci-dessus tombe en général en défaut.

VII.15 Comparaison de deux chaînes

L'objet de ce problème est de comparer les temps d'atteinte de deux chaînes

de Markov comparables en loi; la méthode consiste à établir un couplage (un
peu comme dans la preuve du théorème ergodique IV.5.5) permettant une
comparaison presque sûre.
Considérons deux suites {Pn 1n E Z} et {p~ 1 n E Z} à valeurs dans [O, lj,
telles que Pn ~ min {p~ , p~+l} pour tout n E Z , et les deux matrices de
transition P, P' sur Z définies par : P(n, n + 1) = 1 - P(n, n - 1) = Pn et
P'(n, n + 1) = 1- P'(n, n - 1) = p~.

Notons respectivement lPz, ~ les lois (sur l'espace canonique) des 2

chaînes de Markov sur Z issues de z E Z et ayant respectivement P, P'
152 CHAPITRE VII. PROBLÈMES

pour matrice de transition. Notons encore Tç- le temps d'atteinte de ( (quel-

conque dans Z).
Considérons la matrice de transition Q définie sur l'espace d'états Z 2
par:
Q[(m, m'); (n, n')] = P(m, n) x P'(m', n') si m' fj. {m, m + 1}, et
Q[(m,m);(m+l,m+l)] =pm, Q[(m,m);{m-1,m-1)] =1-p~,
Q[{m,m);(m-1,m+l)] =p~-pm, Q[{m,m+l);(m+l,m+2)] =Pm,
Q[(m,m + 1); (m - 1,m)] = 1 - p~+l' Q[(m,m + 1); (m - 1,m + 2)) =
I
Pm+I -Pm·
Notons Qz la loi de la chaîne de Markov sur Z 2 issue de (z, z) et de
matrice de transition Q .
1) Calculer E Q[(m,m');(n,n')] et E Q[(m,m');(n,n')].
n'EZ nEZ
2) Vérifier que les deux lois marginales de Qz, images de Qz par les deux
applications coordonnées de Z 2 , sont des lois de chaînes de Markov sur Z , à
préciser.
3) Montrer que le demi-plan { (Z, Z') E Z 2 j Z ~ Z'} contient presque
sûrement toutes les trajectoires de la chaîne de loi Qz .
4) Comparer lEz(TÇ') et lE~{TÇ') (où lEz,lE~ correspondent à lPz,~) ;justifier.

VII.16 Chaîne de Markov induite

L'objet de ce problème est l'étude de la trace laissée par une chaîne de
Markov sur une partie donnée de l'espace des états, qui constitue elle même
une chaîne de Markov.
Fixons pour tout l'énoncé une chaîne de Markov (Xn) de matrice de tran-
sition P, sur un espace d'états discret (fini ou dénombrable) E. Supposons
cette chaîne (E, P, (Xn)) irréductible et récurrente.
Considérons une partie E' non vide de E. Notons T := min{n EN* J Xn E
E'}, puisTo := 0, et Tn := min{ m > Tn-1 J Xm E E'}, pour tout n E N*.

1) Montrer que Tn = Tn-1 + T 0 ()Tn-l = T + Tn-1 0 or pour tout n E N*.

2) Montrer que les Tn sont lPe-presque sûrement finis, pour tout e E E.
{On pourra par exemple fixer e' E E' et comparer Tn avec le n-ième temps
d'atteinte de e'.)
 VII.16. CHAÎNE DE MARKOV INDUITE 153

Notons X~ := Xrn pour tout n E N.

3) Montrer que (X~) définit une chaîne de Markov sur E'.
4) Montrer que (X~) est irréductible récurrente.
5) Montrer que la matrice de transition P' de (X~) vérifie :

P'(x, y)= P(x, y)+ L P(x, z) x JP>z(Xr =y).

zEE\E'

6) Pour z E E'-E', écrire JP>z(Xr = y) à l'aide de JP>z(T = n, Xn-1 =

e, Xn =y).
7) Montrer que JP>z(Xr =y)= L L JP>z(An, Xn = e) P(e, y), pour z E
eEE\E'nEN
E'-E', où An E Fn-1 est un événement à préciser.

On dit que la chaîne X' définie ci-dessus est « induite » par X sur E'.
Considérons une partie E" non vide de E'.
Notons r" := min{n EN* 1 Xn E E"}, puis r' := min{n EN* 1X~ E E"} et
considérons les chaînes X" et Y induites sur E" respectivement par X et par
X'.
8) Montrer que les deux chaînes X" et Y sont égales.

Cas particulier : Supposons dorénavant que E '- E' = {e} est un singleton,
et que la chaîne (P, (Xn)) est positivement récurrente sur E, de loi invariante
disons v.
9) Montrer que P'(x, y) = P(x, y)+ P~x.:._~[e~;)y) pour tous x, y E E'.

10) a) Montrer que la restriction v de v à E' est invariante pour (E', P').
b) Déduire que (E', P') est positivement récurrente, de loi invariante
disons v', et calculer Ve en fonction des coefficients de v' et de P.

Notons M la matrice définie sur Ex Epar : M(x, y) := lEx( min{n EN* 1 Xn =y}).
11) Notons P la restriction de P à E' x E', et Me la restriction à E' de
la colonne M(·, e). Que vaut (J - P)Me ? (I désigne la matrice unité sur
E' XE'.)
12) Exemple d'application. Prenons E = {1, 2, 3}; E' = {1, 2}; E" =
{1}. Notons v" la loi invariante de (E", P") induite par (E', P') sur E", avec
154 CHAPITRE VII. PROBLÈMES

1/2 1/4 1/4)

p := ( 1/3 1/3 1/3 . a) Calculer P', P", v", et en déduire v', puis v.
1/4 1/2 1/4
b) Montrer que lim pn existe, et la calculer.
n-+oo

c) Déterminer entièrement la matrice M pour cet exemple.

VII.17 Cqemin de ronde

Fixons un entier N 2: 1, l'espace d'états E := {O, ... , N}, et pour tout
n E E, notons Tn le temps d'atteinte de n.
1. Imaginons que E est sur un rempart l'ensemble des postes d'observation
d'une sentinelle, qui de chaque poste non extrémal n E {1, ... , N - 1} repart
vers l'un des deux postes voisins en tirant à pile ou face (avec une pièce non
truquée), et de chacun des deux postes extrémaux 0, N repart vers le seul
poste voisin.
Notons X= (Xn)neN la chaîne de Markov représentant la suite des postes
occupés par la sentinelle.
1) Expliciter la matrice de transition P associe à la chaîne de Markov X.
2) Y a-t-il des mesures invariantes non nulles pour cette chaîne, et si oui,
combien?
3) a) Écrire en détail les équations signifiant qu'une mesure est invariante
pour la chaîne (E, P, X).
b) Expliciter une probabilité invariante pour la chaîne (E, P, X).
4) Déterminer pour tout n E E le temps moyen de retour en n (partant de
n).
5) Déterminer pour tous e, n E E le nombre moyen de passages par n entre
deux passages par e .
II. La chaîne (E, P, X) tant la même qu'en 1, on détermine ici la matrice des
valeurs de tj := lEj(Tk), où j, k parcourent E.
6) Fixons 0< k :'.SN, et faisons varier j dans {O, ... , k}.
a) Pour 0 < j < k, exprimer tj en fonction de tj_ 1 et tj+ 1 .
b) Que peut-on dire de tâ et de t~ ?
c) Montrer que tj = tâ - j 2 .
d) Déterminer {tj 10 :'.S j :'.S k :'.SN}.
VII.18. CHAÎNE ET RÉSEAU ÉLECTRIQUE 155

7) Déduire les valeurs restantes : {tj 1 N ~ j ~ k ~ 0}.

III. On conserve ici le même espace d'états E, mais dans le cas d'un chemin
de ronde polygonal convexe, dont les N sommets sont les états, de sorte que
la sentinelle se déplace suivant la marche simple sur ce polygone.
8) Préciser les probabilités invariantes de cette chaîne, ainsi que les temps
moyens de retour et les nombres moyens de passages par n entre deux passages
pare.
9) Pour k entier naturel S Nil , posons tk := lEo(Tk)·
a) Pour 1 S k S N2l , exprimer tk en fonction de tk-1 et tk+l.
b) Si N = 2m - 1 est impair, exprimer tm-j-1 en fonction de tm-j et
de tm-Hl, pour 1 S j Sm -1, et puis exprimer tm-1 en fonction de tm.
c) Si N = 2m est pair, exprimer tm-j-1 en fonction de tm-j et de
tm-Hl, pour 1 S j Sm -1, et puis exprimer tm-1 en fonction de tm.

d) Si N = 2m - 1 est impair, montrer que tm-j = tm - j 2, pour

0 S j S m, et en dduire la valeur de tj .
e) Si N = 2m est pair, montrer que tm-j = tm-j(j+l), pour 0 S j Sm,
et en déduire la valeur de tj.

VII.18 Chaîne et réseau électrique

Ce problème est librement inspiré de [H] et de Random walks and electric
networks {the Carus Mathematical Monographs vol. 22), par P.G. Doyle et
J.L. Snell. Il fait le lien {classique) entre les chaînes de Markov et la théorie
du potentiel électrostatique.
1. Fixons une chaîne de Markov X = (Xn) de matrice de transition P, sur
un espace d'états discret (fini ou dénombrable) E.
1) Montrer que si la mesure m est réversible pour pour la matrice de transition
P (revoir la définition IV.4.10), alors pour tout n EN et tous xo, ... , Xn E E
nous avons:
Pm(Xo = xo, ... 'Xn = Xn) = Pm(Xo = Xn, X1 = Xn-1, ... 'Xn = xo).
On dit que la matrice de transition P (ou bien la chaîne de Markov X) est
réversible lorsqu'elle admet une mesure réversible.
2) Trouver un exemple simple de chaîne de Markov qui ne soit pas réversible,
si possible avec E fini.
156 CHAPITRE VII. PROBLÈMES

3) Montrer que P est réversible sur E = {1, ... , k} si

[lx-yl=l=?P(x,y)>O] et [1x-yl2:2=?P(x,y)=O].
4) On suppose que E est fini et muni d'une structure de graphe, par la donnée
d'un ensemble L de paires de points de E. Les voisins de x E E sont alors
tous les x' E E tels que {x, x'} E L. On note Kx le nombre des voisins de
x, qu'on suppose 2: 1 pour chaque x E E, et on considère la matrice de
transition P définie par : P(x, x') = l/ Kx pour tout x E E et tout voisin x'
de x . Montrer que P est réversible.
II. On suppose dans cette partie que E est un réseau électrique : il est fini
et muni d'une fonction (« conductance ») K de E 2 dans lR+ symétrique :
K(x, y) = K(y, x) pour tous x, y E E. Pour tout x E E, on pose C(x) :=
E K(x, y), et on suppose cette fonction C strictement positive sur E. Soit
yEE
P la matrice de transition définie par : P(x, y) := K(x, y)/C(x), pour tous
x, y E E. On suppose P irréductible sur E.
5) Montrer que Pest réversible.
Fixons deux parties A, B de E, disjointes non vides, de temps d'atteinte
TA, TB respectivement, et posons pour tout x E E: V(x) := Px(TA <TB)·
6) Montrer que la fonction V (identifiée à une matrice-colonne) vérifie sur
E'- (AU B) l'équation : V= PV. Que vaut V sur AU B? (Utiliser la
propriété de Markov.)
7) Calculer E K(x,y)[V(x) - V(y)], pour tout x E E'-(A U B) (loi de
yEE
Kirchhoff).
8) Soit h une fonction de E dans lR telle que h = Ph sur E'- (AU B).
Montrer que le maximum de h est atteint sur A U B.
9) Montrer que toute fonction W de E dans lR égale à V sur AU B, et telle
que W = PW sur E "-(AU B), est égale à V (c'est le «potentiel d'équilibre»
électrostatique).

Supposons dorénavant que A= {a} est réduite à un seul point a E E, et

notons T~ le temps de retour en a .
10) Exprimer PV(a) à l'aide de Pa(T~ >TB)·
11) Le courant issu de a est J(a) := E K(a, x)[V(a) - V(x)] (loi d'Ohm).
xEE
Montrer que J(a) = C(a) Pa(T~ > TB)· En déduire une expression de la
résistance effective R~ du réseau E entre a et B.
VII.18. CHAÎNE ET RÉSEAU ÉLECTRIQUE 157

III. On suppose dans cette partie que E est un réseau électrique dénombrable
(infini) : il est muni d'une fonction K de E 2 dans lR+ symétrique, qui induit
une structure de graphe (comme dans la question 4) sur E, en convenant
que x, y E E sont voisins si et seulement si K(x, y) > 0. On suppose en
outre que chaque état n'a qu'un nombre fini de voisins, ce qui permet de
définir exactement comme dans la partie Il la fonction C (supposée strictement
positive) et la matrice de transition P, supposée de nouveau irréductible sur
E.
E est ainsi un espace métrique : la distance entre 2 états est (comme pour tout
graphe) la longeur du plus court chemin (fait de voisins successifs) les reliant.
Fixons un état a, et pour tout r EN* notons Sr= S(a, r) la sphère de Ede
centre a et de rayon r .
Pour chaque r, considérant n'importe quel sous-réseau fini de E contenant la
boule fermée B(a, r), la résistance effective R~r est bien définie par la question
11. La résistance effective R': du réseau E entre a et l'infini est définie par :
R': := lim R~r E JO, oo].
r-+oo

12) Justifier l'existence de la résistance R':, expliciter sa valeur à l'aide de

C(a) et de Pa(T~ = oo), et en déduire qu'elle est infinie si et seulement si la
matrice P est récurrente.
Exemple : pour chaque entier d 2 2 , le réseau électrique dénombrable Rd
est l'arbre (non homogène) construit à partir d'un état initial a E Rd par
récurrence, comme suit : de a partent d segments de longueur 1, dont les
extrémités définissent d nouveaux états de Rd, constituant 81 = S 2i _ 1 ; de
chacun des dn états de la sphère S2n-1 partent d segments de longeur 2n
(comportant donc chacun 2n autres états), dont les extrémités constituent la
sphère S2n+L1 ; de sorte que chacune des 2n sphères S2n, S2n+i, ... , S2n+L1
comporte ~+1 états.
13) Dessiner la boule B(a, 7) de l'arbre R2 {donc ici d = 2).
On choisit de fixer K(x, y) = 1 pour toutes les paires de voisins x, y dans
Rd.
14) Calculer (pour d 2 2) la résistance R~2 n-i de façon électrique, en confon-
dant les états de même potentiel V. En déduire R':. Pest-elle récurrente sur
Rd?
158 CHAPITRE VII. PROBLÈMES

VII.19 Opérateur associé à une transition

Fixons pour tout l'énoncé une chaîne de Markov (Xn) de matrice de tran-
sition P, sur un espace d'états discret (fini ou dénombrable) E. On note
Fn := u{Xo, ... , Xn}· Dans tout l'énoncé h désignera une fonction de E
dans R, qu'on supposera toujours bornée. Il est rappelé que h s'identifie à un
vecteur colonne sur E, et qu'ainsi la fonction Ph est définie par le produit
matriciel. On s'intéresse ici à l'opérateur h t--+ Ph associé à la (matrice de)
transition P.
1) Justifier que la fonction Ph est bien définie, et vérifier qu'elle est bornée.
2) Montrer que JEe(h o Xn) = pnh(e), pour tous e E E et n EN.
3) Montrer que JEv(h o Xn+I X lAn) = JEv((Ph) o Xn X lAn), pour tous
n E N , An E Fn , et toute loi v sur E.
4) Montrer que si Ph s h, alors (ho Xn) est une surmartingale.
5) Montrer que si (E, P) est irréductible et si (hoXn) est une surmartingale,
alors Ph h.s
6) Montrer que si Ph s h, alors lim ho Xn existe presque sûrement et
n--+oo
dans tous les V (1 S p < oo ). Que peut-on dire de JE ( J~~ ho Xn 1 Fm) ?
s
7) Montrer que si Ph h et si (E, P) est irréductible et récurrente, alors
h est constante. (Considérer 2 points distincts de E .)
8) Pour tout temps d'arrêt presque sûrement fini T, et pour tout e E E,
notons Prh(e) := JEe(h o Xr), ce qui définit l'opérateur Pr : h t--+ Prh.
Déterminer l'opérateur composé PsPr, lorsque Set T sont 2 temps d'arrêt
presque sûrement finis.
9) Fixons une partie non vide D de E, et notons Tv := min{n EN 1 Xn E
D} , que nous supposerons presque sûrement fini. Prv est défini comme dans
la question précédente. Montrer que P Prv h = Prv h sur le complémentaire
De de D dans E . Que vaut Prv h sur D?
s
10) Montrer que si Ph h sur D et si Prvh = h, alors lim. hoXn existe
n--+oo
presque sûrement et dans tous les V .
Exemple: Supposons dorénavant que E = N, avec P(n,n+l) = l-P(n,n-
1) = p pour tout n E N*, et P(O, n) = JP>(Y = n) pour tout n E N, où Y
est une variable aléatoire à valeurs dans N* fixée, et p E]O, 1[ est un réel fixé.
Notons a :=JE [(-!?)Y J.
VII.20. POTENTIEL D'ÉQUILIBRE 159

11) Chercher toutes les fonctions f sur E telles que P f = f .

12) Notons To pour le temps T{o} défini en (9) ci-dessus, et pour tout n EN:
g(n) := lPn(To < oo). Montrer que Pg ~ g.
13) Étudier en fonction de p la récurrence de la chaîne (Xn), et la valeur de
g.

VII.20 Potentiel d'équilibre

L'objet de ce problème est l'étude du potentiel d'équilibre (électrostatique)
associé à une chaîne de Markov et à une partie de son espace d'états.
1. Fixons un espace d'états E fini ou dénombrable, une matrice stochas-
tique P sur E, la chaîne de Markov {Xn 1n EN} associée (E, P), une partie
non vide A de E, et un réel À > 0. Considérons le temps d'atteinte de A :
r := inf{n E NIXn E A} E NU {oo}, et les deux fonctions u eth>. définies
sur Epar:
u(x) := lEx(r);
1) Montrer que pour tout k EN on a r = k+ro()k sur l'événement {r 2: k}.
2) Montrer que u(x) = 1 + Pu(x) pour tout x E Ac.
3) Trouver et prouver la formule analogue relative à la fonction h>..
Considérons le noyau Q défini par Q(x, y):= lAc(x)P(x, y), (V x, y E E).
N-1
4) Montrer que U =L Qn lAc + QN U, pour tout N E N*.
n=O
5) Montrer que h>. = L e->.n Qn lA.
nEN

6) Montrer que u= L nQnlA. (Indication : utiliser - :>. h>. .)

neN*
N-1 N
7) Montrer que L Qn lAc = L:nQn lA + NQN lAc (V NE N*).
n=O n=l
Supposons dorénavant la chaîne positivement récurrente,
de loi invariante v .
8) Montrer qu'il existe une fonction f de E dans lR+ telle que QN u converge
simplement vers f lorsque N -7 oo , et f = Qf .
160 CHAPITRE VII. PROBLÈMES

9) Montrer que u = L Qn lAc + f.

nEN
10) Déduire que nécessairement f est nulle.
11) Déduire que u est la plus petite des fonctions v 2:: 0 sur E telles que
V= lAc + Qv.

12) Montrer que si une fonction v-intégrable g 2:: 0 vérifie Qg = g, alors

elle est nulle. (Indication : penser au support de v, et montrer d'abord que
Pg = g.)
II. Sur l'espace d'états N, considérons la matrice stochastique P définie
par: P(O, 0) = qo = 1- Po= 1- P(O, 1), puis P(n, n + 1) = Pn = 1- Qn =
1 - P(n, n - 1), où 0 < Pn < 1 pour tout n EN* et Po> 0.
1) Déterminer les périodes de la chaîne de Markov définie par (N, P).
2) Déterminer les mesures invariantes pour P .
Fixons un réel t > 2, et supposons dorénavant que Pn = 1/t pour tout
n EN*. Reprenons les notations de 1. ci-dessus, en fixant A= {O}.
3) Déterminer les fonctions g sur N qui vérifient Qg = g. (Indication :
considérer Wn := g(n + 1) - g(n).)
4) Calculer v; les fonctions g solutions de Qg = g sont-elles v-intégrables?
5) Déterminer la fonction u. (Indication: utiliser (I.11), et s'inspirer de (11.3)
pour déterminer d'abord u(n) en fonction de u(l); en déduire finalement la
valeur de u(l).)

VII.21 Optimisation markovienne

L'objet de ce problème (inspiré de I. Sonin, The state reduction and re-

lated algorithms and their applications to the study of Markov chains, graph
theory and the optimal stopping problem, Advances in Mathematics 145, 159-
188, 1999) est l'utilisation d'une chaîne de Markov pour atteindre une valeur
optimale.
Fixons pour tout l'énoncé une chaîne de Markov (Xn) de matrice de tran-
sition P, sur un espace d'états discret (fini ou dénombrable) E, et une fonction
g bornée de E dans ~+ . Rappelons que les fonctions sur E sont identifiées
à des vecteurs-colonnes.
1. Pour tout x E E , posons

V(x) := sup{ lEx [g(Xr)] 1 T temps d'arrêt IPx-p.s. fini de la chaîne(Xn)}

VII.21. OPTIMISATION MARKOVIENNE 161

puis Vo := g, et pour tout n E' N* : Vn := max{g, PVn-1}.

1) a) Montrer que si la chaîne (Xn) est irréductible récurrente, alors V est
constante, et donner sa valeur.
b) Déduire que la borne supérieure de la définition de V n'est pas nécessai-
rement un maximum.
2) a) Soient ê > 0, et pour chaque y E E, un temps d'arrêt TY IP'y-p.s. fini
tel que V(y) < ê + lEy[g(XrY )]. Montrer que
T := 1 + L: l{Xi=y} TY o () est un temps d'arrêt IP'x-p.s. fini pour tout x.
yEE

b) Déduire que V 2". max{g,PV}.

3) Montrer que la suite (Vn) croît vers une fonction V00 •
4) Montrer que V00 :::; V et que V00 = max{g, PV00 } .
5) a) Montrer que six E E et si Test un temps d'arrêt, alors IP'x(T = 0)
vaut 0 ou 1.
b) Montrer que six E E et si Test un temps d'arrêt tel que T 2". l{Xo=x},
alors T' défini en w En par T'(w) := T(xw)-1 (où xw En est la trajectoire
telle que xw (0) = x et xw (1 + n) = w(n) pour tout n E N) est un temps
d'arrêt, tel que T = 1 + T' o () sur {Xo = x}.
c) Supposons que V(x) > g(x) + ê pour x E E et pour un certain ê > 0,
et fixons un temps d'arrêt T tel que V(x) < ê + lEx[g(Xr)]. Déduire de (a)
et (b) ci-dessus que V(x) < ê + PV(x).
d) Déduire que V = max{g, PV} .
6) Soit W une fonction bornée de E dans R+ telle que W 2". PW.
a) Déduire de (5,a,b) ci-dessus que si T est un temps d'arrêt tel que T:::;
n, alors (Vx E E) on a lEx[W(Xr)]:::; max{W(x),PW'(x)}, où W'(x') :=
lEx' [W(Xr' )] , pour un temps d'arrêt T' tel que T':::; n - 1.
b) Montrer par récurrence que pour tout x E E et tout temps d'arrêt
borné T: lEx[W(Xr)] :::; W(x).
c) Déduire que pour tout x E E et tout temps d'arrêt T IP'x-p.s. fini, on
a lEx[W(Xr)] :::;W(x).
7) Soit U une fonction bornée de E dans R+ telle que U 2". g et U 2". PU.
Montrer que V:::; U et que V= V00 •
II. Supposons dorénavant que F := {V = g} n'est pas vide, et que le
temps d'atteinte S de F est lP'x-presque sûrement fini, pour un x E E fixé.
162 CHAPITRE VII. PROBLÈMES

Posons h(y) := lEy [g(Xs)], pour tout y E E tel que Py(S < oo) = 1.
8) Montrer que si y E Fe, P(y, z) > 0, et Py(S < oo) = 1, alors Pz(S <
oo) = 1.
9) Montrer que V= lFV + lFcPV.
N-1
10) Déduire que V= L(lFcPrlFV + (lFcP)NV pour tout NE N*.
n=O
11) Montrer que pour tout N E N on a (lFcP)Nl (y) = Py(S ~ N) pour
tout y E E.

12) Déduire que V(x) = [t,(1,.P)"lFV ]<x).

13) Montrer que h = lFV + lFcPh.

14) Déduire pour h une formule analogue à celle de (10).
15) Déduire que V(x) = h(x).

VIl.22 Image d'une matrice I - P

L'objet de ce problème est l'obtention d'une caractérisation de l'image de
la matrice I - P associée à une matrice stochastique P.
Fixons une matrice de transition P sur E := {1, ... , n} (pour n fixé dans
N*). Notons I la matrice unité (indexée par E), C(e) la classe de communica-
tion de l'état e , et C1, ... , Cq la liste des classes de communication de (E, P).
On identifie toute fonction sur E (à valeurs réelles dans ce problème) à un
vecteur-colonne indexé par E (et donc à un vecteur de :IRn).
0) Montrer que tout état conduit à un état récurrent. (On poura par exemple
considérer l'ensemble des états auxquels un état donné conduit.)
1) On suppose (dans cette seule question) que la matrice Pest réversible : il
existe une loi v sur E telle que pour tous j, k E E : Vj > 0 et Vj P(j, k) =
Vk P(k,j).

a) Montrer qu'un état j conduit à un état k si et seulement si k conduit

àj.
b) Peut-il y avoir des états transitoires pour (E, P)?

Revenons au cas générique de P non nécessairement réversible ; mais

supposons dorénavant que tous les états sont récurrents.
VII.22. IMAGE D'UNE MATRICE I - P 163

2) Montrer que si f est une fonction constante sur chaque classe de commu-
nication, alors P f = f .
3) Montrer qu'un état j conduit à un état k si et seulement si k conduit à
j.
4) Donner un contrexemple à 2) et 3) ci-dessus avec (E, P) contenant un état
transitoire.
5) Soient v une loi invariante sur (E, P), C une classe de communication
de (E, P), et vc := lev la restriction de v à C (c'est-à-dire v] := l{jeC} Vj
pour tout j E E). Prouver que vc est invariante sur (E, P) (on pourra utiliser
la question 3).
6) Déduire de 5) la description précise de l'ensemble des lois invariantes sur
(E, P) (en fonction des lois invariantes v 1, ... , vq sur C1, ... , Cq respective-
ment; bien justifier).

Fixons pour la suite une loi invariante v sur (E, P) dont le support est E
entier, et notons (!, g) := E Ve f(e)g(e) le produit scalaire de deux fonctions
eEE
fetg surE.
7) Montrer que pour toute fonction f sur E nous avons :
2((1-P)f,f)= L VjP(j,k) [f(j)-f(k)] 2 .
j,kEE
8) Déduire que si P f = f , alors f est une fonction constante sur chaque
classe de communication.

Pour tous j, k E E, posons Q(j, k) := vk P(k,j)/vi.

9) a) Quelles sont les classes de communication de Q?

b) Comparer les noyaux de (I - P) et de (I - Q).
10) Vérifier que ((I - P)f,g) = (!, (I - Q)g) pour toutes fonctions f et g
sur E.
11) Déduire que l'image de (I -P) est dans (~n, (-, ·)) l'orthogonal du noyau
de (I -P).
12) Déduire que h E Im(I - P) si et seulement si E vj hj = 0 pour toute
jECk
classe ck
(vk désignant la loi invariante sur Ck, et Im(I - P) = (I -P)(~n) l'image de
(I - P)).
164 CHAPITRE VII. PROBLÈMES

Vll.23 Semi-groupe de ~ = P- I
Fixons n E N*, E := { 1, ... , n}, et une matrice de transition P irréductible
sur E. Notons 1 la fonction constante égale à 1, I la matrice unité (sur E),
li la loi invariante, et !:l. := P - I . On identifie toute fonction sur E (à valeurs
réelles ou complexes) à un vecteur-colonne indexé par E (et donc à un vecteur
de en). L'objet du problème est une étude de la famille de matrices indexée
tq
par t E ~+ : Ht := exp(t!:l.) = L 1 !:l.q.
qENq.

0) Vérifier que Ht = e-t exp(tP), et que Hs+t = H Ht, pour tous s, t

8 ~ 0.

1) Vérifier que Htl = 1 et -dtHt = Ht!:l. = !:[Link], pour tout t ~O.

2) Montrer que les valeurs propres de P sont de module 1, et que les s
vecteurs propres de P sont soit dans le noyau de !:l. soit dans le noyau de la
loi invariante.
3) Montrer que le noyau de/),. est réduit aux fonctions constantes.
4) Montrer que pour tout t ~ 0 Ht est une matrice stochastique admettant
la loi invariante li .
5) Montrer que IHtflP S Ht(lflP), pour tout t ~ 0, toute fonction f sur E,
et tout p E (1, oo[.
6) Montrer que si Pest apériodique, alors pour tous x, y E E :

Supposons dorénavant que la matrice P est réversible :

llj P(j, k) = llk P(k,j) pour tous j, k E E.

7) Vérifier que lljHt(j,k) = llkHt(k,j), pour tous j,k E E et t ~O.

Notons (!, g) := L: lie f (e)g( e) le produit scalaire de deux fonctions f et

eEE

g sur E, et pour 1 S p < oo : llfllp := [ L: lie lf(e)IP] l/p

eEE

8) Vérifier que (P f, g) = (!, Pg), (!:l.f, g) = (!, !:l.g) et (Htf, g) = (!, Htg),
pour tout t ~ 0 et toutes fonctions f, g sur E.
9) Vérifier que llPfllp S llfllp et llHtfllp S llfllp, pour tout t ~ 0, toute
fonction f sur E, et tout p E (1, oo[. Qu'en est-il pour p = oo?
10) Montrer que les valeurs propres de !:l. sont réelles s 0. (On pourra
considérer (!:l.f, f).)
VII.24. THÉORÈME DU RENOUVELLEMENT 165

11) Déduire (sans supposer l'apériodicité; on pourra utiliser aussi la propriété

de symétrie de la question 8, et éventuellement la question 4) que pour tous
x,y E E:
t~oo
Ht ( x,y ) vy.

VII.24 Théorème du renouvellement

Soit µ une loi sur N*, telle que le p.g.c.d. de son support est 1. Soit
{Xn 1 n EN*} une suite de v.a.i.i.d. de loi µ.Pour tout n EN, posons
an:= min { k EN j X1 + · · · + Xk ~ n}, et Yn := X1 +···+Xun - n.
1) Montrer que Y est une chaîne de Markov sur N, et donner sa matrice de
transition P (distinguer suivant que Yn = 0 ou Yn > 0).
2) Supposons X1 intégrable. Calculer la limite lorsque n--+ oo de lP'(Yn = 0)
(on pourra utiliser les exercices IV.2.2.c et IV.4.11.b).
3) Déduire le «théorème du renouvellement» : si X1 est intégrable, alors
lim 1P'((3 k E N*) X1
n~oo
+ · · · + Xk = n) = lE(X1)- 1 .
4) Que se passe-t-il si l'on rajoute la possibilité que 1 > µ( {O}) > 0?
n
5) Montrer que pour tout n E N*··: pn(o, 0) = L µi pn-j (0, 0) , et déduire
j=l
que n
pn(o,o) = L
6) Pour tout s E JO, 1[, exprimer L pn(o, 0) sn en fonction de JE( sx1 ).
nEN

7) Fixons NE N*, puis notons µ(N) la loi de xiN) := min{X1,N}, et yN la

chaîne de Markov associée à µ(N) (comme Y ci-dessus est associée àµ). Notons
encore PN la matrice de transition de YN. Expliciter µ(N) en fonction de µ
et N, et déduire de la question 5) que PiV(O, 0) ~ pn(o, 0) - 21P'(X1 ~ N)
pour tout n E N*.
8) Déduire que le théorème du renouvellement de la question 3) reste valable
lorsque X 1 n'est pas intégrable.
166 CHAPITRE VII. PROBLÈMES

VII.25 Temps moyens d'atteinte et pseudo-inverse

Fixons pour tout l'énoncé une chaîne de Markov (Xn) de matrice de tran-
sition P, sur l'espace d'états fini E := {1, ... , d}. Le but de ce problème
(inspiré de C.D. Meyer, The role of the group generalized inverse in the theory
of finite Markov chains, SIAM Review, volume 17 n° 3, juillet 1975) est de
fournir une expression générale pour la matrice des temps moyens d'atteinte
M := ((lEi(Tj)))i,jEE (généralisant les cas particuliers vus dans les problèmes
VIl.9, VII.16 et VII.17), dans le cas irréductible.
Rappelons que les fonctions sur E sont identifiées à des vecteurs-colonnes,
et les mesures sur E à des vecteurs-lignes.
n-1
1. 1) a) Quelle est la limite lorsque n---+ oo de ~ l: pk ?
k=O
b) Montrer que les valeurs propres de P sont de module~ 1.
c) Montrer que si P est irréductible et apériodique, alors ses valeurs
propres # 1 sont de module < 1 , et que la multiplicité de sa valeur propre 1
est 1.
d) Montrer que si P est irréductible, alors la multiplicité de sa valeur
propre 1 est 1 (on pourra utiliser la preuve d'un théorème du cours, ou le
problème VII.23, 3).
2) Soient f E {1, ... , d - 1}, E := {f + 1, ... , d}, TË le temps d'atteinte de
E , et P la matrice de format f x f formant le bloc supérieur gauche de P :
Ë'(i,j) := P(i,j) pour 1 ~ i,j ~ f. On suppose P irréductible.
a) Comment est faite la matrice de transition P de la chaîne arrêtée
(Xmin{n,TË})?

b) Montrer que (P)k converge lorsque k ---+ oo, et décrire autant que
possible sa limite.
c) Déduire que P n'a que des valeurs propres de module< 1.
d) Qu'en est-il si, au lieu de P, on considère n'importe quelle autre matrice
déduite de P par la suppression de (d - f) lignes et des (d - f) colonnes de
mêmes indices ?

II. Considérons une matrice relle A, de format d x d. On dira qu'une autre

matrice relle A' de format d x d est un pseudo-inverse de A lorsque :
AA' = A' A , A = AA' A , et A' = A' AA' .
1) Montrer que l'existence d'un pseudo-inverse A' implique que rang(A) ==
VII.25. TEMPS MOYENS D'ATTEINTE ET PSEUDO-INVERSE 167

Inversement,
supposons (pour les 5 questions suivantes) que rang(A) = rang(A 2 ).
2) Montrer que le noyau et l'image de A sont en somme directe.
3) Montrer que A est semblable à une matrice ( ~ 8), avec B inversible de
format rang(A) x rang(A).
4) Déduire l'existence d'un pseudo-inverse A'.

Considérons un pseudo-inverse quelconque A" de A.

5) Montrer que AA" est semblable à une matrice ( ~ 8), Ir désignant la

matrice unité de format rang(A) x rang(A).
6) Déduire que A" = A' .

III. Supposons P irréductible. Notons Id la matrice unité de format

d
dx d, et posons JJMJJ := m~ E IM(i,j)I, pour toute matrice M de format
1:5i:5d j=l
d X d.
1) Déduire de (1.1.d) et de (11.4) que A := (Id - P) admet un pseudo-inverse
A'.
(Indication : on pourra trigonaliser P.)
n-1
2) Montrer que ~ E pk = ~(Id - pn)A' +Id - AA', pour tout n EN*.
k=O
n-1
3) Déduire que lim ~ E pk existe, et donner sa valeur.
n--+oo k=O
(Indication: montrer que li· li est une norme et majorer llM x Ali.)
4) Montrer que la matrice Id - AA' a toutes ses lignes égales à la probabilité
invariante de la chaîne.

IV. Supposons P irréductible. Soient Tj := min{n E N*J Xn = j} le temps

de retour en j E E, et M la matrice de coefficients Mij := lEi(Tj) (pour
1 :S i,j ::::; d). Pour toute matrice M' de format d x d, notons D(M')
la matrice diagonale dont les termes sont (dans le même ordre) ceux de la
diagonale de M'. Notons enfin U la matrice de format d x d dont tous les
coefficients valent 1, et, comme en (111.1) ci-dessus, A:= (Id - P).
1) Montrer que AM= U - PD(M).
168 CHAPITRE VII. PROBLÈMES

2) Soit M' une matrice de format d x d telle que AM'= U - PD(M').

a) Montrer que D(M') = D(M).
b) Déduire qu'il existe une matrice T telle que M - M' =(Id -AA') T.
c) Déduire de cela et de (111.4) que M = M'.
3) Déduire de 1), 2) ci-dessus et de (111.4) que
M =(Id -A'+ UD(A')) x D(M).

VIl.26 Processus de renouvellement sur N

L'objet de ce problème est la détermination des tribus asymptotique et
invariante associées à un type simple de chaîne de Markov sur N.
À toute suite p = (Pk)keN E [O, l]N, on associe la matrice de transition P,
sur l'espace d'états N, définie par :

P(k,O) = Pk et P(k,k+ 1) = 1-pki pour tout k EN.

Notons X= (Xn)neN la chaîne de Markov associée à P, définie sur l'espace

k-1
canonique (n, (Fn)neN ,JP). Notons également 7rk := TI (1- Pj), pour tout
j=O
k E N*, et 7ro := 1 .
1. 1) Pour quelles suites p la chaîne (N, P, X) est-elle irréductible?
On supposera dorénavant que cette condition est réalisée.
2) a) Justifier l'existence de 7r00 := lim 7rk E [O, 1], et préciser quelles sont
k--too
les suites p vérifiant la propriété : 7r00 = 0 .
b) Démontrer que I:: Pk 7rk = 1 - 7roo .
kEN
3) Pour quelles suites p la chaîne (N, P, X) est-elle récurrente?
4) a) Écrire en détail les équations signifiant qu'une mesure est invariante
pour la chaîne (N, P, X).
b) Montrer que la chaîne (N, P, X) admet au plus une mesure invariante
(non nulle, à constante multiplicative près), et donner son expression.
c) À quelle condition la chaîne (N, P, X) admet-elle une mesure invariante
non nulle?
VII.27. ALGORITHME DE PROPP-WILSON 169

5) Donner un exemple de suite p pour laquelle la chaîne (N, P, X) est tran-

sitoire, un exemple de suite p pour laquelle la chaîne (N, P, X) est nulle-
récurrente, et un exemple de suite p pour laquelle la chaîne (N, P, X) est
positivement récurrente.

II. Notons g := n
nEN
a{ Xn, Xn+I, . .. } la tribu asymptotique, et introduisons

la tribu invariante I := {A E F 00 j e- 1 (A) =A presque sûrement.}.

6) Soit A E I. Montrer que A est p.s. égal à un événement A' E g.
7) Pour tout A E I et tout m EN, posons h1i.(m) := ]p>m(A). Montrer que
Phti. = h1i..
8) Réciproquement, soit h une fonction bornée sur N telle que Ph = h.
Montrer que (ho Xn) est une martingale, et qu'il existe une variable aléatoire
I-mesurable bornée Y telle que h(m) = 1Em(Y) pour tout m EN.

III. Supposons dorénavant la chaîne (N, P, X) transitoire, fixons une fonction

h bornée sur N telle que Ph = h, m E N, et notons pour tout n E N :
Tn := inf{k EN 1 Xk = n}.
9) Montrer que h(m) = lEm[h o Xr] (VT temps d'arrêt ]p>m-p.s. fini).
10) Déduire que h est nécessairement constante, et que la tribu I est p.s.
triviale.
11) Justifier que Z := lim (n - Xn) existe presque sûrement et est Q-
n--+oo
mesurable, mais non I-mesurable.

12) Notons 110 := { w E 111 Z(w) = J~~ (n - Xn(w)) }, et fixons un

événement asymptotique : A E g .
a) Vérifier qu'on a p.s. : Z(w) = Z(w') ~ lA(w) = lA(w').
b) Trouver une partie B de N telle que A= z-
1 (B) presque sûrement,

de sorte que g est presque sûrement égale à la tribu engendrée par la variable
aléatoire Z .

VII.27 Algorithme de Propp-Wilson

Ce problème, inspiré de [H], décrit un algorithme (dû comme son nom
l'indique à Propp et Wilson) qui permet d'obtenir une variable aléatoire dont
170 CHAPITRE VII. PROBLÈMES

la loi (sur un ensemble fini donné) est fixée à l'avance, à l'aide d'une chaîne
de Markov réversible.
Fixons une probabilité µ sur un espace d'états fini E = {e1, ... , eN }, tel
que le support de µ soit E entier, et soit P la matrice de transition sur E
telle que pour tous états distincts e, e' :
P(e,e') = -k min{l, µ(e')/µ(e)}.
1) Montrer que Pest irréductible et apériodique sur E.
2) Calculer µ(e)P(e, e') - µ(e')P(e', e), pour tous e, e' E E.
3) Montrer que µ est invariante pour P. Est-ce la seule loi invariante pour
P?
j
Pour tous e E E et j E {O, ... , N}, posons Pi(e) := l: P(e, ek)· Notons f
k=l
N
la fonction de Ex [O, 1] dans E définie par f(e, u) := ?: l[p;-i(e),p;(e)[(u) ej.
3=1
Fixons une suite de v.a.r.i.i.d. U = {U-k 1 k EN}, de loi uniforme sur [O, l].

4) Préciser, pour chaque e E E, quelle est la loi de f(e, Uo).

Considérons l'algorithme suivant, qui démarre avec n = 0:

- pour chaque e E E , posons :

... , X~t := f(X~t- 1 , U-k), ... , x;·e := J(X1:._f, Uo);

- si x;·e ne dépend pas de e E E, on fixe Y:= x;·e et on s'arrête; sinon,

on incrémente n de 1 et on recommence à l'étape précédente.
Lorsque cet algorithme converge (c'est-à-dire qu'il s'arrête en un nombre
fini d'étapes), il produit une variable aléatoire Y= Y(U) E E.
5) Montrer que la probabilité que cet algorithme converge vaut soit 0 soit 1.
(Indication : considérer pour tout q EN l'événement
Aq :={l'algorithme associé à la suite translatée (U-q-k) converge}.)
6) Déduire que cet cet algorithme converge presque sûrement.

Fixons ê > 0, et n EN* tel que 1P( n {Y= x;·e}) > 1-

eEE
ê.

Considérons une variable X1:._fn de loi µ , puis : X~~n := f (X1:._fn, U1-2n),

... '
n,µ ·-
X -k .-
J(Xn,µ u )
-k-1' -k ' ... '
xn,µ
0
·- f(Xn,µ
.-
TT)-· Y' .
-1 'uo -.
VIJ.28. REPRÉSENTATION DÉTERMINISTE D'UNE CHAÎNE 171

7) a) Quelle est la loi de Y'? b) Majorer JID(Y =!=Y').

c) Montrer que la loi de Y est µ .

8) Soient c E]O, ~[et P := (i1{2

é 1 ~ 2 ), sur E := {a,b}.

a) Préciser la loi invariante de P.

Soient (Xn) et (X~) deux chaînes de Markov indépendantes, de matrice de
transition P, et telles que JID(Xo =a) = JID(XG = b) = 1. Soit N := inf{n E
N*IXn =X~}.

b) Quelle est la loi de N ? c) Quelle est la loi de X N ?

d) Comparer, et conclure.

VIl.28 Représentation déterministe d'une chaîne

L'origine de ce problème est une idée de S. Attal, exposée par lui à Stras-
bourg. Il s'agit de représenter une chaîne de Markov donnée à l'avance par un
schéma déterministe itéré, au niveau d'un espace plus gros. Fixons un espace
d'états (fini ou dénombrable) E, un espace probabilisé (F, F, µ), et une ap-
plication mesurable X de Ex F dans E. Notons ( n = pN*, F 00 , (Fn), JlD =
µ®N*) l'espace canonique des trajectoires w = (w1, w2, .. .) associé à (F, F, µ),
muni de son opérateur de décalage (), et notons T l'application de E x n
dans EX n définie par: T(e,w) := (X(e,w1),0w).
1) Vérifier que Tn(e,w) = (Xn(e,w),Onw) pour tout n EN, et pour une
suite d'applications (Xn), Xn étant Fn-mesurable de EX n dans E' à définir
par récurrence.
Considérons la matrice stochastique P définie sur E par :

P(e, e') := µ( {f E F 1 X(e, f) = e'}).

2) Déduire que pn(e, e') = JID( {w En 1 Xn(e,w) = e'} ), pour tout n EN.
À toute fonction bornée cp de E dans E , on associe la fonction c:p de
n
EX dans E définie par : cj;(e,w) := cp(e)' et on note 'Ï' = [cp H 'Ï'cp]
l'opérateur défini par :

'Ï'cp(e) := k cj; o T(e, w) dJP(w), pour tout e E E.

3) Montrer que pour tous n EN, e E E:

172 CHAPITRE VII. PROBLÈMES

fncp(e) =ln cpoXn(e,w)dlP(w) =ln cpoTn(e,w)dIP(w).

4) Déduire que fncp = pncp, pour tout n EN.

Réciproquement, fixons une matrice stochastique P sur l'espace d'états E.
Posons F := EE (l'ensemble des applications de E dans E), et considérons
la probabilité µ sur F définie par : pour tous n E N* et ei, ei, ... , en, e~ E E,
n
µ[ {f E Fif(e1) = ei, ... ,f(en) = e~} J := IJ P(ej, ej).
j=l

5) Calculer µ( {f E F 1 fn(e) = e'}) à l'aide de P, pour tous n EN, e, e' E E.

Soit X l'application de Ex F x F dans E définie par : X(e, f, g) := g(e).
6) a) Déduire de 5) une application simple 'Î' de Ex F x F dans Ex F x F
telle que
pn (e, e') = µ ( { f E F 1 X o 'Î'n (e, f, ldE) = e'}), (V n E N, e, e' E E).

b) Posons X~(!) := X o i'n(e, f, ldE), pour tous e E E, f E F, n E N.

Pour ei, ... , en E E , évaluer

µ [{ f E F 1 Xf (!) = ei, ... , X~(!) = en} J. Commenter.

VII.29 Asymptotique de temps d'atteinte

L'objet de ce problème est l'obtention d'un équivalent asymptotique du
temps moyen que met une chaîne de Markov irréductible sur N à atteindre un
état lointain (d'après T.E. Harris, First passage and recurrence distributions,
'Iîansactions of the American Mathematical Society 73, 471-486, 1952).
Fixons une chaîne de Markov homogène X de matrice de transition P
irréductible sur N, admettant une probabilité invariante v, et notons Tk :=
min {n E N* 1 Xn = k} le temps de retour en k , pour tout k E N. Posons
Tki := IPk(Tt < Tk), pour tous k, f E N. Fixons k f:. f E N. Soient T2 :=
·+1 .
0; Tfç := Tk, ... , ri j
:=ri+ Tk o (JTk, ... les temps successifs de retour en
k, et pour tout j E N* : Ai := { 3 n E ] Tt 1 , Tt) 1 Xn = f}.
n
1) Quel est le comportement (lorsque n--+ oo) de la suite ~ L: lAi?
j=l
VIJ.29. ASYMPTOTIQUE DE TEMPS D'ATTEINTE 173

Soient Jke := min{j E N*I Te < Tf}, puis Jl,e := Jke, et pour tout
Jq
q EN* : J%t1 := JZe + Jke o ()Tk kt.
(Commentaire : On a ainsi découpé chaque trajectoire en la suite de ses « ex-
cursions » hors de { k} : XJT!-1 ri], indexée par l'entier j 2: 1 , et considéré la
k , k

sous-suite de celles de ces excursions qui passent par f .)

2) a) Justifier la finitude de Jke et des JZe.

b) Quel est le comportement (lorsque q -+ oo) de la suite JZe/ q?
JZt
c) Que vaut L: lAi ? d) Déduire que IEk(Jke) = l/Tke.
j=l

3) a) Montrer que TJkt

k = L: 1{Jkt;::::i} Tik 0 er!-1
k .
j;::::l

b) Déduire que IEk(T[kt) = IEk(Jke) x IEk(Tk)·

c) Exprimer T[kt simplement à l'aide de Te et de Tk.

d) Déduire que IEk(Te) + IEe(Tk) = "'k ~kt · e) Montrer que vk Tke = ve Tek.

Fixons 2 réels u > 0, 0 < ê < ;0 , et notons ne := [u/Toe] la partie entière

de u/Toe.

4) a) Minorer ]p>o (Te > C 0 - ê)ne) à l'aide de ]p>o (Te > T;t) et de
]p>o(l~-!0 j >ê). b) Étudier e~~(l-Toe)nt.
c) Montrer que ]p>o (Te > Tô) = (1 - Toer pour tous f, n E N*.

d) Étudier lim ]p>o ( 1&_nne - -1. 1 >

e--too t vo
ê) .
e) Déduire que liminf ]p>o(Te > (~ - ê)ne) 2: e-u.
e--too 0

f) Déduire que lim inf ]p>o (Te >

e--too vo rot
_u_) >- e-(l-voë)-2u.
5) a) Déduire que liminf ToelEo(Te) 2: 1/vo.
e--too
b) Déduire que Toe lEo(Te) --+ 1/vo et Toe lEe(To) --+ O.
e--too e--too
IEe(Tk)
c) Déduire que --+ 0 et ve Tek IEk(Te) --+ 1 pour tout
IEk(Te) e--too e--too
kEN.
174 CHAPITRE VII. PROBLÈMES

VII.30 Chaîne à boucles effacées

Fixons une chaîne de Markov homogène X = { Xn 1n E N} de matrice de
transition P irréductible sur N, admettant une probabilité invariante v. On
suppose en outre que tous les coefficients diagonaux de P sont nuls, et que
Xo=O.
Nous allons décrire un algorithme déterministe, définissant trajectoire par
trajectoire des chaînes Xq (à boucles progressivement effacées), et une chaîne
Y, dérivées de la chaîne X (d'après Q. Minping et Q. Min, Circulation for
recurrent Markov chains, Probability Theory and Related Fields 59, 203-210,
1982).
Notons & l'ensemble de tous les suites finies d'entiers qui sont injectives
et nulles en 0, notées cp = [cpo, ... , cpj] pour cp E & de longueur j + 1 (et telle
que cpo = 0).
Introduisons les temps aléatoires Tq, r;
définis par récurrence, de la façon
=
suivante : x 0 X, et pour tout q E N* :
Tq := min{n > 01 (:Jm < n) X~-l = x:Ç 1} et r; := m < Tq tel que
Xm Tq 1 ,·
q- 1 -- xq- xq
n := n 1 SI·
xq- n<
_ Tq* et xq
n := xq- 1
n-r;+rq Sl· n> *
_ Tq.
1) Justifier que presque sûrement r; < Tq < oo et r; < Tq+i (pour tout
q EN*).

La chaîne Y = {Yn 1n E N}, déduite de X, à valeurs dans & , est alors

définie par : Yn = [Xo, ... , Xn] si 0 ::; n < r1 ;
Yn.+n = [Xo, ... ,Xri•XTJ.+l• ... ,Xr1 +n] si 0::; n < r2;
(ainsi, en particulier Yr1 = [Xo, ... , Xri J) et par récurrence :

Y(r1 -ri)+··+(rq-1-r;_ 1)+rq+n = [Xg • · · · •Xi;• Xi-;+11 · · · 'Xi-;+nl

n
si 0 ::; < Tq+l - r; .
2) Exemple: décrire le début de Y lorsque X débute par
[O, 2, 3, 4, 2, 3, 5, 0, 5, 4, 5, 3, O] , précisant dans l'ordre : Ti, ri, x~~9· r2, r2,
X n~5•
2
7"3,
* x3n~3•
1"3 • T4,
* . y;o, · · ·, y,12 •
T4' pms

3) Prouver que Xi-;+n = X{ri -ri)+ ...+(rq-i-r;_ 1)+rq+n ('V q E N*, n E N),
et en déduire que pour tout m E N, posant Ym = [cpo, ... , cpj], nous avons
'Pi= Xm.
4) Déduire que Y est une chaîne de Markov homogène, et expliciter (à l'aide
de P) sa matrice de transition Q .
VII.30. CHAÎNE À BOUCLES EFFACÉES 175

Soit &' la classe de communication de [O] pour (Y, Q).

5) a) Montrer que tout c.p E ê conduit à [Oj pour (Y, Q).
b) Montrer par un exemple simple qu'il est possible que &' "- {[O]} ne
contienne que des suites de longueur 2.
6) a) Comparer les temps de retour T[o] (relatif à Y) et To (relatif à X).
b) Montrer que Q est récurrente sur &'.
c) Montrer que Q est apériodique sur &' si P est apériodique sur e.
d) Justifier l'existence d'une probabilité invariante unique pour Y, sur&'
puis sur ê, que nous noterons µ , et montrer que µ[O] = VQ •
Notons &j l'ensemble des c.p E ê qui sont de longueur j +1 : c.p =:
[[Link], · · ·, 'Pj]·
7) Pour c.p =: [[Link], ... , 'Pj] E ê et P, mesure sur ê données, calculer (p,Q)cp
(sous forme de somme, fonction seulement de c.p, µ, P).

Pour tout p EN et toute partie F c N, notons Tp le temps de retour

en F, et:

Soit µ la mesure sur e, définie par P,[o] := v0 , et sur &j :

j j
P,cp := vo x IJ P('Pk-Ii 'Pk) x IJ G ( 'Pk j{ [Link], .•. , 'Pk-1}).
k=l k=l

8) Considérons la première excursion x de X hors de 0 : c'est la trajectoire

de X arrêtée à l'instant To (supposé fini) où elle revient en 0 : x = {Xo =
0, X1, ... , Xr0 -1, Xr0 = O}.
a) Montrer que p.s. il existe ùn premier q = q(X) tel que la première
excursion de Xq hors de 0 s'écrive: {X6 = 0, X'/.= c.p1, ... , X:h ='Pm, X~+l =
O}, pour un certain m E N* et des entiers c.p1, ... , 'Pm E N* deux à deux
distincts.
b) Déduire que p.s. {Xo, ... ,Xr0 } = {O,[Link],.Ci, ... ,[Link],.Cm,O}, où pour
chaque 1 ~ k ~ m , .Ck est soit vide soit un morceau fini de trajectoire de X,
ne rencontrant pas {O, c.p1, ... , 'Pk-Ü et s'achevant en 'Pk.
c) Déduire (en utilisant une bonne partition de {To < oo}) que
176 CHAPITRE VII. PROBLÈMES

m
1= L L ITP(cpk-1,cpk)G(cpkl{cpo, ... ,cpk-d) xP(cpm,O).
mEN* cpEEm k=l

d) Déduire que (p,Q)[o] = il(o].

9) Fixons F C N et p E N"-F. Montrer que G(p 1 F) = lP [7: 1 J
P P > Tp
(Découper l'expression de G(p 1 F) - 1 suivant les valeurs de Tp et appliquer
la propriété de Markov.)
10) Adapter rapidement la preuve de 8.c) pour établir que

11) Montrer que µ = µ.

VII.31 Décomposition de Riesz

L'objet de ce problème est l'obtention de la décomposition d'une surmar-

tingale en martingale plus «potentiel». On nomme potentiel toute surmar-
tingale positive V= (Vn) telle que lim lE(Vn) = 0.
n-+oo
Soit X une surmartingale telle que inf lE(Xn) > -oo.
n

1) Montrer que pour tout n EN, Mn:= lim lE[Xn+k 1 Fn] existe presque
k-+oo
sûrement.
2) Montrer que M;i E L 1 et que lE(Mn) = lim lE(Xk), pour tout n EN.
k-+oo

3) Montrer que pour tout n EN, Mn= lim lE[Xn+k 1 Fn] dans L 1 .
k-+oo
4) Montrer que M =(Mn) est une martingale.
5) Montrer que M est la plus grande sousmartingale majorée par X.
6) Montrer que. V:= X - M est un potentiel.
7) Montrer que la décomposition précédente X = M +V (en martingale plus
potentiel) est unique.
VII.32. DÉCOMPOSITION DE KRICKEBERG 177

VII.32 Décomposition de Krickeberg

L'objet de ce problème est l'obtention de la décomposition d'une martin-
gale bornée dans L 1 en différence de deux martingales positives.
Fixons un espace probabilisé filtré (n, F, (Fn), JP). On nomme potentiel
toute surmartingale positive (Vn) telle que lim lE(Vn) = 0 .
n-too

1) Montrer qu'un potentiel converge presque sûrement vers O.

2) Montrer que si (Yn) et (Zn) sont deux martingales positives, alors (Yn -Zn)
est bornée dans L 1 (c'est-à-dire que la suite
(llYn - Znlli) est bornée).
Fixons une martingale M =(Mn) bornée dans L 1 : llMll1 := sup lE[IMnl] est
nEN
finie par hypothèse.
3) Montrer que pour tout n EN, lE(M,:i+m IFn) admet lorsque m -t oo une
limite presque sûre Yn , et que cette convergence a lieu également dans L 1 .
4) Montrer que (Yn) est une martingale positive majorant (Mn)·
5) Montrer que (Yn) est la plus petite martingale positive majorant (Mn)·
6) Montrer que Vn := Yn - M;i définit un potentiel.
7) Déduire des questions 3) et 4), puis 6), qu'il existe deux martingales posi-
tives Y= (Yn) et Z =(Zn) telles que M =Y -Z et llMll1 = llYll1 + llZll1.
8) Montrer que la décomposition de la question précédente est unique.

Vll.33 Variables échangeables

L'objet de ce problème est l'étude de la notion de suite de variables échan-

geables, qui généralise la notion de suite de variables aléatoires i.i.d., et d'éta-
blir que cette hypothèse d'échangeabilité suffit à l'obtention d'un théorème
central limite.
Fixons une suite de variables aléatoires réelles {Zj 1 j E N*} de carré
intégrable sur un espace de probabilité (n, F, JP), non presque sûrement cons-
tantes, qui vérifie la propriété d'échangeabilité suivante :
les vecteurs aléatoires (Z1, Z2, ... , Zn-1, Zn, Zn+l, .. .) et
(Zn, Z2, ... , Zn-1, Z1, Zn+l, .. .) ont la même loi, pour tout n EN*.
Autrement dit, la loi de la suite {Zj jj EN*} est invariante par échange entre
la première coordoonnée et n'importe quelle autre coordonnée.
Il est rappelé que la loi d'une suite de variables aléatoires comme {Zj 1j E N*}
178 CHAPITRE VII. PROBLÈMES

est déterminée par la suite de ses lois marginales de dimension finie, c'est-à-dire
par la suite des lois de {Z1, ... , Zn), n variant dans N*.
1) Déduire de la définition que pour tout n E N* et pour toute permu-
tation 7r de {1, ... , n} les vecteurs aléatoires {Z1, Z2, ... , Zn, Zn+ 1, ... ) et
{Zw(l)' Zw(2)' ... , Zw(n)' Zn+l, .. .) ont la même loi.
2) Justifier que par une seule transformation affine (z ~ az + b) de lR on
peut se ramener au cas où lE(Zj) = 0 et lE(Zj) = 1 pour tout j EN*.
Nous supposerons cette condition (les Zj centrées réduites) réalisée
dans la suite.
3) Posons e := Cov(Zj, Zk), pour j f:. k dans N*. Justifier que e ne dépend
effectivement pas de (j, k), et montrer que (2 E [O, 1]. (On pourra considérer

Il<[ C~, z;)'j.)

4) Donner un exemple simple de telle suite changeable {Zj 1 j E N*}, telle
que sa covariance (2 ait une valeur fixée à l'avance dans [O, 1]. (On pourra
utiliser une suite i.i.d. {Yj 1 j EN}.)
5) Montrer que si on suppose que la suite échangeable {Zj 1 j E N*} est
gaussienne, c'est-à-dire que {Z1 , ... , Zn) est un vecteur gaussien pour tout
n, alors il existe une suite i.i.d. {Gj IJ EN} de loi N(O, 1) et deux réels b,c,
tels qu'on ait Zj = b Go + c Gj pour tout j E N*.

Notation Pour tout n E N*, soit Sn la tribu engendrée par les variables
de la forme Fn o (Zi, ... , Zn), Fn = Fn(z1, ... , Zn) désignant une fonction
symétrique de (z1, ... , Zn) E Rn. Soient aussi ln la tribu engendrée par Sn
et par la suite (Zn+I, Zn+2, .. .), et 7 := ln. nn
6) Montrer que pour toute variable ln-mesurable Y, les couples {Z1, Y) et
(Zj, Y) ont la même loi, dès que 1 ~ j ~ n.
7) Déduire que pour toute fonction cp mesurable bornée de lR dans JR, nous
1 n
avons lE(cp o Z1 l'Tn) = - L cp o Zj.
n . 1
J=
8) Déduire que pour toute fonction cp mesurable bornée de lR dans JR, on a
1 n
-L
n J=
. 1
cp o Zj --+ JE( cp o Z1 17) presque sûrement lorsque n -+ oo.

9) Fixons k EN* et une fonction <P mesurable borne de JRk dans R Notons
VII.34. TROU SPECTRAL ET INTÉGRABILITÉ EXPONENTIELLE 179

(pour tout n > k) J'f: l'ensemble des injections de {1, ... , k} dans {1, ... , n}.
Montrer que

10) Déduire que pour toute fonction </> mesurable borne de IRk dans IR, nous
avons p.s. lorsque n ---+ oo :
1
k L
n I::=;ji, ... ,jk::=;n
</> 0 (Zjl'" .. 'Zjk) ----+ lE(</> 0 (Z1, ... 'Zk) 17).

11) Déduire que pour tout k EN* et toutes fonctions <p1, ... , 'Pk mesurables
bornées de IR dans IR, nous avons presque sûrement :

12) Déduire que si Z1 n'est pas /-mesurable, lorsque k ---+ oo la loi de

J[ Zi+ .. +zk
k IE(Z~ I T)-IE(Z1 I7) 2
] converge vers la loi normale centrée réduite.

VIl.34 Trou spectral et intégrabilité exponentielle

L'objet de ce problème est d'établir que l'existence (pour une matrice sto-
chastique positivement récurrente) d'un« trou spectral» entraîne l'intégrabi-
lité exponentielle des temps d'atteinte de la chaîne de Markov associée (d'après
R. Carmona et A. Klein : Exponential Moments for Hitting Times of Uni-
formly Ergodic Markov Processes; Annals of Probability 11, 648-655, 1983).

Fixons 0 < a < 1 , et une chaîne de Markov homogène X = { Xn 1 n E N}

de matrice de transition P sur E dénombrable, admettant une probabilité in-
variante v dont le support est E entier, et vérifiant le critère (de trou spectral)
suivant:
llPJll[Link]; a 111112 pour toute f E L 2 (E, v) telle que v(J) = 0.
Fixons une partie U c E non vide, et notons Tu= min{n EN* 1 Xn EU}
le temps de retour associé. Notons aussi

v(J) := J f dv = L f(e)
eEE
Ve, pour toute f E L 1 (E, v).
180 CHAPITRE VII. PROBLÈMES

T
Pour T E N*, à fixer plus tard, posons d'une part Qr := ~ E pn, et
n=l
considérons d'autre part une suite (Çn) de variables aléatoires indépendantes
et indépendantes de la chaîne (Xn), uniformes sur {1, ... , T}; et posons
Tn:=6+···+Çn pourtout nEN*, etpuis N:=min{nEN*IXrnEU}.

1) Montrer que lim pn f = v(f) pour toute f E L 2(E, v), et que P est
n-+oo
irréductible. (Remarque : ceci généralise au cas de E éventuellement infini
l'exercice IV.5.6.c).)

l
2) Montrer que 'YT := sup { llQr f - v(f)ll 2 11/llL2(E,v) ~ 1} < 1 pour tout
T E N*, et que lim 'YT = 0 .
T-+oo
3) Comparer TN et Tu, puis majorer Tu en fonction de T et de N.
4) Montrer que (Xrn) est une chaîne de Markov homogène; préciser sa tran-
sition et une mesure invariante.
5) Montrer que llQr !Il~ ~ v(/) 2 + 'Yf li/li~ pour toute f E L 2(E, v).

6) Montrer que llQr(lv !)11 2 ~ Jv(V) + 'Yf 11/112 pour toute f E L2(E, v)
et tout VcE.
7) Montrer que pour tous ô > 0 et x E E nous avons :

JEx[e 6N] = I:>ôn

n~l
([Qrlucr- 1Qrlu )(x).

(Nota Bene: QrlvQrf signifie Qr(lv x (Qrf)); et ainsi de suite.)

8) Montrer que (notant JE. [e6 Tu] la fonction E3 x !--? JE:i: [e6 Tu])

L vx(JEx[e6TuJ)2 ~ Le6Tn[v(Uc) +'Yf)(n-1)/2.

xEE n~l

9) Déduire l'existence d'un ô > 0 tel que

JE:i: [e 6 Tu] < oo pour tout x E E, et JE,,, [e6Tu] < oo.
10) Montrer que pour tout x E E il existe C > 0 tel que pour tout n EN:

1Px(Tu 2'. n) ~ C e-n/C.

Chapitre VIII

Solutions des exercices

Il me semble que je n'ai pas été autre chose qu'un enfant jouant sur le bord de la
mer, et trouvant tantôt un caillou un peu plus poli, tantôt une coquille un peu plus
brillante, tandis que le grand océan de la vérité s'étendait devant moi, inexploré.
(Isaac Newton)

VIII.1 Réponses à certains exercices du chapitre 1

Exercice 1.1. 7 Cf0 C~0!~ 2s- 2k / 0~0 (il faut tirer k paires parmi 10 puis
parmi 8 - 2k autres paires; n étant l'ensemble des parties de 8 chaussures
prélevées parmi 20).
Exercice 1.1.8 n = {O, l}N*; on obtient
I - [b/2) n cb2j
- '"' b2i n - .l!.±n.. Et '"' _ _. . . ,_. , . . ,. . .
p- L..J (b+n)2J+l - 2b+n . p - ~ (2J'+l) c2Hl
jEN J=O b+n

Exercice 1.1.9.b Nous avons

12 12 ( 1• 1)2
1- 21P(S > T) = lP(S = T) = 2: lP(S = j) 2 = 2: 6(j6)J =dis·
j=2 j=2

~
. 1.1.12 a ) Pn -- L..J (-l)k-1
E xerc1ce k! --+Poo -- 1- e,
1
et IPn -Pool < (n~l)! ·
k=l
b) Pn(k) = C~x(l-Pn-k) (n-k)! _ 1-Pn-k --+ 1
n. - ----;cr-- exk! ·

Exercice 1.1.21 Notons X:= {X sera exécuté},

GY:= {le geôlier nomme Y}, et p := lP(GY/X). Alors
lP(X/GY) = PÎI, = ~, lP(GY) = ~, lP(GZ) = ~,
lP(X/GZ)
et donc lP(X/GY U GZ) = PÎI x P1 1 + ~ x 2·? = k = lP(X) : X a raison.
 182 CHAPITRE VIII. SOLUTIONS DES EXERCICES

Exercice 1.1.22 a) IP(Tj) = IP(Tj/C) IP(C) = ~, et donc

!P(Tk/(T1 U .. · U Tk-1)c) = 1-(k~~)p/k = p+kfl-p) ·
b) IP(Tk/(T1 U ... U Tk-j)c) = l-(k{~)p/k = Pi+kÎl-p)' et
IP(Tk-i+I U ... U Tk/ (T1 U ... U Tk-i )c) = Pi+ktl-p) ·

• I 1 23 l - TD>(V/M) -
E xerc1ce JP>(M/V~JP>(V) - ~xi
. . 5 - ir - JPî(M/V)JP>(V)+(M/Vc)IlD(Vc) - k~+:{JP>(M/Vc)

d'où IP(M/Vc) = à > i12 = IP(M/V) : le vaccin est un peu efficace, sans plus.
~:~ .< Exercice 1.2. 7 a) Notant Rj := {la j-ième boule tirée est rouge} et
.... ,::). k k
·à:;;.
n
Nk := '""' IR·, nous avons IP(Rk+I) =
~ '
I: IP(Rk+i/Nk = m) IP(Nk = m) =
,;t; J=l m=O

~ r-m IP(N _ m) _ _ r_ _ IE(Nk) _ _ r_ _ L:J=l JP>(Rj) _ r-k;:f,;

L.J r+n-k k- - r+n-k r+n-k - r+n-k r+n-k - r+n-k
m=O
= r~n, par hypothèse de récurrence. Par ailleurs, l'ensemble n = Sr+n des
permutations de {1, ... , r + n}} (muni de sa loi uniforme) décrit les tirages
exhaustifs, et alors directement :
IP(R·) = Card{uE!llu(j) est rouge} = rx(r+n-1)! = _r_.
:1 Card(!l) Cr+n)! r+n
b) Notons que la somme des coordonnées du vecteur X := (Xi, X2 -
Xi, ... , Xr-Xr-1, r+n+l-Xr) vaut toujours r+n+l, de sorte que sa loi est
déterminée par: pour tous les entiers x1, ... , Xr+I EN* de somme r + n + 1,
IP(X =(xi, ... ,Xr+i)) = IP(Rx 1 n Rx 1 +x2 n ... n Rxi+···+xr) = 1/C;+n, qui
ne dépend pas de (x1, ... , Xr+I)· Ceci montre que la loi de X est invariante
par permutation de ses coordonnées, et en particulier que ses coordonnées ont
toutes la même loi, et donc la même espérance: lE(X1) = lE(X2-X1) = ... =
lE(Xr - Xr-1) = lE(r + n + 1 - Xr), d'où par récurrence: lE(Xj) = jlE(X1)
et puis r + n + 1=(r+1) lE(X1), d'où enfin lE(Xj) = j (r:;t
1) ·

Exercice 1.2.8 a) Vk+I = ( 01 1/2 1/4 0)

1 Vk si Vk := (IP!Xk
IP Xk =
= 0))
1) , selon la
o 1/4 o IP xk = 2)
formule des probabilités totales.

h) vk =
0 1/4
( 1 1/2 o)k (1
1 Vo=à 0
1 1)(00
4 -2 0 1 0
0 ) X
0 1/4 0 -1 1 1 0 0 (-1/2)k
3 0
X ( 1 1 -3)
1
(0)
0 = à(1+2(-1/2)k)
4 - 4(-1/2)k '
2 -1 2 1 1 + 2( -1/2)k
VIII.1 RÉPONSES À CERTAINS EXERCICES DU CHAPITRE I 183

d'où JP>(Xk = 2) = 1 -<-;) 1

-k --+ i.
c) Pk+I = JP>(Xk+l = 1/T 2 k, xk = 1)Pk + JP>(Xk+l = 1/T 2 k, xk = 2)qk
= JP>(Xk+l = 1/ xk = 1) Pk + JP>(Xk+l = 1/xk = 2) qk = ! Pk + qk'
et de même qk+l = JP>(Xk+l = 2/ Xk = l)Pk + JP>(Xk+l = 2/ Xk = 2)qk = !Pk,
d'où Pk+I = ! Pk + ! Pk-1 ·
d) Pk = a(1+/5)k + b(1-/5)k, avec 0 et a(l+/5) + b(1-/5) =
a+ b =Po=
!
PI = Po+ qo = 1. D'où Pk = }s ((1+/5)k - (1-/5)k). Observons ensuite
que JP>(T = k) = JP>(T 2 k, Xk = 0) = JP>(T 2 k) - Pk - qk, de sorte que nous
avons JP>(T > k) = Pk + qk = Pk + Pk-I !
= 2~ ( e+4v'5)k- 1 (2 + V5) - e-4v'5)k-\2 - V5)).
Enfin JP>(T = k) = JP>(T > k - 1) - JP>(T > k) = Pk-1 + ! Pk-2 - Pk - ! Pk-I
= Ï Pk-1 + ! Pk-2 - Pk = Ï Pk-I + ! Pk-2 - ! Pk-I - ! Pk-2 = ! Pk-1 = qk, et
JP>(T = oo) = lim JP>(T > k) = 0.
k-too

Exercice 1.2.9 Le gain arithmétique Gk correspondant à l'achat de k jour-

naux vaut
Gk = (aX -b(k-X)) l{x:::;k} + (ak- c(X - k)) l{X>k}
= (a+ c) k - cX +(a+ b + c)(X - k) l{x:::;k}·
Sa moyenne vaut donc
ek := E(Gk) =(a+ c) k- cE(X) +(a+ b + c)(E(X l{x9}) - kJP>(X ~ k)).
De sorte que ek+l -ek = (a+c)-(a+b+c) JP>(X ~ k) pour tout k EN. Donc
k i-+ ek croît tant que IP'(X ~ k) ~ a~t~c, et décroît strictement ensuite. Ce
qui signifie que la valeur n := 1 + max { k E N 1 JP>( X ~ k) ~ a~t~c} est
optimale.
365
Exercice 1.2.16 Notant E3· := 1{ , 't . .} et N := L: E3·, nous
on ecn 1e Jour J j=l

!
avons ej := E(Ej) = (1 - ej-1) + ej-1 = 1 - ej-1 (par application de la !
formule des probabilités totales et de l'hypothèse), d'où
ei - ~ = (-!)i- 1 (e1 - ~) pour 1 ~ j ~ 365. Finalement
365
E(N) = I: ej = ~ x 365 + ~(1- (-!) 365 )(e1 - ~) E 243 +] ïi, i72 [.
j=l

Exercice 1.2.19 Il suffit d'appliquer le théorème 1.2.18 de Fubini à la mesure

produit JP> © ds sur n X~+ et à la variable aléatoire (w, s) H l{z{w)>s} 2 Ü.
184 CHAPITRE VIII. SOLUTIONS DES EXERCICES

Lorsque ZEN p.s., cela donne lE(Z) = L IP'(Z > n) = L IP'(Z :2 n).
nEN n;:::i

Exercice 1.2.24 Selon la proposition 1.2.22, pour toute fonction-test (par

exemple : continue bornée) f sur ~. appliquant le théorème de Fubini nous
obtenons:
Àn+i
lE[f(X +Y)] =
(IR;+)2
li
J(x +y)
(n - 1)!
xn-i e->.(x+y) dxdy

(~"__~;,fooo [fooo f(x+y)e->.(x+y)dy] xn-idx

= (~"__~;! fooo 100 J(y) e-Ày dy xn-i dx

= Àn+l rxi f(y) e-Ày [lo[Y Xn-i dx] dy

(n - 1)! lo
= roo f(y) Àn+i yn e-Ày dy'
lo n!
ce qui signifie que X+ Y admet la densité y f--t l{y>O} >.n:~yn e->.v. D'où
lE(X +Y) = nti et Var(X +Y)= (n+il(n+2) - (nti )2 = n;i;i.

Exercice 1.2.25 Notons d'abord que puisque (X, Y) E Do:= ]1, oo[ 2 ,
(U, V) ED := { (u, v) E [1, oo[x~~ 1 ~ < v < u }, tout ceci presque sûrement,
et que l'application c/; : (X, Y) 1--t (U, V) est bijective de classe ci du do-
maine Do sur le domaine D, d'inverse c/;-i de classe ci déterminée par :
X = ViJV, Y = V'fJ7V. Pour toute fonction test F sur [1, oo[x~~. effec-
tuant le changement de variable c/; nous avons :

lE[F(U, V)]= f Do
dxdy
F(xy,x/y) ~ =
xy
1 D
dudv
F(u,v) J(u,v)-
u
2 ,

et le jacobien J(u, v) est aisément calculé :

J(u,v) = det ~ (8x _t8x)

8u 8v
= det
(..;:;;Ft
Î
2 y'Uv
#)
#2
-2v
--
1
2v·

Donc lE[F(U, V)]= { F(u,v) dud~, ce qui signifie que le couple (U, V) ad-
}D 2vu
met la densité lD(u, v) x _!._2 ·Particularisant à une fonction f
(par exemple
2vu
continue bornée sur [1, oo[) de la seule variable U, nous en déduisons :

JE[f(U)] = { f(u)dudv = roof(u)[J,u dvl du =/,oof(u)logudu,

}D 2vu2 Ji i/u v 2u2 i u2
VIII.1 RÉPONSES À CERTAINS EXERCICES DU CHAPITRE I 185

ce qui signifie que U admet la densité («marginale») l{u>i} 1~~u. De même,

la densité marginale de V vaut :

l{v>O} -21 100 du i . { -2 }

2 = l{v>O} X 2 mm v , 1 .
V max{ v,i/v} U
Il n'y a pas indépendance, puisque le produit « tensoriel »
l{u>i,v>O} 1~~f min{ v- 2, 1} des deux densités de U et de V diffère manifeste-
ment de la densité de (U, V). Nous déduisons finalement que

JE(u-i/2 y-i) = f _1 du dV =
ln ..fïiv 2vu2
{OO [
Ji
ru dV]
li;u v 2
_!!3!:_ = 4/5 •
2u5/2

Exercice 1.2.26 Voir la section 1.3.41: (Ni, ... ,Nr) a la loi multinômiale:

P((Ni, ... ,Nr)=(ni, ... ,nr))=

ni.1 X
n!
... X nr.1 xp~ 1 X ... Xp~r,
pour tout (ni, ... , nr) E l'~t tel que ni + · · ·+ nr = n . En particulier, oubliant
la distinction entre les boules non marquées j , nous obtenons pour Ni la loi
binômiale B(n,pi), d'où lE(Ni) = npi, Var(Ni) = npi(l - Pi)· Et oubliant la
distinction entre les boules marquées ni j ni k, nous avons pour (Ni, Nk) la
loi trinômiale :
lJ:l>(Ni =ni' Nk = nk) = r r ( n! )' pj; PZk (1 - Pi - Pkr-n;-nk'
[Link]. n-ni-nk.

pour tout (ni, nk) E N2 tel que ni+ nk ::; n. D'où en particulier

JE(N3· Nk) = '°'

L.J
n! X ni nk n; nk (1
n·!nk!(n-n·-nk)! xpi Pk -pi-Pk
)n-n;-nk
n;+nk::=;n J J

n! x P? PZk (1- Pi - Pkr-n;-nk

L
n;,nk;::::i,n;+nk:::;n (n·J -1)! (nk -1)! (n- n·J - nk)!
(n - 2)! x pj P% (1 - Pi - Pk)n-2-a-b
= n(n - l)PiPk
a!b!(n-2-a-b)!
a,bEN, a+b::=;n-2

= n(n - 1) Pi Pk .
Donc Cov(Ni, Nk) = n(n-1) Pi Pk -npi x npk = -npi Pk. Enfin le nombre
moyen de j tels que Ni = 0 est

JE [t
i=i
l{N·=O}l =
J
f, lJ:l>(Ni = 0) = i=i
i=i
f, (1- Pir·
186 CHAPITRE VIII. SOLUTIONS DES EXERCICES

Exercice 1.3.6 Le gain vaut

a l{X=a;::::V} + b l{X=a<V} + b l{X=b;::::V} +a l{X=b<V},
d'espérance a!b + b2a JP>(a < V ~ b), qui est > a!b pour tous a et b si et
seulement si la fonction de répartition de V est strictement croissante sur ~+.

Exercice 1.3.23 a) Puisque la loi JP> est uniforme elle est invariante par
toute translation à droite dans le groupe St : pour toute 7r E St , notant
r'/l'(a) := a o 7r, nous avons JE[/ o r'/I"] = JE[!] pour toute fonction f sur St.
Appliquant ceci avec la transposition 7r = (12) = [1 i---+ 2 i---+ 1], nous obtenons
en particulier pour tout k E {2, ... , f} :
JP>(N2 = 1, Na = na, . .. , Nk = nk)
= JP>(N2 o T(12) = 1, Na o T(12) =na, ... , Nk o T(12) = nk)
= JP>(N2 = O,Na =na, ... ,Nk = nk),
car Ni o rc 12) = Nj pour j ~ 3 , tandis que N2 o T(I2) = 1 - N2 . Donc

JP>(N2 = n2, Na= na, ... , Nk = nk) = JP>(N2 = 0, Na= na, ... , Nk = nk).

Supposons (par récurrence) que pour un certain j E {2, ... , k- 1} nous ayons

JP>[N2 = n2, ... , Nk = nk] = JP>[N2 = 0, ... , Ni = 0, Ni+l = ni+i, ... , Nk = nk]·
Notons que {N2 = 0, ... , Nj = O} = {a1 < ... < O"j}, et que
{N2 = ... =Ni= O,Nj+l = ni+i}
= { 0"1 < · · · < O"j-n;+1 < O"j+l < O"j+l-n;+1 < · · · < O"j }.
De sorte que la permutation circulaire
7r := [i + 1 i---+ j + 1 - ni+l i---+ j +2- ni+l i---+ ••• i---+ j i---+ j + 1]
est telle que { N2 o r'/I' = ... = Nj o r'/I' = 0, Nj+l o r'/I' = ni+I}
= {a1 < ... < O"j+i} = {N2 = 0, ... ,Nj+l = O}
et laisse Nj+2, ... , Nk invariants. Nous avons donc

= JP>(N2 o r'/I' = 0, ... , Ni o r'/I' = O, Nj+l o r'/I' = ni+li ... , Nk o r'/I' = nk)
= JP>(N2 = 0, ... , Ni = 0, Ni+l = 0, NH2 = ni+2, ... , Nk '== nk).
Cela prouve (par récurrence sur j) que pour tout k E {2, ... , f} :
VIII.1 RÉPONSES À CERTAINS EXERCICES DU CHAPITRE I 187

_ _ c;ct-k)! _ 1
- P(u1 < ... < uk) - t! - kî ·
b) La question précédente montre en particulier que nous avons pour tout
2~k~f:
1 (k - 1)! 1
P(Nk = nk) = L k! k!
= -,
k
O$n2<2,. .. ,0$nk-1 <k-1

ce qui signifie que Nk est uniforme sur {O, ... , k-1}, et qui en outre entraîne
fi
que P(N2 = n2, N3 = n3, ... , Nt = nt) = = P(N2 = n2) ... P(Nt = nt),
établissant bien l'indépendance.
c) Nous avons N = N2 +···+Nt, et donc selon la question précédente :
d'une part lE(N) = lE(N2) + · · · + lE(Nt) = ~ + · · · + t;- 1 = (t-4l)t et d'autre
part Var(N) = Var(N2) + ... + Var(Nt) = 132 + ... + t2121 = (2Hs~~t-1)t.
Exercice 1.3.27 Il y a intersection si et seulement si x < ~ sine ou
X >L- ~ sine . Donc la probabilité cherchée vaut :

P(intersection) r
= 7r2L Jo 12 Jo{L 1{ [o, l2 sm
. e] [L-l . 8 L]} (x) dx dO
2 sm ,

= -2 1w:/2 sinOdO = -2 si L 2'. 1 ; et si L ~ 1 :

7rL 0 7rL
2 1Arcsin{L)1L 2 1w:/2
P(intersection) = -L sin 0 dO + -L L dO
11" 0 0 11" Arcsin{L)

= w:'i (1- Vl - L 2 ) + 1- ~ Arcsin(L).

Exercice 1.3.28 a) Nous avons P(Ui = Uj) = f l{u=v} dudv = 0 pour
J[o,112
1 ~ i <j ~ n , de sorte que
P[(:3 1 ~ i <j ~ n) ui = Uj] ~ E P(Ui = Uj) = 0.
1$i<j$n

b) Selon la question précédente, les événements { {Uu 1 < ... < Uun} 1 u E
Sn} forment une partition (presque sûre) den. Nous avons donc pour toute
fonction f continue sur [O, l]n :

lE[J(Vi, .. ·, Vn)] = L lE[J(Vi, .. · 'Vn) l{U171 <... <Uun}]

uESn
188 CHAPITRE VIII. SOLUTIONS DES EXERCICES

= n! J f (U1, ... , Un) l{O<ui < ... <un <1} du1 · · · dun.

c) D'où pour 1 :S k :Sn :

~ lE[f(Vk)] = { J(uk) du1 ... dun
n. j{O<u1< ... <uk< ... <un<l}

=
Jo
f 1 f(v) [ r
}{O<u1< ... <uk-1<v}
du1 ... duk-1 r
J{v<uk+i< ... <un<l}
duk+l ... dun] dv

{1 vk-1 (1 - vr-k
= J0 f (V) X (k - 1) ! X ( n - k) ! dv '

ce qui signifie que vk admet la densité V 1--t nC~=~vk- 1 (1-v)n-k.

Notons que nous avons utilisé que (via un changement de variable affine) pour
j ~ 1:
r
J{a<u1 < ... <ui<b}
du1 ... duj = (b - a)i r
J{O<u1 <... <uj<l}
du1 ... duj

_ (b - a)i
_ 1
'°'
L....J
J du1 ... du3
._ -
(b - a)i
.1 •
J• uESj {O<uo1 < ... <uuj <1} J·

d) Nous avons aussitôt lP(x < Jn, Mn < y) = lP(x < Ui, ... , Un < y) =
(y - x)n, d'où la densité conjointe : ·
(x,y) 1--t - lx
fy(y- xr l{x<y} = n(n- l)(y- 2 1{0<x<y<l}· xr-
e) Nous avons aisément (via l'événement complémentaire), si 0 < x <y< 1:
lim JP( Jn
n-+oo
< X < y < Mn) = 1 .
Exercice 1.8.3 Le nombre de clients qui ne se désistent pas est X de loi
B(l60a,p). Donc lP(X :S 160) ~ 1P[G < (1 - ap)J160/(ap[l - p])] (pour
une variable G de loi N(O, 1)), qui vaut 0,95 si et seulement si 2..fliP ~
J(l, 65) 2(1 - p) + 4 - (1, 65)Jl - p, et 0,975 si et seulement si 2..fliP ~
J(l, 96)2(1- p) + 4 - (1, 96)Jl - p.

Exercice 1.8.4 a) La loi de X1 + · · ·+Xn est 'P(n) (voir l'exercice 1.3.22.a),

de sorte que
VIII.2 SOLUTIONS DES EXERCICES DU CHAPITRE III 189

b) Il suffit d'appliquer le T.C.L., et de composer par la fonction continue

X t-+ X-.

c) Nous avons aussitôt llx 1 +"J{n-nll~ =·~ Var(X1 +· · ·+Xn) = Var(X1) =

1 , cie sorte que la suite des Yn := (Xi +··Jr;,Xn-n )-
est a fortiori bornée
dans L 2 • Or selon la question précédente et la définition I.6.9, nous avons
lim JE( min{Yn, m}) =JE( min{ N-, m}), pour tout m E N. Par convergence
n--too
monotone, nous avons lim JE (min {N-, m}) = JE( N-). En outre, pour tous
m--too
m, n EN* nous avons 0 ~ JE(Yn) - JE( min{Yn, m})

= JE(l{Yn>m}(Yn - m)) ~ lE(r::-(Yn - m)+) ~ IE~i) ~ ~ ·

Fixons é > 0, puis m > 1/é tel que 0 < JE(N-) - JE( min{N-, m}) < é.
Nous avons finalement :

pour n suffisamment grand, selon ce qui précède.

d) JE( N-) = JE( N+) = f 00 = - 1- . De sorte que le résultat
X e-x 2 / 2 dx
lo V21f V21f
découle aussitôt des questions a) et c) ci-dessus.

VIII.2 Solutions des exercices du chapitre III

Exercice 111.1.4 {N = n} = {N ~ n}'-{N ~ n-1} E Fn si N est un

n
temps d'arrêt,, et réciproquement, {N ~ n} = LJ {N = k} E Fn si
k=O
{N = k} E Fk pour tout k EN. De même, si A E FN alors
A n {N = n} = (A n {N ~ n}) "- (A
n {N ~ n - 1}) E Fn , et pour la
n
réciproque il suffit d'écrire An {N ~ n} = U (An {N = k}) E Fn.
k=O

Exercice 111.1.5 a) 0 E FN, et la stabilité par réunion dénombrable découle

aussitôt de: [ U Ak] n {N ~ n} = U (Ak n {N ~ n}). Enfin, si A E FN,
kEN kEN
alors Acn{N~n}={N~n}'-(An{N~n}) EFn,dufaitque Nestun
temps d'arrêt.
b) Si A E F N , alors A n {N' ~ n} = (A n {N ~ n}) n {N' ~ n} E Fn ,
puisque {N' ~ n} c {N ~ n} et puisque N' est un temps d'arrêt; ce qui
prouve que A E F N' .
190 CHAPITRE VIII. SOLUTIONS DES EXERCICES

c) Nous déduisons de a) et b) ci-dessus que Ac E FN', de sorte que :

{NlA + N'lAc Sn}= (An {N Sn}) U (Ac n {N' Sn}) E Fn.
d) Pour tous borélien B c Rd et n E N, utilisant l'exercice IIl.1.4 nous
avons:
{ZN E B} n {N = n} ={Zn E B} n {N = n} E Fn, d'où {ZN E B} E FN.

Exercice 111.1.6 a) { min{N, N'} Sn} = {N Sn} U {N' Sn} E Fn et

{ max{N, N'} Sn} = {N ~ n} n {N' Sn} E Fn. N +N'est aussi un temps
n
d'arrêt, puisque {N+N'=n}= LJ ({N=k}n{N'=n-k}) EFn· Mais
k=O
ce n'est en fait pas la bonne façon d'additionner les temps d'arrêt, du fait que
cette simple somme n'a pas d'interprétation géométrique sur les trajectoires;
la bonne façon d'additionner les temps d'arrêt est celle de l'exercice IIl.1.11.
b) Nous avons {N < N'} n { min{N,N'} = n} = {N = n} "-{N' Sn} E Fn,
et {N = N'}n { min{N,N'} = n} = {N = n}n{N' = n} E Fn, de sorte que
{N < N'} et {N = N'} appartiennent à Fmin{N,N'}' et aussi {N S N'} =
{N<N'}u{N=N'}.
L'exercice 111.1.5.b montre que Fmin{N,N'} C FN n FN'· Réciproquement, si
A E F N n F N' et si n E N, alors
An {min{N,N'} Sn}= (An {N Sn}) u (An{N' Sn}) E Fn.

Exercice 111.1.7 Le point clé est qu'écrivant SN= L': Xnl{N<n}c, nous
neN*
avons {N < n}c E Fn-li indépendante de Xn. De sorte que par l'inégalité
triangulaire (relative à la norme quelconque Il · Il) et puisque les Xn ont la
même loi, nous avons :

JE[llSNll] S JE [ L llXnlll{N<n}c] = L JE[llXnll l{N<n}c]

neN* neN*

= L lE[llXnll]IP[N 2 n] = JE(llX1ll) L IP[N 2 n]

neN* neN*

= JE(llX1ll) JE [ L l{N;:::n}l = lE(llX1ll). X JE(N) <OO.

neN*
Ceci montre l'intégrabilité de SN (selon le critère dit de Tonelli), qui permet
d'appliquer le théorème de Fubini, pour obtenir :

neN* neN*
VIII.2 SOLUTIONS DES EXERCICES DU CHAPITRE III 191

= JE(X1) L JP(N ~ n] = JE(X1) JE [ L l{N;::::n}] = JE(X1) X JE(N).

nEN* nEN*

n
Exercice 111.1.11 { N + N' o ON = n} = LJ ({N = k} n { N' o Ok = n - k})
k=O
= Û ({N = k} n [(Ok)- 1({N' = n- k})]), de sorte qu'il suffit de s'assurer
k=O
que (Ok)- 1 ({N' = n-k}) E Fn dès que 0 ~ k ~ n. Or {N' = n-k} E Fn-k
signifie (selon la proposition 11.1.10) que l{N'=n-k} est une certaine fonc-
tion mesurable F(X1, ... , Xn-k) (à valeurs dans {O, 1}) du vecteur aléatoire
(X1, ... , Xn-k), de sorte que la variable aléatoire
l(ok)-l({N'=n-k}) = l{N'=n-k}o Ok = F(X1, ... , Xn-k)o Ok = F(Xk+l, ... , Xn)
est Fn-mesurable, c'est-à-dire qu'en effet (Ok)- 1 ({N' = n- k}) E Fn.
Si TE, Tp désignent les temps d'atteinte de E, F c zd, pour visualiser
TE + Tp o OTE il faut commencer par décaler une trajectoire donnée du temps
nécessaire à son arrivée dans E, puis attendre que cette trajectoire décalée
atteigne F. De sorte que TE+ Tp o OTE est le premier temps de passage dans
F après être passé une première fois dans E ; voir la figure Vlll.1.
Nous avons oN' 0 oN = oN+N'ooN' car selon la définition 111.1.10, pour toute
trajectoire w :
(ON' o 0N) W = 0N' (0Nw) = 0N' (ON(w)w) = 0N'(ONCw>w) (ON(w}w)

_ oN'(ONCw>w)+N(w)W-
-
_ oN(w)+N'(ONw) W-
_ O(N+N'oON)(w)W-
_ oN+N'oON W.

Exercice 111.1.12 a) Nous avons d'abord: JE(eitMn) =

"tM "tM "tM+ "tM-

JE( ei nl{Mn;::::O}) +JE(ei nl{Mn<O}) = JE(ei n l{Mn;::::o}) +JE(e-i n l{Mn<O})

= JE(eitM,t) - JP(Mn < 0) + JE(e-itM~) - lP(Mn ~ 0)

= JE( eitM,t) + JE( e-itM~) - 1; et ensuite par décalage de 0 :

Mn= max{X1, X1 + Mn-1 oO} = X1 +max{O, Mn-1 oO} = X1 + M;t_ 1 oO;

de sorte que le lemme fondamental 111.1.8 (appliqué avec le temps constant

N =1) nous fournit :

JE(eitMn) =JE( eit[M,t_1oo+X1l) =JE( eitM,t_1oO eitX1) = JE(eitM,t_1) JE(eitX1).

192 CHAPITRE VIII. SOLUTIONS DES EXERCICES

,,,,..- ~r--...

V r..ri
.LV
~

V r--..
1\ / Jù] të+T ~oo E '\
(/
"'- ~TE
-
1-:-1
,-., [Y
.L 1

'-'c \ U'Ji;.
li
' '\... /
...._ i--
,./

FIGURE VllI.l - Temps d'atteinte composé TE+ TF o (]Te

b) D'une part, selon la loi des grands nombres, nous avons pour presque
tout w E n : .lim Sj(w)/j = IE(X1) < 0 , de sorte qu'il existe un certain
J-'tOC>

jo(w) E N* tel que j > jo(w) => Sj(w) < 0 => st(w) = 0, d'où il découle
aussitôt que
M+(w)::; sup { st(~)lj EN*}= sup { st(w)lj::; jo(w)} = Mj~(w) <OO.
D'autre part, nous avons simplement Mn 2'.: Mn-1 2'.: Mi = X1, de sorte que
0 ::; M;; ::; M;;_l ::; x;- et donc IE[M;;] ::; IE[Xl] < OO . En particulier, nous
avons presque sûrement M- < oo , ce qui avec M+ < oo permet de faire
tendre n vers l'infini dans le résultat de a) ci-dessus. Nous obtenons ainsi par
convergence dominée :

que nous pouvons réécrire sous la forme : pour tout t > 0 ,

La finitude presque sûre de M+, jointe à l'intégrabilité de X 1 et de M-, et

le théorème (de Lebesgue, corollaire 1.6.3) de dérivation sous l'intégrale JE,
VIII.2 SOLUTIONS DES EXERCICES DU CHAPITRE III 193

permettent de faire tendre t vers 0, puisque eitM+, sin~tx) et l-c~s(tx) sont

dominés respectivement par 1, lxl et par min{t~ 2 ' n~ lxl (cette dernière
inégalité est aussitôt vérifiée en distinguant suivant que t lxl ~ 2 ou non).
Nous obtenons ainsi -E(X1) = 1 x E(-X1) = E(M-), comme voulu.
c) Pour tout k E N*, considérons la suite tronquée en -k, définie par :
kXj := max{Xj, -k}, ainsi que les variables aléatoires associées kMn et kM.
Alors nous avons aussitôt: (kXj)+ =X/ et (kXj)- = min{Xj,k}, et pour
chaque k la suite tronquée vérifie l'hypothèse de b) ci-dessus, de sorte que
nous obtenons E(kM-) = -E(kX1) = -E(Xt) + JE(min{X!,k}]. Par
convergence monotone, cela entraîne que

= -E(X1) =OO.
D'autre part comme kXj 2 Xj ::::} ksj 2 Sj ::::} kMn 2 Mn ::::} (kMn)- ~ M;;,
nous avons aussi : M- = lim M;; 2 lim (kMn)- = (kM)-, et donc :
n--+oo n--+oo

E(M-) 2 sup E(kM-) = +oo, d'où finalement JE(M-) = +oo = -E(X1).

kEN*

Exercice 111.2.1 a) Nous avons d'abord, pour presque tout w En:

SN+k(w) = SN(w)+k(w) = (X1 + ... + XN(w) + XN(w)+l + ... + XN(w)+k] (w)

= SN(w)(w) + sk 0 ()N(w)(w) = SN(w) + Sk(()N w) = [SN+ sk 0 ()N] (w).
Ensuite, effectuant le changement de variable n = Tk-1 +m dans la définition
de Tk, nous obtenons: Tk = Tk-1 + min{m EN* 1 Srk_ 1 +m = O}, d'où via ce
qui précède: Tk -Tk-1 =
= min{m EN* 1 Srk_ 1 +Sm o ()Tk- 1 = O} = min{m EN* 1 Sm o ()Tk- 1 = O}
= min{m EN* 1 Sm= O} o ()Tk- 1 = To ()Tk- 1 sur {Tk-I < oo},
d'où la première formule voulue pour n (car sur {Tk-1 = OO} on a trivialement
Tk = oo et le résultat).
La seconde formule voulue pour Tk s'en déduit par récurrence sur k : l'amor-
çage (k = 1, 2) n'apporte rien de nouveau, et si pour k 2 3 la seconde formule
est vraie au rang (k - 1), alors la première formule et l'exercice 111.1.11 per-
mettent d'écrire: Tk =
194 CHAPITRE VIII. SOLUTIONS DES EXERCICES

b) Procédons par récurrence sur k: l'amorçage (k = 1) est trivial, et si pour

k;:::: 2 la formule est vraie au rang (k-1), alors selon a) ci-dessus et le lemme
fondamental 111.1.8 (appliqué au temps N = T), nous avons :

P(Tk < oo) = P(T + Tk-1 o ()T < oo) = P(T < oo, Tk-1 o ()T < oo)
= P(T < oo) x P(Tk-1 < oo) = P(T < oo) x P(T < oo)k-l = P(T < oo)k.
c) Là aussi l'amorçage (k = 1) est trivial, et si pour k ;:::: 2 la formule est
vraie au rang (k - 1), alors on procède comme ci-dessus, en observant que
Tk(v) = T1(v) +Tk-1 o()Ti(v), puisqu'une trajectoire initiale revient env si et
seulement si sa trajectoire décalée de T1 (v) revient en 0 ; donc

P(Tk(v) < oo) = 1P(T1(v) + Tk-1o9Ti(v) < oo)

= 1P(T1(v) < oo,Tk-1 o()Ti(v) < oo)

= 1P(T1(v) < oo) x P(Tk-1<oo)=1P(T1(v) < oo) x P(T < oo)k-l.

Exercice 111.2.4 a) Il suffit de considérer d = 1 et la translation uniforme

vers la droite, c'est-à-dire de choisir pour loi µ du pas élémentaire la masse
de Dirac en 1, de sorte que Xn = n pour tout n EN. Alors & = N n'est pas
un sous-groupe de Z .
b) Notons S(µ) le support deµ, G(µ) le sous-groupe de zd qu'il engendre,
et supposons que & est mi sous-groupe de zd. L'inclusion triviale S(µ) c &
entraîne aussitôt G(µ) c & . Pour l'inclusion réciproque, considérons v E & ,
et n EN tel que P(Sn = v) > 0. Alors

0 < P(Sn = v) = P(X1 + ··· +Xn = v)

= ~ l{v=v 1 +.. +vn} P(X1 =\ V1, · · ·, Xn = Vn) =

vi, ... ,vnEZd

vi, ... ,vnES(µ)

ce qui montre qu'un terme au moins dans la dernière somme doit être > 0,
et donc qu'il doit exister vi, ... , Vn E S(µ) tels que v = v1 + · · · + Vn; d'où
v E G(µ).

Exercice 111.2.5 a) L'amorçage est immédiat : P[(3 k E N*) Rk = 1] =

P(r1 = 1) = q. Nous avons ensuite par récurrence, pour tout m EN:

P[(3k EN*) Rk = m + 1] = 1P((3k EN*) Rk-1+rk=m+1]

VIII.2 SOLUTIONS DES EXERCICES DU CHAPITRE III 195

m+l
= L P(rk =j)JP[(::Jk EN) Rk = m+ 1-j)
j=l

(par indépendance et via la translation d'indice (k - 1) t-+ k)

m
= L (1- q)i-lq P((:Jk EN*) Rk = m + 1-j) + (1- q)mq
j=l

= q (t
J=l
(1- q)i-lq + (1- q)m) (par hypothèse de récurrence) = q.

b) Pour j1, ... ,jk EN* et 0 = zo i- z1 i- ... i- Zk-1 E 7}, nous avons:

k-1 k-1
=II (1- q)ie- 1q µ(zt- zt-1) x (1- q)ik =II µ'(o)ie- 1µ'(zt- zt_i) x µ'(o)ik
f=l f=l

= ]p> [ n jnl {
f=lm=O
Bjl +··+ù-1 +m = Zf-1 }] , ce qui établit l'égalité des 2 lois.

c) Nous en déduisons:

L P(B~ = 0) = L P(B~ = 0) = JE [ L l{s::=o} J = JE [ L R'I:- 1l{sk=o}]

n n n k n=Rk

=JE [ Lk l{sk=O} rk+l] = Lk P(Bk = 0) JE(rk+i) = ~L P(Bk = 0).

q k
Selon les propositions 111.2.2 et 111.2.3, la marche S. est récurrente si et seule-
ment si la série L: P(Bk = 0) diverge. L'égalité ci-dessus montre donc que c'est
k
équivalent à la récurrence de la marche B~.

d) Selon b) ci-dessus, comme toutes les Rk sont presque sûrement finies, nous
avons:
JP(T' < oo) = JP(T" < oo) = P((:J k EN*) Rk < oo et Bk= o)
= P((:Jk EN*) Bk= 0) = P(T < oo).
e) Nous avons d'abord pour tout j EN:

P(R' = j) = P(B~ = ... = Bj_ 1 = Oi- Bj) = µ' (O)i- 1 (1- µ' (0)) = (l-q)i- 1q,
196 CHAPITRE VIII. SOLUTIONS DES EXERCICES

de sorte que selon le lemme fondamental 111.1.8 (appliqué par récurrence au

temps N = Rk_ 1 ) la suite {Rk 1 k EN} a la même loi que la suite {Rk 1 k EN}.
Notons que nous avons aussi Rk = min{n > Rk_ 1 I Sn =/:- SR~_), pour tout
k ~ 1. Nous avons ensuite, pour k EN*, j1, ... ,jk EN* et z1, ... , Zk E zd:

= IP(O = S~ = ... = Sj1 _ 1 =/:- z1 = Sj 1 = ... = Sj2 _ 1 = ...

. . . =/:- Zk-1 = Sjk-I = ... = Sjrl =/:- Zk = SjJ
= µ'(o)i 1 - 1µ 1 (z1) x ... x µ 1(o)ir 1µ 1(zk - zk-1) x l{o#:zi#: ... i'zk}

{1 - q)(j 1 -l}+··+(ik-l} l x µ(z1) ... µ(zk - Zk-1)

={Q =jt}Mô {lll {Se= zt}],

ce qui prouve à la fois l'égalité en loi des marches Bk~ et S. (en sommant ce
résultat sur tous les entiers je) et l'indépendance des suites R~ et Bk~.

Exercice 111.3.2 Lorsque d = 1, l'arbre n'est constitué que de deux points.

Et lorsque d = 2, l'arbre est isométrique à 'li,,. Pour d ~ 3 l'arbre ne s'injecte
isométriquement dans aucun espace euclidien !Rn. Pour d = 2n c'est le graphe
de Cayley du groupe libre à n générateurs. Pour d = 3 et d = 4, voir la figure
Vlll.2 (pour visualiser un morceau fini de l'arbre, qui est infini).
a) La formule imposée fixe pour bn la valeur (on+l - On) sur {on> O}. On a
alors clairement, par définition de la marche simple S :

Il est donc naturel de définir (bn) par la formule

bn := (On+l - On) l{on>O} + b~ l{on=O},
avec (b~) suite i.i.d. indépendante de {la tribu (Fn) engendrée par) la marche S
et ayant la loi voulue, c'est-à-dire telle que IP[b~ = 1] = ddl = 1-IP[bn = -1].
Alors d'une part la formule voulue est vérifiée (c'est clair séparément sur
{On > O} et sur {On = O}), et d'autre part bn E {-1, 1} et est mesurable par
rapport à la tribu F~ engendrée par Fn+l et par {b~, ... , b~}; de sorte qu'il
ne reste qu'à contrôler la valeur de IP[bn = 1 j F~_ 1 ]. Or (selon la formule des
probabilités totales appliquée à la probabilité lP conditionnée par F~_ 1 ) cette
quantité vaut :
VIII.2 SOLUTIONS DES EXERCICES DU CHAPITRE III 197

d== 3 d==4
FIGURE VIIl.2 - Arbres homogènes correspondant à d = 3 et à d = 4

JP[bn = 1 IF~-1' {ôn > O}]JP[ôn > 01 F~_i]

+JP[bn = 1 I F~-1' {ôn = O}] JP[ôn = 01 F~-1]
= lP[ôn+l - ôn = 1 Iôn > ü] lP[ôn > 01 F~_ 1 ] + lP[b~ = 1] lP[ôn = 01 F~_i]

= d~ l x [lP [Ôn > 0 1 F~_ i] + lP [Ôn = 0 1 F~_ i]] = d ~ l ·

Prenant l'espérance de ce résultat, nous obtenons :

Ceci montre l'indépendance de bn vis-à-vis de bn-1, ... , bo, et qu'elle a la

même loi fixe que b~ : c'est bien une suite de v.a.i.i.d., de loi commune de
Bernoulli B(±l; ddl ).
b) La formule de a) et 1 2: ±1 = bn entraînent aussitôt que Ôn+l - Ôn 2: bn,
de sorte que selon la loi des grands nombres, nous avons presque sûrement :
Ôn 1 n-l 1 n- l n4oo d- 2
r;: = n:~:)<>j+i -<>j) 2: nLbj JE(bo) = -d-.
j=O j=O

Comme d 2: 3 => dd 2 > 0, nous en déduisons aussitôt que Ôn -----+ oo presque

sûrement. De sorte qu'il existe presque sûrement un entier no= no(w) tel que
198 CHAPITRE VIII. SOLUTIONS DES EXERCICES

n 2:: no =? On > 0 =? bn = On+l - On . Finalement pour tout n > no nous

obtenons:
On 1 n-i 1 no-i 1 n-i n--+oo d- 2
r; = ~ ~) Oj+l - Oj) = ~ L:.:: (
Oj+l - Oj - bj) + ~ L:.::
bj ---+ o+ -d- .
j=O j=O j=O
, bl" . On d -
A u tota1, nous avons eta i que 1im - = -d- presque surement. Cette
2 A

n--+oo n
vitesse de fuite strictement positive s'oppose au cas de la marche simple sur
zd, cas dans lequel la loi des grands nombres assure que presque sûrement
9:- ~ 0, et donc a fortiori ~ ~ 0. Une conclusion est qu'il y a vraiment
beaucoup plus de place pour s'enfuir dans un groupe libre que dans un groupe
commutatif.
Exercice 111.4.4 1.a) Cette formule consiste simplement à interpréter ce qui
se passe à l'issue de la première partie : soit le joueur gagne (avec la probabilité
p), et il se retrouve dans la situation d'une fortune initiale égale à (a + 1), soit
il perd (avec la probabilité q), et il se retrouve dans la situation d'une fortune
initiale égale à (a-1), avec dans les deux cas une évolution future indépendante
de son premier gain; c'est en fait un cas particulier d'application du lemme
fondamental III.1.8, appliqué à la marche sur Z de loi de pas élémentaire
µ = pDirac(l) + (1 - p) Dirac(-1).
1.b) C'est une équation (différentielle discrète) d'ordre deux à coefficients
constants, avec pour conditions initiales Pb(O) = 0 = 1 - Pb(b). Les solutions
exponentielles sont de raison r telle que r 2 = ~ r - ~ . Donc si p # la !
solution s'écrit Pb( a) = î' (i)a + c, avec 0 = î' + c et 1 = î' (~)b + c, d'où
Pb(a) = ~:j:~;::::~ ; et si p = ! la solution s'écrit Pb( a) = î' a+ c, avec 0 = c
et l=î'b+c,d'où Pb(a)=a/b.
2.a) {T = n + 2} signifie que le joueur perd la première partie, et qu'ensuite
il lui faut (n + 1) parties pour atteindre a+ 1 en partant de a - 1 ; notant Ti le
temps nécessaire pour passer de a-1 à a puis Ti le temps nécessaire pour passer
de a à a+l; autrement dit, {T = n+2} ={Xi= -1, (T+To()T)o(} = n+l};
nous avons ainsi : n
gn+2 = W(T = n+2) = qlJ:I>(Ti +T2 = n+l) = q L W(Ti = k,T2 = n+l-k)
n k=i

= q L gk gn+l-k , par indépendance de Ti et T2 , et du fait que Ti et T2 ont

k=i
la même loi que T (ou autrement dit, selon le lemme fondamental III.1.8).
2.b) Notant que go= g2 = 0 et gi = p, nous en déduisons :
g(s) - ps = lE(sT) - gis= Lgk sk = s Lgn+2 sn+l
k~3 n~i
VIII.2 SOLUTIONS DES EXERCICES DU CHAPITRE III 199

n
= qs L L9k 9n+l-k sn+l = qs L L Yi 9k sHk = qs g 2 (s).
n~ik=i k~ij~i

2.c) Résolvant cette équation du second degré nous obtenons :

g(s) = i±v'~;84pqs 2 • Pour choisir entre ces deux racines, notons que
g(O) = 0 et (par convergence dominée) g est continue sur [O, 1]; cela impose
g(s) = i-~;84pqs 2 • Ensuite, par convergence monotone nous avons
lP(T lim g(s) = g(l) = i-~ =
< oo) = s)"i i-1 2q-il c'est-à-dire
2q 2q '

lP(T < oo) = 1 si p ~ 1/2 et lP(T < oo) =p/q si p < 1/2.
D'où lE(T) = oo si p < 1/2. Enfin si p ~ 1/2, par convergence monotone et
selon le corollaire 1.6.3 nous avons
lE(T) = lim lE(sT-ir) = lim g'(s) = 4pq - i-~ = _i_ E [1 oo].
s)"i s)"i 2qv'i-4pq 2q 2p-i '

Exercice 111.5.1 a) On constate immédiatement par récurrence que pour

tout n E N, net Sn ont la même parité, et donc net IBnl aussi. Il est en
outre évident que IBnl :::; n. Cela justifie le facteur l2N(n - lvl). Ensuite
2-n est la probabilité d'une trajectoire quelconque (Xi, ... , Xn) E {-1, 1}n
(codant la marche simple restreinte à l'intervalle de temps [O, nl), et il ne reste
qu'à dénombrer, pour les v E Z tels que (n- lvl) E 2N, les trajectoires codées
par (Xi, ... , Xn) qui relient Bo = 0 à Sn = v. Quitte à changer v en son
opposé, ce qui revient à effectuer la symétrie [S i--+ -S] (qui ne change pas
la loi), nous pouvons supposer que v E N. Alors les (Xi, ... , Xn) codant les
trajectoires recherchées sont ceux qui comportent exactement v (+1) de plus
que de (-1), c'est-à-dire ntv (+1) et n2v (-1). Il y en a donc autant que de
façons de choisir ntv emplacements dans {1, ... , n} (pour les +1), c'est-à-dire
!!:b!.
précisément Cn 2 (qui a bien la même valeur si on change v en -v).
b) La formule voulue s'obtient en partageant le nombre n de pas en les
nombres ni, ... , nd de pas effectués dans les directions de ±ei, ... , ±ed .
D'où la sommation sur l'ensemble des entiers naturels ni, ... , nd tels que
ni+··· +nd = n. Ensuite il suffit d'appliquer a) ci-dessus dans chacune de ces
d directions, et pour terminer il ne reste qu'à dénombrer les façons de répartir
dans {1, ... , n} les emplacements des sous-ensembles de pas effectués dans
chacune des d directions ; or ceci est exactement la répartition multinômiale
(revoir le début de la section III.3), d'où le facteur ni!~'.nd! ·
200 CHAPITRE VIII. SOLUTIONS DES EXERCICES

Exercice 111.5.6 a) Selon le corollaire IIl.5.4, nous avons JP(T > 2n) ~
n- 1/ 2 pour n ~ N (pour un certain NE N), de sorte que:

IE(T) = L lP(T > n) ~ L JP(T > 2n) ~ L n- 112 = +oo.

nEN n~N n~N

Utilisons ensuite la transformée de Laplace de la proposition III.5.5 :

IE(e- 8u) = e-ffs (pour tout s ~ 0). Puisque u e- 8u ~ 1/{s e), le théorème
de Lebesgue {de dérivation sous l'intégrale, corollaire 1.6.3) s'applique en tout
s > 0 pour fournir :
d d tn: 1
8
IE(ue- u) =- 8 -IE(e- u) 28 =- - e-v = -- .
ds ds ffs
Le théorème de convergence monotone permet alors de faire tendre s vers 0,
de sorte que :
IE(u) = lim IE(u e- 8 u) = lim . ~ = +oo.
8'\iO v2s
8'\iO

Comme IE(e- 8u) = lE(e- 8u l{u<oo}), le théorème de convergence monotone

nous donne aussi :

lP(u < oo) = lim 1E(e- 8u l{u<oo}) = lim e-ffs = 1.

8'\iO 8'\iO

Et comme IE(e- 8u) = lP(u = 0) +IE(e- 8u l{u>o}), le théorème de convergence

dominée nous fournit :

Effectuant pour tout r > 0 le changement de variable {presque sûrement

justifié selon ce qui précède) [s i---+ su] dans l'expression définissant I'(r), nous
obtenons:
r(r) = 1 00
e- 8 sr-l ds = O'r 1 00
e- 8 0" sr-l ds presque sûrement, de sorte

qu'utilisant le théorème de Fubini (et le changement de variable [s i---+ s 2]),

nous avons finalement :

IE(a-r) = JE [-1 {oo e-8u sr-1 ds] = _1_ {oo IE[e-8u] sr-1 ds
I'(r) lo r(r) lo
1 roo 2 {OO
= I'(r) lo e-../28 Sr-1 ds = I'(r) lo e-vf2 8 S2r-1 ds < OO.
VIII.2 SOLUTIONS DES EXERCICES DU CHAPITRE III 201

b) Notons F(À) := [')() e->.s-f. ~

{pour tout À E lR+) la trans-
Jo 271" s3
formée de Laplace de la densité avancée par l'énoncé; par la proposition
111.5.5 et l'injectivité de la transformation de Laplace, il suffit de prouver
que F(À) = e-v'2X.
Notons d'abord que nous avons bien affaire à une densité (prolongeable par
continuité en 0, et par suite intégrable sur JR~), puisque via le changement
[s i--+ 1/ s 2 ] nous avons :

Par ailleurs F est continue sur lR+ par convergence dominée, et dérivable sur
e->.s-..!..
2s
JR~ selon le corollaire 1.6.3, puisque est intégrable sur sur JR~ pour
../2ifS
tout À> 0 (et décroissante en À).
Dérivant sous l'intégrale et changeant la variable s en 1/{2Às), nous obte-
nons:

- F '( /\') = 100 e

0
->.s-..!..
2s --
ds
../2ifS
= 100 e
0
_..!.._>.s
2s
../271"
ds
X 2À s3
= F(À)
J2X.
Comme F > 0 nous obtenons ainsi pour tout À > 0 : log F{À) = d1
- d1 J2X, de sorte que À i--+ [log F(À) + ../2X] doit être constante sur JR~,
et égale à 0 par continuité en O. Nous avons ainsi obtenu la formule voulue.

Exercice 111.5.10 a) Utilisons la convergence en loi de la proposition 111.5.5:

Tn/n 2 -+ <:T. Pour tous E,E' > 0 nous avons

limsuplP[n/Tn > é] = limsupIP[~ < ;e] ::; limsup [~ < E:'] ::; IP[CT::; E:1],
n-too n-too n--+oo

et donc {via \.i 0) limsuplP[n/Tn > é] ::; IP[CT = O] = 0 (selon l'exercice

E1
n-too
111.5.6). Puis étant donné que NTk = k, nous avons {Nn > k} C {Tk < n},
et donc

pour tout n 2: 1/é, ce qui achève de montrer que lim IP(Nn/n

n-too
> é) = 0.
b) Des encadrements immédiats A~n ::; A2n ::; A~n et A~n - A~n ::; N2n ,
nous déduisons aussitôt : A2n - N2n ::; A~n ::; A2n ::; A~n ::; A2n + N2n ,
202 CHAPITRE VIII. SOLUTIONS DES EXERCICES

et donc, pour tous a E [O, 1] et ê >0:

1P(A2n S 2n (a - e:)) -1P(N2n > 2ne:) S 1P(A2n S 2na - N2n)

S lP(A~n S 2na) S P(A~n S 2na) S 1P(A2n S 2na+N2n)

S 1P(A2n S 2n(a+e:)) +JP(N2n > 2ne:);
ce qui entraîne selon la proposition 111.5.9 et a) ci-dessus, en notant
ae :=(a - ê)+ et a~:= min{a + e:, 1} :

~Arcsinylli; S liminf lP[A~n S 2na] S limsuplP(A~n S 2na] S ~Arcsin~,

n-too n-too

d'où le résultat voulu découle aussitôt via e: \.i 0.

VIIl.3 Solutions des exercices du chapitre IV

Exercice IV.1.2 Le sens direct est assuré par la forme même de la définition
IV.1.1. Réciproquement, supposant l'existence de 'Pn comme dans l'énoncé,
nous avons pour tous en, en+l E E:

JP(Xn+l = en+l , Xn = en) = L JP[Xn+l = en+l , Xn = en, . .. , Xo = eo]

eo,. . .,en-1EE

eo,. . .,en-1EE

= 'Pn(en, en+l) L lP[Xn =en, ... , Xo = eo] = 'Pn(en, en+l) lP(Xn =en),
eo,. .. ,en-1EE

d'où 'Pn(en, en+l) = lP(Xn+l = en+l 1 Xn =en), et donc la définition IV.1.1

de la propriété de Markov.

Exercice IV.1.5 a) Selon la définition IV.1.1 et par définition des noyaux de

transition et des probabilités conditionnelles, la propriété de Markov s'écrit :
lP(Xo = eo, · · ·, Xn-1 = en-11 Xn =en)
= lP(Xo = eo, ... , Xn-1 = en-1) Pn-1(en-l1 en)

(notons que si l'événement du conditionnement est négligeable, ceci est encore

valable sous la forme dégénérée 0 = 0), d'où l'on déduit la formule (IV.l) par
une récurrence immédiate sur n E N*.
VIII.3 SOLUTIONS DES EXERCICES DU CHAPITRE IV 203

b) Notons(*) la formule souhaitée. La formule (IV.1) correspond à(*) dans le

cas où fj = l{e~} est la fonction indicatrice d'un singleton de E, pour chaque
j E {O, ... , n }. Or la formule (*)est linéaire, c'est-à-dire que ses deux membres
sont des fonctionnelles linéaires des fonctions fo, ... , fn. Elle est donc vraie
aussi bien lorsque les fonctions h sont des combinaisons linéaires de fonctions
indicatrices, c'est-à-dire des fonctions à support fini sur E.
De plus la formule (*) est stable par limite croissante : si les fonctions h
sont positives et si pour un indice j 0 E {O, ... , n} on remplace la fonction
ho par une suite croissante de fonctions f~ tendant vers une fonction Fj0 ,
alors selon le théorème de convergence monotone chacun des deux membres
tend vers l'expression analogue où Fj0 est substituée à ho. Enfin il suffit de
faire ceci pour tous les indices jo , car toute fonction F positive sur E est
limite croissante de fonctions à support fini sur E ; en effet, si (en) est une
énumération de E, on a simplement F = lip. (F X l{eo,e 1 ,. .. ,en})·
n / OO

c) Si la formule {IV.1) est vérifiée, alors µ est évidemment la loi initiale, et

nous avons directement par définition des probabilités conditionnelles : pour
tout n EN,
lID [ 1 ] ]p>µ[Xo = eo, ... , Xn+l = en+l]
Jr µ Xn+l = en+1 Xo = eo, ... , Xn = en = m [X _ X _ J
Jr µ 0 - eo, ... ' n - en

µ(eo) Po(eo, el) X ... X Pn-1(en-1, en) X Pn(en, en+l) n ( )

= { ) { ) {
µ eo Po eo, el x ... x Pn-1 en-li en
) = rn en, en+l ,
dès que l'événement du conditionnement n'est pas négligeable. Ceci établit
bien la propriété de Markov, selon l'exercice IV.1.2.

Exercice IV.1.7 a) Chaque (Px P')(e,e') est ~ 0, et pour tout e E E:

L (Px P')(e, e') = L P(e, e") x P'(e", e') = L P(e, e") x 1=1.
e'EE e1 ,e11 EE e"EE

De là, une récurrence immédiate règle le cas de pn.

b) La première minoration est immédiate, puisqu'il s'agit seulement de ne
conserver de la formule du produit qu'un seul terme (les autres termes sont
bien entendu ~ 0). La seconde minoration est de même nature, mais avec
un produit de plus que 2 matrices : pn = pq x P x pn-q-l, de sorte que
pn(e, e') ~ pq(e, e) P(e, e') pn-q- 1(e', e'), et pour la même raison, voyant pq
comme un produit de q matrices : Pq(e, e) ~ (P(e, e))q (et de même pour
pn-q-1 (e'' e')).
c) Vérifions la première assertion par récurrence sur n EN: l'amorçage n = 0
est clair, et si la loi de Xn est µPn, alors selon la formule des probabilités
totales:
204 CHAPITRE VIII. SOLUTIONS DES EXERCICES

1Pµ(Xn+l =y)= L 1Pµ(Xn+l =Y 1 Xn = x) 1Pµ(Xn = x)

xEE

= L P(x,y) X µPn(x) = (µPn X P)(y) = µpn+l(y).

xEE
Particularisant à la masse de Dirac en x , on en déduit aussitôt
1Px(Xn =y)= [Diracx X pnj(y) = pn(x, y).
Enfin, selon la formule (IV .1) nous avons : ]p>µ(Xn+m = y 1 Xm = x)
1P,.(Xo=eo, ... ,Xm-1=em-11Xm=x, ... ,Xn+m=Y)
=
IP5,.(Xm=x)
eo 1.. .,em-1,em+1, .. .,em+n-1EE

µ(eo)P(eo,e1) ... P(em-11x)P(x,em+i) ... P(em+n-1,y)

= µPm(x)
eo, ... ,em-1,em+1, ... ,em+n-1EE

= µPm(x) X pn(x, y) = pn( )

µPm(x) x,y .
d) E(f o Xn+i Iu{Xn}) = I: f(e) lP(Xn+l = e 1 Xn) = I: P(Xn, e)f(e)
~E ~E

=PfoXn.

Exercice IV.1.8 a) Selon la formule (IV.l) (voir l'exercice IV.1.5.a), et

puisque ]p>xn (X1 = Y1) = P(xn, Y1), la propriété de Markov élémentaire cor-
respond au cas k = 1, ce qui amorce une récurrence sur k ~ 1;
elle est achevée par :
n»µ(Xn+k+l = Yk+1,Xn+k = Yk, ... ,Xn+l = yi,Xn = Xn, ... ,Xo = xo)
= 1Pµ(Xn+k = Yk, ... 'Xn+l = Y1, Xn = Xn, ... 'Xo = xo) X P(yk, Yk+i)
= ]p>Xn (Xk = Yk, ... 'X1 = Y1) X ]p>µ(Xn = Xn, ... 'Xo = xo) X P(yk, Yk+l)
= 1Pxn(Xk+l = Yk+l,Xk = Yk, ... ,X1 = Y1) X n»µ(Xn = Xn, ... ,Xo = xo).
b) Par définition de F 00 , il suffit d'établir la formule voulue pour un entier
naturel k quelconque et A E Fk , et même seulement pour
A = {Xk = Yk, ... , Xo = Yo} (puisque ces événements élémentaires « cylin-
driques» engendrent Fn)· Pour la même raison il suffit de considérer
B = {Xn = x,Xn-1 = Xn-1, ... ,Xo = xo}. Alors

et la formule voulue se réduit précisément à celle de a) ci-dessus (avec Xn = x)

si Yo = x , et simplement à « 0 = 0 » si Yo f= x .
VIII.3 SOLUTIONS DES EXERCICES DU CHAPITRE IV 205

c) Puisque B C {XT = x} C {T < oo} et Bn := Bn {T = n} E Fn pour

tout n E N, nous avons selon b) ci-dessus :

1Pµ(r(eT)- 1 (A)] n B) = L 1Pµ(r(en)- (A)] n (B n {T = n}))

1

nEN

= L 1Px(A) X 1Pµ(B n {T = n}) = 1Px(A) X lPµ(B).

nEN
d) Puisque lA 0 f = 11-l(A) pour toute fonction f de n dans n, la formule
établie en c) ci-dessus se réécrit :

expression clairement linéaire et continue par rapport à la variable aléatoire

F 00 -mesurable lA. Cette formule s'étend donc aussitôt par linéarité aux fonc-
tions en escalier F 00 -mesurables et puis (par convergence monotone) à leur
limites croissantes, c'est-à-dire à toutes les variables aléatoires F 00 -mesurables
Y ;:::: 0 (ou bornées, par différence). Nous avons donc pour tous x E E et
BEFT:
lEµ(Yo (;}T X lBn{XT=x}) = lEx(Y) X lPµ(B n {XT = x})
= lEµ(lEx(Y) X lBn{XT=x}) = lEµ(lExT(Y) X lBn{XT=x}).
Or nous avons {T < oo} = LJ {XT = x}, de sorte que pour tout BE FT:
xEE
lEµ(Yo(;}T X l{T<oo} x lB) = L lEµ(Yo(;IT x lBn{XT=x})
xEE
= L lEµ(lExT(Y) x lBn{XT=x}) = lEµ(lExT(Y) X l{T<oo} X lB)·
xEE
Notons pour finir que les variables aléatoires lExT(Y) et l{T<oo} sont FT-
mesurables, et donc que par caractérisation de l'espérance conditionnelle :

ce qui équivaut au résultat voulu.

e) Selon d) ci-dessus, lEµ (Y 0 eT 1 FT) est u{ XT }-mesurable, et puisque
u{ XT} C FT, nous avons pour toute B E u{ XT} :

lEµ(lEµ(Y o (:}T 1 XT) X lBn{T<oo}) = lEµ(Y o (;}T X lBn{T<oo})

= lEµ(lEµ(Y 0eT1 FT) X lBn{T<oo})'

206 CHAPITRE VIII. SOLUTIONS DES EXERCICES

d'où le résultat demandé. Notons enfin que les réciproques ne posent pas
de problème : il suffit de montrer que ce que nous venons d'obtenir entraîne
bien en retour la propriété de Markov élémentaire; or si nous prenons pour
T un temps constant, égal à n , et pour Y la fonction indicatrice du cylindre
{X1 = en+1}, la dernière formulation obtenue se réduit à :

Explicitant cette égalité en w E {Xn = en, ... , Xo = eo} E Fn, nous

déduisons directement de la formule exprimant la valeur d'une espérance condi-
tionnelle relativement à une partition dénombrable :

Pµ(Xn+l = en+1 IXn =en, ... ,Xo = eo) = Pµ(Xn+l = en+1 I Xn =en).

Exercice IV.1.10 a) Une récurrence immédiate montre que pour tout n EN

Xn est O'{Xo, Y1, ... , Yn}-mesurable, et donc indépendante de Yn+l· Nous
avons donc : lP(Xn+l = e 1 Xn = en, ... , Xo = eo)

= lP(f(en, Yn+i) = e 1 Xn =en, ... , Xo = eo)

1
= JP(f(en, Yn+i) = e) = fo 1{/(en,y)=e} dy =: P(en, e).

Selon l'exercice IV.1.2, cela suffit à entraîner la propriété de Markov.

b) Réciproquement, la matrice de transition P étant donnée, ainsi qu'une
énumération {en} de E et un état e = ej E E, la loi discrète P(e, ·) sur E
détermine la fonction de répartition : · ao(e) := 0, ... , an(e) := P(e, eo) + · · · +
P(e, en-1), ... Nous avons alors :

P(e, en) =fol l[an(e),an+1(e)[(Y) dy = fol l{f(e,y)=en} dy'

'°'
pour tout n, à condition de poser f(e, y) := L.J 1 [ak (e) ,ak+l (e) [(Y) ek.
kEN
Ainsi, et selon a), la chaîne X= (Xo, f(Xo, Y1), ... , f(Xn, Yn+i), ... ) est bien
markovienne homogène de matrice de transition P, et a pour loi initiale la loi
deXo.
Notons que Xo se simule par g(Yo), où la fonction g de [O, 1] dans E est
déduite de la loi lP(Xo = ·) exactement comme on a déduit f(e, ·) de P(e, ·)
ci-dessus, c'est-à-dire en posant
g(y):=Ll[]p> ( XoE{ea, ... ,ek-d ) ,IP (XoE{eo, ... ,ek} )[(y)ek.
kEN
VIII.3 SOLUTIONS DES EXERCICES DU CHAPITRE IV 207

Au total X est simulée par ~(Yo), f (g(Yo), Y1), f [f (g(Yo), Y1), Y2), ... ) .
Exercice IV.1.11 a) Les variables Bn étant indépendantes elles constituent
a fortiori une chaîne de Markov, à valeurs dans E = {O, 1}, et la loi de Bn
étant constante, toutes les lignes de la matrice de transition P sont égales (cette
propriété caractérise clairement les suites· de v.a.i.i.d. au sein des chaînes de
Markov homogènes): P = (i =~ ~)·
b) Nous avons déjà noté que les marches aléatoires sont des chaînes de Markov
homogènes (voir le premier exemple de la section IV.l), et (après la définition
IV.1.6) qu'en outre les marches aléatoires (sur un groupe commutatif) se ca-
ractérisent au sein des chaînes de Markov homogènes par une matrice de tran-
sition de la forme P(x, y) = v(y - x). Ici nous avons simplement E =Net
P(n,n + 1) = p = 1-P(n,n) (ce qui signifie bien entendu que P(n,m) = 0
pour m fj_ {n, n + 1}).
c) L'espace d'états est encore E = N, mais il ne s'agit plus ici d'une chaîne
de Markov ; voici un contrexemple :
lP(X4 = 6IX3 = 3,X2=2,X1=1) = lP(S4 = 3183 = 82=81=1)
= lP(B4 = 2) = 0, tandis que

= lP(B4 = 1) prend la valeur p (qu'on choisit a priori non nulle).

d) On peut prendre E = N 2 pour espace d'états, ou bien
E' = {(n, m) E N 21n :::; m}. Il s'agit de nouveau d'une chaîne de Markov,
selon l'exercice IV.1.2, puisque

lP(Xn+l = (n',m') 1 Xn = (n,m),Xn-1 = ... )

= lP(Sn+l = n',m' = n' + m 1 Xn = (n,m),Xn-1 = ... )

= l{m'=n'+m} X lP(Bn+l = n' - n 1 Xn = (n, m), Xn-1 = ... )
= l{m'=n'+m} X ((1 - p) l{n'=n} + p l{n'=n+l}) = P((n, m), (n', m')).
Ainsi P((n,m), (n + 1,n + m + 1)) = p = 1- P((n,m), (n,n + m)).
e) Il suffit de considérer les exemples c), d) ci-dessus, et la seconde projection
de N 2 sur N : f (Sn, Bo+ 81 +···+Sn) := Bo+ 81 + · · · +Sn.
0 1
Voici un autre contrexemple, plus simple : E = { -1, 0, 1}, P = ~ 0 (
0 l2
208 CHAPITRE VIII. SOLUTIONS DES EXERCICES

et Yn :=X~ pour tout n EN. Alors

IP(Y2 = 1IY1=1, Yo = 1) = ! -=/: ! = IP(Y2 = 1 IY1 = 1, Yo = 0).

En revanche, si f est injective (définie sur E) et si la chaîne X est markovienne
sur E de matrice de transition P, alors

IP(f o Xn+l = J(e) 1 f o Xn = f(en) ... , f o Xo = J(eo))

= IP(Xn+l = e 1Xn =en, ... , Xo = eo) = P(en, e)

montre (selon l'exercice IV.1.2) que la chaîne f oX est markovienne sur J(E),
de matrice de transition P' donnée par P'(f(e),f(e')) = P(e,e').

Exercice IV.1.12 Dans le premier cas la matrice de transition est

0 1/2 1/2) ( 0 2/3 1/3)
P1 = ( 1/2 0 1/2 , et P2 = 1/3 0 2/3 dans le second. Selon l'exercice
1/2 1/2 0 2/3 1/3 0
IV.1.7.c, les deux probabilités demandées sont simplement Pf(s, s) et Pr(s, s)
(qui ne dépendent pas du sommet s du triangle). P1 et P2 sont diagonali-
sables :

Pf = (i1
_!1
0
6) (6
-1 0
0
(-112r
o
o0 )(1 1
(-112r 1 o -1
1
1 -1 o
)-l
1 (1 - (-112r- 1 1- (-112r 1-(-1/2)n)
=- 1-(-112r 1 - (-112r- 1 1-(-1/2)n j
3 1-(-1/2)n 1- (-112r 1- (-112r- 1

1 1 1) (10
Pr= ( 1 j j~
1 1
j j2
)-l (j = eA 211"/3)
1 J2 J 0 j2 j

1+(i=!)n+(i2- 1r 1+j(i=!r+i 2U2 - 1r 1+j2(i=!r+ie2 - 1)n)

1 3 32 3 2 3 3 23
= 3 ( 1+i(~r+i 2 U 2 ; 1 r 1+(~r+e ~ 1 )n 1+i(~)n+i\j ; 1r .
1 + j 2 (~r + iU ; 1r 1 +i(~r +i 2 1r e;
1 + (~r + 1r e;
1 ( 1; 2 )n-1 l+(i=!)n+(i 2-t)n
Au total, les 2 réponses sont - - 3 et 3
3 3 (qui est bien
réel). Notons que (puisque 1~1 = 1/ v'3) ces deux valeurs convergent vers
1/3 lorsque n -t oo.

Exercice IV.1.13 Nous avons Tn+l -Tn = T1 o()Tn, et donc par la propriété
de Markov forte:
IPµ(Tn+l -Tn <OO 1 T1 < oo, T2 -T1 < oo, ... , Tn -Tn-1 < oo) =
VIII.3 SOLUTIONS DES EXERCICES DU CHAPITRE IV 209

Exercice IV.1.14 a) Additionnant les fils des hommes de la génération

n, nous avons Zn+l = z~l) + Z~ 2 ) + · · · + z~Zn), où les variables aléatoires
Z~ 1 ), Z~ 2 ), •.. sont indépendantes, indépendantes de Zn , et ont la même loi
que Z1. Nous obtenons donc:

Gn+i(s) = lE(sZn+i) = L lE(sZn+l l{Zn=k}) = L (1) (k)

lE(sZ1 + .. ·+Z1 l{Zn=k})
kEN kEN

= L F(s)k X IP(Zn = k) = lE(F(s)Zn) = Gn(F(s)),

kEN
c'est-à-dire que Gn+l = Gn o F, et donc que Gn = F o · · · o F = pn est la
n-ième itérée de F. En particulier, nous avons aussi Gn+l = F o Gn.
b) Nous avons simplement F( s) = L: sk Pk , et comme chaque monôme
kEN
s i-t sk Pk est clairement monotone (croissant) et convexe sur [O, 1], on a
bien la même propriété pour la somme de la série (qui est convergente). En
outre F(O) =Po 2: 0 et F(l) = 1. Pour tout a E JO, 1[, la suite de fonctions
s i-t k sk-l (indexée par k EN* ou N) est uniformément bornée sur [O, a]. Cela
permet d'appliquer le théorème (de Lebesgue) de dérivation dans l'espérance,
et montre que F est dérivable (sur [O, a] pour tout a et donc) sur [O, 1[,
avec pour dérivée F'(s) = lE(Z1 sZ1 - 1) = L: kpks"•- 1 . Par convergence
kEN*
monotone lorsque s /' 1 , nous en déduisons que F est continue à gauche en
1, et y admet une demi-tangente de pente F'(l-) = m ER+ (de sorte que F
est de classe C 1 sur [O, 1] si m est finie). Enfin l'argument ci-dessus s'applique
aussi bien aux dérivées successives, et montre par récurrence que F est de
classe C 00 sur [O, 1[. On peut aussi observer que F( s) est une série entière de
rayon de convergence R 2: 1.
c) Il faut distinguer les deux cas: m > 1 et ms 1. Nous avons 0:1 = F(O) =
Po et de même, pour tout n EN* : O!n+l = Gn+i(O) = F o Gn(O) = F(an),
selon la question a). Nos avons donc simplement affaire à une classique suite
récurrente d'ordre un, avec selon la question b) une fonction F bien régulière.
Il est très classique et aisé de justifier le comportement de cette suite, qui
ressort des deux dessins de la figure VIIl.3 et qui est explicité ci-dessous :
s
Dans le cas m > 1, on a nécessairement 0 F'(O) < F'(l) = m S oo, F' croît
strictement, et la courbe de F intersecte la diagonale du carré unité [O, 1 [2 en
210 CHAPITRE VIII. SOLUTIONS DES EXERCICES

F(s) m>l F(s) m< 1

1

0 'Y 1 1

FIGURE VIII.3 - Exercice IV.1.14 : Chaîne de Galton-Watson

un unique point ((1, 1) mis à part) d'abscisse 'Y E [O, 1[ (et 'Y= 0 ~Po= 0).
La suite récurrente (an) croît vers 'Y (strictement si Po > 0).
Notons que l'événement A correspondant à l'extinction du nom «Pinot»
s'écrit simplement A= LJ {Zn = O}, et qu'en outre la suite d'événements
neN*
{Zn = O} est croissante. De sorte que IP(A) = lim IP(Zn = 0) = lim Œn =
n-too n-700
'Y < 1. Ce qui signifie qu'avec probabilité (1-'Y) > 0 le nom« Pinot» perdure
indéfiniment si m > 1 .
Dans le cas m S 1 , la courbe de F est entièrement au-dessus de la dia-
gonale. Notons qu'il y a un cas dégénéré : lorsque PI = 1, F est simple-
ment l'application identique, dont la courbe se confond avec la diagonale,
et Zn = 1 pour tout n E N. Dans tous les autres cas, la convexité et
la régularité de F imposent F( s) > s pour tout s E [O, 1[. (pour justi-
fier ceci lorsque m = 1 : si F(so) = so pour un certain so E [O, 1[, alors
par convexité E Pk sk = F(s) = s pour tout s E [so, 1], ce qui impose
kEN
p 1 = 1.) Alors la suite récurrente (an) croît vers 1 (qui est la seule solution
de l'équation F(s) = s), ce qui selon l'observation faite ci-dessus signifie que
IP(A) = lim an= 1 : il y a extinction presque sûre du nom« Pinot» lorsque
n-too
m S 1-:/: PI.
VIII.3 SOLUTIONS DES EXERCICES DU CHAPITRE IV 211

Exercice IV.1.15 Pour tous j, k E E, nous devons avoir

P'(j,k) = P(u(j),u(k)). Or d'une part

(Mer X tMer) jk = L Mfi X tMik = L l{j=er(i)} l{k=er(i)} = l{j=k}

iEE iEE

montre que tMer est la matrice inverse de Mer (qui est orthogonale), et d'autre
part ( tMer X PX Mer) jk

= L tMfil{tMfk = L l{i=er(j)}P(i,f)l{t=er(k)} = P(u(j),a(k)).

i,fEE i,fEE

En conclusion, nous avons P' = tMer x Px Mer= (Mer)- 1 x Px Mer (comme

pour un changement de base).

Exercice IV.1.16 a) La formule est triviale pour n = 0, et par récurrence:

(Apr+l(e, e') = L lPe(TA > n, Xn = e") AP(e", e')
e11 EAc

= L lPe(TA > n, Xn = e") P(e", e')

e"EAc

= L lPe(TA > n, Xn = e") lPe(Xn+l = e' /TA> n, Xn = e")

e11 EAc

= lPe(TA > n, Xn E Ac, Xn+l = e') = lPe(TA > n + 1, Xn+l = e').

b) Nous en déduisons aussitôt que pour tous n EN et e E Ac :

Exercice IV.2.2 a) La réflexivité (puisque po = I) et la symétrie sont

évidentes. Enfin la transitivité résulte aussitôt de ce que si pm(x, y) > 0 et
pn(y, z) > 0, alors pm+n(x, z) ;:=: pm(x, y) X pn(y, z) > 0.
b) L'implication directe résulte aussitôt de :

lPx(Ty < oo) = lPx((3n EN) Xn =y) :'.S L lPx(Xn =y)= L pn(x,y)
nEN nEN
selon l'exercice IV.1.7.c, et la réciproque résulte simplement de la majoration:
pour tout m E N ,
Pm(x, y)= lPx(Xm =y) :'.S lPx(Ty :'.Sm) :'.S lPx(Ty < oo).
212 CHAPITRE VIII. SOLUTIONS DES EXERCICES

c) Les urnes d'Ehrenfest constituent clairement un exemple de chaîne irré-

ductible, puisque chaque état de E = { 0, 1, ... , n} conduit (en un seul pas) à
son prédécesseur et à son successeur (quand il en a).
Dans l'exemple des rebonds en zéro, tout état conduit clairement à tout état
qui lui est inférieur, et en particulier à 0; de sorte qu'il y a irréductibilité
si et seulement si 0 conduit à tout état. Or pour que 0 conduise à n E N,
il est nécessaire et suffisant que 0 conduise en un pas à un état m 2 n,
c'est-à-dire que qm > 0 pour un certain m 2 n. Donc l'irréductibilité a
lieu si et seulement si le support de la loi q n'est pas borné. Les classes de
communication demandées sont {3, 4, 5}, {1}, {2}, {6}.
d) Fixons deux états x, y
E E et (supposant l'irréductibilité) un n EN* tel
que pn(x, y) > 0. Comme nous avons
0 < Pn(x,y) =

nous obtenons l'existence d'une suite d'états ei, e2, ... , en-1 E E tels que
P(x, el) P(ei, e2) ... P(en-1, y) > 0, ce qui signifie que le chemin x -t el -t
e2 -t · · · -t en-1 -t y est inclus dans le graphe de transition; qui est donc
nécessairement connexe, puisqu'il relie deux .états quelconques. Réciproque-
ment, le graphe de transition (non orienté) de la translation uniforme vers la
droite (soit P(n, n + 1) = 1, sur N ou sur Z) est clairement connexe, mais
cet exemple simple n'est nullement irréductible (ses classes de communication
sont les singletons) .
Exercice IV.2.4 a) La réflexivité est évidente. Vérifions l'antisymétrie : si
C -t C' -t C, il existe x,y E C et x',y' E C' tels que x -t x' et y' -t y;·
or par définition d'une classe de communication nous avons aussi y -t x et
x' -t y'; d'où (par transitivité de la cohduction entre états) x' -t x, et
donc x ~ x' ; ce qui montre que x et x' sont dans la même classe de
communication, de sorte que C = C'. Enfin si C -t C' -t C", il existe x E C,
x', y' E C' et x 11 E C" tels que x -t x' et y' -t x"; or par définition d'une
classe de communication nous avons aussi x' -t y'; d'où (par transitivité
de la conduction entre états) x' -t x", et donc C -t C", ce qui montre la
transitivité de la conduction entre classes de communication.
b) Pour l'exemple de l'exercice IV.2.2.c, les parties fermées sont {3, 4, 5},
{2,3,4,5}, {1,2,3,4,5},{6},{3,4,5,6},{2,3,4,5,6},{1,2,3,4,5,6}
(clairement, si une partie fermée contient un autre état que 6, elle doit contenir
{3, 4, 5}); et la seule partie absorbante est E entier. Pour l'autre exemple,
les parties fermées sont {3}, {5, 6}, {4, 5, 6}, {2, 3, 4, 5, 6}, et E entier, qui là
encore est la seule partie absorbante.
VIII.3 SOLUTIONS DES EXERCICES DU CHAPITRE IV 213

Exercice IV.2.6 Selon la proposition IV.2.7, il suffit de considérer les

classes de communication. Pour l'exemple de l'exercice IV.2.2.c, on voit aus-
sitôt que {1} et {2} ont une période infinie, que {6} est apériodique, et que la
période de {3, 4, 5} est 3. Pour l'autre exemple de l'exercice IV.2.4.b, on voit
aussitôt que {1}, {2} et {4} ont une période infinie, que {3} est apériodique,
et que la période de {5, 6} est 2.
Pour les marches simples sur zd, qui sont irréductibles, tout retour en 0 ne
peut avoir lieu qu'en un temps pair, et on peut revenir à l'instant 2, de sorte
que la période est 2.
Il en est de même pour les urnes d'Ehrenfest, pour la même raison.

Exercice IV.2.10 a) Nous avons d'abord {Ne > k} = {T.!' < oo} ]p>e_
presque sûrement (c'est clair pour k = 0 et ensuite chaque nouveau passage
en e équivaut à la finitude du temps de retour suivant), puis par récurrence,
via la propriété de Markov forte en T.!' (et puisque {T.!' < oo} = {Xrke = e},
comme pour l'exercice IV.1.13) :
]p>e(T:+l < oo) = ]p>e(T: +Te o oT:' < oo)

= ]p>e ({T: <OO} n ((}T.;l')-l ({Te <OO})) = lEe [l{Te<oo} o OT.;I' X l{TJ'<oo}]
= lEe []p>xT: (Te < OO) X l{TJ'<oo}] = ]p>e(Te < OO) X ]p>e(T: < OO)
= ]p>e(Te < OO) X (]p>e(Te < OO) )k = (]p>e(Te < oo) )k+I.
b) Le théorème de Fubini et l'exercice IV.1.7.c nous permettent d'écrire
lEe(Ne) = L ]p>e(Xn = e) = L Pn(e, e).
c) Selon a), si ]p>e(Te < oo) = 1 nous avons ]p>e(Ne = oo)

= ]p>e (
kEN
n{T: < oo}) = lim ]p>e(T: < oo) = lim (]p>e(Te < oo))k = 1,
k-+oo k-+oo
d'où bien entendu a fortiori lEe(Ne) = oo.
d) Selon a), si ]p>e(Te < oo) < 1 (ce qui est la définition de e transitoire),
nous avons

lEe(Ne) = L ]p>e(Ne > k) = L [Jp>e(Te < oo)t = [Jp>e(Te = oo)r 1 < oo.
kEN kEN
e) Selon b) et l'exercice IV.1.7.b, nous avons pour tous k,l EN et e,x E E:

lEe(Ne) = L pn(e, e) ~ L pk+n+l(e, e)

nEN nEN
214 CHAPITRE VIII. SOLUTIONS DES EXERCICES

2 L pk(e, x) Pn(x, x) P (x, e) = pk(e, x) 1Ex(Nx) P (x, e).

1 1

nEN
Ceci montre que si e et x communiquent et si x est récurrent, alors 1Ex(Nx) =
oo selon c), et donc 1Ee(Ne) 2 pk(e, x) oo P 1(x, e) = oo (pour k, l convenable-
ment choisis), ce qui selon d) (par contraposition) assure que e est récurrent
également.
f} Si e est récurrent, alors selon a), la propriété de Markov et l'exercice
IV.1.7.c, nous avons pour tout n EN:

1 = lPe(Ne > n) = L Pe(Xn =y, Te ofr < oo) =

yEE
L lPe[(On)- 1 ({Te < oo}) 1 Xn =y] Pe(Xn =y)= L lPy(Te < oo)Pn(e,y).
yEE yEE
Comme par ailleurs nous avons aussi 1 = L: pn(e, y), il vient par soustrac-
yEE
tion: pour tout x E E,
0= L lPy(Te = oo) X pn(e, y) 2 lPx(Te = oo} X pn(e, x) ;
yEE
de sorte que si e---+ x et pn(e,x) > 0, alors lPx(Te = oo) = 0, ce qui selon
l'exercice IV.2.2.b montre que x---+ e, et donc que la classe de communication
de e est fermée. Notons que l'idée est au fond assez simple: si e est récurrent,
la chaîne qui en est issue doit y repasser indéfiniment, et donc si elle doit passer
de temps en temps par un autre état x il faut bien qu'ensuite elle puisse aller
de x à e.
g) À peu près comme pour e) ci-dessus, nous avons pour tous x, e E E et
kEN:
1Ex(Nx) = L Pn(x, x) 2 L pk+n(x, x) 2 L pk(x, e) Pn(e, x)
nEN nEN nEN
= pk(x, e) L Pe(Xn = x) = pk(x, e) X 1Ee(Nx).
nEN
Soit C une classe de communication transitoire. Selon d), e) et la minoration ci-
dessus, nous avons : oo > 1Ex(Nx) 2 pk(x, e) x 1Ee(Nx) et donc oo > 1Ee(Nx)
pour tous x,e E C (en choisissant k tel que pk(x,e) > 0).
Si C est de plus finie et fermée, cela entraîne la contradiction suivante (établis-
sant ainsi par l'absurde l'assertion voulue) : pour tout e E C,

OO > L lEe(Nx) = 1Ee [ L L l{Xn=x}] = 1Ee [ L L l{Xn=x}]

xEC xEC nEN nEN xEC
VIII.3 SOLUTIONS DES EXERCICES DU CHAPITRE IV 215

= IEe [ L l{XnEC}l = L ]p>e(Xn E C) = L 1 =OO.

nEN nEN nEN
Notons que de nouveau l'idée est au fond plutôt simple : C étant fermée, la
chaîne partant d'un état de C doit rester éternellement dans C, et C étant
finie, il faut bien qu'elle repasse une infinité de fois par au moins un des
points, qui de ce fait ne peut pas être transitoire; c'est la même idée que pour
la proposition IV.2.14.
h) La définition de P montre clairement que tout état n communique avec
1, d'où l'irréductibilité. Nous avons ensuite :
]p>2(T1 lim ]p>2(T1 2: n) = lim P(2, 3) x ... x P(n, n + 1)
= oo) = n--+oo n--+oo

= lim (1 - r 2) X ...
n--+oo
X (1 - 2-n) = II
(1 - 2-n) > 0'
n2::2
puisque par concavité du logarithme log(l - 2-n) 2: -4(1og x 2-n pour i)
n 2: 2, d'où
log II (1- 2-n) = L log(l - 2-n) 2: -4(1og i) L 2-n = -2(1og i).
Cela entraîne bien le résultat demandé pour cet exemple, car pour revenir en
2 il faut passer par 1, de sorte que
]p>2(T2 < oo) S ]p>2(T1 < oo) = 1- ]p>2(T1 = oo) < 1.
Nous avons déjà rencontré une chaîne de Markov irréductible et transitoire :
la marche simple sur 7!} (selon le théorème de Polya 111.3.1).

Exercice IV.2.15 a) Selon l'exercice IV.2.2, il existe au moins un chemin

x = xo-+ x1-+ · ··-+ xe =y tel que P(Xj-1,xj) > 0 pour 1 S j S f. Et
il en existe en particulier un de longueur f minimale. Or si ce chemin avait
un point double : Xi = Xj pour un couple 0 S i < j S f, alors le chemin
xo -+ · · · -+ Xi -+ Xj+l -+ · · · -+ xe (remplissant la même fonction, dans
lequel la boucle Xi -+ · · · -+ Xj a été effacée) serait strictement plus court. De
sorte que le chemin minimal considéré est nécessairement injectif, et donc de
e
longueur f < n. Alors l'événement n
j=O
{Xj = Xj} est ]p>x-non négligeable et

est inclus dans {T~ = f}, donc dans {T~ < n}. Enfin pour passer au temps de
retour Ty il suffit de considérer le cas x = y (sans quoi Ty = T~ ]p>x-presque
sûrement) ; on obtient alors un lacet x = xo -+ x1 -+ · · · -+ xe = y -+ Xt+i = x
s
de longueur f + 1 n et ]p>x-non négligeable, en considérant n'importe quel
état y E Etel que P(y, x) > 0 (il en existe du fait de l'irréductibilité). Ainsi
216 CHAPITRE VIII. SOLUTIONS DES EXERCICES

l
JP>x(Ty:::; n) 2: JP>x(X1 =xi, ... , Xe= xe, Xe+i = x) =II P(xj, Xj+I) > 0.
j=O

b) La propriété est évidente pour k = 0 . Pour k = 1 , elle découle aussitôt

de a) et de la finitude de E, en posant
a:= 1 - min JP>x(Ty:::; n) = max JP>x(Ty 2: n + 1). Supposons la vraie au rang
x,yEE x,yEE
k 2: 1. Alors via la propriété de Markov à l'instant k(n + 1) :

JP>x [Ty 2: (k+l)(n+l)) = L JP>x[Ty > k(n+l), xk(n+l) = e, TyoOk(n+l) 2: n+l]

eEE
= L JP>x ( Ty > k(n + 1), xk(n+I) = e) X JP>e(Ty 2: n + 1)
eEE
: :; L JP>x(Ty > k(n + 1), xk(n+I) = e) X a= JP>x (Ty > k(n + 1)) a :::; ak+ 1 .
eEE
La seconde formulation s'en déduit en effectuant la division euclidienne de m
par (n + 1) : m = k (n + 1) + r , avec k E N et 0 :::; r :::; n . Alors

JP>x(Ty 2: m):::; JP>x(Ty 2: k(n + 1)) :::; ak = a(m-r)/(n+I) :::; a(m-n)/(n+I)

= c 13m, en posant c := a-n/(n+l) et f3 := a 1/(n+l) .

c) Nous déduisons de b) que pour toute loi initiale µ et tout y E E :

lEµ[éTy] = L µxEx[éTy] = µx L L
eempx(Ty = m)
xEE xEE mEN

:::; cLµx L(éf3)m= l-cf3ee <oo pour cE]O,-logf3[.

xEE mEN

Exercice IV.2.16 Pour tout i EN nous avons

P(i 0) = f3ï-f3H 1 = (I-bi+i)uï+bi+i > 0 et P(i i + 1) = f3i±l >0
' bi O"i O"i+l ' f3i '
d'où l'irrréductibilité. La formule donnant pn(o, i) est clairement vérifiée
pour n = 0 et tout i E N, puisque P 0 (o, i) = l{o=i} = l{i::;o} = ~ l{i::;o}.
Supposant la formule vraie pour n fixé dans N et tous les i E N, nous avons
pour tout j E N :

pn+l (0, j) = L pn(o, i) P( i, j) =

iEN
t
. 0 Un
i=
!!i_ P( i, j)
VIII.3 SOLUTIONS DES EXERCICES DU CHAPITRE IV 217

~ bi b3 ( ) b3-1 (33
= L.,_,; - -:- f3i -
. . CTn bi
f3i+l l{[Link];n} + -- --.-
CTn /33-l
1{3-1$n}
i=3

b3 ( CT3-l /33
= CTn /33 - /3n+i)l{[Link];n} + CTn 1{3$n+l}

(b3 + CT3-1)/33 - b3 f3n+l

CTn 1{3$n} + /3n+i l{j=n+l}
b3(1 - /3n+i)
= CTn 1{3$n} + /3n+i l{j=n+l}
b· b·
- 3- l{[Link];n} + f3n+i 1{3=n+l} = - 3- 1{3$n+l} ·
CTn+l CTn+l
Ceci prouve par récurrence la formule souhaitée. Nous déduisons de cette for-
mule et de la définition de la matrice P que pour tout n E N* :
n-1
pn(o 0) = ~ pn-1(0 i) P(i 0) = ~ --1!i.._ f3i-f3H1 = f3o-f3n = 1-f3n = . .L
' L...,; ' ' L...,; O"n-1 bi O"n-1 O"n-1 O"n
iEN i=O

Selon les propositions IV.2.11 et IV.2.12, P est récurrente si et seulement

si la série L __!._
CTn
diverge. Or la décroissance de la suite (bn) entraîne que
nEN
CTn ~ (n + 1) bo = n + 1, d'où la divergence de la série ci-dessus. Donc Pest
nécessairement récurrente.

Exercice IV .3.2 La positivité des Px est évidente, et la finitude de E permet

d'intervertir limite et sommation : d'une part

~Px=~ lim Pn(e,x) = lim ~ Pn(e,x) = lim 1=1

L...,; L...,;n~oo n~ooL...,; n~oo
xEE xEE xEE
montre que (Px) est une probabilité, et d'autre part pour tout y E E :

(pP)y ~ PxP(x,y) = L...,;

= L...,; ~ n~oo lim Pn(e,x)P(x,y)
xEE xEE
= lim ~ Pn(e, x) P(x, y) = lim pn+l(e, y) = Py.
n~oo L...,; n~oo
xEE
Dans le cas de la translation uniforme vers la droite sur N, nous avons
pn(O,x) --t 0 pour tout x E N, ce qui met le résultat précédent en défaut
lorsque E est infini.
218 CHAPITRE VIII. SOLUTIONS DES EXERCICES

Exercice IV.3.3 a) La mesure v est invariante si et seulement si

Vn = L
Vm P(m, n) = L
Vm l{m=n-1} = l{n~l} Vn-1 (\ln EN)'
mEN mEN
ce qui entraîne vo = 0 et de proche en proche Vn = 0 pour tout n E N. De
sorte que 0 est la seule mesure invariante de cette chaîne (on dit par abus de
langage qu'elle n'admet aucune mesure invariante).
b) La mesure v est invariante si et seulement si

vo = L VmPm et Vn = (1 - Pn-1) Vn-1 pour tout n EN*,

mEN
c'est-à-dire si et seulement si Vn = (1- Pn-1) · · · (1- Po) vo pour tout n EN*
et
vo = vo L
Pm (1 - Pm-1) · · · (1 - Po).
mEN
Il y a donc une mesure invariante unique (à constante multiplicative près) si
E Pm (1- Pm-1) ... (1- Po)= 1, et il n'y en a pas sinon. Or cette équation
mEN
équivaut à

0 = 1- n~ooL..J
lim ~
Pm(l-Pm-i) ... (1-po) = n~oo ~
lim [1- L..J Pm(l-Pm-1) ... (1-po)~

t.
m=O m=O

= Ji~(l - Po) [1- Pm (1- Pm-1) · · · (1- P1)]

= J~(l-po) · .. (1-P;-il [1- Ï;Pm (1- Pm-il··· (1-p;)]

= n~oo
lim (1 - Po) · · · (1 - Pn) = 11 (1 - Pk) .
kEN
Il existe donc une mesure invariante (unique, non nulle) si et seulement si le
«produit infini TI (1 - Pk) diverge». Ceci a lieu si et seulement si soit l'un
kEN
des coefficients Pk vaut 1, soit Pk < 1 pour tout k EN et la série
E log(l - Pk) diverge (c'est-à-dire vaut -oo). Vérifions (comme il est bien
kEN
connu) que cette dernière condition équivaut à la divergence de la série E Pk.
kEN
D'une part log(l - Pk) ~ -pk montre que la divergence de E Pk est suffi-
kEN
sante, et réciproquement si E Pk < oo , alors Pk ---+ 0 de sorte que la suite
kEN
VIII.3 SOLUTIONS DES EXERCICES DU CHAPITRE IV 219

(1 - Pk) admet un minimum ê E JO, 1(, ce qui par concavité du logarithme

entraîne log(l - Pk) 2:: 1~~= Pk et donc
2:: log(l - Pk) 2:: !~~= 2:: Pk > -oo.
kEN kEN
La conclusion est donc qu'il y a une mesure invariante (non nulle) unique (à
constante multiplicative près) si et seulement si soit l'un des coefficients Pn
vaut 1 soit la série (Pn) diverge, et que sinon il n'y en a pas (sauf bien sûr la
mesure nulle).
c) La mesure v est invariante si et seulement si Vn = (1 - p) Vn-1 + pvn+l
pour tout n E Z . Si p = 0 ou p = 1, cela signifie que la mesure (uniforme)
de comptage sur Z est la seule mesure invariante (à constante multiplicative
près). Il reste à considérer le cas 0 < p < 1. L'équation d'invariance ci-dessus
se réécrit Vn+i = ~ Vn -1?" Vn-1 (pour tout n E Z). Il s'agit d'une équation
linéaire récurrente d'ordre deux, analogue discret d'une équation différentielle
linéaire d'ordre deux, à coefficients constants. L'espace vectoriel des suites
(vn) solutions est un plan, dont on trouve une base en cherchant les solutions
exponentielles rn, ce qui conduit aussitôt à l'équation r 2 - ~ r + 1?" = 0.
Les deux racines en sont 1 et 1;P. Il y a donc deux cas, suivant que ces deux
racines sont égales (ce qui équivaut à p = ~) ou non.
Lorsque p = ~: une deuxième solution (indépendante de 1n = 1) est n 1n = n
(obtenue par dérivation par rapport à la racine double r), de sorte que la
solution générale est de la forme Vn = a + b n, pour a, b réels ; faisant tendre
n vers ±oo, les Vn devant être positifs, on voit aussitôt que nécessairement
a 2:: 0 = b . Il y a donc une seule mesure invariante (à constante multiplicative
près), la mesure uniforme de comptage sur Z.
Lorsque p #- ~ : la solution générale est de la forme vn =a+ b ( 7r, pour
a, b réels ; faisant tendre n vers ±oo, on constate cette fois que a, b E ~+ ,
condition évidemment suffisante pour assurer la positivité des Vn . Il y a donc
ici une infinité (tout un cône) de mesures invariantes non proportionnelles.
Nota Bene Cet exercice a met en évidence qu'il peut soit ne pas exister
de mesure invariante (hormis 0 bien entendu), soit en exister une seule (à
constante multiplicative près bien entendu), soit en exister une infinité (tout
un cône) non proportionnelles.

Exercice IV.3.9 Comme dans la preuve du théorème IV.3.7, à chaque classe

récurrente Ci correspond une probabilité invariante Vj relative à la restric-
tion de la chaîne à Cj, qu'on peut étendre en une probabilité Vj sur E (en
complétant par des 0 le vecteur-ligne Vj), automatiquement invariante pour P.
Ainsi les k probabilités invariantes Vj sont linéairement indépendantes (du fait
220 CHAPITRE VIII. SOLUTIONS DES EXERCICES

de leur supports 2 à 2 disjoints), et le cône C := { jtl Àj Vj 1 À1, ... , Àk 2'.: 0}

est de dimension k et constitué de mesures invariantes.
Réciproquement, soient V une mesure invariante pour P, C1, ... 'ck les
classes récurrentes, vj la restriction de v à Cj (obtenue en remplaçant par 0
k
les coefficients de v qui sont associés aux états de E"-Ej), et E' := LJ Cj.
j=l
k
Selon la proposition IV.3.5, v(E "- E') = 0, de sorte que v = L: vj. Selon
j=l
l'exercice IV.2.10.f, la restriction Pj de P à Cj est une matrice de transition
(de la chaîne restreinte à Cj), et pour tout i E Cj, utilisant que P( e, i) = 0 si
l'état e n'est pas dans Cj , nous avons :

vjPj(i) = L vj(e)Pj(e, i) = L v(e)P(e, i) = L v(e)P(e, i) = vP(i)

eEe; eEe; eEE
= v(i) = vj(i),
ce qui signifie que vj est une mesure invariante pour Pj. Selon l'unicité du
théorème IV.3.7 appliqué à (Cj, Pj), nous avons nécessairement vj = Àj Vj, et
donc v E C.
L'énoncé analogue relatif aux fonctions invariantes s'obtient de façon si-
milaire, s'il n'y a pas de point transitoire. Nous avons déjà noté ci-dessus
que la restriction Pj de P à Cj est une matrice de transition. Cela fait que
Pj le; = le; , et donc que toutes les fonctions constantes sur chaque classe (qui
forment un espace vectoriel de dimension k) sont invariantes. Réciproquement,
k
soient f invariante et fj := f le; . Alors f = ~ fj , et pour tout i E Cj nous
J=l
avons : Pjfj(i) =
L Pj(i, e)fj(e) = L P(i, e)f(e) = L P(i, e)f(e) = P f(i) = f(i) = fj(i),
eEe; eEe; eEE

ce qui montre que Pjfj = fj. Alors la preuve du théorème IV.3.7 (appliqué à
(Cj, Pj)) établit en fait précisément que fj doit être constante.
Exercice IV.3.10 La première assertion découle aussitôt du fait (immédiat
puisque v est une probabilité) que vU = u. Supposons P irréductible, et
notons v sa loi invariante (il en existe une unique, selon la proposition IV.3.4
et le théorème IV.3.7). La matrice (I - P + U) est inversible si et seulement si
sa transposée l'est, et donc si et seulement si le noyau Ker [t(I - P + U)] est
réduit à {O}. Soit tµ E Ker[t(I - P + U)]. Alors µ (I - P + U) = 0, et donc
(v+E µ)(I-P+U) = u pour tout ê > 0. Selon le lemme IV.3.6, on peut choisir
VIII.3 SOLUTIONS DES EXERCICES DU CHAPITRE IV 221

é assez petit ( 0 < é < m1::{~~h) pour que (li+ é µ) soit une mesure positive
sur E. En outre, multipliant à droite par tu et utilisant que P tu = tu et
utu = ntu, nous avons 0 = µ(I-P+U)tu = µtu-µPtu+µUtu = nµtu
et donc µtu= 0. De sorte que (li+ é µ) est une loi sur E, invariante pour P,
qui par unicité doit être égale à li. Ce qui prouve que µ = 0, comme voulu.

Exercice IV.3.11 Les classes de communication sont {1, 2, 4}, {3, 5}. Seule
{1, 2, 4} est récurrente. {3, 5} conduit à {1, 2, 4}. Puisque les états 1 et 5 sont
clairement apériodiques, tous les états le sont. Selon la proposition IV.3.5, les
mesures invariantes sont de la forme (a, b, 0, c, 0). Au vu de la matrice P, on
doit avoir a b c a a 3b 3c
a=3+4+4; b=2; c=6+4+4,
ou bien 8a = 3b + 3c, a= 2b; 2a + 9b - 3c = 0, d'où la solution unique
(conformément au théorème IV.3.7) : >. x (6, 3, 0, 13, 0).

Exercice IV.4.3 Si x f= e, nous avons:

Te ] [ T.,+TeoOT:r: ]
N: = l{T.,<Te} [
1+ L l{Xn=x} = l{T.,<Te} 1 + L l{Xn=x}
n=T.,+I n=T.,+I

f.
Teo8T.,
[
= l{T.,<Te} 1+ l{XmoOT:r:=x}] = l{T.,<Te} [1+N:0 ()Tœ] ·

De sorte que selon la propriété de Markov forte au temps Tx : d'une part

JEx(N:) = Px(Tx < Te)(l + JEx(N;)), et donc JEx(N:) = ::~~: ~ ~:~

(le même argument que dans la preuve du théorème IV.4.2 assure que
JEx(N;) < oo) et d'autre part
e JE ( e) llD ( JE ( e)) Pe(Tx <Te) . ...J.
Vx = eNx =.ireTx<Te 1+ xNx =JP>x(Tx~Te)
)(
Sl Xre.

Finalement la formule v; = ::~i ~ i~ est valable aussi bien pour x f= e

que pour x = e. On voit a posteriori que Px(Tx ~Te) > 0, ce qui est montré
directement dans la preuve de la proposition IV.4.9.

Exercice IV.4.6 Rappelons que selon le lemme IV.3.6, tous les llx sont non
nuls, de sorte que Q est bien définie (et à termes~ 0).
a) Nous avons ausitôt, du fait de l'invariance de li : pour tout état x,

yEE yEE
222 CHAPITRE VIII. SOLUTIONS DES EXERCICES

Puis par récurrence, si Qn(x, y) = pn(y, x) x lly/llx pour tous états x, y,

alors : Qn+l(x, y)
= L Qn(x, z)Q(z, y)="'""
LJ
Pn(z, x) X llz
li
X P(y, z) x lly = pn+ 1 (y, x) lly .
liz li
zEE zEE x x

Nous en déduisons que Qn(x, y) > 0 {::} pn(y, x) > 0, et donc que x -9..+ y{::}
y~ x, ce qui montre l'irréductibilité de Q à partir de celle de P. Comme cela
donne en particulier Qn(e, e) = pn(e, e) pour tout état e, nous en déduisons
aussi que la période (commune à tous les états) est la même pour Q que pour
P. Nous en déduisons enfin la récurrence de Q, en vertu de la proposition
IV.2.11, puisque pour tout état e:
L Qn(e, e) = L Pn(e, e) = oo.
eEE eEE

b) Selon la définition IV.4.8 il est équivalent de considérer la récurrence

positive et la nulle-récurrence. Le théorème IV.4.7 incite à regarder la mesure
invariante (unique) de Q ; or nous avons pour tout état e :

(li Q)e = L
llx Q(x, e) = Llie P(e, x) =lie,
xEE xEE
de sorte que li est la mesure invariante de Q également. Donc selon les
théorèmes IV.4.7 et IV.4.5 :
Q positivement récurrente {::} li finie {::} P positivement récurrente.
Soient µ une mesure quelconque sur E, et f sa densité par rapport à li;
ce qui signifie que f(e) := µe/lle pour tout état e E E. Nous avons alors :

µ = µ P {::} f(e) = L f(x) llx P(x, e) =

li
L f(x) Q(e, x) = Qf(e) {::} Qf = f.
xEE e xEE
c) Un argument clé et assez subtil de la preuve du théorème IV.3.7 est le
passage de P à sa transposée t P, pour passer des mesures invariantes aux
fonctions invariantes. C'est justement ce passage un peu délicat que ce qui
précède permet de contourner comme suit, en utilisant Q plutôt que t P :
via a), b) ci-dessus, considérant la densité f (par rapport à li) d'une mesure
P-invariante µ, nous sommes ramenés à vérifier que Qf = f implique f
constante. Or c'est précisément l'objet de la fin de la preuve du théorème
IV.3.7 (avec Pau lieu de Q, mais cela revient au même d'après a) ci-dessus).
d) Selon a) ci-dessus, nous avons pour tous 0 Sn SN et x, y E E:
VIII.3 SOLUTIONS DES EXERCICES DU CHAPITRE IV 223

e) Nous avons d'abord (étant donné que Ve= 1 et x f: e) :

Vx Qx(Te = 1) = Vx Qx(X1 = e) = Vx Q(x, e) = P(e, x) = 1Pe(X1 = x)

= 1Pe(X1 = x, Te> 1).

Et si la formule voulue est vraie au rang n ~ 1 , alors via la propriété de
Markov:
Vx Qx(Te = n + 1) = L Vx Qx(X1=z'Te0 () = n)
z#e
= L Vx Q(x, z) Qz(Te = n) = L P(z, x) Vz Qz(Te = n)
z#e

z#e z#e
= LJP>e[Xn = z, Te> n,X1 o en= x] = LJP>e[Xn = z,Xn+I = x, Te> n]
z#e z#e
= 1Pe(Xn+l =X, Te> n) = 1Pe(Xn+l =X, Te> n + 1) (puisque X f: e).

Exercice IV.4.11 a) Si v est réversible pour P, alors pour tout état e :

(v P)e = L Vx P(x, e) = L Ve P(e, x) =Ve.

xEE xEE

b) Pour les urnes d'Ehrenfest, nous avons E = {O, 1, ... , n} et

P(k, k - 1) = k/n = 1 - P(k, k + 1). Donc v est réversible si et seulement si
pour tous 0 S j, k S n :
Vj (j l{k=j-1} + (n - j) l{k=Hl}) = Vk (k l{j=k-1} + (n - k) l{j=k+l})

= Vj+I (j + 1) l{k=j+l} + Vj-1 (n - j + 1) l{k=j-1},

c'est-à-dire (en convenant de prolonger v par v_ 1 = Vn+I := 0) si et seulement
si pour tout 0 S j S n :
(n - j) Vj = (j + 1) Vj+1 et j Vj = (n - j + 1) Vj-1,
ce qui équivaut à: Vj = n-rl Vj-1 pour tout j E {l, ... , n}.

Nous obtenons donc la solution (unique) : Vj = n(n-l);,<n-j+l) Vo = c~ Vo.

Selon a) ci-dessus et le théorème IV.3.7, c'est dire que le modèle des urnes
d'Ehrenfest, qui est irréductible et positivement récurrent, a pour probabilité
224 CHAPITRE VIII. SOLUTIONS DES EXERCICES

invariante (unique) (2-n C~)o< .<n· Noter que dans cet exemple la recherche
des mesures réversibles constifJe le meilleur moyen pour trouver les mesures
invariantes, dont la recherche directe (par résolution de v = vP) n'est pas
aisée (à essayer, pour voir).
Pour les rebonds en 0, v est réversible si et seulement si pour tous
j, k E N : Vj l{k=j-I} + vo qk l{j=O} = vk l{k=i+I} + vo qi l{k=O}.
Particularisant à k = j + 1 , nous obtenons Vj+I = vo qi+I l{j=O} , d'où
v1 = vo q1 et Vj = 0 pour tout j ~ 2, c'est-à-dire que seule la mesure
v0 (1, qi, 0, 0, 0, ... ) pourrait être réversible. Particularisant à j = 0 et k ~ 2,
nous obtenons vo qk = 0, d'où:
- si qo + q1 < 1 : vo = 0, il n'y a pas de mesure réversible (non nulle);
- si qo + q1 = 1 : (1, q1, 0, 0, 0, ... ) est la seule mesure réversible.
Pour les rebonds en 0, v est invariante si et seulement si pour tout
j EN:
Vj = voqj + Vj+I,
c'est-à-dire si et seulement si Vj = vo(l - qo - · · · - qj-I) pour tout j EN*.
Nous avons donc (dans tous les cas) une mesure invariante unique (à constante
près), même s'il n'y a pas de mesure réversible. Noter que contrairement au cas
précédent des urnes d'Ehrenfest, la recherche des mesures réversibles n'aide ici
nullement à trouver les mesures invariantes, et s'avère même plus délicate.
Nous avons vu dans l'exercice IV.2.2.c qu'il y a irréductibilité si et seulement
si le support de la loi q n'est pas borné. Il est par ailleurs clair que 0 est
récurrent, et que seule sa classe de communication est récurrente. Cette classe
est soit N entier si le support de la loi q n'est pas borné, soit l'intervalle
N n [O, N] si N := sup{n EN 1 qn > O} < oo. Dans ce dernier cas, nous avons
v = (1, 1- qo, 1- qo - qi, ... , 1- qo - · · · - qN-i,0,0, ... ), qui est finie.
Dans le cas précédent, N est irréductible récurrent, et positivement récurrent
(selon le théorème IV.4.7) si et seulement si E (1- qo - · · · - qj) < oo.
f?.0
c) Nous avons à traduire ce qui précède en termes d'une variable aléatoire Y
telle que qi = IP'(Y = j), dans le cas irréductible récurrent où le support de Y
n'est pas borné. Alors (1-qo- · · · -qj) = IP'(Y > j) pour tout j EN, de sorte
que la récurrence est positive si et seulement si E[Y] = E lP(Y > j) < oo.
f~O
En outre, nous avons
Ev(T6) = L Vj Ej(T6) = L j Vj =Li IP'(Y > j) =JE
jEN jEN j?_l
[z:j
j?_l
l{Y>j}]

= E[~(Y - l)Y] = ~ (E[Y 2] - E[Yl),

VIII.3 SOLUTIONS DES EXERCICES DU CHAPITRE IV 225

qui est en effet finie si et seulement si Y E L 2 •

Donc pour Y E L 1 "- L 2 , le temps d'atteinte de 0 n'est pas li-intégrable; ce
qui montre que la proposition IV.4.9 ne peut pas être étendue à une loi initiale
plus générale (à support infini), même pas la loi invariante.
d) Cette chaîne est clairement irréductible (puisque qu'elle peut de déplacer
de 1 en 1 vers la droite comme vers la gauche) et apériodique (puisque le
temps de retour en 0 peut manifestement s'effectuer en 2 temps comme en 3
temps, de sorte que P 2 (0, O)P3 (0, 0) > 0). Le théorème IV.4.5 assure l'unicité
de la mesure invariante li , et on vérifie aussitôt que la mesure uniforme (de
comptage) sur Z est ici invariante.
( On peut aussi voir cela « à la main » : li est invariante si et seulement si

lin = -lln-1 + 4 lln-2 - lln-3 - lln-4 pour tout n E Z.

C'est une équation (différentielle discrète) linéaire à coefficients constants

d'ordre 4, qui se résoud classiquement en cherchant les solutions exponen-
tielles (pour obtenir une base de l'espace vectoriel des solutions, qui est de
dimension 4). On tombe ainsi sur l'équation (en la raison de l'exponentielle
(ou suite géométrique) rn) :
r4 = -r3 + 4r 2 - r - 1 qui équivaut à (r - 1) 2 (r 2 + 3r + 1) = 0,
et donc à r = 1 (racine double) ou r = (-3 ± ../5 )/2. D'où la solution
générale:
lin= a+ bn + c (- 3!v'5)n + d (- 3;-v's)n, pour a, b, c, d réels.

Mais il faut en outre que tous les coefficients lin de la mesure li soient ~ 0 .
Notons que 1- I
3 tv'5 < 1 < 1-
3 ;-v's I·
Ce qui fait que le terme dominant de
lin lorsque n-+ oo est le dernier (si di- 0), dont le signe est alternativement
positif et négatif; de sorte que le coefficient d doit être nul. Pour la même
raison, mais lorsque n-+ -oo, on voit que le coefficient c doit être nul. Ainsi
le terme dominant de lin en ±oo est en fait bn (si b i- 0), ce qui (de nouveau
via n -+ ±oo) impose b = 0 . Il ne reste donc comme mesure invariante que
la mesure uniforme sur Z .)
Le théorème III.4.2 de Chung et F\ichs assure que cette marche (centrée) est
récurrente. Comme sa mesure invariante est infinie, les théorèmes IV.4.7 et
IV.4.5 assurent que la chaîne considérée est bien nulle-récurrente.

Exercice IV.4.12 Faisons d'abord les premières constatations d'usage : il

s'agit d'une chaîne de Markov finie (en fait la marche simple sur les sommets du
cube), clairement irréductible, donc récurrente avec une probabilité invariante
226 CHAPITRE VIII. SOLUTIONS DES EXERCICES

FIGURE VIII.4 - Exercice IV.4.12 : Marche simple sur le cube

unique v selon le théorème IV.3.7, et donc positivement récurrente selon le

théorème IV.4.7.
a) Le théorème IV.4.7 assure aussi que le temps moyen lEe[Te] de retour en
e vaut 1/ve. Or par raison de symmétrie (tous les sommets du cube jouent le
même rôle vis-à-vis de la chaîne), la loi invariante v doit être la loi uniforme
sur l'ensemble E des 8 sommets du cube (qui confère la masse 1/8 à chaque
sommet). Vérifions ceci formellement (afin de lever tout doute éventuel sur
le raisonnement précédent) : si w est un sommet et si x, y, z sont ses trois
voisins, alors (vP)w = vxP(x, w) + vyP(y, w) + VzP(z, w) = k! k! k!
+ + =
k = Vw. Ceci prouve que lEe[Te] = 1/ve = 8.
b) Le théorème IV.4.2 fournit la mesure invariante ve, dont le coefficient v;
est précisément le nombre moyen de passages en a avant le retour en e. Par
unicité de la probabilité invariante, ye doit être proportionnelle à v . Comme
Vee = 1 , nous avons nécessairement ye = 8v . De sorte que = 1 .v;
c) En nous aidant de la figure VIII.4, et notant B = {Bi, B2, B3}, nous
voyons que JP>[Yn+l = B 1 Yn = e] = JP>[Xn+l E B 1 Xn = e] = 1;

JP>[Yn+1 =A 1 Yn = B, Yn-l = /3n-1, ... ]

= JP>[Xn+l E A Xn E B,Xn-l E /3n-1, ... ]
1
VIII.3 SOLUTIONS DES EXERCICES DU CHAPITRE IV 227

3
= L IP'[Xn+l E A 1 Xn = Bj] X IP'[Xn = Bj 1 Xn E B, Xn-1 E f3n-I, ... ]
j=l
3
= L ~X IP'[Xn = Bj 1 Xn E B,Xn-1 E f3n-I, .. ·] = ~ j
j=l
IP'[Yn+l = ejYn = B, Yn-1 E f3n-li .. .]
= 1- IP'[Yn+l = AjYn = B, Yn-1 = f3n-1, · · .] = i ·
Noter que le calcul ci-dessus aboutit du fait que la loi de Xn+l sachant
que Xn = Bj ne dépend pas du point Bj E B (c'est cette situation bien
symétrique qui permet l'agrégation des trois points Bj en le seul ensemble B,
et donc le passage de la chaîne X à la chaîne quotient Y). Les autres pro-
babilités conditionnelles de transition s'en déduisent par symétrie. L'exercice

::~ '~~:::::: :::t~~~' :·~un(e~1nrf)arkov (quotient), et nous

1 3 2 3
3 0 3 0
d} La loi invariante µ de Y s'obtient également par agrégation des masses
de la loi invariante de X : µ = (à, k, i,
i) (on vérifie aussitôt qu'en ef-
fet µ = µQ). Le théorème IV.4.7 assure que (relativement à la chaîne Y)
lEa(Ta) = 1/µa = 8. Utilisant ensuite que (puisque Ta 2: 1) Ta= 1+T~o0
(T~ désignant le temps d'atteinte et Ta le temps de retour), distinguant selon
le premier pas effectué, puis utilisant la propriété de Markov (sous sa forme la
plus élémentaire, de la définition IV.1.1), nous obtenons successivement :

lEe(Ta) = 1+lEe(T~o0) = 1+lEe(T~o0, Y1 = B) = 1 + lEB(T~) = 1 + lEB(Ta);

JEB(Ta) = 1+JEB(T~o0) = 1+JEB(T~o0 X l{Yi=e}) + JEB(T~ o 0 X l{Yi=A})
= 1 + Q(B, e) lEe(T~) + Q(B, A) lEA(T~) = 1 + i lEe(Ta) + ~ lEA(Ta);
JEA(Ta) = 1+JEA(T~o0) = 1+JEA(T~o0 X l{Yi=B}) + JEA(T~ o 0 X l{Yi=a})
= 1 + Q(A, B) lEB(T~) + Q(A, a) 1Ea(T~) = 1+~lEB(Ta)+0.
Cela forme un système linéaire simple de 3 équations à 3 inconnues, équivalent
à:
lEe(Ta) = 1 + lEB(Ta); lEB(Ta) = 2 + lEA(Ta); lEA(Ta) = 1 + ~ (2 + lEA(Ta)),
d'où: JEA(Ta) = 7, lEB(Ta) = 9, lEe(Ta) = 10.
Notons d'une part qu'on peut obtenir ainsi tous les temps moyens d'atteinte
et de retour relatifs à cette chaîne (par exemple lEA(TB)), et d'autre part qu'il
n'y a pas de raison a priori que ces valeurs moyennes soient des entiers.
228 CHAPITRE VIII. SOLUTIONS DES EXERCICES

e) Le retour à la chaîne initiale X est immédiat, du fait que les transi-

tions Q(A, A) et Q(B, B) sont nulles; autrement dit, toute trajectoire de
cette marche simple reliant e à a a la même longueur une fois projetée dans
{e, a, A, B} ; ce qui signifie que la chaîne quotient Y met presque sûrement
le même temps que la chaîne initiale X pour relier e à a. De sorte que
lEe(Ta) = 10 pour X comme pour Y. L'agrégation des états a ainsi permis de
calculer cette valeur plus simplement et plus vite.
f) Comme pour la question précédente nous pouvons utiliser la chaîne agrégée
(Y, Q). Utilisant l'exercice IV .1.16 (avec A = {a}), nous obtenons
IP'e(Ta > n) = (aQrl(e) pour tout n EN*, où la matrice aQ = {a}Q indexée
par Ea := { e, A, B} vaut

Q - ( 00 00 1)
~ - J_
( -1
2 32 32 ) (00 0
V7 00 ) (4
1 -6
2
~)-
a - k ~ Ô - 14 0 ../7 ../7 0 ~ -{1 1 2 -../7
De sorte que pour tout n E N* :

(aQr1 = (~1 ~ ~) x (~ (4)n ~ ) x (3;0) x_!_

o ..fi ..fi o o (-fr 3-../7 14

1 ( 3[(3 + ..fi)(fr + (3 - ../7)(=f1r] )

= 14 2[(3 + ../7)(fr + (3 - ../7)(-=fZ)n] .
../7 [(3 + ../7)(f )n - (3 - ../7)(~r]
En particulier: IP'e(Ta > n) = 134 [(3 + ../7)(4-)n + (3 - ../7)(-f r].
Exercice IV.4.13 a) Il suffit d'appliquer le théorème de Fubini, d'effec-
tuer la somme d'une progression géométrique, et d'appliquer la définition de
l'espérance :

L tk IP'e(Te > k) = L k
t IP'e(Te = R) = Ll-te
-1-t IP'e(Te = f)
kEN 05,k<e EN eEN

1-
= -1-t ['°"
L..J
IP'e(Te = R) -
eEN
L..J
'°"
tf IP'e(Te = R)l = l -1-t
eEN
G(t) ·

b) L'amorçage (k = 0) est trivial, et par récurrence, utilisant la formule de

récurrence r:+l r:
= +Te o ()T: (de l'exercice III.2.1.a) et la propriété de
Markov forte en r: ,nous obtenons :
lEe [uT:+i] = lEe [uT: xuTeo()T:] = lEe [uT:] xG(u) = G(u)kxG(u) = G(u)k+l.
VIII.3 SOLUTIONS DES EXERCICES DU CHAPITRE IV 229

c) Appliquant la définition de Yn , la formule de récurrence = + T:+l T:

Te o or: (de l'exercice 111.2.1.a), et la propriété de Markov forte en T:, nous
avons:

lP'e[Yn = j] = lP'e [Xi = e, Xi+I f= e, ... , Xn f= e] = lP'e[ lJ {T: = j, T:+ 1 > n }]

kEN .

= L lP'e [T: = j' Te 0 or: > n - j] = L lP'e(T: = j) 1P'e(Te > n - j).

kEN kEN
d) De a),b),c) ci-dessus et du théorème de Fubini nous déduisons :
n
L tnlEe(sYn) = L LtnsjlP'e(Yn = j)
nEN nEN j=O

= L L tnsj 1P'e(T: = j) 1P'e(Te > n - j)

O~j~nEN kEN

= L L(st)iJP>e(T: = j) Ltn-jlP'e(Te > n-j)

jEN kEN n?_j

Exercice IV.5.1 Via l'exercice IV.1.7.c, le théorème de Fubini et la propriété

de Markov forte en Ty , nous avons :

L pn(x,y) =L lEx(l{Xn=Y}) = lEx [L l{Xn=Y}l

nEN nEN nEN

= lEx [ l{ry<oo} L l{Xn=Y}] = lEx [l{Ty<oo}Ny 0 oTy] = lP'x[Ty < oo] lEy[Ny].
n?_Ty

Exercice IV.5.6 a) Si PV =À V avec V f= 0, considérons io E Etel que

IVi0 I =max {IVil 1 i E E}. Alors IViol > 0 et

1/\'I = Ill; I 1=
l(PV)io Ill;1 I 'L...J
°"' P(. ')'r <
io, i vi_ L...J
'°"' '°"'
!VilI <_ L...J P( i·0 , i') = 1.
P(.io, i') Ill;
io io iEE iEE io iEE
230 CHAPITRE VIII. SOLUTIONS DES EXERCICES

b) Si PV =>.V avec V# 0, nous avons pmy = >.m V pour tout m EN

et donc comme en 1) :

l>.lmlViol = L pm(io,j) Vj S L pm(io,j) IVJI S L pm(io,j) IViol = IViol·

jEE jEE jEE
Et si l>-1 = 1, alors il doit y avoir égalité partout dans cette ligne, de sorte que

IViol = LPm(io,j) IVJI =

LPm(io,j) Vj .
jEE jEE
m-+oo
Or selon le théorème ergodique IV.5.5, nous avons pm ( io, j ) - - - - - - + Vj > 0,
pour tout j E E. De sorte que

LVj IViol = IViol = LVj IVJI = LVj Vj '

jEE jEE jEE

ce qui impose que IViol = IVJI pour tout j E E, et que les Vj soient nuls ou du
même signe que Vio ; il faut donc qu'ils soient tous égaux à Vio , i.e. V = Vi 0 1 .
Nous avons donc
À Vi0 l = À V= PV = Vio Pl= Vio 1, d'où À= 1.
Par contraposition et selon 1) ci-dessus, cela signifie bien que >. # 1 ::::} l>-1 < 1.
Par ailleurs, si 1 était valeur propre de multiplicité 2: 2 , il existerait un vecteur
=
W non colinéaire à V 1 tel que PW = W +1 (de par la réduction de Jordan,
dans le sous-espace propre généralisé associé à la valeur propre 1). On aurait
alors
W + m 1 = pmw m-+oo (v W) 1, ce qui est absurde.
Pour un argument alternatif sans réduction de Jordan, voir le corrigé du
problème VII.25, partie 1. Par ailleurs la preuve du théorème IV.3.7 (ou la
question 8 du problème VIl.22) montre de fait que Ker(P- I) = llH est une
droite, même sans apériodicité.

c) Par trigonalisation de P, nous pouvons écrire P = Q (6 ~) Q- 1 avec

Q(i, 1) = 1 (du fait que Pl = 1), L = (L2, ... , Ln), et T = D + N, avec
D diagonale, comportant sur sa diagonale les valeurs propres >.2 , ... , Àn , et
N nilpotente, triangulaire supérieure avec diagonale nulle. Alors pour tout
m E N* : pm = Q ( 6 ~:?) Q- 1 avec rm -+ 0 (exponentiellement vite,
lorsque m-+ oo), et L(m) = L(m-l) +Lrm-l = L(I +T+ · .. +rm-l) tend
vers L(oo) := L x(I -T)- 1 . Donc pm-+ Q (6 L~)) Q- 1 =: P 00 •
VIII.3 SOLUTIONS DES EXERCICES DU CHAPITRE IV 231

Nous en déduisons, notant par commodité L := {1, L( 00 )), que

n _ n _
P 00 {i,j) = Q(i, 1) L: Lk Q- 1 (k,j) = L: Lk Q- 1 (k,j) est indépendant de i,
k=l k=l
c'est-à-dire que P 00 = 1 x C pour une certaine ligne C (1 désignant ici comme
d'habitude la colonne-fonction constante égale à 1). Alors
v = v P =} v = v P 00 = v x 1 x C = C , ce qui montre l'unicité de v
{probabilité invariante), et également P 00 = 1 x v. Selon le théorème IV.3.7,
il n'y a donc qu'une seule classe récurrente, disons C. Quitte à réordonner E,
on peut toujours supposer que C = {1, ... , q}. Alors v = (vi, ... , vq, 0, ... , 0)
avec v1 ... vq f=. 0, et puisque pm(e, e) m~oo Ve > 0 pour tout e E C, nous
avons aussi pm(e, e) > 0 pour tout m suffisamment grand, ce qui entraîne
l'apériodicité de C.

Exercice IV.5.7 Le résidu Sn de Sn modulo m constitue une marche

aléatoire sur le groupe abélien E := Z/mZ, donc une chaîne de Markov sur
E, de matrice de transition disons P. La limite demandée est précisément
lim pn (Ô, Ô). L'hypothèse faite assure clairement l'irréductibilité de (E, P)
n~oo

(IJD{l) > 0, et on peut relier deux états quelconques de E en avançant pas par
pas), et la finitude de E assure la récurrence positive. Montrons l'apériodicité :
procédant pas par pas on revient en Ô en m lancers, tandis que remplaçant
l'un de ces pas par un saut de 2, on revient en Ô en (m - 1) lancers; de sorte
que pm(ô,ô) Xpm-l(ô,ô) >O.
Nous pouvons donc appliquer le théorème ergodique IV.5.5 :
lim pn (Ô, Ô) = vô, et il ne reste qu'à préciser la probabilité invariante v.
n~oo

Vérifions que c'est la loi uniforme sur E : nous avons en effet P(q, 'li)
1{·-·-· {l B}} x IJD(a) (pour tous q,n E E), d'où (pour tout 'li E E):
n q-a,aE , .. .,
6 6
(v P)ri = L Viz P(q, n) = L fn P(n - à, n) = fn L IJD(a) = fn = vri.
qEE a=l a=l

En conclusion, nous obtenons lim IJD(Sn E mN)

n~oo
= lim pn(ô,ô) = :Jn ·
n~oo

Le même résultat est garanti dès que P est irréductible et apériodique. Ce qui
reste vrai si par exemple : IJD{l)IJD{2) > 0 (c'est-à-dire si les faces 1 et 2 ont une
probabilité > 0 de sortir), comme l'établit ce qui précède.
Plus généralement, l'irréductibilité demeure dès que IJD(j) > 0 pour un entier
j {ici entre 1 et 6) premier avec m, puisqu'alors la relation de Bézout assure
que aj = c + f3m pour des entiers a E N*,/3 E 'li., et c = ±1, et donc que
pa(Ô, €) > 0; ce qui suffit {de proche en proche, comme plus haut).
232 CHAPITRE VIII. SOLUTIONS DES EXERCICES

Notons qu'on a nécessairement pm(o,ô) > 0 (en utilisant m fois la même

face). L' apériodicité demeure dès que pa (Ô, Ô) > 0 pour un entier a ;?:: 1
premier avec m. Supposons par exemple qu'il existe deux faces 1 ::'.S k < .e ::'.S 6
(non nécessairement distinctes de j ci-dessus) ayant une probabilité > 0 de
sortir et telles que .e - k soit premier avec m. Alors une trajectoire composée
de k(m-l)fois.f etde .ffois k produit Sk(m-l)+e=k(m-1).f+fk=km.e,
de sorte que pkm+e-k(ô,ô) >O.
A ce stade, observons que cette même hypothèse entraîne aussi l'irréducti-
bilité; il suffit en effet de fixer comme plus haut des entiers a E N*, (3 E Z et
ê = ±1 tels que a (.e- k) = ê + (3m, et de noter qu'alors a.e + a(m-1) k =
ê + ((3 + ak) m; de sorte qu'en utilisant a fois la face .e et a(m - 1) fois la
face k, on met en évidence que pam(o, i) > 0, ce qui de nouveau suffit à
garantir l'irréductibilité. Voici donc un exemple d'hypothèse assez générale
garantissant le même résultat :
!P(k) JP(.e) > 0, pour 1 ::'.S k < .e ::'.S 6 tels que (.e - k) est premier avec m.

VIII.4 Solutions des exercices du chapitre V

Exercice V.1.2 a) Il suffit de procéder pour n fixé par récurrence sur m >
n : lE[Xm+i I Fn] = lE[lE[Xm+l I Fm] 1 Fn] ::'.S lE[Xm 1Fn] ::'.S Xn presque
sûrement, par positivité (ou croissance) de l'espérance conditionnelle. De plus,
notant F~ := cr{Xo, ... , Xn}, qui est une sous-tribu de Fn puisque X est
adaptée par définition, nous avons lE[Xn+i IF~] = lE[lE[Xn+i IFn] 1F~] ::'.S
lE[Xn 1 F~] = Xn presque sûrement, ce qui constitue la propriété demandée.
b) Il est clair que deux inégalités de sousmartingale peuvent être additionnées
membre à membre, et multipliées par un nombre réel> O. Enfin par positivité
(ou croissance) de l'espérance conditionnelle, nous avons lE[(XVY)n+i IFn] ;?::
lE[Xn+i IFn] ;?:: Xn presque sûrement, et de même lE[(X VY)n+i IFn] ;?:: Yn
presque sûrement, de sorte que
lE[(X V Y)n+i IFn] ;?:: max{Xn, Yn} =(X V Y)n presque sûrement.
c) Il s'agit seulement d'appliquer l'inégalité (de convexité) de Jensen; cela
donne presque sûrement : dans le premier cas

et dans le second cas

VIII.4 SOLUTIONS DES EXERCICES DU CHAPITRE V 233

Exercice V.1.3 Nous avons d'une part dans Z/5Z, pour tout n EN:

lE[Yn+i I Fn] = lE[Yn+i I Fn] 1{ Xne 3z} + lE[Yn+i I Fn] l{xn~ 3 z}

= lE[Yn+l 1{ Xne 3z} 1Fn] + lE[Yn+l 1{ Xn~ 3z} 1Fn]

= ! ( (Yn + 2) + (Yn - 2)) 1{ XnE 3Z} + ! ( (Yn + Ï) + (Yn - Ï)) 1{ Xn~ 3z} = Yn.

Nous avons d'autre part :

llD( ·1 · ·) ][l>(Yg = 2, Y2 = 61 Y1 = i)
ir Y3 = 2 Y2 = 0, Y1=1 = ( .I .)
][l>Y2=0 Yi=l
][l>(X2=0,X3::2IX1=l) ( )
- les congruences = étant modulo 5 .
- ][l>(X2=01X1=1)
Comme (dans Z) 1+5z = 3k <=:? 5(z-1) = 3(k-2) <=:? [z = 1+3m, k = 2+5m],
il convient de distinguer dans l'événement {X1 = 1} = LJ {X1 = 1 + 5z}
zEZ
suivant que z E 1 + 3Z ou non, en écrivant
{X1=1} = LJ {X1=1+5z} LJ LJ {X1=1+5z}; on obtient ainsi
zE1+3Z z~1+3Z

][l>[X2 = OIX1=1] = L l{Xi=1+5z}·!1{1±2::0} + L

l{Xi=1+5z}·!l{l±l::O}
zE1+3Z z~1+3Z

= ! L
z~1+3Z
l{X1=1+5z} = !(1{XiE1+15Z} + 1{X1E11+15Z})'

puis ][l>(X2 = O,X3=2IX1=1) =

! [ l{X1E 1+15Z}][l>[X3 = 21x2 E 15ZJ + l{X1E11+15Z}][l>[X3 = 21x2 E 10+ 15ZJ]

-
- 2
! (1
{X1El+15Z}
X ! + 1
2 {X1Ell+l5Z}
X o) -- ! 1
4 {X1El+15Z}'
de sorte que

Et de même, nous avons successivement :

( . . .) ][l>(X2=0,X3::2IX1=2)
]p> Y3 = 2 1Y2 = 0, Y1 = 1 = llD( I ) ,
ir X2 = 0 X1=2

2 + 5z = 3k <=:? 5(z - 2) = 3(k - 4) {::=:? [z = 2 + 3m, k = 4 + 5m],

 234 CHAPITRE VIII. SOLUTIONS DES EXERCICES

JP>(X2 = OIX1 = 2] = L l{X1=2+5z}·!1{2±2::0} + L

l{X1=2+5z}·!1{2±1::0}
zE2+3Z z~2+3Z

JP>(X2:: O,X3:: 2IX1:: 2) = ! l{XiEl 2+1 5Z}lP'(X3:: 2 X2 E 10+15Z) = 0; I

de sorte que
JP>(Y3 = 21Yi!=Ô,Yi=2) = 0 f= JP>(Y3 = 21 Y2 = Ô, Y1 = i).
L'exercice IV.1.2 assure donc que (Yn) n'est pas une chaîne de Markov.

Exercice V.1.4 a) Pour tous s1, ... , Sn-1, s 2 à 2 distincts dans {1, ... , N},
nous avons
TID[ J Card{ulu1=s1, ... ,0'n-1=Bn-1,u;=s} (N~n)!
Jr 0"1 =Si,···' O"n-1 = Sn-11 O"j = S = Card(SN) = ~

et TID( 0"1
ir = s1, ... , O"n-1 = Sn-1 ) = (N-n+l)!
N! ' d' ou,

JP>(uj = s 10"1 = s1, ... ,O"n-1 = Sn-1) = N-~+l X 1{ s'Fd{ si, .. .,Bn-1 }}" Donc

JE [l{u;=s} IFn-1]

= '""
L.J JP>(ui = s 1u1 =si, ... , O"n-1 = Sn-1) l{C 0'1 0'n-1 )-(
1••• 1 - B1 1••• 1Bn-l )}
s1, ... ,Sn-l

= L
Bi, ... ,Bn-1
N-~+1 X 1{ s~{si, ... ,Bn-1} } X 1{ (u1 ,... ,O'n-i)=(s1 sn-1) }
1 ... 1

-
-
__
1_
N-n+l
'""
L.J l{ui, ... ,un-dc(s) X l{c~v1, ... ,0"n-l )-(s
- 1, ... ,Sn-l )}
si, ... ,Bn-1

- 1
N-n+l 1{u1, ... ,0'n-1}c (s) ·'
ce qui montre que la loi conditionnelle de O"j est uniforme sur {ui, ... , O"n-Üc·
b) Comme
n n-1 n-1
Xn - Xn-1 = N~n ?: aO'j - N!+l J=l
J=l
?: aO'j = N~n aun + (N-n)ftv-n+l) ?: aO'j'
J=l
nous déduisons finalement de a) ci-dessus que
n-1
lE[Xn - Xn-1 I Fn-1] = ~n lE[aun 1 Fn-1] + (N-n)(i-n+l) Lau;
j=l
VIII.4 SOLUTIONS DES EXERCICES DU CHAPITRE V 235

N -1 N
=_li_x- 1-~a.+ N ~a=
N-n N-n+I L.., 0"3 (N-n)(N-n+I) L.., Uj N ~a
(N-n)(N-n+I) L.., k = 0·
j=n j=l k=l

Exercice V.1.5 a) L'adaptation et l'intégrabilité sont immédiates, et nous

avons presque sûrement pour tout n EN:

IE[e-..\(n+l) f 0 I
Yn+I Fn] = L IE[e-..\(n+I) f 0 I
Yn+I Yn = e] l{Yn=e}
eEE

= L e-..\(n+I) f(e') JP'[Yn+I = e' 1 Yn = e] l{Yn=e}

e,e'EE

= e-..\(n+I) L f(e') P(e, e') l{Yn=e}

e,e'EE

= e-..\(n+I)L Pf(e)l{Yn=e} = e-..\(n+I)pfoYn;

eEE

de sorte que si P f = e..\ f , alors nous avons bien

lE[e-..\(n+l) f o Yn+I I Fn] = e-..\n f o Yn.
b) Le calcul effectué ci-dessus montre aussi bien que si P f ~ e..\ f , alors nous
avons bien lE[f o Yn+I IFn] = Pf o Yn ~ f o Yn pour tout n EN.
c) Nous avons en effet presque sûrement, pour la même raison et pour tout
nEN: n n
IE(J(Yn+I) +L [f(Yk) - PJ(Yk)] 1 Fn) = PJ(Yn) +L [J(Yk) - Pf(Yk)]
k=O k=O
n-I
= f(Yn) +L [J(Yk) - Pf(Yk)] ·
k=O

Exercice V.1.6 a) Il faut vérifier que Fn C Fn+I, et donc que n /\ G est

Fn+1-mesurable; or c'est clair du fait que n /\ G = min{n, (n + 1) /\ G}, pour
tout n EN.
b) Pour toute fonction f bornée sur Net pour tout n EN, nous avons

lE[(l{G>n} - P l{G~n}) f(n /\ G)] = lE [ ((1 - p)l{G>n} - P l{G=n}) f(n)]

= ((1- p) lP'(G > n) - plP'(G = n))f(n) = ((1- p) pn+I - p (1 - p) pn)f(n)

=Ü.
236 CHAPITRE VIII. SOLUTIONS DES EXERCICES

De ce fait et parce que l{a 2 n} = l{nAG=n} est Fn-mesurable, la caractéri-

sation de l'espérance conditionnelle fournit le résultat demandé.
c) Nous déduisons aussitôt de b) ci-dessus le résultat demandé, puisque

JE( G /\ (n + 1) 1 Fn) - G /\ n =JE( G /\ (n + 1) - G /\ n 1 Fn) = JE(l{G>n} 1 Fn)

= P l{G2n} ·
d) Pour tout a E JR, nous avons selon b) et c) ci-dessus :

JE(Xn+l 1 Fn) = aJE(G /\ (n + 1) 1 Fn) + JE(l{G2n+l} 1 Fn)

=a ( G /\ n + p l{G2n}) + p l{G2n} = Xn + (ap + p - 1) l{G2n},

de sorte que la seule valeur a= ~ - 1 convient.
e) Nous avons
(Xn+l-Xn) = (~-l)(G/\(n+l)-G/\n)-l{G=n} = (~-l)l{G>n}-l{G=n}

d'où (Xn+l -Xn) 2 = (~ -1) 2 l{G>n} + l{G=n} = (~ - ~) l{G>n} + l{G2n},

et donc via b) ci-dessus :

Par ailleurs, développant le carré nous avons aussi : JE( (Xn+l - Xn) 2 Fn)I

De sorte que JE(X~+l 1 Fn) - X~=(~ - 1) l{a 2 n} et donc

JE(Yn+i I Fn) - Yn = JE(X~+i I Fn) - X~ - a (G /\ n - G /\ (n - 1))

= (~ - 1) l{G2n} - a l{G2n} = 0.

Exercice V.1.9 Test un temps d'arrêt puisque H étant adapté, nous avons
n
pourtout nEN: {T~n}={N~n}U LJ {IHkl>A} EFn.
k=l
L'adaptation de (Xn) résulte aussitôt de: l{r 2 j}Hj-1 est Fj-1-mesurable et
n
Xn = :L l{r 2 j}Hj-1[Mj -Mj-1]. Pour la même raison et par définition de
j=l
T, nous obtenons ensuite l'intégrabilité de chaque Xn :
n n
JE[IXnl] ~ LJE[l{T2j}IHj-1llMj - Mj-11] ~ LJE[l{T2j}AIMj - Mj-11]
j=l j=l
VIII.4 SOLUTIONS DES EXERCICES DU CHAPITRE V 237

n n
:S AL lE(IM3I + IM3-1I) :S 2A L lE(IM3I) <OO.
j=l j=O
·'
Enfin la propriété de martingale résulte aisément, toujours dans la même veine,
de:
JE(Xn+l - Xn 1 Fn) = JE(l{T~n+l}Hn(Mn+l - Mn) 1 Fn)
= l{T~n+l}Hn X JE(Mn+l - Mn 1Fn) = 0.

Exercice V.3.4 L'adaptation est évidente, et nous avons immédiatement

lE(IMnl) = lE(Mn) = 1, de sorte que M est de norme constante dans L 1 (et

d'espérance constante). En outre JE(e 8 n) = JE[fi ex3] = lE(eX1 f et Xn+I

J=l
est indépendante de Fn = u{X1, ... ,Xn}, de sorte que

JE(Mn+l - Mn 1 Fn) = lE((eXn+i - JE(eX1)) Mn +1 1 Fn) =

JE(eX1 r

lE[eXn+i _JE(eXi)l.F.J Mn = [lE(eXn+i)-lE(eX1),l Mn =0.

n JE(eX1 r+l ~ JE(eX1 r+l

Dans le cas B(O, l;p), nous avons lE(eX1) = (1- p + pe) et donc presque
sûrement, selon la loi forte des grands nombres :
enp+o(n) c
Mn= (l - p + pe)n = exp[(p- log(l - p + pe) + o(l)) n] ---+ 0,
car
0 < p < 1 => p-log(l-p+pe) < 0 => (p - log(l - p + pe) + o(l)) n ~ -oo.

Dans le cas B(-1, l;p), nous avons lE(eX1) = (~ + pe) et donc presque
sûrement, selon la loi forte des grands nombres : ..
e(2p-1) n+o(n)
Mn= l-p =exp[(2p-1-log(~+pe)+o(l))n]---+ 0,
(-e- + pe)n
car de nouveau 0 < p < 1 => 2p -1- log(1~P + pe) < 0 (il suffit d'étudier
les variations de [P i-+ p - log(l - p + p e) J et de [P i-+ 2p-1- log(1~P + p e)]).
Le résultat du corollaire V.3.3 est faux ici, puisque M00 = 0 et donc
lE(M00 1 Fn) = 0-:/= Mn. Toutefois le corollaire V.3.3 n'est pas mis en défaut,
puisqu'il suppose la martingale bornée dans Lq pour q > 1, alors que (Mn)
n'est bornée ici que dans L 1 .
238 CHAPITRE VIII. SOLUTIONS DES EXERCICES

Exercice V.3.5 Soient Xn := IE[Xn] et Xn := Xn - Xn. Nous avons pour

tous N,k EN:

Il N+k 112 - Il N+k

LXn -
N+k -112 -1 N+k 12 Il N+k -112
LXn+ LXn - LXn + LXn ,
n=N 2 n=N n=N 2 n=N n=N 2
d'où l'on déduit aussitôt que les deux séries L Xn et L Xn vérifient le critère
n n
de Cauchy dans IR et dans L 2 respectivement, et donc convergent. De sorte que
la convergence presque sûre de L Xn = L Xn + LX n découlera clairement
n n n
de celle de L Xn.
n
Ceci prouve qu'il suffit de considérer les variables aléatoires centrées Xn au
lieu des variables aléatoires Xn . Alors par indépendance les sommes partielles
N
L X n définissent une martingale, convergente dans L 2 et donc bornée dans
n=l
L 2 . Le corollaire V.3.3 assure que la convergence presque sûre en découle.

Exercice V.3.6 a) (Xn) est bornée dans LP du fait de l'inégalité de Jensen,

par convexité de 1 · IP :
IE[IXnlP] = IE[IIE(Y 1 Fn)lp] :S IE[IE(IYIP 1 Fn)] = IE[IYIP] = llYll~ <OO.
La propriété de martingale résulte aussitôt de: IE[lE[YIFn+il I Fn] = lE[YIFn]·
Le corollaire IIl.3.3 s'applique : (Xn) converge presque sûrement et dans V,
vers X 00 telle que IE(X00 1 Fn) = Xn = IE(Y I Fn) pour tout n EN.
Il reste à établir que Z := X 00 - Y E LP(F00 , JP>) est nulle, sachant que
lE(ZIFn) = 0 pour tout n EN (et il suffit pour cela que Z E L 1 ).
Considérons p :={A E Foo IIE(ZlA) = o}, qui selon l'hypothèse contient
F := LJ Fn , lui-même stable par réunions et intersections finies. Selon le
n
théorème de maximalité de Hausdorff (équivalent au lemme de Zorn, donc
à l'axiome du choix), l'ensemble des parties de P stables par réunions et
intersections finies et contenant F possède un élément maximal f,. Soient
A := LJ t An une union dénombrable croissante de parties (An) c E, et
n
A:= { (B n A) U B' 1 B, B'E E}; il est clair (par restriction à B = 0) que A
contient E, et aussi que Ac P (puisque (B n A) U B' =Ut (B n An) U B'
n
et que (B n An) U B' E f', pour chaque n). De plus, la stabilité de A par
réunions et intersections finies résulte aussitôt de celle de f', et des formules
élémentaires suivantes :
((B1 n A) u BD u ((B2 n A) u B~) = ((B1 u B2) n A) u (B~ u B~)
VIII.4 SOLUTIONS DES EXERCICES DU CHAPITRE V 239

et n A) u BD n ((B2 n A) u B~)
( (B1
= ([(B1 n B2) u (B1 n B~) u (B~ n B2)] n A) u (B~ n B~).
La maximalité de E impose alors que A C E, et donc A = E, ce qui signifie que
A E E, et donc que E est stable par réunion dénombrable croissante, et donc
par réunion dénombrable (puisque déjà stable par réunion finie). La même ar-
gumentation montre aussi bien que E est stable par intersection dénombrable.
Observons ensuite que E' := {A E E 1 Ac E E} contient F (qui est stable
par passage au complémentaire), est stable par passage au complémentaire,
et est stable par réunion dénombrable. Nous obtenons donc que E' est une
tribu. Comme elle contient F, elle doit contenir aussi F 00 • Ceci prouve que
P = F 00 , c'est-à-dire que lE(ZlA) = 0 pour tout A E F 00 • Puisque Z est
F 00 -mesurable, nous pouvons prendre (pour tout n E N*) A = l{Z2'.l/n}• ce
qui donne 0 = lE(Z l{Z2'.l/n}) ~ ~ IP'(Z ~ 1/n) et donc IP'(Z ~ 1/n) = 0,
d'où IP'(Z > 0) = lim IP'(Z ~ 1/n) = 0, c'est-à-dire Z ~ 0 presque sûrement.
n--+oo
Changeant Z en -Z , nous obtenons bien le résultat voulu.
b) Si Y E LP(F, IP') (n'est pas nécessairement F 00 -mesurable), il suffit d'ap-
pliquer ce qui précède à Y' := lE(Y 1F 00 ) E .LP(F00 , IP'), puisque clairement
Xn = lE(Y' 1Fn)· Nous obtenons ainsi la convérgence presque sûre et dans LP
de Xn vers lE(Y 1 Foo)·
c) Pour tout A E 900 C F 00 , ce qui précède assure que lE(lA
converge 1 Fn)
presque sûrement vers lA. Or par indépendance des Zn, Fn est indépendante
de 9n, donc a fortiori de 900 , et donc de lA ; ce qui entraîne que lE(lA 1 Fn) =
IP'(A) pour tout n E N. Finalement nous obtenons IP'(A) = lA presque
sûrement, d'où IP'(A) E {O, 1}.

Exercice V.3.7 a) Juste après le .e-ième tirage, il y a (n + b + fo) boules

dans l'urne, de sorte que Xf. s'écrit Xf. = n~t:R.a, pour un certain k E
{O, a, 2a, ... ,fo}. Nous avons ainsi (de par la description du tirage) :

IP'(x _
f.+l - n
n+k+a
+ b + (.e + l)a
lx_ n +n+k ) - n+k
b + .ea - n + b + .ea
f. -
et
IP' (xR.+l-_n+b+(.e+l)a
n +k 1 X _
R.-
n + k ) _ b + .ea - k
n+b+.ea - n+b+.ea.
Ou autrement dit (pour tout .e E N) :

IP' [xf.+1 -- (n+b+f.a) Xt+a

n+b+(e+l)a
1X
f.
J -- X -
f. -
1 - IP' [xf.+1 -- n+b+(f.+l)a
(n+b+f.a) Xe 1X J
f. ·

Cela répond à la question (via l'exercice IV.1.2), en explicitant les transitions

de cette chaîne de Markov inhomogène: pour tous .e EN et x E Q n [O, 1],
240 CHAPITRE VIII. SOLUTIONS DES EXERCICES

P. ( (n+b+ia) x+a)
i X, n+b+(Hl)a =X =l - P.i (x, n+b+(Hl)a
(n+b+ia) x )
·

b) Il suffit de considérer (par exemple) la chaîne Ye := (Nt, n + b +Ra), où

Nt désigne le nombre de boules noires juste après le R-ième tirage. Nous avons
. . X __!!__t.__ t
ams1 i = n+b+ia ' e
lP(Ye+i = (n + k +a, n + b + [R + l]a) 1Ye = (n + k, n + b +Ra)) = n::t:ia

= 1 - lP(Ye+i = (n + k, n + b + [R + l]a) 1 Ye = (n + k, n + b +fa)).

Cela répond à la question (via l'exercice IV.1.2 à nouveau), et fournit la tran-
sition homogène: P((i,j); (i + a,j +a)) =y=
1 - P((i,j); (i,j +a)), pour
tous i,j EN*.
c) (Xt) est bornée (par 1, donc dans VXJ), et donc bornée dans tous les V.
De plus selon la dernière formule dans b) ci-dessus, nous avons bien (pour tout
.e E N) : lE(XH1 1 Ft) = IE(Xt+l 1 Xt)
= (n + b +Ra) Xt +a X (n + b +Ra) Xt (l - X)= X
n + b + (.e + l)a i + n + b + (.e + l)a i i ·

Le corollaire III.3.3 s'applique donc: (Xn) converge presque sûrement et dans

tous les LP, vers X00 telle que IE(X00 1 Fn) = Xn pour tout n EN.
d) Nous avons ici a) : Xt = t! 2 , pour .e E N et pour un certain k E
{1, ... ,.e+l}, et
k
lP(Xt+l = ~tj 1 Xt = t!2) = .e + 2 = 1 - lP(XH1 = t!3 I Xt = t!2) ·
Pour .e = 0 cela donne lP(X1 = l) = lP(X1 = ~) = ~, et pour .e = 1
lP(X1 = !) = lP(X1 = V = l •d'où lP(X1 = ~) = l aussi. Donc au moins
pour 0 ~ .e ~ 2, la loi de Xt est uniforme sur { ii2 , .•. , ~t~}. Supposant que
c'est vrai au rang .e E N, nous avons via la formule des probabilités totales,
pour tout k E {1, ... , .e + 2} : lP(XH1 = t! 3) =
lP[Xt+i= t!31Xt = t!2]lP[Xt = t!2]+lP[Xt+i= t!31Xt = ~+i]JP[Xt = ~+i]
-- H2-k
H2 X Hl 1 + k-1H2 X Hl1 -- H2 1 .
Ceci montre par récurrence que la loi de Xt est uniforme sur { ii 2 , ..• , ~!~},
pour tout .e EN. Fixant une fonction f continue sur [O, 1], puisque la conver-
gence en loi découle de la convergence presque sûre (ou aussi bien, de la conver-
gence dans V) nous déduisons de ce qui précède et de la convergence des
sommes de Riemann de f que :
Hl 1
IE[f o X00 ] = lim lE[f o Xt] = lim iil
i--too i--too
L f(t! 2) = Jo{
k=l
f(t) dt,
VIII.4 SOLUTIONS DES EXERCICES DU CHAPITRE V 241

et donc que la loi de X 00 est uniforme sur [O, l].

Exercice V.3.8 a) L'ensemble des états est manifestement {O}U{2k 1k EN},

et nous avons aussitôt :
IP'(Xn+l = 2k+lj Xn = 2k} = 1/2 = IP'(Xn+l = 01Xn=2k},
et IP'(Xn+l = 01 Xn = O} = 1, ce qui assure la propriété de Markov homogène,
avec pour transition : P(2k, 2k+l) = 1/2 = P(2k, 0) et P(O, 0) = 1 . C'est
I
aussi une martingale, puisque E(Xn+i Xn) = Xn x E(Bn+i) = Xn, et elle
converge presque sûrement, puisque (par une récurrence immédiate) pour tout
n EN nous avons: Xn E {O, 2n} et
IP'( lim Xn =
n-too
o)
2: IP'(Xn = 0) = 1 - 2-n ~ 1.
En particulier, E(X00 1 Fn) = 0 =J Xn, et cette convergence ne peut avoir lieu
dans aucun IJ', puisqu'elle aurait alors lieu a fortiori dans L 1 et en probabilité,
=
donc nécessairement vers X 00 0 , alors que
llXn -Xooll1 = E(Xn) = 2n1P'(Xn = 2n) = 1 ne tend pas vers O.
b) Nous avons aussitôt la propriété de Markov, avec P(l, -1) = 1/2 =
P(-1, 1). Mais E(Xn+il Xn) = Xn X E(Bn+i) = 0 =J Xn = ±1 : (Xn) n'est
pas une surmartingale (ni une sousmartingale).
Nous avons ensuite E(l{Xn+i=l} 1 Fn) = E(l{Bn+i=Xn} 1 Xn) = 1/2 pour tout
n E N, de sorte que IP'(Xn+l = 1) = 1/2 = IP'(Xn+l = -1). Cela montre
d'une part que Xn a la loi de Bn pour tout n E N*, d'où la convergence en
loi (puisque sa loi est constante); et cela montre d'autre part que Xn+l est
indépendante de Fn , donc de Xn .
Enfin s'il y avait convergence en probabilité, il existerait une variable aléatoire
X 00 et un entier no tels que IP'(IXn - X 00 I < 1/2) > 5/6 pour tout n >no.
Cela impliquerait ! = IP'(Xn = Xn+i)

= IP'(IXn -Xn+II < 1) 2': IP'(IXn - Xool < ! ,IXn+l -Xool < !)
2: IP'(IXn - Xool < !) + IP'(IXn+l - Xool < !) - 1 > 2/3
pour tout n > no, ce qui est absurde. Il n'y a donc pas convergence en
probabilité, et a fortiori ni convergence p.s. ni convergence dans L 1.

Exercice V.3.9 a) (Mn) est clairement une (Fn)-martingale (c'est le second

exemple de la section V.l).
b) Nous avons d'une part
E((Mn+l - Mn) 2 I Fn) = E(M~+l + M~ - 2 Mn+l Mn 1 Fn)
242 CHAPITRE VIII. SOLUTIONS DES EXERCICES

et d'autre part
I I
lE((Mn+l - Mn) 2 Fn) = lE(X~+l Fn) = lE(X~+l) = An+l - An.
I I
Par conséquent lE[Nn+l Fn] = lE[M~+l Fn] - An+l = M~ - An= Nn.
c) Si A00 < oo, alors llMnll~ = An :::; A00 < oo, ce qui montre que la
martingale (Mn) est bornée dans L 2, de sorte que selon le corollaire 111.3.3
elle converge presque sûrement (et dans L 2), vers M00 E L 2. Par conséquent
(et puisque la suite déterministe (An) croît évidemment), nous avons aussi
Nn-----+ M~ - Aoo presque sûrement.
d) n est le temps d'atteinte de [-b, b]c par le processus adapté (Mn), ce qui
en fait automatiquement un temps d'arrêt (comme il a été déjà souvent noté).
Il suffit ensuite de choisir b tel que P( sup IMn 1 < b) > 0, ce qui est possible
n
simplement du fait que la suite (Mn) est presque sûrement convergente et
donc presque sûrement bornée.
e) Nous avons lE(ArbAn) = lE(MfbAn) selon b), et puis par définition de n:
pour tout n EN, IMnAnl:::;

(IMn-11 + IXrbl) l{rb::;n} + IMnl l{n>n} :::; (b + IXrbl) l{rb::;n} + b l{Tb>n}

= b + IXrbl l{Tb::;n}:::; IXrbl l{Tb<oo} + b.
f) Si sup IXnl :::; c, alors selon d), e) ci-dessus nous avons pour tout n EN:
n

g) Appliquons ce qui précède avec Xj = Bj ai (et Var(Xj) = a~) :

- d'une part si E Bn an converge presque sûrement, alors son terme général
n
tend presque sûrement vers 0 et donc an ~ 0, de sorte que IXnl = lanl :::;
sup lanl < oo, ce qui selon f) ci-dessus entraîne que E a~ = A00 < oo ;
n n
- réciproquement, si A00 = E a~ < oo, alors selon c) ci-dessus (Mn), c'est-à-
n
dire E Bn an , converge presque sûrement.
n
h) Selon g) ci-dessus, nous savons qu'au moins l'un des trois événements
disjoints

E1 := { liminf
m
f: Bnan < limsup f: Bnan},
n=l m n=l
E2 := { E Bnan = +oo},
n
VIII.4 SOLUTIONS DES EXERCICES DU CHAPITRE V 243

Es := { L: Bnan = -oo} n'est pas négligeable. Or du fait de l'indépendance

n
des variables Bnan, ces trois événements sont asymptotiques (voir l'exercice
V.3.6.c) : selon la loi du 0-1 ils sont de probabilité soit 0 soit 1. Par ailleurs
changeant la suite (Bn) en (-Bn) qui a la même loi, on voit que JP>(E2) =
JP>(Es), ce qui impose JP>(E2) = JP>(Es) = 0. Finalement nous devons bien avoir
JP>(E1) = 1.

Exercice V.3.10 a) Nous avons en effet: E[J(X, Z)J F]

= LE[l{X=x}l{Z=z}f(x,z)JF] = Ll{X=x}f(x,z)E[l{Z=z}]
x,z x,z

=L l{X=x} f(X, z) JP>(Z = z) = L f(X, z) JP>(Z = z).

x,z z
n
b) Selon l'énoncé nous avons Gn = Go+ L: BnYn, qui est clairement Fn-
j=l
mesurable, puisque c'est le cas de Yn et de Bn. Autrement dit, le processus
(Gn) est adapté à la filtration (Fn)·
c) Appliquant a) ci-dessus avec Z = Bn, F = Fn-1, X = (Gn-li Yn), nous
avons pour tout n EN* :

E[logGn - an Fn-1] - (logGn-1 - a(n -1)) +a

J

= E[logGn J Fn-1] - logGn-1 = E[log(Gn-1 + YnBn) J Fn-1] - logGn-1

= P log(Gn-1 + Yn) + (1 - p) log(Gn-1 - Yn) - log Gn-1 =: fn(Yn).

Comme f n' (y) -- Gn-1P +y _ 1-:-P

Gn-1-y -
- (2p-l)Gn- 1-Y
G~_ 1 -y2 '
nous voyons que

fn(Yn) S fn[(2p - l)Gn-1]

= plog[2pGn-1] + (1- p) log [2(1 - p)Gn-1] - logGn-1 =a,

de sorte que E[logGn -an Fn-1] - ( logGn-1 -a(n - 1)) S 0 pour toute
J

Yn E (0, Gn-1 [ et tout n E N*, ce qui est la propriété demandée.

d) On obtient une martingale si et seulement si l'inégalité précédente est
une égalité, c'est-à-dire (puisque le maximum de fn ci-dessus est strict) si et
seulement si Yn = (2p - l)Gn-l pour tout n E N*; ce qui détermine une
unique stratégie optimale.
e) Reprenant le calcul de c) ci-dessus, nous avons aussitôt :
N N
E [log ('f!o)] = L E[log Gn - log Gn-1] = LE [E(log Gn 1 Fn-1) - log Gn-1]
n=l n=l
244 CHAPITRE VIII. SOLUTIONS DES EXERCICES

N N
= L lE[fn(Yn)] '.S L E[fn[(2p- l)Gn-1J] = aN,
n=l n=l
avec égalité si et seulement si Yn = (2p-l)Gn-1; de sorte que nous retrouvons
la même stratégie optimale unique qu'en d) ci-dessus.

Exercice V.3.11 (Décomposition de Doob) a) Si une telle décomposition

existe, on doit avoir pour tout k E N* : Xk - Xk-1 = Mk - Mk-1 + Ak -Ak-l,
et donc pour tout n E N* :
n n n
An = L(Ak - Ak-1) = L
(Xk - Xk-1) - L
(Mk - Mk-1),
k=l k=l k=l
d'où presque sûrement
n n
An = E[An Fn-1] =
1 L lE [xk - Xk-1 1 Fn-1] - L E [Mk - Mk-1 1 Fn-d
k=l k=l
n
= L E[Xk -Xk-1 'Fn-1].
k=l
b) Prenant pour définition de An la formule donnée par a) ci-dessus et posant
M := X - Xo - A , nous avons aussitôt Mo = 0 , M adapté et intégrable, et
pour tout n E N* :

c'est-à-dire la propriété de martingale de M. L'unicité découle aussitôt de a).

c) L'égalité ci-dessus donne aussitôt le résultat : pour tout n E N*,

I
E[Xn - Xn-1 Fn-iJ =An - An-1 presque sûrement.

Exercice V.3.12 (Martingales renversées) a) Nous avons ausitôt (V k EN):

E[X-k 1F-k-1] = E[E(YIF-k) 1 F-k-1] = E(YIF-k-1) = X-k-1, et aussi
(par l'inégalité de Jensen) : llX-klli :S E[E(IYI F-k)] = llYll1 < oo ·
1

b} L'argument de la preuve du théorème V.3.1 repose simplement sur le

fait que X est bornée dans L 1 , ce qui est le cas ici selon a) ci-dessus, et sur
la proposition V.2.5 sur les montées, qui est valable exactement de la même
façon avec l'indexation par -N : il suffit en effet de l'appliquer à X(N) :=
{X-N+k 10 :S k :SN}, ce qui revient seulement à faire varier le temps de -N
à 0 plutôt que de 0 à N, et rien d'autre n'est à modifier. Cela donne le résultat
voulu.
VIII.4 SOLUTIONS DES EXERCICES DU CHAPITRE V 245

c) Puisque {IXnl 2'.: c} E Fn, l'inégalité de Jensen nous donne (pour tout
n E -N):
lE(IXnl X 1{1Xnl2:'.c}) :::; JE[JE(IYI 1 Fn) X 1{1Xnl2:'.c}] = JE(IYI X 1{1Xnl2:'.c}) ·

De ceci et de a) nous déduisons que pour tout a> 0 :

lE[IXnll{lxnl2:'.c}] :::; lE[IYll{IXnl2:'.c}] :::; lE[IYll{IYl>a,IXnl2:'.c}] + aJP>[IXnl 2'.: c]

:::; lE(IYll{IYl>a}) + alE[IXnl/c] :::; lE(IYll{IYl>a}) + (a/c) llYll1,

d'où pour tout a> 0:
limsup sup lE[IXnl 1{1Xnl2:'.c}] :::; limsup [lE(IYll{IYl>a}) + (a/c) llYll1]
c--+oo nE-N c--+oo
= lE(IYll{IYl>a}),
et donc finalement (par convergence dominée) :

limsup sup lE(IXnl X 1{1Xnl2:'.c}) :::; limsuplE(IYll{IYl>a}) = 0.

c--+oo nE-N a--+oo
d) Utilisant a), b) et le lemme de Fatou, nous avons:

de sorte que X_ 00 E L 1 ( n Fn, JP>) ; ce qui nous permet d'écrire (pour tout
n
k EN) : X-k - X_ 00 = lE(Y - X_ 00 IF-k), et donc de remplacer (Y, X) par
(Y - X-oo' X -X-oo)·
En particulier, selon c) nous avons c~~
sup lE[IXn -X_oo,1{1Xn-X-ool2:'.c}]
nE-N
= 0 . Par ailleurs utilisant b) nous avons par convergence dominée, pour tout
C >Ü: n.!!~oo lE(IXn - X-ool l{IXn-X-ool<c}) = 0·
De sorte que nous déduisons la convergence dans L 1 :

limsup llXn - X-ooll1 = limsup limsup lE[IXn - X-ooll{IXn-X-ool2:'.c}] =O.

n--+-oo c--+oo n--+-oo

Enfin cela entraîne que pour tout A E n Fn nous pouvons écrire :

n

ce qui donne le résultat puisque (comme nous l'avons déjà indiqué ci-dessus)
X_oo est nFn-mesurable.
n
246 CHAPITRE VIII. SOLUTIONS DES EXERCICES

Exercice V.3.13 a) D'une part Sn est 9n-mesurable et d'autre part gn

est par définition engendrée par {Sn} U gn+l, et donc par
{Sn, Xn+l• Xn+2, ... }. Du fait de l'indépendance de {Xn+l• Xn+2• .. .} et de
Fn , nous avons donc pour tout k E N* et toutes fonctionnelles mesurables
bornées f et F :
lE[lE(X1I Çn)f(Sn)F(Xn+l· ... ,Xn+k)] = lE[Xif(Sn)F(Xn+i. ... ,Xn+k)]
= JE[X1 /(Sn)] JE[F(Xn+l• · · ·, Xn+k)]
X

= JE[JE(X1I Sn) /(Sn)] X JE[F(Xn+li · ·., Xn+k)]

= lE[lE(X1I Sn) !(Sn) F(Xn+l• ... 'Xn+k)] '
ce qui prouve l'égalité demandée (rappelons que comme déjà souligné dans la
preuve du lemme fondamental 111.1.8, la loi de
(Sn, Xn+l• Xn+2, .. .) est totalement déterminée par la connaissance de toutes
ses lois marginales fini-dimensionnelles).
b) La loi de (X1, ... , Xn) est clairement invariante par toute permutation
de {1, ... , n}. Nous avons donc aussitôt : lE(X1I Sn) = lE(X2I Sn) - ... -
lE(Xnl Sn), et donc
n
lE(X1I Sn)= ~ lE(Xjl Sn)= ~ JE(Snl Sn)= Sn/n.
L
j=l
c) Nous pouvons appliquer l'exercice V.3.12 avec Y := X1 et F-k := gk,
puisque F-k-1 = gk+l c Çk = F-k . Cela nous donne les convergences presque
sûre et dans L 1 de Sn/n = lE(X1I 9n) vers une certaine variable aléatoire Ç00 -
mesurable A .
d) Pour pouvoir appliquer l'exercice V.3.6 (loi du 0-1), il faut que Ç00 soit
la tribu des événements «asymptotiques», ce qui n'est pas immédiatement
clair dans le cas présent. Mais nous avons aussi bien pour tout k E N* : A =
lim Xk+·~+Xn presque sûrement, ce qui montre que A est a{Xk,Xk+l, .. .}-
n-+oo
mesurable, et donc bien n a{ Xk, Xk+i. ... }-mesurable. De sorte que selon
k2'.:1
l'exercice V.3.6, JF(A < r) E {O, 1} pour tout réel r. Puisque A est intégrable
elle est presque sûrement finie, et par suite {r E ~ 1 JF( A < r) = 0} est non
vide et majorée. Soit R := sup {r E ~ 1 JF(A < r) = O}.
Pour tout n 2: 1 nous avons alors JF(A < R-1/n) = 0 et JF(A < R+l/n) = 1,
d'où via n --+ oo : JF(A < R) = 0 et JF(A ~ R) = 1, et donc finalement
JF(A = R) = 1.
En conclusion, nous avons obtenu la convergence Sn/n --+ R presque sûrement
et dans L 1, et cette dernière entraîne que R = lim lE[Sn/n] = lim lE[X1] =
n-+oo n-+oo
lE[X1]. Nous avons bien ainsi une preuve de la loi forte des grands nombres.
VIII.4 SOLUTIONS DES EXERCICES DU CHAPITRE V 247

Exercice V.3.14 (Unicité de la mesure invariante d'une chaîne de Markov

irréductible récurrente : une preuve du théorème IV.4.5.) Nous avons pour
tout e E E:
Qf(e) = L Q(e,e')J(e') = L(ve1/ve)P(e',e)(µe1/ve1)
e'EE e'EE
= L µe1P(e', e)/ve = (µP)e/lle ::=:; µe/lle = f(e).
e'EE
Ensuite, notant (pour toute loi initiale m) Qm la loi de la chaîne (retournée)
associée à la transition Q et JE~ l'espérance correspondante, nous avons pour
tout n EN:

JE~[/ 0 Xn+ilFn] =JE~[/ 0 Xn+ilXn] = L JE~ [f 0 Xn+ilXn = e] l{Xn=e}

eEE

= L f(e')Qm [Xn+I = e'IXn = e] l{Xn=e} = L f(e')Q(e, e')l{Xn=e}

e,e'EE e,e'EE
= Qf o Xn , de sorte que nous avons bien l'inégalité de surmartingale :
JE~[! 0 Xn+I IFn] :::; f 0 Xn.
En particulier, puisque f ~ 0, l'intégrabilité voulue a lieu si et seulement si
j
JE~[! o Xo] = f dm est finie. De sorte que la réponse demandée est que les
probabilités faisant de f o X une surmartingale sont les lois Qm , pour toute
loi initiale m intégrant la densité f, c'est-à-dire toute loi initiale m telle que
E me µe/ve < oo (noter qu'en particulier toutes les lois m de support fini
eEE
conviennent).
Fixons deux états : e, e' E E . Alors f o X est une Qe-surmartingale positive,
donc Qe-presque sûrement convergente (selon le corollaire V.3.2). Or selon
l'exercice IV.4.6.a la chaîne retournée (X de loi Qe) est irréductible récurrente,
de sorte que f o X passe Qe-presque sûrement une infinité de fois par la
valeur f(e) et une infinité de fois par la valeur f(e'). Pour ne pas contredire la
convergence, cela impose que f(e) = f(e'), prouvant ainsi (puisque e, e' sont
quelconques) que f doit être constante.
Finalement (par définition de f) nous avons obtenu µ = f v pour une certaine
constante f, ce qui constitue l'unicité voulue (et même davantage: il y a unicité
dans le cône des mesures excessives, a priori plus grand que le cône des mesures
invariantes).
248 CHAPITRE VIII. SOLUTIONS DES EXERCICES

VIII.5 Solutions des exercices du chapitre VI

Exercice VI.1.4 a) Pour tous réels Bj, tj comme dans la définition Vl.1.2
(on peut toujours s'y ramener), selon la définition Vl.1.3 il suffit (par indépen-
dance des accroissements) de considérer un seul argument (Na+t 3 - Na+s3 ),
dont la loi P(>..(tj - Bj)) ne dépend manifestement pas de a.
b) Puisque le processus Nt est croissant, nous avons simplement

P(nt {Nt < oo}) = lP( n {Nn < oo}) nEN

= lim lP(Nn < oo) =
n--+oo
1, puisque
pour tout n la variable aléatoire Nn = Nn - No est poissonnienne et donc
finie presque sûrement.
c) Par définition de la loi de Poisson 'P(>..t), nous avons aussitôt:
JP(Nt = 1) = e->.t;..t = >..t + V(t 2 ) et lP(Nt 2: 1) = 1- e->.t = >..t + V(t 2 ).
d} La seconde égalité résulte immédiatement du fait que la moyenne d'une
loi de Poisson est égale à son paramètre. La première égalité résulte aisément
de la loi forte des grands nombres :
n
Nn/n = ~ L: (Nj - Nj-i) ---+JE( Ni) = ).. presque sûrement, et de la croissance
j=i
de (Nt), qui fait que tf'-
est compris (pour t 2: 1) entre tti ·Îij1 et tti ·[t\tt°i
1

qui tendent tous les deux presque sûrement vers ).. .

e) Pour tout t 2: 0 fixé, par définition du processus (Nt) (du théorème Vl.1.1),
qui croît et ne prend que des valeurs entières, nous avons :

= lJ n{
neNe>O
0 :::; t - (Ti + · · · + Tn) < Tn+l :::; t - (Ti + · · · + Tn) + ë}

C LJ {Tn+l = O}, qui est négligeable et ne dépend pas de t.

nEN

Exercice VI.1.6 a) Supposant d'abord que S est à valeurs dans une partie
dénombrable (discrète) D de R+, nous avons pour tous A E Fs et k EN:

JP({Ns+t - Ns = k} n A)= L JP({Ns+t - Ns = k} n An {S = s}) =

sED

sED sED
VIII.5 SOLUTIONS DES EXERCICES DU CHAPITRE VI 249

= e->..t (>..:t JP(A) puisque (Ns+t - N 8 ) est indépendant de An {S = s} E Fs,

par indépendance des accroissements de N . Ceci prouve le résultat lorsque S
est à valeurs discrètes.
Pour S quelconque, utilisant les temps Sn auxquels on peut appliquer ce
résultat et la continuité à droite de N, nous avons d'une part A E F s c F Sn n
n
(puisque Sn~ S), et d'autre part :
JP[{Ns+t - Ns = k} n A] = J~~JP[{Nsn+t - Nsn = k} n A] = e->..t(>..itP[A)].
b) La nullité en 0 et la continuité à droite (à partir de celle de N) sont
claires, et nous venons d'obtenir la loi de chaque (Ns+t - Ns), ainsi que son
indépendance vis-à-vis de Fs. Or ceci suffit pour déduire l'indépendance des
accroissements, par récurrence sur n EN* : étant donnés A E Fs, une sub-
division 0 S s1 < ti S . . . S Sn < tn < oo et des entiers ki, ... , kn , nous
avons en effet par application de a) au temps d'arrêt S +Sn et au temps
t = (tn - Sn) :
lP(A n {Ns+t 1 - Ns+s 1 = ki} n · · · n {Ns+tn - Ns+sn = kn}] =
e ->.(tn-Bn) kn!
n {Ns+t1 - N s+s1 = k 1 } n . . . n {Ns+tn-1 - N s+sn-1 = kn-1 }]
[>.(tn-Bn))kn 11l>[A
Jr

et donc la conclusion souhaitée par application de l'hypothèse récurrence (au

rang n - 1).

Exercice VI.1. 7 Étant donné que No = 0 et Nt E N, par continuité à droite

il existe un temps ê > 0 (aléatoire) tel que Ne = 0, de sorte que S1 ~ ê > 0,
et donc a fortiori Sn ~ S1 > 0 pour tout n E N*, tout ceci presque sûrement.
Nous avons de plus pour tout n EN* : lP(Sn = oo)

= lP [ n{Nt <
t>O
n }] S lim inf lP[Nt < n] = lim inf e->..t
t--+oo t--+oo
I:
j=O
(>.?i = O.
J.

Exercice Vl.1.12 a) Procédons par récurrence sur n: pour l'amorçage nous

avons simplement S1 = Ti, qui selon le corollaire VI.1.11 admet la densité
exponentielle si-------+ <~~r x >. e->..s; et comme selon le corollaire VI.1.11 nous
avons Sn+l = Sn+ Tn+l avec Tn+l indépendante de Sn et de loi &(>.), si
Sn admet la densité voulue alors nous avons (pour toute fonction test f sur
IR+):

lE[f(Sn+i)] = k! f(s+t) X ~~~nl~: Àe->..s X Àe->..tdsdt

=Àn+l { 00 f(S)[ fs sn-l ds]e->.. 8 dS= f 00 f(S)(>.sr x>.e->.. 8 dS.
lo lo (n - 1)! lo n!
250 CHAPITRE VIII. SOLUTIONS DES EXERCICES

b) Nous avons directement à partir de a) et du théorème de Fubini (au moins

lorsque f ~ 0) : 1E [ L f (Sn) l{sn:9}]

ne.N*

= 1t Q
J(s) L (.xsr-1
(n-1.)I XÀe->..
IM*
nEr'l
8 ds=À
1tQ
f(s)ds.

Enfin pour f quelconque dans L 1([0,tl)la même chose est vraie avec lfl au
lieu de f, ce qui justifie l'intégrabilité de (n,w) H f(Sn(w)) l{sn(w)~t} par
rapport à la mesure produit ]p> ® l:.N• et donc de nouveau l'application du
théorème de Fubini ci-dessus.
c) Utilisant la description du théorème Vl.1.1 (ou autrement dit, du théorème
Vl.1.9 et du corollaire Vl.1.11), nous avons pour toute fonction test F sur R~ :

-pn! lmr F(t1, ... , ti + · · · + tn) l{ti+ .. ·+tn <t} dt1 ... dtn
+

= ;~ J F(s1, ... , Sn) l{O<si <... <sn<t} ds1 ... dsn.

Ceci établit le résultat demandé. Noter l'utilisation du théorème de Fubini

pour intégrer d'abord par rapport à la dernière variable tn+l , et noter aussi
que la dernière égalité résulte du changement de variable (triangulaire et donc
de Jacobien égal à 1) :
S1 := ti, S2 := ti + t2, ···,Sn:= ti + · · · + tn.
d) Observons tout d'abord que par définition des Uj, pour tous [Link]; j < k:::::;
n l'événement {Ui = Uj} est de probabilité égale à la surface de la diagonale
du carré [O, t] 2, c'est-à-dire O. De sorte que les événements {U01 < Uu 2 < · · · <
Uun}, indexés par les permutations a E Sn de {1, ... ,n}, constituent une
VIII.5 SOLUTIONS DES EXERCICES DU CHAPITRE VI 251

partition presque sûre de l'ensemble n (sur lequel est définie la probabilité ]p>
sous-jacente, comme d'habitude). Nous avons donc pour toute fonction test F
sur [O, tin:

JE[F(Vi, · · ·, Vn)] = L JE[F(Vi, • · ·, Vn) l{U01 <···<Uun}]

uESn
(par définition des Vj)
uESn

=Len
uESn
1
[O,t]n
F(u0'1'"""'Uun)l{ua1<"·<uun}du1 ... Un

= Len
uESn
1
[O,t]n
F(ui, ... 'Un) l{u1<· .. <un} du1 ... dun

= ~~ J F(u1, ... , Un) l{O<ui< .. ·<un<t} du1 ... dun,

l'avant dernière égalité résultant de l'invariance de la loi produit

du1 ... dun par permutation des coordonnées u1, ... , Un .
e) Nous avons par définition de N 8 (selon le théorème Vl.1.1) et de par d)
ci-dessus, pour tout k E { 0, ... , n - 1} (et par suite aussi pour k = n) :

= ]p> [exactement k des Ui sont dans [O, sl] = C~ ( Î )k (1 - Î r-k .

f) Conformément à l'exercice Vl.1.4.a) et à la description du théorème Vl.1.1,
les n points de & n ]s, t] sont ordonnés en une suite strictement croissante de
temps Sf := s+S1 o(JB < ... < s~ := s+Sno(}8 , dont la densité conditionnelle
conjointe, c'est-à-dire celle du vecteur (Sf, ... , S~), est la densité
(s1, ... , sn) i-------+ ~~ l{s<si< ... <sn<t} de Dirichlet (décalée de s), selon c) ci-
dessus. Et selon d) ci-dessus, elle est obtenue en ordonnant n variables indé-
pendantes uniformes sur [s, t]. Comme l'application qui à une partie à n
éléments de [s, t] associe la suite strictement croissante de ces n éléments
est clairement bijective, cela signifie que l'ensemble non ordonné des n points
de & n ]s, t] est effectivement constitué de n v.a.i.i.d. de loi uniforme U[s, t].

Exercice VI.1.13 a) Le processus N +N'est clairement continu à droite

et nul en 0 . Vérifions que ses accroissements sont indépendants : pour toute
subdivision 0 ::; s1 < ti ::; ... ::; Sn < tn < oo, les 2n variables (à valeurs
dans N)
(Nt1 - Ns1), ... '(Ntn - Nsn)' (Nfl - N~l)' ... '(Nln - N~n)
252 CHAPITRE VIII. SOLUTIONS DES EXERCICES

sont indépendantes par hypothèse, de sorte que le vecteur obtenu par regrou-
pements partiels :
((Nt1 - Ns1), (NI1 - N;l))' ... '((Ntn - Nsn), (Nin - N;n))

est formé de n variables indépendantes (à valeurs dans N2 ), et que c'est donc

a fortiori le cas du vecteur (à valeurs dans N) :

( (Nti - Ns1) + (NI1 - N;J' ... '(Ntn - Nsn) +(Nin - N;n))

= ( ((N + N')ti - (N + N')s1)' ... '((N + N')tn - (N + N')sn) ).

Enfin selon la définition Vl.1.3 il ne reste qu'à vérifier que pour tous s, t E ~+
laloide ((N+N')s+t-(N+N')s) = (N8 +t-Ns)+(N;+t-N;) est 'P((À+À')t).
Ce qui revient à dire que la somme de 2 variables de Poisson indépendantes
(X := (Ns+t - N 8 ) et X' := (N;+t - N;) de paramètres respectifs m := Àt et
m' :=Nt) est une variable de Poisson de paramètre m + m'. Or nous avons
en effet pour tout n E N :
n n
JP>(X +X'= n) = L JP>(X +X'= n, X= k) = L JP>(X = k, X'= n - k)
k=O k=O
n n k 1(n-k)
= LJP>(X = k)JP>(X' = n- k) = :Ee-m~! e-m' ~ -k)!
k=O k=O
_ e-(m+m'> :En ck
- mm
k 1(n-k) _
-e
-(m+m'> (m + m'r ·
n! n ~
k=O
b) Nous avons pour tous a, t E R+ , par indépendance :
k k
JE[e-aEtJ = L JE [e-a n~l Xn l{Nt=k}] = L IJ JE[e-aXn J JP>(Nt = k)
kEN kEN n=l

= L lE[e-aXi][Link](À:t = [Link] exp[ÀtlE[e-aX1J]

kEN
= exp[Àt(lE[e-aX1]-1)]. Par suite

JE(Et) = - :~ lE[e-aEtJ = - :~ exp[Àt (lE[e-aXi] -1)]

= -:~ [Àt (iE[e-aXi] -1) J = -Àt :~ lE[e-aXi] = ÀtlE(X1),

et de même:
VIII.5 SOLUTIONS DES EXERCICES DU CHAPITRE VI 253

JE(Et) = d~2 JE[e-°'Et] = d~2 exp[Àt (JE[e-°'X1] - 1) J = Àt d~2 JE[e-°'X1]

= ÀtJE(X[), de sorte que Var(Et) = ÀtVar(Xi).

Exercice VI.1.14 a) L'énoncé stipule que

Y= min{ Sn EN 1 Sn+! -Sn 2'. d}. Nous avons donc selon le corollaire Vl.1.11,
pour tout a 2'. 0 :
'"°'
JE[e_°'y] -- L...J JE[e-°' 8 n 1{T1<d, ... ,Tn<d,Tn+i~d} J
nEN
_'"°'
- L...J JE[e-a(T1+ .. +Tn) 1{T1 <d, ... ,Tn <d, Tn+l ~d} ]
nEN
= L JE[e-°'T1 1{Ti<d}tIP(Tn+i 2'. d)
nEN

= I: [À fod e-<a+.x)t dtr e-Àd = I: [a~ À ( 1 - e-<a+.x)d) Jn e-Àd

nEN nEN
[Link] a+À
= 1- -L(l - e-(a+.x)d) = [Link] + Àe-ad ·
a+.X
On en déduit aisément :

JE(Y) =_do JE[e_°'y] =_do [ a+ À ] = [Link] - 1- Àd.

da da a e.X d + À e-°' d À
b) Selon a) ci-dessus, nous avons Z = Y + Y' avec
JE[ -a Y] a+ À [ -aY'] = aeNd'a+N
e = [Link] + Àe-ad, JE e + Àe-ad',
JE(Y) = [Link] - 1 - Àd , e.X'd' - 1 - À1d'
JE(Y') = N ,
À
d'où par indépendance
a+À
JE[ e -aZ'] -_ aèd+.Xe-<>d a+N JE(Z') _ e>.d_l-Àd e>-'d' -1-.x'd'
X ae>-'d'+.xe-<>d', - À + N
et également, selon l'exercice Vl.1.13.a) :

JE[ -aZ] = a+.X+N JE(Z) = e<>.+>.')(d+d'>-1-(.X+N)(d+d'),

e °' e<>-+>.'ld+(.X+N) e-<>(d+d') , .X+.X'
L'intérêt du refuge est quantifié par la différence des temps moyens d'attente:

JE(Z) - JE(Z') = e<>-+>.')(d+d')À°L>.P+N)(d+d') - e>.d_1-Àd - e>-'d' )..~-Nd'

254 CHAPITRE VIII. SOLUTIONS DES EXERCICES

>.>.'(e(HÀ')(d+d') - 1) - (>. + >.')(>.'(eÀd -1) + >. (eNd' - 1))

= ~~~~~~~---'--~~~~~~~~~~~~~-'--

(>. + >.') >. >.'

(dont on vérifie aisément qu'elle est positive en commençant par dériver le
numérateur une fois par rapport à d puis une fois par rapport à d'). En
particulier lorsque >. = >.' et d = d', cela vaut e4 >.d1;3; 4 e>-d
= (e>.~Àl)2 x (end+ 2 eÀd + 3), qui peut manifestement être très grand.
Exercice VI.1.16 a) Puisque la moyenne d'une loi de Poisson est égale à
son paramètre, l'énoncé indique que (prenant l'heure pour unité) le paramètre
du processus poissonnien des trams est >. = 12. La quantité demandée est
alors JP>(N1; 4 2: 2) = 1- e-À/4 - e-À/4 >./4 = 1- 4e- 3 .
b) Selon la proposition Vl.1.15, les processus poissonniens NA et ND des
trams A et D sont indépendants et ont ÀA := >.p = 12 x 0, 4 = 4, 8 et
>.v := >.(1 - p) = 12 x 0, 6 = 7, 2 pour paramètres respectifs. Le nombre
demandé est donc IE(N1;3 INf;3 = 3)

= 1E(Ni}3 + Nf;3 INf;3 = 3) = 1E(Ni}3) + 3 =>.A /3 + 3 = 4, 6.

c) Pour la même raison nous obtenons: I
JP>(Nf; 4 = 5 N3/4 = 10)

= Cf0 (0, 4) 5 (0, 6) 5 : on retrouve une loi binômiale, comme dans l'exercice
Vl.1.12.e).

Exercice VI.1.17 a) Nous avons en effet (utilisant que selon le corollaire

Vl.1.11 Sl+n =Sn+ Tn+l avec Tn+l indépendante de Sn) :

JP>(Tf >a, Tf' > b) = JP>(SNt < t- a, Sl+Nt > t+b)

= L JP>(Nt = n, Sn < t - a, Sl+n > t + b)

n~O

= l{t>a} L JP>[Sn < t - a, Sl+n > t + b] = l{t>a} L JE [ l{Sn<t-a}e-À(t+b-Sn)]

n~O n~O

= 1{
t>a
}e-À(t+b) [1+1t-a "°' (>.sr-1 >.ds] = e-À(a+b)
L.J (n _ l)!
1{ }
t>a '
O n~l

l'avant-dernière égalité provenant de l'exercice Vl.1.12.a) et du théorème de

Fubini.
VIII.5 SOLUTIONS DES EXERCICES DU CHAPITRE VI 255

b) Faisant tendre b \.i 0 puis a \.i 0 , nous obtenons respectivement :

n»(Tf > a) = e-Àa l{t>a} et IP(Tf' > b) = cÀb, et donc les fonctions de
répartition de Tf et Tf', qui déterminent leur lois. Cela montre que Tf' est
une variable aléatoire exponentielle de loi t: (À), et que Tf est une variable
aléatoire exponentielle tronquée en t (autrement dit, Tf a la même loi que
min{Tf', t} ). En particulier nous avons JE(Tf') = et !-
JE(Tf) = fotsÀe-À 8 ds + t!P(T:' > t) = !- - (!- + t)e-Àt + te-Àt = 1-r.>.t.
Notons que IP(Tf > a, Tf' > b) = IP(Tf > a) x IP(Tf' > b), de sorte Tf et Tf'
sont indépendantes, puisque la loi du couple (Tf, Tf') est déterminée par la
fonction de répartition bidimensionnelle IP(Tf > a, Tf' > b).
c) La durée de vie moyenne du n-ième intervalle de t: est la moyenne de la loi
t:(À), c'est-à-dire !- ,
tandis que la durée de vie moyenne de l'intervalle vivant
à l'instant t est JE(Si+Nt - SNt) = lE(Tf) + JE(Tf') = 1 + > -r.>.t !- !- .
Cet apparent paradoxe s'explique par le fait que la loi de l'intervalle vivant est
conditionnée précisément par le fait qu'on le sait en vie à cet instant, et est
donc modifiée par rapport à la loi d'un intervalle anonyme (quelconque). Le
fait qu'on le sache en vie allonge sa durée moyenne. C'est analogue à la durée
de vie (de loi t:(À)) d'une ampoule électrique allumée (par exemple) : si on
la sait allumée déjà depuis un temps t , sa durée de vie totale (conditionnée
de facto par cette information) est en moyenne (du fait de la propriété de
non-vieillissement des lois exponentielles) égale à t + > !- !- .
Exercice VI.1.18 a) Utilisant l'exercice Vl.1.12.c), nous avons :
lE[f(S1, ... , SNt) l{Nt=n}] = lE[f(S1, ... , SNt) 1 Nt= n] X IP(Nt = n)

= -n! l
tn {O<s1 <... <sn<t}
J(s1, ... , Sn) ds1 ... dsn Xe -Àt -(Àtr
1-
n.

= e-Àt Àn r
}{O<s1 <... <sn<t}
!(si, ... , Sn) ds1 · · · dsn ·

Or par définition le maximum de vraisemblance est la valeur 5' de À qui

maximise la densité associée e-Àt ÀNt l{o<si <... <sNt <t} c'est-à-dire 5' = Ntft.
Il est sans biais puisque JE(5') = lE(Ntft) = À.
b) Nous avons vu dans la preuve du théorème VI.1.1 que le vecteur (81, ... , Sn)
admet la densité l{o<si <... <sn}Àn e-Àsn. De sorte que le maximum de vrai-
semblance doit maximiser Àn e-ÀSn et vaut donc 5' = n/Sn. Il a un biais
256 CHAPITRE VIII. SOLUTIONS DES EXERCICES

puisque selon l'exercice Vl.1.12.a) :

JE( "\) = JE( n /S)

n = (
nÀn
n-l. )'
100 s
0
n-2
e-Àsds = -nÀ
n--1
-'-
Î À.

Notons que la connaissance de (Si, ... , Sn) équivaut à celle des n variables
aléatoires exponentielles indépendantes (de loi t: (À)) Ti, ... , Tn , et que maxi-
misant la densité l{ti>O, ... ,tn>O}Àn e-À(ti+ .. +tn) de (Ti, ... , Tn) on obtient de
nouveau ~ = n/(Ti + · · · + Tn)·
Exercice VI.2.2 a) Par définition nous avons pour tous les entiers
ki, ... , km naturels de somme k := ki +···+km~ r :

= IP[ki points tombent dans Ai, ... , km points tombent dans Am]
r! V(Ao)(r-k) X V(Ai)k 1 X •·• X V(Am)km
= (r-k)! X ki! X ... X km! X
(VR)T '

suivant la loi multinômiale de paramètres V(Aj)/VR (où V(Aj) =le volume

de Ai)·
b) Réécrivant ce qui précède sous la forme :

= r(r-i)· .. (r-k+l} X V(A1)k1 ... V(Am)km X (l _V(A1)+ ..+V(Am))r'

(vn-[V(A1)+ .. +v(Am)lr kil km! Vn

et notant que les {V(Aj), kj l 1 ~ j ~ m} sont fixés et que r rv À VR --+ oo,

nous obtenons :
IP[NR(Ai) = ki, ... , NR(Am) =km]

rv Àk X V(Aill X •.. X V(Am)km X exp[[.x Vi J X log(l - V(A1)+·+V(Am))]

ki! km! R Vn

----+ Àk X V(Ai)k1 ... V(Am)km X e-À [V(Ai)+ .. +V(Am)]

ki! km!
= rrm e-À V(A;) [À V(Aj)]k; ;
j=i k3'·'
ce qui répond à la question posée, au regard de la définition Vl.2.1.

Exercice VI.2.3 a) Notons B une borne pour f, et pour tout m E N*

notons Em l'événement : « il existe 2 points de t: n [-m, m] qui se projettent
VIII.5 SOLUTIONS DES EXERCICES DU CHAPITRE VI 257

sur le même point de &' ». Nous devons établir que lP [ LJ

m2'.1
= 0, ce Em]
qui revient à montrer que lP(Em) = 0 pour tout m EN* (fixé désormais). Or
pour tout n EN* nous avons: lP(Em)::::;
mn-1 mn-1 2
L 1P[N(r~'~] x [O,BJ) ;:::2] = L [1-e-B/n_e-BlnB/n] ::=; Bnm.
k=-mn k=-mn

b) Par définition nous avons N'(A) = N(7r- 1 (A) n &f) pour tout ensemble
intégrable Ac R, où &f := {(x,y) E R 2 lx ER, [Link]; y::::; f(x)} désigne
le sous-graphe de f et où 7r désigne la première projection de R 2 • Il est clair
qu'à des A disjoints correspondent des 7r- 1 (A) nef disjoints et donc (selon la
définition VI.2.1 appliquée à N) des variables aléatoires N'(A) indépendantes.
En outre la loi de N'(A) est
P(l7r- 1(A) n &Il), où 17r-1(A) n &fi désigne la surface de 7r- 1(A) net =

{(x,y) E R2 lx E A, [Link]; y::::; f(x)}, qui vaut µ'(A):= L f(x)dx. Ceci

montre que N'est bien un processus de Poisson au sens de la définition Vl.2.1,
d'intensité µ'.

Exercice VI.2.4 a) Nous avons pour tous n E N* et t > 0 : lP(Sn ::::; t)

qui par continuité de h est dérivable par rapport à t , de sorte que Sn admet
la densité

d n-1 [(Jrth)k (Jrth)k-1]

dt lP(Sn ::=:; t) = Le- l; h ~! - l{k2'.1} (~ _ l)! h(t)
k=O

n-1 ( rt h)k n-1 ( rt h)k-1] ( rt h)n-1

= e- l; h x [ L Jo - L Jo h(t) = e- l; h x Jo h(t).
k=O k! k=l (k - 1)! (n - 1)!
b) Fixons t > 0. Notons d'abord l'intégrabilité de
l9(Sn) l{sn:9} 1 ::::; sup 191 x l{Sn9} par rapport à la mesure produit lP © E,
M n
puisque d'une part sup 191 est fini par hypothèse et d'autre part
[O,t]

JE [
nEN*
L l{Sn9}] = IE[N([O, tl)] = 1t
O
h < oo.
258 CHAPITRE VIII. SOLUTIONS DES EXERCICES

Nous déduisons alors du théorème de Fubini et de a) ci-dessus :

JE [ L g(Sn) l{Sn::;t}l = L JE [g(Sn) l{Sn::;t}]

nEN* nEN*

t J;s hr-1
= ~ { g(s)
s (
X e-fo h X O X h(s) ds
L.J Jo (n - 1)!
nEN*
t (J;shr-1 t t
~
s
= { e-fo h O X gh(s)ds = { gh(s)ds = { gh.
Jo L.J
nEN*
(n - 1)! Jo Jo

Exercice VI.2.5 Par définition de Qt nous avons pour tout t > 0:

Nt
Qt = L l{sn::;t<Sn+Xn} = L l{Xn>t-Sn} :'.S Nt. Donc utilisant l'exercice
nEN* n=l
VI.1.12.f et des v.a.i.i.d. (Un) de loi uniforme U[O, t], nous avons pour tout
qE N:

Jfb(Qt = q) = L Jfb(Nt = k) JE[t l{Xn>t-Sn} = q 1 Nt= kl

k~q n=l

= L e->.t (À:t JE [t l{Xn>t-Un} = ql ·

k~q n=l
Or les variables aléatoires de Bernoulli l{Xn>t-Un} sont indépendantes et de
même loi, de paramètre commun qu'on calcule à l'aide du théorème de Fubini:

Pt:= lfb[Xn > t-Un] = JE[r(t-Un)] = t 1

0
t r(t-u) du= t 1t
0
r(v) dv = -11t
t 0
r.
k
La loi de L l{Xn>t-Sn} est donc la loi binômiale B(k,pt), de sorte que
n=l
lfb(Qt = q) = L e->.t (>..:t C% Pi (1 - Pt)k-q
k~q

= e->.t "'"' ~ pq(l - p )k-q = e->.t (>.t)q pq x "'"' (>.t)k)q (1 - p )k-q

L.J qr(k=Q)1 t t q! t L.J (k-q ! t
k~q k~q

_ ->.t (>..tpt)q ~ (>..t(l - Pt))l _ ->.tpt (Àtpt)q .

- e r x L.J .er - e r '
q. l~O • q.
ce qui signifie bien que la loi de Qt est la loi de Poisson de paramètre
À t Pt = À lat r .
Chapitre IX

Corrigés des problèmes

Le bon Chrétien devrait se méfier des mathématiciens, et de tous ceux qui
font des prophéties vides. Le danger existe déjà que les mathématiciens
aient fait un pacte avec le diable, afin d'obscurcir les esprits et de
contraindre l'Homme dans les liens de l'Enfer. {Saint Augustin)

IX.1 Corrigé du problème VII.1

0) La première assertion est trivialement dû à l'inégalité de Schwarz, selon
laquelle (pour toute f E L 2 ) :

IJE[Zn J] - JE[ Zoo J] 1 = IJE((Zn - Z) Xf] 1 :=:; li Zn - Zll 2JIJJl2 -----+ 0 ·

La seconde assertion résulte de ce que si Zn -----+ f, et Zn -----+ f' faiblement
dans L 2 , alors par différence nous avons aussitôt : Jlf- f'JI~

=lE[f(f-f')]-lE(f'(f-f')] = lim E[Zn(f-f')]- lim lE[Zn(f-f')] =0.

n~oo n~oo

n
1) Pour tout n E N*, nous avons 2nx - I: 2n-j Xj E [O, 1[, de sorte que
j=l
n
}: 2n-ix;+l
Zn(x) = (-l)i=l = (-l)xn+l, Z~(x) = Xn, et I: 2-n Z~(x) = x.
nEN•
Pour tout n EN* et tout (e1, ... , en) E {-1, l}n, nous avons:

IP(Z1 = ei, ... , Zn= en) = P(x En 1 X1 = l~ei, ... , Xn = 1-t;en)

260 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

Ceci montre que la suite de variables aléatoires {Zn 1 n E N*} constitue sous
la loi lP un jeu de pile ou face équilibré et illimité.
2) Par définition de Zn et g; et intégrant par parties, nous avons en effet :
2n k 2-n 2n-l 1 1 2n-l
JE[Zncp] = 2:)-l)k { cp = _ L { (g1j-1)' cp = { L 9;-1 cp'
k=l j(k-1) 2-n i=l Jo Jo i=I
2n-l l 2n-l 2_n
< L { g;-I X llcp'lloo = L 2 { x dx X llcp'lloo = O(rn).
i=I lo i=I lo
3) Si f E L 2 (0) et si é > 0, il existe une fonction cp de classe C 1 sur n
approchant f dans L 2, au sens où lE (lep - f 121 < é 2. Alors via l'inégalité
triangulaire, l'inégalité de Schwarz, et la question précédente, nous avons :

ilE[ZnfJI :S ilE[ZncpJI + JlE[Z~l lE(lcp- fl 2l < ilE[Zncp]j +é = 0(2-n) +é.

Comme é est quelconque, nous obtenons que lim lE[Zn f] = 0, de sorte que
n--+oo
(Zn) converge faiblement vers 0 dans L 2 (0).
4) Puisque Z~ = 1, il n'est pas possible que (Zn) converge vers 0 dans L 2 (0).
Et elle ne peut pas davantage converger dans L 2 vers quelque limite Z 00 que
ce soit, puisque selon la question 0) nous devrions alors avoir aussi convergence
faible de Zn vers Z 00 , et donc Z 00 = 0 par unicité de la limite.
5) Nous avons Zn E {-1, 1}, et pour toute fonction h sur {-1, 1} :
2n k2-n
JE[h o Zn]= L
f
k=l J(k-1) 2-n
h((-l)k)dx = h(-I~+h(I), ce qui signifie que la loi

de Zn est constante, égale à e-i2+ei · ( éx désigne la masse de Dirac en x .)

6) Posant Y2n :=Zn et Y2n+I := 0, nous avons une suite (Yn) qui converge
faiblement vers 0 dans L 2 (0), mais dont la loi oscille entre e-i:;-ei et éo : elle
ne converge donc pas en loi.
7) Inversement, posant X2n :=Zn et X2n+I := Z1, nous avons une suite (Xn)
constante (et donc convergente) en loi, mais qui ne converge pas faiblement
dans L 2(0), puisque lim lE[X2n+i Z1] = lE[Zf] = 1 =/= 0 = lim lE[X2n Z1] .
n--+oo n--+oo

IX.2 Corrigé du problème VII.2

1) Pour se ramener au cas e = 0, il suffit de translater de e toute la suite
(Xn), en posant simplement X~:= Xn - e, ce qui donne aussi ~ = ~ - e.
IX.2 CORRIGÉ DU PROBLÈME VII.2 261

2) Puisque L Jp>{IYnl > k- 1 } :::; k2 L llYnll~ < oo pour tout k EN*, le pre-
n n
mier lemme de Borel-Cantelli assure que presque sûrement limsup IYnl :::;
n--+oo
1/k ; et on peut intervertir« pour tout k EN*» avec« presque sûrement».
3) Nous avons pour tout n EN* :
S 2 n S
11~11 = n- 2 L llXkll~:::; A2 /n, et donc L Il ;,.i 11 LA /n
2
2 :::;
2 2
n 2 k=l n n

qui est fini. Avec la question 2), cela entraîne que ~ converge presque
sûrement vers O.
4) Nous avons de même :

llSn-:[vnJ211
2
=n- 2 t
k=l+[y'7ï]2
llXkll~:::;(n-(y'n-1) 2 )~: < ~~'
Sn-Sr,;ni2 ~
qui entraîne que nn converge presque surement vers O.
5) De 3) et 4) nous déduisons :
Sn = Sn - s1vn 1
-
2 s1vn 12
+ [yn
~] 2 x --
[vnJ2 ---7 0 presque sûrement.
n n n
6) Les hypothèses requises sont bien remplies, avec A = 1 et e = O. C'est
dû au fait que fo 2
7r eimx dx = 0 pour tout entier m non nul. La conclusion

1 N
est que pour presque tout point x du cercle unité, N L eianx tend vers 0
n=l
lorsque n -+ oo .

II. 1) Remplaçant Xn par X~:= Xn - e, nous avons

S' S 1 n
..-1!: = ~ - e + - L(e - IE[Xk]),
n n n k=l
le dernier terme tendant vers 0 par le critère de Cesàro; et par ailleurs l'énoncé
de décorrélation n'est pas modifié. Il suffit donc à nouveau de traiter le seul
cas e=O.
2) Nous avons alors :
262 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

n
= O(~) + O(~) Lcl = O(~) d'une part, et d'autre part:
i=2

IlSn - nS[vnJ2 li = O(~) L ci-k = O(~) L c/-k

2 n [vnJ2<k<i::;n n 0<k<i::;n-[vnJ2

= 0(n-~l2) = O(n-3/2).
Donc les deux mêmes convergences que dans la partie 1 ont lieu, de sorte que
la même conclusion demeure.
III. 1) Nous avons pour toute fonction h intégrable sur (0, lf!>) :

= - 12 [ {27r[an] h(eit) dt+ {27ran h(eit) dt]

71' an Jo J27r[an]

= 2~~] lof 27r h(eit) dt+ 27ria lof 27r(an-[an]) h(eit) dt= ln{ hdlf!> + O(llhllifan)·
n n

2) Considérons maintenant une fonction g continue et d'intégrale nulle sur

(n, lf!>), f de classe ci sur n, et un réel q > 0. La fonction lR 3 s i--+
J; g(éqt) dt est 27!'-périodique, du fait de la nullité de l'intégrale de g, et
définit donc une fonction G = G(ei 8 ), dérivable sur n et nulle au point 1 E
n c C. Intégrant par parties, nous avons :

{27r f(eit) g(eiqt) dt= [!(eit) G(eiqt)] 27r - {27r .!!:._ f(eit) x G(eiqt) dt'
lo q 0 lo dt q

d'où 1 fo27r f(eit) g(eiqt) dtl :::; IJ(l) G(e:27rq) 1 + j lf'I dlf!> x m~ IGI
:::; (1!(1)1 + Jlf'I dlf!>) X J191 dlf!>/ q.

3) De même, pour toute fonction f fixée de classe ci et d'intégrale nulle sur

n, nous avons pour tous n < m dans N* :
IX.2 CORRIGÉ DU PROBLÈME VII.2 263

= _1_ [[J{eit) G(ei ~ t)] 27ran - {27ran .!!:_ f(eit) G(ei ~t) dt]
27ram o Jo dt

=a~ [o(maxlfl x maxlGI) + o(j lf'I x maxlGI x an)].

Or pour n 2: no nous avons a;; > ..fP, et donc a~ = O(p-mf 2 ) et
1 ~ =
O(p(n-m)/ 2 ). Avec ce qui précède, cela nous donne, pour tous n < m dans
N*:
JE(! O En X JO Em) = O(p(n-m)/2 ).
4) Les hypothèses du théorème VIl.2.1 sont donc réalisées par la suite (! o En)
relative à f comme dans la question 3), de sorte qu'il existe dans n un borélien
f(eia1t) + ... + f(eiant)
n' de probabilité 1 tel que pour tout t E n', la suite
n
converge vers ln
f dlP .
Si on ne suppose plus f d'intégrale nulle sur n, il suffit d'appliquer ce que nous
J
venons d'obtenir à (! - f dlP) au lieu de f, pour obtenir aussitôt le même
résultat.
5) Pour achever la démonstration du théorème VII.2.2 , il reste seulement
à s'affranchir de l'hypothèse C 1 faite sur f. Considérons pour cela l'espace
vectoriel (complexe) des polynômes Q = Q(eit) à coefficients rationnels (com-
plexes : q + iq') sur n . Ils forment une famille dénombrable, puisqu'il y a une
bijection évidente entre Q2d et ceux de ces polynômes qui sont de degré < d .
On peut donc les numéroter en une suite (Qk)k>l· À chaque Qk, associons,
comme ci-dessus à f C 1 fixée, un borélien négllgeable nk c n , et posons
no:= u
nk, qui est encore négligeable.
k;:::l
Si maintenant f est une fonction continue quelconque sur n , pour tout ê >
0 il existe selon le théorème de Stone-Weierstrass un polynôme Qk tel que
max If- Qkl < ê. Nous avons alors pour tout XE ns c nk:
n

1 f(eia1t) + ·~· + f (eiant) - ln f dlP 1

~ 1
Qk(eia1t)+···+Qk(eiant)
n
r 1
- ln Qk dlP + 2ê < 3ê pour n assez grand.
264 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

IX.3 Corrigé du problème VII.3

1.a) Nous avons d'une part JE( eu81 ) = chu et d'autre part chu ~ eu2 /2
résulte aussitôt de ce que d~ ( ~ - log chu) = u - th u 2:: 0 sur ~+ .
1.b) D'où
JP(Sn 2:: a)= JP(euSn 2:: eua) ~ e-uaJE(euBn) = e-uaIE(eus1 r ~ e~nu 2 -au.

1.c) Il suffit d'optimiser, en choisissant u = a/n dans 1.b).

1.d) Par symétrie de la loi de Sn, nous avons
lP(Sn 2:: a) = lP(-Sn 2:: a) = lP(Sn ~ -a), et donc d'après 1.c) :
lP(ISnl 2:: a)= 21P(Sn 2:: a)~ 2e-a2 /( 2n).
2.a) Nous avons d'une part IE(eu8 n) 2::

n n
et d'autre part LJ Ak = LJ {min{m 1Sm2:: a}= k}
k=l k=l

2.b) Nous en déduisons (en choisissant u comme en 1.b,c) que

JP[ max{Sk l 1 ~ k ~ n} 2:: a] ~ e-auJE(euSn) ~ e-auJE(euS1 r

2.c) Pour la même raison de symétrie qu'en 1.d) nous avons

lP( max{-Sk l 1 ~ k ~ n} 2:: a) = IP'( max{Sk l 1 ~ k ~ n} 2:: a), d'où nous
déduisons:

lP( max {!Ski Il~ k ~ n} 2:: a) ~ 21P'( max{Sk Il~ k ~ n} 2:: a) ~ 2e-a2 /( 2n)_

3.a) Appliquant 2.c) avec a = 'Y J21m log(log1m), nous obtenons directe-
ment:

L IP'( max{ !Ski 11 ~ k ~ 'Ym} > 'YV21mlog(log1m))

mEN*
IX.3 CORRIGÉ DU PROBLÈME VII.3 265

meN* meN*
3.b) Appliquant le lemme de Borel-Cantelli nous en déduisons que p.s.
max { ISk 111 S k S î'm} S î' .J2î'm log(log î'm) pour tout m suffisamment
grand.
3.c) Observons que pour k > î'm-l suffisamment grand, nous avons

.J2î'm log(log î'm) < V2î' k log(log î' k)

= .J'Y J2k log log k + 2k log(l +log î' /log k)

= .J'Y J2k log log k l+log(l+logî'/logk)

1og 1og k < î' v./2klog 1og k .

Il existe donc no tel que si k > î'no alors î'm-l < k S î'n pour un m > no,
et donc (via 3.b) ci-dessus) ISkl S î'V2î'mlog(logî'm) < 1'2 v'2kloglogk.
3.d) 3.c) ci-dessus montre que limsup v' 2 l1Sn]1
n-+oo n og ogn -
< î' 2 , pour tout î' > 1. Il
ne reste qu'à faire tendre î' vers 1.
4.a) Pour k = 0, la formule de Stirling montre classiquement que 4-nc~n,....,
Jrn, de sorte que 4-nc~n > v'2~n pour n assez grand. Supposons le résultat
cn+k+l
demandé vrai pour 0 S k S bn; pour conclure il suffit d'avoir ~ ~
2n
e-Ck+2) 2 /n n-k > e-( 2k+ 3)/n ou bien 2 k+ 3 > log ( n-k ) =
c'est-à-dire
e-(k+1)2/n ' n+k+l - ' n - n+k+l
2k:l - k~11 2 + O(k 3 /n 3 ), ou bien encore ~ ~ O(b~/n 3 ), ce qui est le cas
puisque bn = o(n213 ).
4.b) Utilisant la minoration ci-dessus, nous avons

P(S2n > 2an vn) = L P(S2n = 2k) = L 4-n c~:k

k>an..,fiï, k>an..,fiï,

[(an+l/an)..,fiï,)-1
~ (27rn)-1/2 L e-(k+1)2/n > (27rn)-1/2 L e-(k+1)2/n
k>an..,fiï, k=l+(an..,fiï,)

> Jn/an - 4 e-((an+l/an)..,fiï,]2/n > _1_ ( __!.._ - ....!.. ) e-(an+l/an)2

y'2ifri, - .j2'ff an ..,fiï,
266 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

Ensuite, posant a~ := anJl + 1/(2n) pour traiter les indices impairs, nous
déduisons du cas des indices pairs (ci-dessus) que :

JP(S2n+I > Œn J2(2n + 1)) = JP(S2n+I > 2an Vn Jl + 1/(2n))

~ lP(S2n > 1+2an .jii, J1+1/(2n)) = lP( S2n > 1+2a~ vn)

~
1 [ J e-a~
19 a~ exp - a~(l + 1/(2n)) - anJl + 1/(2n)/.,fii, -1/(4n) > 20 an

pour tout n suffisamment grand.

5.a) Puisque SNm - SNm-1 a la même loi que SNm-Nm-1 = SNm-l(N-l)i
nous pouvons appliquer le résultat de la question 4.b) ci-dessus avec n =
Nm- 1(N -1) et an:= o.J
N1'!._1 loglogNm j d'où la minoration:

L lP(SNm -SNm-1 > ô J2Nmlog(logNm))

mEN*

1 N - 1 [ 52N
>~­ Nlog(mlogN) exp - N-1 log(mlogN)
]
- L.J 208
m
62 N

= c L 1ogm+ 1og 1og N , qui diverge car

m-N-1

m
N > (ô _ 02)-2 =} _ _52
52N >__ 1 + (1-6)(1+o-52Ha) > _ 1
N-1
1-(5-52)2 - 1-(5-52)2 ·
5.b) Puisque les SNm - SNm-1 sont des variables aléatoires indépendantes,
la question précédente montre que nous pouvons appliquer le second lemme
de Borel-Cantelli, ce qui donne la première assertion. La seconde découle de
la question 3.d), puisque pour m assez grand, du fait que (ô - ô2)VN > 1
nous avons: -SNm-1

5.c) Selon 5.b) ci-dessus, nous avons SNm > ô2J2Nmlog(logNm-l) pour
une infinité de m, de sorte que lim sup ..,;2 l15 nl1
n-+oo n og ogn -
> 82. Comme ô est quel-
conque < 1, faisant tendre ô vers 1 nous obtenons que
.
1l~_;'!P ISn]
..,;2nloglogn >
_ 1. D' ou' l"l~-+s!p ..,;2nloglogn
ISn] 1
= presque suremen ,
A t

avec la question 3.d). Changeant (Sn) en (-Sn), ce qui ne change pas la loi,
nous déduisons finalement que lim inf ..,;2nli8nl
n-+oo og 1og n = -1 presque sûrement.
IX.4. CORRIGÉ DU PROBLÈME VII.4 267

IX.4 Corrigé du problème VII.4

1) Tout d'abord 0 E I puisque <I>(O) = 1, et ensuite la fonction <I> est convexe
par convexité de l'exponentielle, de sorte que pour tous u, v E I et À E [O, 1] :
<P(Àu + (1- À)v) :S lE[ÀeuX + (1- À) evX] = À<P(u) + (1- À)<P(v) < oo.
2) a) Plaçons-nous dans le cas où I est un voisinage de O. Alors pour tout n E
N et tout c > 0 tel que ±c E I , il existe Cn > 0 tel que x > Cn =? xn < eex,
0
de sorte que lE[IXln) :::; c~ + <I>(c) + <I>(-c) < oo. Par suite, si u E I= ]a, b[,
fixant u 1 E ]a, u[ et u 2 E ]u, b[, nous avons X eux dominée dans [u1, u2] par
IXI x (euiX + eu2 X) :::; (c1 + eeX + e-eX) (euiX + eu 2 X), qui est intégrable dès
que c < min{b- u2, u1 - a}. Donc par convergence dominée (sous la forme du
0
théorème de Lebesgue de dérivation sous l'intégrale), <I> est dérivable sur I, et
0
<P'(u) = lE[X eux]. Donc Lest dérivable aussi sur I, et L'(O) = lE[X].
b) Toujours dans le cas où I est un voisinage de 0, notons que par l'inégalité
de HOlder, pour tous u, v E I et À E ]O, 1[ nous avons

L(Àu + (1 - À)v) =log (lE[(euX)À(evX)l-ÀJ)

:::; log (lE[(eux)r x lE[(evx)] l-À) =À L(u) + (1 - À) L(v),

avec égalité si et seulement si eux et evX sont presque sûrement proportion-

nelles, ce qui n'est possible que si u = v ou bien si X est presque sûrement
constante.
3) L(O) = 0 =? A(x) 2 0. A étant définie comme enveloppe supérieure de
fonctions affines, elle est automatiquement convexe (voir la preuve ci-dessus
de l'inégalité de Jensen) et semi-continue inférieurement. Enfin, si u ~ I, alors
ux-L(u)=-oo.
4) a) L'inégalité de Jensen montre que <P(u) 2 eum, d'où um - L(u) :::; 0 et
A(m) =O. Soient ensuite m < x <y, et À E JO, 1[ tel que x = Àm+ (1-À)y;
alors utilisant (3): A(x):::; ÀA(m)+(l-À)A(y) = (1-À)A(y):::; A(y). Idem si
x' <y'< m. Enfin, [x 2 met u < O] =? ux-L(u):::; um-L(u) :S 0 :S A(x).
b) D'abord, lP{X 2 x} :S lE[l{l::;eu(X-zl}) :S lE[eu(X-x)) = e-ux<P(u).
Ensuite, lP{X 2 x} minore l'ensemble {exp[-(ux-L(u)Jlu 2 O}, dont la
borne inférieure est exp(-A(x)), selon 4.a) ci-dessus. Enfin, changeant X en
-X, m, <I>, L, A sont changées en -m, <I> o (-Id), Lo (-Id), A o (-Id) respec-
tivement, et il suffit d'appliquer l'inégalité précédente à (-x), pour déduire
que lP(X :S x) :S e-A(x) si x :Sm.
268 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

5) Changeant X en Sn, on change cI> en <I>n, Len nL, et A(x) en nA(x/n),

pour tout x . Appliquant 4. b) avec x = n(m + c), on obtient pour tous c 2: O
et n EN*:
JP(Mn ~ m + c) = JP(Sn 2: x) :S exp(-nA(x/n)) = exp(-nA(m + c)).
Et de même
lP(Mn :Sm - c) :S exp(-n A(m - c)).
6) a) Soient F une partie fermée non vide de [m, oo[, et a:= inf F ~m.

D'après les questions 5) et 4.a), nous avons :

~log lP(Mn E F) :S ~log lP(Mn ~a) :S ~ log[e-nA(a)) = -A(a),

et donc limsup ~ log JP(Mn E F) :S -inf{A(x) 1 x E F}.

n-too
Et nous avons la même inégalité (même preuve) lorsque F c J - oo, m].
b) Pour F fermée dans lR, posons F 1 := Fn[m, oo[, et F 2 := Fn J-oo, m] .
Fixons c > 0, et Ai := inf A - c, A2 := inf A - c, et Ao := inf A - c. Ce qui
Fi F2 F
précède permet d'écrire, pour n 2: ne :

log lP(Mn E F) :S log lP(Mn E F1) + lP(Mn E F2) :S log(e-nAi + e-nA2 )

:S log[2e-nAo], de sorte que (même si Fest vide):
limsup ~log [JP{Mn E F}) :S limsup [ 10~ 2 - Ao) = -Ao.
n-too n-too

7) Soit x E ]a, ,B[. D'après les questions 2), 3), [u' t--7 u'x - L(u')] est concave
0
et dérivable sur I, de dérivée [u' t--7 x - L'(u')]. Selon le théorème de la valeur
intermédiaire (qui est valable pour toute fonction dérivée), puisque a < x < f3 ,
0
nous avons x = L'(u) pour un certain u El, en lequel [u' t--7 u'x-L(u')] atteint
son maximum. De sorte que A(x) = ux-L(u). En particulier, A est finie sur
]a, ,B[, et donc continue sur ]a, ,B[, puisque convexe.
8) Soit u E I. Notons µ la loi de X, et considérons la probabilité v sur IR
admettant la densité t t--7 eut /<P(u) par rapport àµ: dv(t) :=eut dµ(t)/<P(u).
Soient (}j) j eN* une suite de variables aléatoires intégrables indépendantes et
de même loi V' et pour tout n EN*: s~ := Y1 + ... + Yn et M~ := S~/n.
Nous avons pour toute fonction f mesurable positive:

JE[/ o Sn]= Jf(x1 + · ·· + Xn) dµ(x1) ... dµ(xn)

IX.4 CORRIGÉ DU PROBLÈME VII.4 269

= J f(XI + ''' + Xn) ÏI <J>(U) e-UXj dv(Xj) = <J>(ur

j=l
X JE( e-uS:_ X f 0 8~).
9) Fixons ô > 0, x E]a,,B[, et prenons f(s) := l{j~-xj<0}' Nous obtenons:

loglID(IMn - xi< ô) =log [<P(u)n X lE(e-us:_ X l{IM:.-xl<O}) J

2 nL(u) +log [e-nu(x+ô) X lID(IM~ - xi< ô) J,

en utilisant que IM~ -xi< ô => -uS~ > -n(ux+lul ô). Donc nous obtenons
bien
~ loglID(IMn - xi< ô) 2 L(u) - ux - ôlul + ~ loglID(IM~ - xi< ô).
10) Conservons les notations de la question 9), avec u E I associé comme
dans 8) ci-dessus à un x E ]a, ,B[. Nous avons pour tout v réel :

lE(evYiJ = J eVYdv(y) = J e(u+v)y dµ(y)/<P(u) =

lE[e(u+v)X]
<P(u)
=
<P(u + v)
<P(u)
,

de sorte que loglE(evYiJ = L(u + v) - L(u), et d'après 7) ci-dessus,

lE[Y1] = tv(L(u + v) - L(u)) = L'(u) = x.

11) Selon la loi des grands nombres, ceci entraîne que
lim lID(IM~ - xi < ô) = 1. Nous déduisons donc des questions 9) et 7) que :
n--too

liminf l loglID(IMn -
n--too n
xi < ô) 2 L(u) - ux - ô Jul = -A(x) - ô lui.

12) Fixons x E Jm, ,B[, et appliquons 11) ci-dessus avec m < x <y< ,B et
0 < ô < y - x, de sorte que u > 0, et JMn - YI < ô => Mn 2 x :
lim inf ~log lID{ Mn 2 x} 2 lim inf l log lID(JMn - yJ < ô) 2 -A(y) - ô,B.
n--too n--too n

Faisant tendre y vers x (et donc ô vers 0), par continuité de A (sur ]a, ,B[,
selon la question 7), nous obtenons :

liminf ~ loglID(Mn 2 x) 2 -A(x).

n--too

13) Prenant F = [x, oo[ dans la question 6) ci-dessus, nous en déduisons :

lim ~ loglID(.l\lln 2 x) = -A(x).

n--too
270 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

14) Changeant X en -X comme dans la preuve de 4.b), nous en déduisons

le résultat analogue pour x' E ]a, m[.

15) Pour la marche simple sur Z, nous avons q>(u) =chu, I = R,

L(u) =log chu, L'(u) = thu, f3 = 1 =-a, u = Argthx (pour JxJ < 1),
A(x) = xArgthx + logvl - x 2 = x log~+ logvl - x 2 si Jxl s 1.

IX.5 Corrigé du problème VII.5

l.a) O"(Y) = {Y- 1 (T) JT E 7}, car ces ensembles sont O"(Y)-mesurables et
ils forment bien une tribu.
l.b) Sur chaque événement {j2-n s
g < (j + 1)2-n} nous avons ou bien
!)
9n+l = j 2-n = 9n ou bien 9n+l = (j + 2-n > j 2-n = 9n , ce qui montre
que la suite (gn) croît; en outre Jg - Bnl S 2-n sur {g < oo }. Donc 9n /" g.
l.c) Puisque {j2-n S g < (j + 1)2-n} E O"(Y), il existe selon 1.a) An E 7 tel
que {j2-n S g < (j + 1)2-n} = y- 1 (An); de sorte que

9n =OO ly-l(Aoo) + L jTn ly-l(An) = [OO lA +Lj2-n1An] o Y=: fn o Y.

00

jEN jEN

l.d) Soit f := limsup fn. Alors b) et c) ci-dessus entraînent que :

n-+oo

g = limsupgn = limsup(fn o Y)= (limsupfn) o Y= f o Y.

n-+oo n-+oo n-+oo

2) Si A E O"(Y) : selon 1.a) il s'écrit A= y- 1 (T) et donc

[w E A et Y(w) = Y(w')] {::} [Y(w) ET et Y(w) = Y(w')]

=? Y(w') E T =? w' E A.
Réciproquement, posant T := Y(A), nous avons nécessairement Ac y- 1 (T),
et si w E y- 1 (T), alors Y(w) E T = Y(A) et donc il existe w' E A tel que
Y(w) = Y(w'), de sorte que selon la propriété de l'énoncé w E A, ce qui
montre que y- 1 (T) c A.
3.a) Appliquons 2) avec Y := (Xo, ... , Xk) et A := {T = k} E Fk = O"(Y) :
selon l'hypothèse nous avons Xj(w) = Xj(w') pour 0 j s s
k, c'est-à-dire
Y(w) = Y(w') et donc w' E A, d'où k' = T(w') = k.
3.b) Utilisons la question 2) dans le sens réciproque, avec Y:=
IX.5 CORRIGÉ DU PROBLÈME VII.5 271

(Xo, XTAI, ... , XTAk) qui est telle que u(Y) = Ç~, et A := {T = k} : cela
assure que A E Ç~, puisqu'en effet selon 3.a) ci-dessus, si T(w) = k et Y(w) =
Y(w') alors T(w') = k. Le cas de k = oo en découle, car LJ Ç~ c ÇT, de
kEN
sorte que {T = OO} = n {T = k }c E gT.
kEN
3.c) Voir la définition III.1.3 et l'exercice IIl.1.4.
3.d) Si A E FT et k E N, alors selon la question 1.a) appliquée avec Y :=
(X0, ... ,Xk) il existe une partie B de Ek+ 1 telle que An{T = k} = y- 1 (B),
de sorte que (par définition de Ç~ et par 3.b))
An {T = k} = { (Xo, ... 'Xk) E B} n {T = k}
= {(Xo, XTAl' ... 'XTAk) E B} n {T = k} E g~.
3.e) La question précédente assure que [A E FT =? An {T = k} E 9T]. Par
ailleurs d'après la question 3.b), la question 3.d) est encore valable avec k = oo
(et Y:= (Xo, X1, ... )). Cela entraîne que FT c ÇT. Enfin l'inclusion inverse
découle aussitôt de la remarque élémentaire suivante : pour tout n E N, la
variable aléatoire XTAn est FT-mesurable (par définition de FT, cela revient
au constat évident que XkAn est Fk-mesurable pour tout k E N).

IX.6 Corrigé du problème VII.6

1.a) Pour tous n - 1 et k EN nous avons : Fn+i(k)
= IP((Wn +Un)+:::; k) = IP(Wn +Un:::; k) = L IP(Un = z)IP(Wn:::; k- z)
zEZ

L IP(U1 = z) Fn(k - z) car Wn(S1) c R+.

zEZ,z$k
La seconde égalité de l'énoncé s'ensuit aussitôt, puisqu'il suffit de poser z =
k-j.
1.b) Nous avons simplement:

Fn+i(k) = l{k2".0} IP(Wn +Un:::; k) = ln~)k) L IP(U1 = z) Fn(k - z).

zEZ,z$k

2) Nous avons pour tout k ER : F1(k) = IP(O:::; k) = ln~)k), c'est-à-dire

F1 = llR+, et
F2(k) = l{k2".0} L IP(U1 = z) l{z$k} = lJR+(k) IP(U1 :::; k),
zEZ,z$k
272 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

c'est-à-dire F2 = lJR+ x IP(U1 :::; ·). Ensuite

k
(Fn+l - Fn)(k) = lR)k) L IP(U1 = z) (Fn - Fn-1)(k - z) :::; 0
z=-oo
si Fn :::; Fn-1, ce qui établit par récurrence la décroissance voulue puisque
[Link]; F1.
3) Puisque la suite (Fn) est décroissante et minorée par 0, elle converge
simplement vers une fonction F ~ 0. En outre [Link]; F1 = lR+, et la croissance
de chaque fonction Fn entraîne aussitôt celle de F.
Enfin par passage à la limite (n---+ oo, k fixé) dans la formule
Fn+i(k) = E IP(U1 = k-j)Fn(j),cequiestjustifiéparconvergencedominée
jEN
puisque [Link]; Fn :::; 1 et que 1 est intégrable contre E IP(U1 = k - j) Diracj,
jEN
nous obtenons bien :
F(k) = E IP(U1 = k - j) F(j).
jEN
4) Notons Fn(k) := IP(U[Link]; k, U1 + U[Link]; k, ... , U1 + · · · + Un-[Link]; k).
Nous avons clairement F2 = F2 , et pour tous n ~ 2 et k E N :

Fn+i(k) = IP(U[Link]; k' U1 + U[Link]; k' ... ' U1 + ... +Un:::; k)

=L IP(U1 = z) IP(U[Link]; k - z, ... , U2 +···+Un:::; k - z)
z$k

= L IP(U1 = z) Fn(k - z),

z$k

d'où Fn = Fn pour tout n ~ 2, par récurrence.

5) C'est immédiat pour k E N par convergence monotone. Puis pour n,j
entiers, Fn est constante sur [j, j + 1 [, de sorte que F est constante également
sur [j,j + 1[. Les Üj étant à valeurs entières, il en est de même pour F. Donc
F = F sur ~+ aussi.
6) Nous avons pour tout n E N : Wn+l ~ Wn +Un et donc Wn ~ U1 + · · ·+
Un-l, d'où presque sûrement selon la loi des grands nombres: liminf ~ ~
n--+oo
E(U1) > 0; de sorte que Wn > nE(U1)/2 pour n >no, et donc lim Wn =
n--+oo
oo presque sûrement. Enfin, pour tout k E ~+ :
F(k):::; IP[('vj>no) jlE(~i) <U1+···+Ui:::;k] =0.
IX.6 CORRIGÉ DU PROBLÈME VII.6 273

7.a) Presque sûrement, pour j > j 0 (w) nous avons Ui+;+u; :S IE<f1 > < O,
de sorte que pour tout k E lî+ : F(k) = JP> [j~()) {U1 + · · ·+ Uj :S
3=1
k}], qui par
convergence monotone tend vers 1 lorsque k --+ oo , puisque chaque événement
{U1 + · · · + Uj :S k} croît presque sûrement vers n.
7.b) Nous avons vu que 0 :S F :S 1, F croît, limF
-OO
= 0, limF
OO
= 1. En outre
puisque Fn décroît vers F, la continuité à droite de chaque Fn se transmet
en continuité à droite de F. Cela suffit pour conclure que F est la fonction
de répartition d'une certaine variable aléatoire W00 , et qu'ainsi la suite (Wn)
converge en loi vers W 00 •
8.a) Le théorème 111.4.2 de Chung et Fuchs donne aussitôt le résultat, puisque
U1 est centrée intégrable.
8.b) Par indépendance de X2 et a1, nous avons :

v E Supp(U1) {::} IP(a1 - X2 = v) > 0 {::} L IP(X2 = j)IP(a1 - j = v) > 0

jEN°

~ (3 j EN*) (j E Supp(X2) et j + v E Supp(a1))

~ v E Supp(a1) - Supp(X2),
ce qui montre que
Supp(U1) = Supp(a1) - Supp(X2) = Supp(u1) - Supp(X1).
8.c) Nous avons vu avec la proposition 111.2.3 et l'exercice 111.2.4 que l'en-
l
semble R := {V E z lim sup {Sn = V} = n p.s.} des points presque
n
sûrement infiniment visités par la marche est le sous-groupe
{VE z 1 (3n EN) IP(U1 + ... +Un= v) > o} des points de z pouvant être
visités, qui est également le sous-groupe de Z engendré par Supp(U1), et donc
par Supp(u1) - Supp(X1) selon 8.b) ci-dessus.
n
8.d) Ce qui précède entraîne aussitôt que lim sup L: Uj
n--+oo j=l

= sup {sous-groupe de Z engendré par Supp(u1) - Supp(X1)} = oo

dès que Supp(u1) - Supp(X1) f:. 0, et donc dès que Card(Supp(u1)) > 1 ou
bien Card(Supp(X1)) > 1, ce qui est bien le cas si u1 et X1 ne sont pas
toutes les deux presque sûrement constantes. Donc selon la question 5) nous
=
avons F(k) = 0 pour tout k E lî+, c'est-à-dire F 0. De sorte que Fn \.i 0,
c'est-à-dire que Wn --+ oo en probabilité.
274 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

9.a) Nous avons :

= L IP(X1 = k) IP(a1 = z + k) = L pq (1- Pl- 1(1- qy+k-l

k;:::lv(l-z)

=pq(l-qy"""" [(1-p)(l-q)]k=pq(l-qyx [(l-p)(l-q)]z-

L.,, 1-(1-p)(l-q)
k;:::z-
= pq x (1- py-(1 - qy+. (none a = pq ·)
p+q-pq p+q-pq
Nous en déduisons (en séparant Z en N U ( -N*)) :

JE(U1) = L pq Z X (1- p)z-(1- q)z+

'7î p+q-pq
ZEILI

= pq [Lz(l-q)z- L z(l-pyl
p + Q - pq ZE!'l
1M ~1*
ZE!'l

= pq [1-q _ 1-p] = p 2 (1-q)-q2 (1-p) = p-q.

p+q-pq q2 p2 pq(p+q-pq) pq
9.b) Nous déduisons de la question 3) que :

G(s) = L L ska (1 - p)(k-j)-(1- q)(k-j)+ F(j)

kEN°jEN

=a L F(j) [I:sk(l- p)i-k + Lsk(l- q)k-jl

= a
jEN

L
jEN
k=O k;:::j
. 1 - (-s )i
F(j) [ (l - p)J 1- (1]:_)
l-p
si
+ 1- (1 - q)s
l
G(l - p) [ 1 1 ]
= al-(1~p) +aG(s) 1-(1-q)s-1-(l~p).
9.c) Nous déduisons de la question précédente :

G(s) = (1-p)G(l-p)a(l-(1-q)s)
(1 - p - s) (1 - (1 - q)s - a) + (1 - p)a(l - (1 - q)s)

= a (1-p) G(l-p) 1-(1-q)s _ a (1-p) G(l-p) X [_!J_ _ p (1-q) ].

1-s (1-p- 1-q)s - q-p 1-s 1-p-(l-q)s
IX.6 CORRIGÉ DU PROBLÈME VII.6 275

3/4

FIGURE IX.1- Graphe de transition de la chaîne de Markov du problème VII.7

9.c) Nous déduisons de la question précédente que pour tout 0 < s < 1 :

G(s) = c~ [q-p(l-q)(l-q)i] 8 i,
L.,; 1-p 1-p
jEN

= c[q-p(~)i+ 1 ]. Et comme
d'où nécessairement (par définition de G) F(j)
l~F = 1, nous devons avoir c = 1/q. Donc F(j) = 1 - ~ U::::~)i+ 1 pour
tout j EN. Enfin, nous en déduisons que pour tout j EN* :

lP(W:00 = 2·) = F(1') - F(J. - 1) = :eq (!.=!l)i

l-p
(1 - !.=!l)
1-p
= P (q-p)
q (l-p)
(!.=!l)i,
1-p

avec en outre P(W:OO = 0) = F(O) = q-p

q (l-p)
= P (q-p)
q (l-p)
+ 51.::.1!.
q
•

IX. 7 Corrigé du problème VII. 7

0) Voir la figure IX.l.
1.a) Les classes de communication sont {1 }, {2, 3, 5} et {4, 6}.
1.b) Les classes {2,3,5} et {4,6} sont fermées, donc récurrentes puisque la
restriction de la chaîne à l'une ou à l'autre doit contenir au moins un point
récurrent. {1} est transitoire car non fermée (revoir l'exercice IV.2.10).
1.c) Il n'y a pas de classe absorbante, puisque de 1 on peut finir dans {2, 3, 5}
ou dans {4, 6}.
l.d) Du fait que P(3, 3) > 0, la période de {2, 3, 5} est 1; de même, la période
de {1} est 1. Comme pn (4, 4) est > 0 si et seulement si n est pair, la période
de {4, 6} est 2.
2) Supposons que vP = v. Puisque 1 est transitoire, nous devons avoir
v1 = 0. Et la restriction i/1 de v à la classe fermée {2, 3, 5} doit être invariante,
276 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

de même que la restriction i/2 de v à {4, 6}. D'après le théorème IV.3.7,

il y a une unique probabilité invariante pour la restriction de la chaîne à
chacune des classes récurrentes (nécessairement fermées) : vi nécessairement
proportionnelle à Di , et v~ nécessairement proportionnelle à i/2. Ainsi les
probabilités invariantes v sont celles qui s'écrivent v = ai vi + ai v~, avec
ai, a2 ~ 0 et ai + a2 = 1.
La matrice de transition associée à {4, 6} est P2 := (~ 6), de sorte qu'on
obtient aussitôt v~ = (!,!) = (0, 0, 0, !, 0, !) . La matrice de transition as-
1/2 1/3 1/6)
sociée à {2, 3, 5} est Pi := ( 3/4 1/4 0 , de sorte qu'on obtient pour
1/3 1/6 1/2
vi = (0, a, b, 0, c, 0) les équations -~ + 3,11 + ~ = 0 = ~ - ~, d'où facilement
, (o ' 50
Vi =
21 i4 0 9 o)
' 50 ' ' 50 ' .

3) Di n'est pas un temps d'arrêt, puisque {Di :::; k} = {Xk+I =/:- 1} rJ. Fk,
pour tout k EN. Par ailleurs nous avons lP\(Di = k)

= lP\ (X2 = ... = xk = 1, xk+I =/:- 1) = P(l, 1)k(1 - P(l, 1)) = (~)k X&·
Donc la loi de (1 +Di) sous lPi est la loi géométrique Q(5/9), de sorte que
Ei(Di) = ~ - 1 = g.
4.a) Nous avons {T3 < oo} = {Xv1 +1 E {2,3,5}}, car dans {2,3,5} tous les
temps d'atteinte sont presque sûrement finis (selon la proposition IV.2.13).
Donc

1Pi(T3 < oo) = L lPi(Di = k,T3 < oo) = L lPi(Xk = 1,Xk+I E {2,3,5})
kEN kEN

= L P(l, l)k (P(l, 2) + P(l, 3) + P(l, 5)) = ~ X ~ = ~.

kEN
Une autre solution consiste à appliquer la propriété de Markov au temps 1, ce
qui donne facilement: 1Pi(T3 < oo) = P(l, 1) 1Pi(T3 < oo) +P(l, 2)+P(l, 3)+
P(l, 5) , et donc lPi (T3 < oo) = o+;~~7:1 9 = 3/5. Donc lPi (T3 = oo) = 2/5,
et lEi (T3) = oo.
4.b) Sous lPi (c'est-à-dire partant de 1) la chaîne atteint l'une des deux
classes récurrentes, et donc en particulier soit 3 soit 4, mais pas les deux. Donc
1Pi(T4 < oo) = 1 - 1Pi(T3 < oo) = 3/5. Et comme ci-dessus lEi(T4) = oo.
5) Nous avons lPi(Ti = 1) = P(l, 1) = 4/9 et lPi(Ti = oo) = 5/9, d'où
Ei (Ti) = oo. Puis lP4(T4 = 2) = JP6(T6 = 2) = 1 et donc E4(T4) = E6(T6) =
IX. 7 CORRIGÉ DU PROBLÈME VII. 7 277

2. Enfin selon la question 2) et le théorème IV .4. 7 appliqué à la restriction de la

chaîne à {2, 3, 5}, nous avons lE2(T2) = ~~ , lE3(T3) = f~ = 2,P , lEs(Ts) = 59 °·
6.a) Distinguant suivant la valeur du premier pas X1 et appliquant la pro-
priété de Markov au temps 1, nous obtenons :
lE3(T2) = lE3 ( l{X1=2} + l{X1=3} (1+T200) + l{X1=5} (1 + T2 0 0))
= l+P(3,3)lE3(T200jX1 =3) +P(3,5)lE3(T200jX1 =5)
= 1+P(3,3) lE3(T2) + P(3, 5) lEs(T2);
et de même:

d'où par élimination élémentaire :

i lE3(T2) = 1 et ! lEs(T2) = 1 + àlE3(T2),

et donc lE3(T2) = 4/3 et lEs(T2) = 22/9.
6.b) Nous avons de même:
lE2(T3) = 1+P(2,2) lE2(T3) + P(2, 5) lEs(T3)

d'où ! lE2(T3) - àlEs(T3) = 1, et

lE2(T3) = 1+P(2,2) lE2(T3) + P(2, 5) lEs(T3), d'où
-k lE2(T3) + ! lE5(T3) = 1, et donc lE2(T3) = 24/7 et lEs(T3) = 30/7.
Enfin
lE2(Ts) = 1+P(2,2) lE2(Ts) + P(2, 3) lE3(Ts)
d'où ! lE2(Ts) - klE3(Ts) = 1, et

lE3(Ts) = 1 + P(3, 3) lE3(Ts) + P(3, 2) lE2(Ts) d'où

-i lE2(Ts) + i lE3(Ts) = 1, et donc lE2(Ts) = 26/3 et lE3(Ts) = 10.

IX.8 Corrigé du problème VII.8

1) Si tous les Qn sont dans ]O, 1[ toutes les périodes valent 2 et la chaîne est
irréductible. Si Qn E {O, 1} (pour un n au moins), il n'y a pas irréductibilité,
et les périodes valent soit 2 soit oo .
2) li= llP ~ (V n E Z) (1- Qn+i) lln+I =lin - Qn-I lln-1 ~
278 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

(Vn ~ 1) {1 - Qn+i) Vn+l = Vn - Qn-1 Vn-1 ; {1 - q1){v1 + v_1) = vo j

(Vn::; -1) {1 - Q-n+l) Vn-1 = Vn - Q-n-1 Vn+l.

3) Changeant n en -n dans le système de 2), on obtient un système
d'équations satisfait par v', qui s'avère aisément équivalent à celui de 2) {les
équations relatives à n ~ 1 et à n::; -1 s'échangent).
4) D'après 3), v symétrique est invariante si et seulement si

(Vn ~ 1) {1 - Qn+i) Vn+l = Vn - Qn-1 Vn-1 et 2 {1 - q1) V1 = vo.

5) Le calcul de iµI := 2: µn est aisé : par symétrie de µ, nous avons
nEZ

lµI = µo + 2 Lµn = 2a[l + L (~ + (ni1)1)]

n~l n~l

= 4 (e - 1) a ( = 1 ssi a= 4 {e~l)) ·
6) 4) se traduit par : Vn+l = (~!~) (vn - n~l Vn-1) ; v1 = ~ vo. Or
µ1 - i µo =a(~ - i 2) = 0, et
Hµn+l - (~t~) (µn - n~l µn-1)] = ~t~ [(ni1)1 - [ c:t;), - <:tf), J] =o.
Donc µ est invariante, et comme elle est finie (et qu'il y' a irréductibilité), il
y a récurrence positive, et par suite, pas d'autre mesure invariante que les µ
(pour a~ 0).
7) D'après les théorèmes IV.4.2 et IV.4.7, nous avons 1Em(Tm) = ...L
µm
=
4 (e -1) <11:! 1~~!, pour tout m E Z, et le nombre moyen de passages en k E Z
entre deux passages en m est v.k - µm - lml+2 X (lkl+l ! ·
m _ .J!1s... _ lkl+2 (lm +1)!

8) En distinguant suivant le premier pas, on obtient :

ao = qo + (1 - qo) lE_1(l + T1) = 1 +!al, puis

an+l n+1
an= Q-n(an-1+1) + (1- Q-n)(an+l + 1) = 1 + - -2 + - - an-1 ·
n+ n+2
La proposition IV.4.9 assure que les an sont finis {dans ce cas positivement
récurrent).
9.a) La propriété de Markov forte fournit l'égalité :
an = 1E-n[T1-n + T1 o (]Ti-n] = 1E-n(T1-n) + an-1.
IX.9 CORRIGÉ DU PROBLÈME VII.9 279

9.b) 9.a) =} an ~ 1 + an-1, et par décroissance de q : 1E-n-1(T-n) <

1E-n(T1-n); la preuve détaillée de ceci s'obtient par couplage : si
P(-n, 1 - n) = Pn S p~ = P'(-n, 1 - n) , on pose Xo = X{J = -1 et sur
{Xk = -n,Xk = -n'} : Xk+l = 1 - n si Uk+l S Pn (= -n - 1 sinon),
Xk+l = l-n' si Uk+l S p~, (= -n' -1 sinon), pour (Uj) i.i.d. de loi U([O, ll).
On a par récurrence : N 3 k s Tti =} Xk s Xk, d'où To ~ Tti presque
sûrement et donc JE[Tti] S JE[To].
9.c) Selon 8), f3n+i = (n + l)f3n - 2 =} î'n+i - î'n = (nf.;)! =} î'n = ao +
1 - 2e + 2en, avec en:= 2: fi
E ]O, n;n! [. Or, î'n--+ 0 par décroissance et
k>n
positivité de (3 , de sorte que ao = 2e - 1 , et donc f3n = 2 n! en E ] 0, ~ [ .
9.d) f S m S n =} lEt(Tn) = lEt(Tm) + lEm(Tn) par la propriété de Markov
forte, d'où lEn(To) = 1E-n(To) =an - ao, et
lEn(Tm) =an - am= n - m + f3m+l + · · · + f3n.

IX.9 Corrigé du problème VII.9

1) P(N, m) est nul pour m ~ 1 et vaut 1 pour m = 0, c'est-à-dire que
P(N,m) = l{m=O}· De même, P(O,m) = l{m=O}· Enfin P(m,N) = 0 pour
tout m.
2) Puisque P(l, m) P(m, 1) > 0 pour 1 s m < N, 1, ... , N - 1 sont dans
une même classe de communication C. Comme 0 ne conduit qu'à lui-même,
nous avons 0 fj. C, et {O} forme une classe à part. Nul état ne conduisant
à N, nous avons N fj. C, et {N} forme une classe à part. Nous avons donc
C = {1, ... , N - 1}. De plus {N} --+ {O} et C --+ {O}, de sorte que {N}
et C sont transitoires et que {O} est récurrente. L'état 0 est absorbant (et
récurrent). Les mesures invariantes ne pouvant charger que les états récurrents
(selon la proposition IV.3.5), elles sont ici toutes proportionnelles à la masse
de Dirac en O.
3) A est une matrice de format (N -1, N - 1) et C est une matrice-colonne,
de format (N - 1, 1). La dernière ligne de Q est
(P(O, k)) 19::;N-l,k=O = (0, ... , 0, 1). Puis A(j, k) = P(j, k), et
N-1 N-1
cj = P(j, o) = 1- L P(j, k) = 1- L c~_j(1 - pi)k pi<N-j-k)
k=l k=l

= C_R,_j(l _ pi)O pi(N-j-0) = pi(N-j).

280 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

4) Appliquant la propriété de Markov, nous avons aussitôt :

N-i N-i
1P'j(T=n)= L lP'j(Zi=n,ToO=n-1)= L Q(j,k)JP>k(T=n-1)
k=O k=O
c'est-à-dire (observant que Q(j, k) = A(j, k)) que Mn= A x Mn-i·
5) D'après la question précédente nous avons Mn = An-i Mi pour tout
n E N*, et Mi (j) = 1P'j(Zi = 0) = Q(j, 0) = C(j), d'où Mi = C et donc
Mn =An-ic.
6) Il · Il est une norme, puisque

de plus
llM + M'll S
llM x M'll
~J'I;, [ t. t.
IM(i, j) 1+ IM((i, j) 1] s llMll + llM'll ;

d d d d
s i<i<d
max " ' " ' jM(i,k) x M'(k,j)j =max "'jM(i,k)j x "'jM'(k,j)j
L...JL...J i<i<d L...J L...J
- - j=i k=i - - k=i j=i
d
S i<i<d
max "'IM(i,k)I
L...J
x llM'll = llMll x llM'll ·
- - k=i
7) Nous avons

llAll =max{~ Ak; lk E E} =max{l-pk(N-k) 1kEE}<1.

Donc nous déduisons de la question précédente et de l'inégalité triangulaire
que pour 0 S k S q :

k--too O
'
et

Il
t n An-i 11 S f n llAlln-i = k llAllk-i (1 - llAll~ + llAllk k--too O,
n=k n=k (1 - llAll)
q-i q-i
d'où les convergences demandées. Enfin nous avons (I-A) An x E An= E
n=O n=O
(I - A)= I - Aq pour tout q EN, et comme ce qui précède permet de faire
IX.9 CORRIGÉ DU PROBLÈME VII.9 281

OO OO
tendre q vers l'infini, nous déduisons que (I-A) I: An = I: An x (I-A) = I,
n=O n=O
OO
qui montre que (I - A) admet l'inverse I: An.
n=O
N-i
8) La j-ième ligne de la matrice-colonne (J - A)U est 1 - I: P(j, k) =
k=l
P(j, 0) = C(j), de sorte que (I - A)U = C, ou bien (J - A)- 1 C = U. Nous
en déduisons que

L JP>i(T = n) = L Mn(j) = [ L An-l xc]. = ((I-A)- C)i = U(j) = 1 1

nEN neN* n~l J

si 1 ~ j < N. Par ailleurs JP>o(T = 0) = 1. Donc JP>i(T < oo) = 1 pour tout
j<N.
9) Nous avons (pour la même raison que ci-dessus) : lEo(T) = 0, et pour
1 ~ j < N: lEi(T) =

L nJP>i(T = n) = [L nAn-l c] X
.
= ((I -A)- 2 C).J = ((I - A)- 1U).'
J
nEN n~l J

Cela signifie que lEi(T) est égale à la somme des termes de la j-ième ligne de
la matrice (J - A)-1.

IX.10 Corrigé du problème VII.10

1) P est irréductible sur E si et seulement si pour tous x, y E E il existe
n EN tel que pn(x, y) > 0. Pest de plus récurrente sur E si et seulement si
pour un (ou pour tout) état e E E le temps de retour Te est presque sûrement
fini, ou encore si et seulement si I: pn(e, e) = oo pour un (ou pour tout) état
n
e E E , ou encore si et seulement si lim lEe (N:)
n-too
= oo pour un (ou pour tout)
état e E E.
2.a) Pour tous y, e' E E et n, m EN nous avons N; ~ N; l{Te'~m}
m m m
-- ""'Nn
L.J y 1{Te1=i} -- ""'(Ni-l
L.J y
+ Nn-i
y O
(Ji) 1{Te1=i} >
- ""'Nn-i
L.J y O
()il {Te1=i}'
i=O i=O i=O
282 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

qu'il suffit d'intégrer contre 1Pe.

2.b) Nous avons N;:-i ~ N;: - j ~ N;: - m pour 0 :S j :Sm, de sorte que
la question précédente entraîne :
m
JEe(N;) ~ LJEe[(N;ooi -m) X l{Tei=j}]
j=O
m
= L [JEe(N; 0oi1 Te' = j) - m] 1Pe(Te1 = j)
j=O
m

j=O
~ JEe1(N;) 1Pe(Te' :Sm) - m.
2.c) Selon 2.b) ci-dessus avec e' =y, nous avons

pour tout m tel que 1Pe(Ty :Sm) > 0. Or un tel m existe, puisque
lim 1Pe(Ty :Sm)= 1Pe(Ty < oo) = 1 selon la proposition IV.2.13.
m-too
3) Divisant les deux membres de 2.b) par JEa(N;1'), qui tend vers l'infini avec
n selon la question 2.c), et faisant tendre n vers l'infini, nous obtenons pour
tout m EN:

Faisant tendre m vers l'infini et réutilisant que

lim 1Pe(Te' :Sm)= 1Pe(Te' < oo) = 1, nous en déduisons que
m-too

L'égalité en découle ausssitôt, en échangeant les rôles de e et e'. Enfin les

mêmes arguments valent de la même façon avec lim sup au lieu de lim inf .
4) Utilisant les deux égalités de la question 3), nous avons :

. . JEe(N;:)
= hm
. . JEe' (N;:) [. JEa(N;:) ]-l
hm mf JEa(Nn)
n-too x n-too x = hm
mf JE a(Nn) sup JE e' (Nn)
n-too x

. JEa' (N;:)
= [ hmsup JE (Nn)
]-l = . . JEe' (N;:) . .
hmmf JE (Nn) ; idem pour les hmsup.
n-too e' x n-too a' x
IX.10 CORRIGÉ DU PROBLÈME VII.10 283

5.a) Le lemme IV.3.6 assure que Vx > 0 pour tout x E E, et donc que Q(x, y)
existe bien. Il est clair que Q(x, y) ~ 0, et l'invariance de v entraîne aussitôt :
I: Q(x, y) = (vP)x/Vx = 1.
yEE
5.b) v est invariante pour Q, car pour tout y E E nous avons

(vQ)y = L Vx Q(x, y)= L P(y, x) Vy = Vy.

xEE xEE

5.c) Montrons par récurrence que Qn(x, y) = pn(y, x) x vy/vx, pour tous
x, y E E. C'est vrai pour n = 1 par définition de Q. Supposant que c'est vrai
pour un certain n EN, nous avons alors Qn+l(x, y)

= L Qn(x, z) Q(z, y)= L pn(z, x) Vz X P(y, z) Vy = pn+l(y, x) Vy.

zE E zE E
Vx Vz Vx

5.d) Nous avons par conséquent Qn(x, y) > 0 {::} pn(y, x) > 0 pour tous
x, y E E et n EN, de sorte que l'irréductibilité de P entraîne celle de Q. Et
comme Qn(e, e) = pn(e, e) pour tous e E E et n EN, la proposition IV.2.11
montre que Q est récurrente, puisque I: Qn(e, e) = I: pn(e, e) = oo.
nEN nEN
n n
6.a) Nous avons 1Ee(N;1) = I: pk(e, x), d'où 1Ey(N:) = Lpk(y,e)
k=O k=O
n n
= Ve L Qk(e, y), et de même 1Ex(N:) = Va L Qk(a, x). Il ne reste qu'à
Vy k=O Vx k=O
faire le rapport de ces deux égalités.
6.b) Selon la question 4), ces deux limites ne dépendent pas de (x, y). Selon
la question 6.a), elles valent respectivement liminf Vx JE~(N;) et
n--too Vy JEa (N!i-)

. sup Vx JE~(N;)
11m Q ' JEQ d'es1gne
, ou · l' esperance
' re1a t'ive a' 1a chame de ma-
A

n--too Vy JEa (N!i-)

trice de transition Q. Or selon la question 4) de nouveau, ces deux limites ne
dépendent pas de (a, e).
6.c) Selon la question précédente, ces deux limites peuvent être obtenues en
prenant a= e = x =y, de sorte qu'elles valent toutes les deux 1. Il y a donc
Va 1Ey(N;i) 1Ey(N;i)
convergence vers 1 de Ve 1Ex(N:) , et donc convergence de 1Ex(N:) vers

Va
7.a) Si µ est une autre mesure invariante pour P, elle doit comme v vérifier
284 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

. lEy(N~) µe d , . µe
11m - , e sorte que necessa1rement : - = -Ve , ou autrement
n--too lEx(N:) µa µa Va
dit, puisque a est quelconque : µ = µe v ; ce qui établit bien la proportionalité
Ve
voulue.
7.b) L'unicité de la mesure invariante (que nous venons d'établir), le théorème
IV.4.7 (selon lequel P admet une probabilité invariante si et seulement si elle
est positivement récurrente, et idem pour Q) et la question 5.b) ci-dessus
entraînent que :
P positivement récurrente {::::::::} v finie {::::::::} Q positivement récurrente.

IX.11 Corrigé du problème VII.11

1) Chaque transition Xn---+ Xn+l ne modifie la valeur 0 ou 1 qu'en au plus
un seul site, de sorte que Li(Xn, Xn+i) ~ 1, et donc Li(e, e') ~ [Link]} P(e, e') =
IP'e(X1 = e') = 0.
2) a) Puisque e et e' diffèrent en k, on a par exemple e(k) = 1, et donc si
k' est un site voisin de k : e'(k') = e(k') = 0.
b) Selon la description de la transition et selon a), on passe de e à e' si
k est choisi et si pile sort : P(e, e') = 1/(2Nd); et on passe de e' à e si k
est choisi et si face sort : P(e', e) = 1/(2Nd) aussi.
3) Selon les questions précédentes, Li(e, e') ~ [Link]} P(e, e') = P(e', e) : Pest
symétrique. Donc (mP)(e) = L: m(e')P(e', e) = M- 1 L: P(e, e') = M- 1 =
dEE deE
m(e) pour tout e E E.
4) Soient e un état non nul quelconque, k un site en lequel e vaut 1, puis e'
l'état nul en k et égal à e hors de k. Selon 2.b), on a P(e, e') = 1/(2Nd) :
e conduit à e', et donc de proche en proche, à l'état nul. P étant symétrique,
il s'agit bien de communication. Donc Pest irréductible.
5) a) Pour tout e, on tire avec probabilité > 0 un site en lequel e s'annule,
et si pile sort, on reste alors en e : cela montre que P( e, e) > 0 .
b) D'après la question précédente, la chaîne est apériodique.
6) Le théorème ergodique IV.5.5 s'applique ici, pour assurer que
lim pn(e, e') = m(e') = M- 1 pour tout e E E, et même que :
n--+oo
lim L: IPn(e, e') - M- 1 1 = 0.
n--too e'EE
IX.12. CORRIGÉ DU PROBLÈME VII.12 285

IX.12 Corrigé du problème VII.12

u: ~ n
1) Il suffit de considérer une matrice de permutation sur E, par exemple

(1 -> 2--> 3-> ... -> l -> 1), c'est-à-dire Q ~ 1

Nous avons alors Qf. = I {la matrice unité) qui n'est pas irréductible, alors
que Q l'est.
2) Soit µ l'unique probabilité invariante pour P, qui selon le lemme IV.3.6
est telle que µ(e) > 0 pour tout e E E. Comme le théorème IV.5.5 assure
que pour tous x, e E E pi (x, e) --+ µ( e) lorsque j --7 oo , nous devons avoir
Pi(x,e) > 0 pour tous x,e E E et pour tout j ~ io suffisamment grand
(cette uniformité est possible du fait que E est fini). A fortiori, nous avons
pnio (x, e) > 0 pour tous x, e E E, ce qui montre que pn est irréductible.
Nous avons aussi pn(jo+l)(e, e) > 0 pour tout e E E, ce qui montre que la
période de e pour pn divise en particulier io et io + 1, et doit donc valoir 1.
3) La question précédente montre que pN admet une unique loi invariante.
Or µP = µ => µPN = µ , tandis que clairement mPN = mJ = m . Donc
µ = m, et mP = m . En transposant, cela donne t P tm = tm, qui signifie
que t P est stochastique; d'où la dénomination « bistochastique ».
4) Le rang de J est 1 puisque toutes ses colonnes sont égales; 1 est valeur
propre puisque J est stochastique, et ses (f - 1) autres valeurs propres sont
0, avec pour vecteurs propres les différences 2 à 2 de vecteurs de la base
canonique: ei -e2, e2-e3, ... , e1._ 1 -e1., qui sont linéairement indépendantes.
5) Si Pf = >.f alors Jf = pN f = >.N f et donc soit
[>.N = 1 et f est constante], soit [>.N = 0 et mf = O]. En particulier, les
seuls vecteurs propres n'appartenant pas au noyau de P sont constants. Donc
0 est valeur propre de P avec multiplicité {f - 1), et le rang de P est 1. De
sorte que les colonnes de P s'écrivent u 1V , ... , Uf. V , pour des réels u; ~ 0
et un vecteur-colonne V = t ( v1 , ... , Vf.) E R~.
6) Posant tu := (u 1 , ... , u1.), nous avons P = V tu d'où J = pN =
(tuv)N-I x P, et donc Jet P colinéaires et stochastiques à la fois, donc
égales. La chaîne associée est une suite de variables aléatoires indépendantes
et uniformes sur E.
286 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

IX.13 Corrigé du problème VII.13

1) Pour n = 1 c'est la définition de Q et de µi, et ensuite par récurrence :
pk(n+l)(x, y)= L pk(x, z) pkn(z, y)
zEE

L (Q(x,z) + µ(z)) (Qn(z,y) + µn(Y))

=
zEE

= Qn+l(x, y)+ (µQn)(y) + L (Q(x, z) + µ(z))µn(Y)

zEE

= Qn+l(x, y)+ (µn+l - µn)(Y) + L pk(x, z) ~(y)= Qn+l(x, y)+ µn+l(y).

zEE

2.a) Nous avons successivement : pk 2: 0 =? Q 2: 0 =? Qn 2: 0 =? µn+l 2:

µn > 0 , et de plus selon la question précédente 2: ~(y) :::=; 2: pkn (x, y) = 1.
yEE yEE

(L'assertion µn > 0 signifie que µn(Y) > 0 pour tout y E E, et provient du

fait que µn 2: µi = µ et de l'hypothèse faite sur µ.) Donc pour chaque y E E
la suite (µn(Y)) est croissante et majorée par 1, de sorte qu'elle converge vers
v(y) E ]O, 1].
2.b) Nous avons d'abord 2: v(y) = lim 2: µn(Y) ::::; 1 (selon le théorème
yEE n-+oo yEE
de convergence monotone appliqué à la mesure de comptage sur E, si E est
infini). Ensuite nous avons aussi :

L µn+i(Y) = L ((µQn)(y) + µn(Y)) = L µn(Y) + L µ(x) Qn(x,y),

yEE yEE yEE x~EE

d'où (comme ci-dessus : selon le théorème de convergence monotone si E est

infini) : 1 2: L
v(y) = v(y) + J~~ L µ(x) Qn(x, y). L
yEE yEE x,yEE

Pour tout x E E, étant donné que µ(x) > 0, cela implique que
lim 2: Qn(x, y)= 0. Nous en déduisons finalement que
n-+ooyEE

'"'v(y) = lim '"'µn(Y) = lim '"'[pkn(x,y)-Qn(x,y)]

L.J n-+oo L.J n-+oo L.J
yEE yEE yEE

= J~~ [1- L Qn(x,y)] = 1.

yEE
IX.13 CORRIGÉ DU PROBLÈME VII.13 287

2.c) La preuve précédente montre a fortiori que lim Qn(x, y) = 0 pour tous
n-too
x,y E E. D'où

v(y) = lim µn(Y) = lim [pkn(x;y) - Qn(x,y)] = lim pkn(x,y).

n-too n-too n-too

2.d) Pour 0 S j < k, nous avons par convergence dominée, lorsque n --+ oo :
pkn+i(x, y)= L pi(x, z) pkn(z, y) ---+ L pi(x, z) v(y) = v(y).
zEE zEE
Cela montre que les k sous-suites (pkn+i(x, y))nEN de la suite (Pn(x, y))nEN
convergent vers la même limite v(y), ce qui suffit pour assurer sa convergence.
2.e) Pour tous x, e E E nous avons selon la question précédente :

(v P)(e) = """"v(y) P(y, e) = lim """"pkn(x, y) P(y, e) = lim pkn+I(x, e)

L.J n-tooL.J n-too
yEE yEE
= v(e), car selon les questions 1), 2.a) et 2.b) :

""""v(y) P(y, e) - lim """"pkn(x, y) P(y, e)

L.J n-too L.J
yEE yEE

lim
n-too
L v(y)P(y,e)- L (Qn(x,y) + µn(Y)) P(y,e)
yEE yEE

= n-too
lim L (v(y) - µn(Y)) P(y, e) - L Qn(x, y) P(y, e)
yEE yEE
S lim """"(v(y) - µn(Y))
n-too L.J
+ n-too
lim """"Qn(x, y) =
L.J
0
yEE yEE
par convergence dominée.
3) Cette chaîne est irréductible par définition et de par l'hypothèse (Pk > 0),
et positivement récurrente par les questions 2.b) et 2.e) et le théorème IV.4.7
(selon lequel Pest positivement récurrente si et seulement si elle admet une
probabilité invariante).

IX.14 Corrigé du problème VII.14

1) - Z irréductible <==> (\f i,j) (3 n EN) pij > 0;
288 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

- Z apériodique ~ (V j) pgcd{n E N*IPjj > O} = 1.

e e
2) m n+l
· ·
= 1::;ig
m~n '""" n· >
L,, Pik Pk _ m n· '"""
L,, Pik -_ mjn , et
J k=l J J k,;1

e
M jn+ 1 = m~x '""" n <
L,, PikPkj _ Mnj .
1::;i::;e k=l

3) Selon le lemme IV.2.8, pour tout j il existe un entier nj tel que n ~

nj ~ Pjj > 0. Soit no := max nj . Pour 1 :=:; i i= j :=:; f, fixons nij tel que
1:=;i:=;e
p~ji > 0. Alors, pour n ~ N :=no+ max nij et pour 1 :=:; i i= j :=:; f, nous
1:=;i;afJ:::;e
n nij n-nij
avons Pij ~ Pij Pjj > 0.
e
4) Nous avons ôf :=:; 2:: p~ = 1, et donc 0 < 8f :=:; 1. (On peut en outre
j=l
prouver que 8f = 1 a lieu si et seulement si tous les Pij valent 1/ f .)
5.a) D'une part

2= (p~ - p~) + 2= (p~ - p~) = 2= P~ - 2= p~ = 1 - 1 = o,

jEJ jEJ' jEJUJ' jEJUJ'

et d'autre part

2= (p~ - p~) = 1 - 2= p~ - 2= p~ < 1- 2= 8 = 1 - 8f.

jEJ jEJ' jEJ jEJUJ'

5.b) Nous en déduisons

e
N(n+l) _ N(n+l) _ "\:""'( ~ _ ~) J':ln
Pqk Prk - 6 Pq1 Pr1 P1k
j=l

S L(P~ - P~)Mfn + L (p~ - P~) m{;:'n

jEJ jEJ'

= L(P~ - P~)(Mfn - m{;:'n) S (1 - ôf) X (Mfn - m{;:'n).

jEJ
5.c) Optimisant 5.b) par rapport à q, r, on obtient aussitôt
M{;1(n+l) - m:(n+l) :=:; (1 - ôf)(Mfn - m{;:'n), d'où le résultat par récurrence.
6) Ces deux suites varient dans [O, 1], et sont adjacentes selon 2) et 5.c).
7) Selon 6) et 2), 5.c), nous avons pour tous n,j, k : IPjk - Àkl S M'f: - mk,
et
Mn - mn < MN[n/NJ - mN[n/N] < (1- ôf)[n/N] < (1 - ôf)nfN-1.
k k- k k - -
IX.15 CORRIGÉ DU PROBLÈME VII.15 289

8) D'une part
.f. .f. .f.

Àk = li,;ri Pj: 1 = li,;ri L Pji Pik = L (li,;ri Pji) Pik = L Ài Pik '
i=l i=l i=l
.f. .f. .f.

et d'autre part L Ài = L li,;11PÎi = li,;ri L PÎi = li,;ri 1 = 1.

i=l i=l i=l
9) Contrexemples : P = (Ô Üet P = (~ Ô), respectivement apériodique
(non irréductible) et irréductible (non apériodique).

IX.15 Corrigé du problème VII.15

1) Sim'=/= m =/= m' -1, nous avons L: Q[(m,m'); (n,n')] = P(m,n) x 1 =

n'EZ
P(m,n), et si m E {m',m' -1}, nous avons
L: Q[(m, m'); (n, n')] =Pm l{n=m+l} + (1- Pm) l{n=m-1} = P(m, n)
n'EZ
également. De même, on voit que L: Q[(m,m'); (n,n')] = P'(m',n').
nEZ

2) Pour tous k E Net m, n, ... E Z, notant (Z, Z') les coordonnées de Z 2

nous avons:

L Q,, [zk+i = nlZ~ = m', Zk = m, Zk-1 = ... ]Q,, [z~ = m'IZk = m, Zk-1 = ... ]
m 1 eZ

= L Q[(m,m'); (n,n')] X Qz[zk = m' 1 zk = m,Zk-1 = ... ]

m',n'EZ

= P(m,n) x L Qz[zk =m'IZk =m,Zk-1 = ... ] = P(m,n),

m'EZ
ce qui montre que la première coordonnée Z. est markovienne de matrice de
transition P; Partant de z , elle a donc lPz pour loi. Exactement de même, on
voit que la seconde coordonnée Z~ est markovienne de matrice de transition
P', et a JP~ pour loi (sous Qz).
3) Si m < m' -1 et Q[(m, m'); (n, n')] > 0, nous avons n m+l m' -1 s s s
s
n' ; puis Q [(m, m); (n, n')] > 0 => n n' et Q [(m, m + 1); (n, n')] > 0 =>
s s
n < n'. Donc Qz [Zk+l Zk+l 1 Zk Zk] = 1 , de sorte que par récurrence
s
Qz[Zk Zk] = 1 pour tout k EN, d'où Qz [zk S Zk ('v' k EN)) = 1.
290 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

4) Notons JE~ l'espérance associée à Qz, et (dans l'espace canonique associé

à Qz sur Z 2 ) : T( le temps d'atteinte de la droite verticale {Z = (} et T{ le
temps d'atteinte de la droite horizontale {Z' =(}.La question 3) montre que
nous avons Qz-presque sûrement T[ ~ T{ si ( ~ z, et T[ ~ T{ si ( ~ z.
Donc selon la question 2) nous obtenons :

IX.16 Corrigé du problème VIl.16

1) Nous avons pour tout n EN* : Tn - Tn-1

=min {k > 01 Xrn-1+k E E'} =min {k > 01xk0 orn-l E E'} = T 0 orn- 1.

D'où également Tn = T + Tn-1 o or pour n = 1. Et si on suppose que c'est

vrai au rang (n - 1), alors

Tn =min { m > T+Tn-200r 1 Xm E E'} = T+min {k > Tn-200r 1 Xr+k E E'}

= T +min { k > Tn-20or1xk0 or E E'} = T + Tn-1 0 or.
2) Soit e' E E'; on a clairement T ~ Te' < oo IPe-presque sûrement pour
tout e E E' selon la proposition IV.2.13. Et si l'on suppose que Tn-1 ~ 1, r:,-
alors

Tn ~ min{m > Tn-1 I Xm = e'} ~ min{m > r:,- 1 1 Xm = e'} = r; j

par ailleurs, sir; < OO IPe-presque sûrement, alors selon la propriété de

Markov : ]p>e (r:,+i < OO)

Ceci prouve par récurrence que Tn ~ r; <OO IPe-presque sûrement pour tous
nENet eEE.
3) Pour tous n E N* et kl < ... < kn , sur {T1 = kl, ... , Tn = kn}
nous avons: IP(Xrn+i = e' 1 Xrn =en, ... , Xr1 =el)

= IP(Xr o okn = e' 1 Xkn =en) = IP(Xrn+i = e' 1 Xrn =en)

par la propriété de Markov de X. Comme les différents événements
IX.16 CORRIGÉ DU PROBLÈME VII.16 291

{ 71 = kl, ... , T n = kn} forment une partition .F~ = Frn -mesurable de n ' cela
fournit bien la propriété de Markov de X'.
4) Fixons e, e' E E', puis n E N tel que IPe(Xn = e') > 0. Puisque les
Tk sont les temps de passage successifs dans E', nous avons {Xn = e'} C

Û{Xrk = e'}, et donc 0 < IPe [ Û{Xrk = e'}] :S Ê IPe(Xrk = e'), de sorte
k=O k=O k=O
que IPe(Xrk = e') > 0 pour au moins un k. Ce qui établit l'irréductibilité de
X' (sur E').
Pour la même raison, nous avons pour tout e E E' :

Ne := L l{Xn=e} = L l{X,.k=e} = N~'

n k

et donc IP~(N~ = oo) = IPe(Ne = oo) = 1, ce qui (selon la proposition IV.2.11)

prouve la récurrence de X'.
5) Nous avons pour tous x, y E E' :

P'(x,y) = IPx(Xr =y)= IPx(Xr = y,T = 1) +IPx(Xr = y,T > 1)

= IPx(X1 =y) +IPx(Xr = y,r > 1)
= P(x,y) + L IPx(X1=z,1 < r,XI+roO =y)
zEE'-E'
=P(x,y)+ L IPx(X1=Z,XroO=y)=
zEE'-E'
P(x, y)+ L P(x, z) IPz(Xr =y) par la propriété de Markov de X.
zEE'-E'
6) Nous avons IPz(Xr =y)

= L IPz(Xr = y,T = n) = L L IPz(T = n,Xn-1 = e,Xn =y).

neN* neN* eEE'-E'
7) Nous en déduisons:

IPz(Xr =y)= L L IPz(T ~ n-1,Xn-1 = e,X1 0 en-l =y)

eEE'-E'neN*

= L L IPz(T ~ n - 1, Xn-1 = e)IPe(X1 =y)

eEE'-E'neN*
L L IPz(An,Xn = e)P(e,y),
eEE'-E'nEN
292 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

avec An:={T~n}={T~n-l}cEFn-1·
8) Nous avons x::_ = Xr"n et Yn =X~, 'n
= Xr, Tn
pour tout n EN, les notation
T::_ et T~ étant définies à partir de T 11 et T 1 comme Tn l'est à partir de T. Il
suffit donc de vérifier que T::_ = Tr:, pour tout n E N*. D'abord, pour n = 1 et
pour tout k E N*, nous avons {T 11 = k} = {X1, ... , Xk-I rJ. E"} n { Xk E E"},
et si l'on note j1 < ... <il la suite des indices inclus dans {1, ... , k-1} pour
lesquels Xj E E', nous avons sur {T 11 = k} : TI = j1, ... , Te = ji, Ti+1 = k, et
donc bien Tr' = k = T 11 •
Supposons ensuite que r.n"-i = Tr'n-1 ; puisque d'une part
T~ = min{m > T~-1 I x:n
E E"} et d'autre part m' f= Tm ::::} Xm' rJ. E' ::::}
Xm' rJ. E",
nous avons comme voulu :

Tr:. =min
. { Tm > TT~-1 1 X Tm E E"} . {m '
=min " 1 X m'
> Tn-1 E E"} = Tn" .
9) D'après les questions 5) et 7) ci-dessus, nous avons
P'(x, y)= P(x, y)+ P(x, e) Pe(Xr =y)
= P(x,y) + P(x,e) L Pe(X1 = ... = Xn = e) P(e,y)
nEN

= p (x, y)+ P (x, e) 'L.J

°""' P (e, e)n P (e, y) = P( x, Y) + P(x,e)P(e,y)
1 _ P( ) ·
~1 e,e
nE!'I

10.a) Pour tout y E E', nous déduisons de la question précédente que :

P(e, y)
= [(vP)y - Ve P(e, y)] + [(vP)e - Ve P(e, e)] 1- P( e,e )
P(e, y)
= Vy - Ve P(e, y)+ [ve - Ve P(e, e) ] 1 _ P(e, e)

= Vy - Ve P(e, y)+ Ve P(e, y) = Vy = Vy.

10.b) Comme Vx > 0 pour tout x E E selon le lemme IV.3.6, nous avons
;; f= 0 , de sorte que selon la question précédente ;; est une mesure invariante
finie non nulle sur (E', P'), qui est irréductible selon la question 4). Le théorème
IV.4.7 assure alors que (E',P') est positivement récurrente. Nous avons en
outre Ve= (vP)e

= VeP(e,e) + L V:z:P(x,e), d'où Ve= 1 _ ~(e e) L Vx P(x, e).

xEE' ' xEE'
IX.16 CORRIGÉ DU PROBLÈME VII.16 293

Or par unicité de v' nous devons avoir îi = cv', avec c = v(E') = 1 - Ve.
D'où Ve=

1 - Ve ""' ' P( ) d' ' - LxeE' v~ P(x, e)

L...t Vx X, e ,
1 - P (e, e) XE E'
OU Ve - ( ) '°' / ( )•
1 - P e, e + wxEE' vx P x, e

11) La propriété de Markov montre que pour tout x E E' on a .M; =

M(x, e) = lEx(Te) = lEx[l +Te o O] = 1 + L P(x, y)lEy(Te) = 1 + (f>Me)x.
yEE'
Cela montre que (I - f>).Afe est la matrice-colonne constante égale à 1.
12.a) La formule de la question 9) donne ici : P'(l, 1) = ~ +~ x ~ x i =
7 et P'(2 , 2) - 3
12 1 + 31 x 21 x 34 -- 95 , d' ou' P' -- (7419
/12 5/12)
519 . B"ien sur, A

P" = (1) et v" = {vf} = {l}. Selon la question 10.b) nous avons v~ =
111' P'(l,2) - 5/12 - 15 d ' - 16 E d
l-P1 (2,2)+11~' P'(l,2) - 4/9+5/12 - 31 ' et one V1 - 31 · t e meme, V3 =
A

111 P(l,3)+112 P(2,3) _ 16/4+15/3 _ 12 E fi

1-P(3,3)+111 P(l,3)+11~ P(2,3) - 31x3/4+16/4+15/3 - 43 · n n
v1 = îi1 = (1 - v3) vi = !~ et v2 = !~ ·
12.b) Comme P(i,j) > 0 pour tous i,j, Pest apériodique irréductible, et
donc le théorème ergodique IV.5.5 assure que pn(i,j)--+ Vj pour tous i,j.
12.c) Appliquant la question 11) successivement à e = 3, 2, 1, nous obtenons:

( 1/2 -1/4) (M13) = (1) {::::::::::} (M13) = (11/3) .

-1/3 2/3 M23 1 M23 10/3 '

( 1/2 -1/4) (M12) = (1) {::::::::::} (M12) = (16/5).

-1/4 3/4 M32 1 M32 12/5 '

( 2/3 -1/4) (M21) = (1) {::::::::::} (M21) = ( 8/3).

-1/2 3/4 M31 1 M31 28/9
Enfin nous savons par le théorème IV.4.7 que M(i, i) = 1/vi pour 1 ~ i ~ 3.
43/16 16/5 11/3 )
Au total, nous avons M = ( 8/3 43/15 10/3 .
28/9 12/5 43/12

IX.17 Corrigé du problème VII.17

1. 1) La matrice de transition est définie par : P(O, 1) =
P(N,N-1) =1 et P(n,n-1) = P(n,n+ 1) = ~, Vn E {1, ... ,N-1}.
294 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

2) Cette chaîne est irréductible et nécessairement récurrente {E étant fini),

de sorte qu'elle admet une et une seule mesure invariante {à constante multi-
plicative près).
3) a) V= vP équivaut ici à: vo = ! V1' VN = ! VN-1'
Vn = Vn-1P(n- l,n) + Vn+IP(n + 1,n) si 0 < n < N,
et donc : v1 = 2vo, VN-1 = 2vN, et
Vn-1 + Vn+l . V2 VN-2
Vn = 2 Sl 2 ::; n ::; N - 2' V1 = Vo + 2 ' VN-1 = VN + -2- .
b) On sait qu'il y a une probabilité invariante unique v pour la chaîne
(E, P, X). Il suffit donc d'exhiber une solution au système d'équations pré-
cédent. Or on voit aussitôt que v3 = 2vo , .... Ce qui conduit à considérer
v= 1(! ,
1, 1, ... , 1, 1, ! ),
qui vérifie bien les équations ci-dessus.
4) On sait que pour tout n E E le temps moyen de retour en n (partant
de n) est lEn(T~) = 1/vn = N pour 0 < n < N, et de même 1Eo(T6) =
lEN(Tfv) = 2N.
5) On sait que pour tout e E E le nombre moyen de passages entre 2 passages
en e est donné par une mesure invariante ve, qui est nécessairement propor-
tionnelle à V . Comme ~e = 1 ' on a clairement v; = N Vn si 0 < e < N' et
v.n0 = v.N
n = 2Nv.n. Donc
- entre 2 passages par 0 , le nombre moyen de passages par n E
{ 1, ... , N - 1} est 2, et le nombre moyen de passages par N est 1.
- entre 2 passages par N, le nombre moyen de passages par n E
{1, ... , N - 1} est 2, et le nombre moyen de passages par 0 est 1.
- entre 2 passages par e E {1, ... , N - 1}, le nombre moyen de passages par
n E {1, ... , N -1} est 1, et le nombre moyen de passages par 0 est 1/2, de
même que le nombre moyen de passages par N.

II. 6) a) Partant de j, la sentinelle va soit en (j - 1) soit en (j + 1), de

sort e qu ' on a .. tk-l+ltk
j - 2 j-1 +ltk
2 H 1·
b) On a clairement t~ = 1 + tf et t~ = 0.
c) Selon b) ci-dessus, cette formule est vraie pour j E {O, l}. Supposons
la vraie pour 0::; m-1 ::; j ::; m < k. Alors, d'après a) ci-dessus, nous avons:

t~+I = 2t~ - 2 - t~_ 1 = tâ - 2m2 - 2 + {m-1) 2 = tâ - (m + 1) 2 ,

ce qui par récurrence établit la formule pour 0 ::; j ::; k .
IX.17 CORRIGÉ DU PROBLÈME VII.17 295

d) Appliquant la formule précédente à j = k, avec b) ci-dessus, on obtient :

(pour 0 <_5, j <_5, k <_5, N)
0 = t~ = tâ - k 2 , d'où tâ = k2 , et donc tj = k2 - j 2.
7) L'espace E et la matrice P sont inchangés par la symétrie j i-+ N - j .
Il en est donc de même pour les tj := IEj(Tk)· Donc les valeurs restantes sont
déduites par cette symétrie : si N 2 j 2 k 2 0 , on a
tj = tftJ = (N - k) 2 - (N - j) 2 = (j - k)(2N - j - k).
III. 8) Cette chaîne est irréductible récurrente, et admet une probabilité in-
variante unique, qui est nécessairement la probabilité uniforme sur E, puisque
tous les états jouent le même rôle ((E, P) est invariant par rotation du poly-
gone, qu'on peut imaginer régulier). Donc les temps moyens de retour valent
tous N, et les nombres moyens de passages par n entre deux passages par e
valent tous 1.
9) a) Pour 1 <_5, k <_5, N2l , procédant comme en 11.6.a), on trouve :
tk = 1 + ! IE1(Tk) + ! IE-1(Tk), de sorte qu'utilisant l'invariance par rotation,
qui fait que IE1(Tk) = tk-1 et IE_1(Tk) = tk+l, on obtient :
tk = 1 + ! tk-1 + ! tk+l .
b) Si N = 2m - 1 , la formule de a) ci-dessus se réécrit
tm-j-1 = 2 tm-j - 2 - tm-Hl . En outre, procédant comme en a) ci-dessus
pour k = m, on trouve : tm = 1 + tm-1 .
c) Si N = 2m, la formule de a) ci-dessus se réécrit
tm-j-1 = 2tm-j - 2 - tm-Hl. En outre, procédant comme en a) ci-dessus
pour k = m, on trouve: tm = 1 + !(tm + tm-1), soit tm-1 = tm - 2.

d) Si N = 2m - 1, selon b) ci-dessus, cette formule est vraie pour

j E {O, 1}. Supposons la vraie pour 0 <_5, j <_5, k < m. Alors, d'après b)
ci-dessus, nous avons :
tm-k-1 = 2(tm - k 2 ) - 2 - (tm - (k - 1) 2 ) = tm - (k + 1) 2 .
Pour j = m, cela donne: 0 = tm - m 2 , d'où tm-j = m2 - j 2, ou bien:
tj = j(2m - j).
e) Si N = 2m, selon c) ci-dessus, cette formule est vraie pour j E {O, 1}.
Supposons la vraie pour 0 <_5, j <_5, k < m. Alors, d'après c) ci-dessus, nous
avons:
tm-k-1 = 2(tm - k(k + 1)) - 2 - (tm - (k - l)k) = tm - (k + l)(k + 2).
296 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

Pour j = m, cela donne: 0 = tm-m(m+l), d'où tm-j = m(m+l)-j(j+l),

ou bien: tj = j(2m - j + 1).
Remarque : Dans les 2 cas, on obtient tj = j(N +1- j), pour 0 ::; j ::;
(N + 1)/2.

IX.18 Corrigé du problème VIl.18

1. 1) Cette propriété est claire pour n = 0, et si elle est vraie au rang n -1,
alors: 1P'm(Xo = xo, X1 =xi, ... , Xn = Xn)
= 1P'm(Xo = Xo, ... , Xn-1 = Xn-1)P(Xn-l1 Xn)

= P(xn--1, Xn)lP'm(Xo = Xn--1, ... , Xn---1 = xo)

= P([Link])mxn-1 P([Link]--2) ... P(x1,xo)
= mxnP(xn, Xn-1)P(Xn-l1 Xn-2) ... P(x1, xo)
= 1P'm(Xo = Xn,X1 = Xn-li ... ,Xn = xo).
2) Considérons 3 états (xj 1 j E Z/3Z) sur un cercle orienté, et la chaîne
déterministe (quotient de la translation uniforme sur Z) allant de l'un au
suivant, en rotation uniforme. Alors
mx3 = mx3P(xj,Xj+i) = mx;+ 1 P(Xj+i,Xj) = 0 pour tout j E Z/3Z.
3) Il suffit de poser m1 = 1, puis pour 1 ::; j < k :
mi+l :=mi x P(j,j + 1)/P(j + 1,j).
La condition donnée le permet, et assure que les autres égalités à vérifier pour
la réversibilité sont (hors le cas trivial x = y) toutes identiques à 0 = 0 .
4) Nous avons pour tous x, y E E : KxP(x, y) = l{x,y sont voisins} =
Ky P(y, x), de sorte que la mesure positive non nulle (Kx)xEE est solution
de l'équation de réversibilité.
II. 5) (C(x)) est solution, puisque: C(x)P(x,y) = K(x,y) = K(y,x) =
C(y)P(y, x).
6) Pour tout x E E\(AUB), on a 1P'x-p.s.: TA> 0 et donc TA= l+TAoO,
et de même TB = 1 +TB o 0 . Donc la propriété de Markov fournit : V (x) =

1P'x(l +TA o 0 < 1+TBo0) = lP'x[0- 1({TA< TB})]= lEx[V(X1)] = PV(x).

Sur A on a TA= 0 <TB et donc V= 1, et sur B : TA> 0 =TB et donc

V=O.
IX.18 CORRIGÉ DU PROBLÈME VII.18 297

7) Nous avons L: K(x, y)[V(x) - V(y)] = C(x) [V(x) - L: P(x, y)V(y) J

yEE yEE

= C(x)[V - PV](x) = 0.

8) Supposons que h atteigne son maximum M en x E E \(AU B). Alors

0 =M - h(x) =L P(x, y)(M - h(y)) 2:: 0 => P(x, y)(M - h(y)) = 0,
yEE

ce qui montre que h = M sur {y E E 1 P(x, y) > O}, et donc, de proche en

proche, sur l'ensemble E~ des états {y E E' 1x ~y} de
E' :={y E El(::Jz E E'-(AUB)) P(z,y) > O} auxquels x conduit. Comme
Pest irréductible sur E, E~ intersecte AUB, et donc h atteint son maximum
M aussi sur AU B.
9) Appliquant la question précédente à h := V - W, on obtient aussitôt
h :'.S 0, et l'appliquant à -h, on obtient h =O.
10) C'est comme à la question 6), avec cette fois : T~ = 1 +TA o (} lP'a-p.s.
De sorte qu'on obtient :

= lP'a(l +TA o (} < 1+Tso0) = lP'a(T~ < Ts) = 1- lP'a(T~ > Ts).
11) D'après la question précédente, et puisque V(a) = 1, nous avons :

J(a) = C(a) [V(a) - L P(a, x)V(x) J = C(a)[l - PV(a)]

xEE

= C(a) lP'a(T~ > Ts). Nous en déduisons par la loi d'Ohm la résistance
effective du réseau E entre a et B :

R~ = [V(a) - V(B)]/J(a) = [C(a)lP'a(T~ > Ts)r 1 .

III. 12) Nous avons Tsr+i = Tsr + Tsr+i o ()Tsr > Tsr lP'a-p.s., et donc pour
tout r EN* :

Cette croissance assure l'existence de la limite Rr;:'. Comme Tsr 2:: r lP'a-
presque sûrement, nous avons lP'a(T~ > Tsr) :'.S lP'a(T~ > r), qui décroît vers
lP'a(T~ = oo). Donc la question 11 assure que Rr;:' = [C(a) lP'a(T~ = oo)r1,
qui est infinie si et seulement si lP'a(T~ = oo) = 0, c'est-à-dire si et seulement
si lP'a(T~ < oo) = 1, c'est-à-dire si et seulement si la matrice Pest récurrente.
298 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

Après quotient, pour la question 15) (cas d = 2) :

FIGURE IX.2 - Dessin de la boule B(a, 7) de l'arbre R2 du problème

VII.18.(13)

13) Voir la figure IX.2.

14) On peut confondre les états de chaque sphère Sq, qui par symétrie ont
même potentiel V. Alors pour 2k-l s s
q 2k - 1, la résistance séparant les
sphères Sq-1 et Sq est constituée par dk résistances en parallèle égales à 1,
et vaut donc d-k. De sorte que la résistance séparant les sphères S2k-1_ 1 et
S2L 1 vaut 2k-l x d-k = ~{2/d)k. D'où
n n-1 l (2)n
~2n-1= rlL (~)k = d-1L (~)k = ~-a2 si d > 2,
k=l k=O

et R~2 n-i = ~ si d = 2. Donc Rr;> = oo si d = 2 et Rr;> = d~ 2 si d > 2 :

P est récurrente sur Rd si et seulement si d = 2 .

IX.19 Corrigé du problème VII.19

1) Si lhl S C, nous avons IPh{x)I S E P(x, e)lh{e)I S C E P(x, e) = C

eEE eEE
pour tout x E E, d'où la convergence de la série définissant Ph(x), et IPhl SC.
2) Nous avons
lEe{h o Xn) =E h(x)IPe(Xn = x) = E h(x)Pn(e, x) = pnh(e).
xEE xEE

3) lEv(h o Xn+i IFn) = E h(x)IPv(Xn+l = X 1Fn) = E h(x)P(Xn, x) =

xEE xEE
PhoXn.
4) Nous avons
IX.19 CORRIGÉ DU PROBLÈME VII.19 299

JEv(h o Xn+i I Xn) = ~ h(x)lPv(Xn+l =X 1 Xn) =Ph o Xn:::;; ho Xn.

xEE
5) D'après la ligne précédente, nous avons PhoXn:::;; hoXn pour tout n EN,
p.s. Pour tout x E E, par hypothèse il existe n EN tel que lP(Xn = x) > 0,
de sorte que lP[Ph(x) :::;; h(x)] > 0, et donc Ph(x) :::;; h(x).
6) Selon (4), (hoXn) est une surmartingale bornée, donc convergente, presque
sûrement et dans tous les I.,P. Et selon le cours,
JE( lim ho Xn Fm) =ho Xm presque sûrement.
J
n-+oo
7) Pour x E E, par hypothèse {n E N 1 Xn = x} est p.s. infini, de sorte que
selon (6) : h(x) = lim ho Xn p.s. De même en tout y E E, de sorte que
n-+oo
h(x) = h(y).
8) Nous avons
PsPTh = JE.(PTh 0 Xs) =JE. (JExs(h 0 XT)) = JE.(h 0 XT 0 08 ) = Ps+To(JSh.
9) Appliquons (8) avec S =1 : comme 1+Tvo0 = Tv sur {Tv ~ 1}, nous
avons
PPTvh(e) = Pl+Tvooh(e) = lEe(h o Xl+Tvoo] = PTvh(e) si e E De,
Tandis que sur D, Tv = 0 et donc PTv h = h.
10) D'après (9), sur De nous avons h = PTvh = PPTvh =Ph, de sorte que
Ph :::;; h sur E, et (6) s'applique.
11) Pf = f ~ f(O) = JE[f o Y] et (Vn EN*)
f(n) = p f(n + 1) + (1 - p)f(n - 1).
La seconde condition se résout classiquement par : f(n) = b +a (7)n si
p =f ! , et f (n) = b + an si p = ! . La première condition donne alors :
b + a = f (0) = b + a a si p =f ! , et b = f (0) = b + a JE(Y) si p = ! . Or
Y ~ 1. Donc JE(Y) ~ 1 et a = 0 si p = ! ; et p > ! =? 7 < 1 =? a < 1 ,
p < ! =? 7 > 1 =? a > 1 , d'où p =f ! =? a =f 1 =? a = 0.
Finalement, les fonctions constantes sont les seules solutions.
12) Pg(O) :::;; 1 = g(O), et pour n E N* : To = 1 + To o 0 1Pn-p.s., et donc
(Markov)
g(n) = 1Pn(To o 0 < oo,X1=n-1)+1Pn(To o 0<oo,X1=n+1)
= (1- p)1Pn-1(To < oo) + plPn+i(To < oo) = Pg(n).
13) La chaîne (Xn) est irréductible. Par ailleurs, au vu de la résolution de
la question (12) ci-dessus, la résolution de la question (11) donne ici, pour
nEN: sip=!:
300 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

0::; g(n) = b +an::; 1 avec b = g(O) = 1, et donc a= 0, d'où g = 1.

si p f:. ! : 0 :S g(n) =
b +a (1;Pr
:S 1, avec b +a= g(O) = 1, et donc soit
?
a= 0, soit a E [O, 1] et 1 < 1 (i.e. p > !).
Ceci montre que pour p ::; !
on doit avoir g = 1, ce qui prouve que 0 (et donc la chaîne) est récurrent(e).
Tandis que si p > !,
on sait que la marche aléatoire (X~) sur Z (non centrée)
associée à P' (donnée par P'(n, n + 1) = 1 - P'(n, n - 1) = p) tend p.s. vers
+oo. On en déduit que JP>o(X~---+ oo,min{X~ln EN}> -m) > 0 pour m
assez grand ; ou de façon équivalente :
JP>m(X~---+ oo,min{X~ ln EN}> 0) >O.
Or (Xn) se comporte comme (X~) tant qu'elle n'atteint pas O. Donc nous
avons aussi : JP>m(Xn---+ oo, min{Xn 1 n EN} > 0) > 0. Enfin
{Xn---+ oo,min{Xnln EN}> o} c {To = oo}, d'où JP>m(To = oo) >o.
Par irréductibilité, cela montre que JP>o(To = oo) > 0, c'est-à-dire que (Xn)
est transitoire. Enfin, l'argument ci-dessus montre aussi que
lim JP>o(X~---+ oo, min{ X~ 1 n EN}> -m) = 1, et donc que
m--+oo
lim JP>m(To = oo) = 1, c'est-à-dire limg = 0 ; de sorte que dans ce cas
m--+oo oo
g(n) = (1;Pr pour tout n EN.

IX.20 Corrigé du problème Vll.20

1. 1) Sur {r 2: k} = {Xo rt. A, ... ,Xk-l rt. A} nous avons:

k+ T o (}k = k + inf{n 2: 01 Xn+k E A}= inf{m 2: k 1Xm E A}= T.

2) Pour tout x E Ac, selon la question (1) avec k = 1, nous avons:

u(x) = lEx[l + T o OJ
= 1+ L JP>x(X1 =y) IEx[T o OIX1 =y]= 1 + L P(x, y) Ey(r) = 1 + Pu(x).
yEE yEE

3) Pour tout x E Ac, nous avons de même :

h>..(x) = IEx [e->..(I+ToO)] = e->.. L P(x, y) IEx [e-h] = e->.. Ph>..(x).

yEE

4) La question (2) montre que u = lAc(l +Pu) = Q 0 1Ac + Q 1u, et si la

formule voulue est exacte au rang N , alors
IX.20 CORRIGÉ DU PROBLÈME VII.20 301

N-1 N
U = L QnlAc + QN (lAc +Qu) = L QnlAc + QN+lu.
n=O n=O
5) Comme h>. = 1 sur Ac, nous avons selon la question (3) :

N-1
Puis si h>. = Le->. n QnlA + e->. N QN h>. , alors en remplaçant le dernier
n=O
h>. par lA + e->. Qh>., nous obtenons la même formule au rang N + 1, ce qui
l'établit par récurrence.
Finalement 0 ~ h>. ~ 1 ~ 0 ~ e->.N QNh>. ~ e->.N, ce qui permet d'assurer
la convergence de la série et de passer à la limite N -7 oo ; ce qui donne le
résultat voulu.
6) Nous avons pour tout >. > 0 : d'une part, - g>. h>.(x) = lEx [e->.rr]
par le théorème de Lebesgue (la dérivation sous l'espérance est licite puisque
e->-tt est bornée); et d'autre part, pour la même raison, via la question
(5) : - g>. h >. (x) = L:: e->. nn Qn lA . Faisant tendre >. vers 0 et appliquant le
n;:::o
théorème de convergence monotone, nous en déduisons que

7) Pour N = 1 nous avons en effet :

N
Et si la formule est correcte au rang N, alors : L QnlAc
n=O
N N
= L:nQnlA + (N + l)QNlAc = L:nQnlA + (N + l)QN(QlA + QlAc)
n=l n=l
N+l
= L nQnlA + (N + l)QN+llAc.
n=l
8) La proposition IV.4.9 assure que u est finie sur tout E. De plus nous avons
u = lAc +Qu 2 Qu, et donc u 2 QN u 2 QN+lu, qui entraîne la convergence
simple de QN u lorsque N -7 oo, vers une certaine fonction f 2 O. Puisque
Qu(x) ~ u(x) < oo, nous avons u E L 1 (E,Q(x,·)). Ce qui (avec le fait que
302 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

IQNul :::; u) permet d'appliquer le théorème de convergence dominée pour

obtenir (pour tout x E E) : f(x) =

lim QN+lu(x) lim L

= N-+oo Q(x,y)QNu(y) =L Q(x,y)f(y) = Qf(x).
N-+oo
yEE yEE

9) Cela découle aussitôt des questions (4) et (8) et du théorème de convergence

monotone.
10) Utilisant successivement les questions (4), (7), (6) et (8), nous avons:
N-1 N
OO> u = L QnlAc + QNu 2: l:nQnlA + QNu---+ u+ f 2: u,
n=O n=O
d'où f =O.
11) Les preuves des questions (4), (8) et (9) n'utilisent que la relation u =
lAc +Qu. Donc la question (9) montre aussi que v = u + f, avec f 2: 0 et
Qf = f . En particulier v 2: u .
12) Nous avons g = Qg:::; Pg et ll(Pg- g) = llPg - llg = 0, d'où Pg = g,
puisque selon le lemme IV.3.6 li charge tous les états. Donc pour tous a E A,
n E N et e E E nous avons 0 = g(a) = png(a) 2: pn(a, e)g(e), ce qui
donne g(e) = 0 en choisissant n tel que pn(a,e) > 0 (ce qui est possible par
irréductibilité).

II. 1) La chaîne est clairement irréductible, de sorte que la période de 0 suffit.

Or P 2(0, 0) 2: Po q1 > 0. Donc la période est 1 si Po < 1, et si Po= 1 : alors
IP0 -presque sûrement Xn = 0 n'est possible que pour n pair, de sorte que la
période est 2.
2) L'équation llP =li équivaut au système:
llo = Qo llo + Ql ll1 et pour tout n 2: 1 : lin= Pn-1 lln-1 + Pn+l lln+I.
Ce qui donne ll1 = ll0Po/q1, et par une récurrence facile: lin= po .. ·Pn-i ;
qi ... qn
il y
a donc une seule demi-droite de solutions.
3) L'équation Qg = g équivaut au système :
g(O) = 0 et pour tout n 2: 1 : g(n + 1) = t g(n) + (1 - t) g(n - 1).
Donc Wn = (t - 1) Wn-1, Wn = (t - 1r g(l), et enfin g(n) = (t-t~;- 1 g(l),
pour tous n 2: 1 et g(l).
4) De la question II. 2) nous déduisons que lin= lloPo t (t - 1)-n pour tout
n 2: 1; d'où 1 = ll(E) = llo x (1 + ~), et donc
IX.21 CORRIGÉ DU PROBLÈME VII.21 303

lin = ( (l+~~ft- 2 ) Pot X (t - 1)-n pour tout n 2 1. La question 1. 12) montre

que g n'est pas intégrable (sauf si g = 0); ce qui par ailleurs est facile à voir
directement.
5) Utilisons la question 1. 11) : nous avons u = lw+Qu, c'est-à-dire u(O) = 0
et u(n) = 1 + Pn u(n + 1) + qn u(n - 1) pour tout n 2 1, ou bien encore ici :
u(n + 1) = tu(n) - t - (t -1) u(n -1). Posons Vn := u(n + 1) - u(n). Alors
Vn = (t - l)vn-1 - t, c'est-à-dire Vn - t~ 2 = (t -1) (vn-1 - t~ 2 ), et donc
vn = (t - 1r (vo - t~2) + t~2 ·
Ce qui entraîne u(n) = vo + · · · + Vn-1 = (u(l) - t~ 2 ) x (t-t~;-i + tn__~ ·
Puisque u(n) 2 0 pour tout n, nous devons avoir u(l) 2 t~ 2 ·
Comme selon la question 1. 11) u doit être minimale, il faut en fait avoir
u(l) = t~ 2 • Finalement nous obtenons u(n) = tn__~ pour tout n EN. Nous
pouvons remarquer qu'ici u est li-intégrable.

IX.21 Corrigé du problème VII.21

1.a) Soit (en) c E une suite d'états telle que g(en) /' sup g. La chaîne
E
étant irréductible récurrente, les temps d'atteinte Ten sont tous finis presque
sûrement (selon la proposition IV.2.13), ce qui fait que
g(en) = lEx[g(XreJ] $ V(x) pour tout net tout x E E, et donc V(x) 2
sup g. L'inégalité inverse étant a priori claire, nous avons V= sup g sur E.
E E
1.b) Il suffit de considérer une chaîne irréductible récurrente sur E = N, et
g(n) := n~l pour tout n E N. Alors pour tous x E N et T temps d'arrêt
lPx-presque sûrement fini nous avons :

lEx [g(Xr )] $ g(n) IPx(Xr $ n) + IPx(Xr > n) $ 1 - nil IPx(Xr $ n) < 1

pour tout n assez grand; d'où avec 1.a) : lEx [g(Xr)] < V(x) = 1.
2.a) Nous avons {T $ O} = 0 E Fo, et pour tout n EN (via la propriété de
Markov) : {T $ n + 1} =
u
yEE
[{X1=y}n{l+TYoO$n+1}] = u
yEE
[{X1=y}no- 1({TY$n})]

est dans Fn+i, puisque {X1 = y} E Fi c Fn+l et o- 1({TY $ n}) E

o- 1(Fn) c Fn+l · Enfin, pour tout x (de nouveau via la propriété de Markov):
304 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

yEE
= L Px(X1 = y)Px[o- 1({TY < oo}) X1 =y] 1
yEE
= L P(x,y)Py(TY < oo) = 1.
yEE
2.b) Nous avons clairement V(x) 2 lEx [g(Xo)] = g(x). Et pour tous e > 0 et
y E E il existe TY Px-presque sûrement fini tel que V(y) < e+lEy [g(XTY)] =
g(x). Donc

PV(x) = L P(x,y)V(y) < L P(x,y)c+ L P(x,y)lEy[g(XTY)]

yEE yEE yEE

= e+ L Px(X1 =y)lEx[g(XTY)oOIX1 =y]

yEE
=é+ L lEx [g(XTY) O 0X l{Xi=y}]
yEE
= c+ L lEx[g(XT) X l{Xi=y}] = c+lEx[g(XT)] ~ c+ V(x).
yEE
Comme e est quelconque, cela prouve bien que PV ~ V.
3) Nous avons Vo = g ~V, et si Vn-l ~V alors PVn-l ~ PV, d'où selon 2.b)
ci-dessus : Vn = max{g, PVn-Ü ~ max{g, PV} ~ V. Donc Vn ~ V pour tout
n EN par récurrence. D'où V00 ~V. Par ailleurs, puisque 0 ~ Vn /" V00 , le
théorème de convergence monotone assure que PVn /" PV00 ; de sorte que
V00 = s~p Vn+l = max { g, s~p PVn} = max{g, PV00 } .

5.a) Puisque {T = O} E Fo, nous avons {T = O} = X 01(A) pour un certain

Ac E. Donc Px(T = 0) = Px(Xo E A)= lA(x) E {O, l}.
5.b) Pour tout w En nous avons Xo(xw) = x => T(xw) 2 1 => T'(w) 2 0.
Puis pour tout n E N :
{T' ~ n} = {w En IT(xw) ~ n+ 1} E a{x,Xo, ... ,Xn} = Fn.
Enfin
w E {Xo = x} <=> w = xw' => T(w) = T(xw') = 1 + T'(w'),

et w'(n) = w(n + 1) = Ow(n), c'est-à-dire w' = Ow, et donc

T(w) = (1 + T' o O)(w).
IX.21 CORRIGÉ DU PROBLÈME VII.21 305

5.c) Nous avons

g(x) + ê < V(x) < ê + lEx [g(XT )] =? g(x) < lEx [g(XT )] =? 1P'x(T = 0) < 1,
d'où lP'x(T 2: 1) = 1 d'après la question 5.a). D'où Fo 3 {T 2: 1} = {Xo E A}
avec x E A, et donc T 2: l{T2'.l} = l{XoEA} 2: l{Xo=x} : on peut appliquer la
question 5.b); ce qui donne T = 1 + T' o (), et via la propriété de Markov:
V(x) < ê + lEx [g(XI+T'o6)] = ê + lEx [g(XT') o 0)

=ê+ L 1Ex[g(XT1)o()l{Xi=y}] =ê+ LP(x,y)lEy[g(XT1)] '.Sê+PV(x).

~E ~E

5.d) Nous avons {V > g + ê} c {V < PV + ê} pour tout ê > 0 selon la

question précédente, de sorte qu'en considérant la limite supérieure lorsque
ê '\, 0: {V> g} c n
LJ {V< PV + ê1} ={V::; PV}. Donc
e>O O<e'<e
E ={V::; g} U {V::; PV} = {V::; max{g, PV} }, ce qui avec la question 2.b)
donne la conclusion voulue.
6.a) Pour tout temps d'arrêt T, utilisant les questions 5.a,b) et notant {T =
O} = X 0 1 (A), pour tout x
E E nous avons:

lEx [W(XT)) = lEx [W(XT) l{T=O} + W(XT') o () l{T2:1})

= lA(x)W(x) + lAc(x) lEx [W(XT') o O] :S max {w(x), lEx [1Ex1 [W(XT' )] ]}

= max {W(x), PW'(x) }, avec T'::; n - 1 si T::; n.
6.b) Nous avons T::; 0 =? lEx[W(XT)] = W(x), et pout tout n EN*, si
[T':Sn-1=?1Ex[W(XT1)] :SW(x) pour tout état x],alorsutilisant6.a):
pour tout état x
T:Sn =? W':SW =? PW':SPW:SW =? lEx[W(XT)] :SW(x).
6.c) Si Test lP'x-presque sûrement fini, nous avons selon la question précédente
pour tout n E N* (et en faisant tendre n -7 oo pour finir) :

lEx[W(XT)] = lEx[W(XTAn) l{T::;n} + W(XT) l{T>n}]

:S lEx[W(XTAn)] +sup WxlP'x(T > n) :S W(x)+sup WxlP'x(T > n) -7 W(x).
E E

7) Utilisant la question précédente, si lP'x(T < oo) = 1 nous avons

lEx[g(XT)] :S lEx[U(XT)]::; U(x), d'où V(x)::; U(x) par définition de V. ceci
pour tout état x. D'après la question 4), ceci s'applique à U = V00 ::; supg,
E
et nous avons en outre V00 ::; V ::; V00 •
306 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

8) Sous les hypothèses de l'énoncé nous avons en effet via la propriété de

Markov:
1 = lPy(S < oo) = lPy(l + S o 0 < oo) = lPy(S o 0 < oo)
= L 1Py[{X1=z}n0-1({S < oo} )] = L P(y, z) lPz(S < oo),
zEE zEE
qui serait < 1 s'il existait z E Etel que P(y, z) > 0 et lPz(S < oo) < 1.
9) Il suffit décrire V= lp V+ lpc V et de remarquer que sur Fe nous avons
V> g, et donc V= PV selon la question 5.d).
10) Pour N = 1 il s'agit exactement de la question précédente. Ensuite, si
cette formule est vraie au rang N, alors utilisant cet amorçage nous avons
aussitôt :
N-1
V= L (lpcPtlpV + {lpcP)N {lp V+ lpc PV)
n=O
N-1
= L (lpcPrlF V+ {lpcP)N+l V.
n=O
11) Cette formule est claire au rang N = 0 , et si elle est vraie au rang N,
alors pour tout y E E nous avons :
{lpcP)N+ll(y) = lpcP(lpcP)Nl(y) = lpc(y)JEy[{lpcP)Nl(X1)]
= lpc(y)JEy[1Px1 (S 2: N)] = JEy[l{xo~F}lPx 1 (S 2: N)]
= lPy[{S 2: 1} n 0- 1 ({8 2: N})] = lPy(S 2: N + 1).
12) Nous déduisons de V ::::; supE g et de la question précédente que :
(lpcP)NV(x) ::::; sup g x 1Px(S 2: N), qui tend vers 0 lorsque N --+ oo, par
E
hypothèse. Donc le résultat voulu découle de la question 10).
13) Sur F nous avons S = 0 et g = V, et donc h = g = V; et sur Fe nous
avons S = 1+So0 d'où h =JE. [g(Xs) o O] =JE. [JEx1 (g(Xs))] =Ph.
14) Exactement de la même façon que la question 9) entraînait la question
10), la question 13) entraîne que pour tout NE N* :
N-1
h= L
(lpcPrlF V + {lpcP)N h.
n=O
15) Puisque g 2: 0 nous avons aussi h 2: 0, et donc d'après la ques-
N-1 OO

tion précédente: h 2: L (lpcPrlpV----+ L(lpcPrlpV (en faisant tendre

n=O n=O
N --+ oo). Donc la question 12) montre que h 2: V. Comme h ::::; V par
définition de h et V, nous obtenons bien h =V.
IX.22. CORRIGÉ DU PROBLÈME VII.22 307

IX.22 Corrigé du problème VII.22

0) Si ce n'était pas le cas, un certain état (nécessairement transitoire) e ne
conduirait qu'à des états transitoires. Notons e l'ensemble des états auxquels
e conduit. Par transitivité, aucun état de e ne peut conduire hors de e, ce
qui signifie que le sous-ensemble (évidemment fini) e est fermé. Il devrait donc
posséder au moins un état récurrent ; ce qui constitue une contradiction.
1) a) L'hypothèse de réversibilité entraîne clairement que P(j, k) > 0 {::}
P(k,j) > O. Donc j --+ k ==? ("3j1, ... ,jm E E) P(j,j1) ... P(jm, k) > 0 ==?
P(k,jm) ... P(j1,j) > 0 ==? k--+ j.
b) Non, puisque selon 0) et a) ci-dessus tout état est équivalent à un état
récurrent.
2) Clairement Ci(j) =/= Ci(k) ===> P(j, k) = 0. Donc pour tout j E E

Pf(j) = L P(j, k)f(k)

kEE

= L P(j, k)f(k) = L P(j, k)J(j) = L P(j, k)f(j) = f(j).

kEC.f(j) kEC.f(j) kEE

3) Les classes récurrentes de (E, P) forment une partition de E et sont fermées.

Donc j--+ k ===> Ci(j) = Ci(k) ===> k--+ j.
4) Sin = 2 et p := (8 D{: } I - p = (6 ü1) : alors Ker(! - P) =
IR(î) , tandis que {1} et {2} forment deux classes distinctes, de sorte que
toute fonction sur E est constante sur chaque classe de communication. Et
1 --+ 2 mais 2 ne conduit pas à 1.
5) Selon 3), pour tous i,j E E nous avons P(i,j) = 0 dès que i et j ne sont
pas dans la même classe, de sorte que pour toute classe de communication C :
l{iEC} P(i,j) = l{iEC} P(i,j) l{jEC} = P(i,j) l{jEC}·
Cela permet d'écrire : (vc P)j = L
vf P(i,j)
iEE

= Liii l{iEC}P(i,j) = L Ili P(i,j) l{jEC} = llj l{jEC} = vJ.

iEE iEE

6) Chaque classe Ck de (E, P) admet une unique loi invariante vk, de sorte que
pour tout (.X1, ... , Àq) E !Ri tel que À1 + · · ·+ Àq = 1, la loi À111 1 + · · ·+Àq vq
est encore invariante. (On identifie vk à la loi sur E de support Ck qui lui
correspond naturellement.)
308 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

Réciproquement, si v est une loi invariante, associons lui pour chaque classe
Ck de (E, P) le coefficient )..k := v(Ck) ~ 0 et la loi z;k := fk lck v si )..k > 0,
et z;k := vk sinon (de sorte que le support de z;k est inclus dans Ck)· Selon 5)
chaque z;k est invariante, et donc égale à vk par unicité (puisque la restriction
de la chaîne à Ck est irréductible). Nous avons enfin v = >..1 i/ 1 + · · · + Àq z;q =
).. 1 v 1 + · · ·+ Àq vq et À1 + · · ·+ Àq = v(E) = 1. Donc v est une loi invariante
si et seulement si
(3 À1, ... , Àq ~ 0) À1 + .. · + Àq = 1 et v = À1 v 1 + · .. + Àq vq.
7) Pour toute fonction f sur E nous avons :
2 ((J - P)f, !) - L VjP(j, k)[fj - fk] 2
j,kEE

= 2 L Vj !] - L VjP(j, k) [2fjfk + (fj - fk) 2 ]

jEE j,kEE
= LVjf]- L VjP(j,k)f~ = LVjf]- LVkf~ =o.
jEE j,kEE jEE kEE
8) Selon 7), si P f = f , alors pour tous j, k E E nous avons
P(j, k)[fj- fk] 2 = 0, et donc fj = fk dès que P(j, k) > 0. Par une récurrence
immédiate, cela montre que fj = fk dès que j et k sont dans la même classe :
f est bien une fonction constante sur chaque classe de communication.
9) a) Par définition de Q on a clairement Q(j,k) > 0 {::::::::? P(k,j) > 0, de
sorte que . Q
J ----'-7
.
i {::::::::? i -----+ J , et avec 3) :
. p .

t 1 1
J.Q .. P .. P .. Q . .
----'-7 i {::::::::? i -----+ J {::::::::? i f---7 J {::::::::? i ----'-7 J , ce qm mon re que es c asses
selon Q sont exactement les mêmes que les classes selon P.
b) Selon 2), 8) et 9.a), ces deux noyaux sont égaux à l'ensemble des fonctions
constantes sur chaque classe Cj (nécessairement récurrente pour Q aussi).

10) ((J - P)f, g) - (!, (I - Q)g) E VjQ(j, k)fj 9k - E VjP(j, k)fk 9j

=
j,kEE j,kEE
= L: vkP(k,j)fjgk- L: VjP(j,k)fk9j=0.
j,kEE j,kEE
11) 10) montre que l'image de (I -P) est clairement incluse dans l'orthogonal
du noyau de (I - Q), qui selon 9) est aussi l'orthogonal du noyau de (I - P).
Par ailleurs nous avons
dim[Im(J - P)] = n - dim[Ker(I - P)] = dim[Ker(I - P)..L], de sorte que
l'image de (I - P) doit être égale à l'orthogonal du noyau de (I - P).
IX.23 CORRIGÉ DU PROBLÈME VII.23 309

12) Soient h E Jm(J - P) et C une classe de communication. Écrivant h =

(I - P)f et prenant g =le dans 10), nous obtenons selon 2) : 0 = (h, le)=
E lljhj.
jEe
Réciproquement, si la condition E lljhj = 0 est vérifiée pour toute classe ck
jEek
et si g E Ker(! -P), alors utilisant 8) et notant Bk l'unique valeur de g sur
ck nous avons :

(h,g) = ÉE lljhj9j = É[E lljhj]Yk =O. Ceci montre que

k=l jEek k=l jEek
h E Ker(I-P)-1, d'où le résultat via 11), mais avec li au lieu de llk. Or selon
6) cela revient au même, li étant sur chaque classe Ck proportionnelle à llk
(avec un coefficient de proportionnalité > 0).

IX.23 Corrigé du problème Vll.23

0) Comme Pet I commutent, la formule du binôme s'applique, pour donner:

tk k-. . (-t)i . -t
Ht= E (k-j)!j!(-1) 3P3 = E i!j! (tP)J=e exp(tP).
05,j5,k i,jEN

Et de même:
Hs+t = E (LJ·)1ti.J.1 /::J,. k
O< "<k
k-j
= E 1
IT7f
. . IM i.J.
. .
(s!:J,.)i(t!:J,.)J = Hs Ht.
_J_ i,3E1"

1) Nous avons /::J,.1 = 0 et donc /::J,.ql = 0 pour tout q 2': 1, de sorte que
Htl = 1. Et
dH - """' tq-l A q -- """' tk A k+l -- H tU
(lt t - L..J (q-1}! U L..J k! U - UAHt
A -

qEN* kEN

(la dérivation sous E est justifiée par la convergence uniforme (pour t borné)
de la série des dérivées).
2) Si Pf = >.f et f ::/: 0, choisissant e E Etel que lfel = 11/lloo, nous avons
lfel > 0 et
l>.I = rtrl E
IJel jEE
P(e,j)fjl::; l}el
J
E P(e,j)l/il::; jEE
jEE
E P(e,j) = 1.
En outre li f = llP f = À li f implique que soit li f = 0, soit >. = 1 c'est-à-dire
/::J,.f =0.

3) Si P f = f et f ::/: 0, choisissant e E Etel que l/(e)I = 11/lloo et divisant

f par /(e), nous sommes ramenés à Ill ::; 1 = f(e) et nous avons (pour tous
k EN* et i E E)
310 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

0 = f(e) -Pkf(e) =E pk(e,j)(l-f(j)) 2: pk(e,i)(l -f(i)),

jEE
d'où f = 1 par irréductibilité de P. C'est valable aussi bien si f est à valeurs
dans C, car P étant réelle, il suffit alors de traiter séparément les parties réelle
et imaginaire de f .

4) Via 0) vHt = e-t E ~ vPq = e-t E ~v = v, et les coefficients de

q"?.O q"?.O
Ht = e-t exp(tP) sont clairement 2: 0. Enfin Htl = 1 achève de justifier que
Ht est stochastique.

5) Nous avons IPqflP S pq(l/IP) par l'inégalité de Jensen (appliquée à toute

loi ÔePq), et par suite via 0) et l'inégalité de Jensen (appliquée à la loi de
Poisson 'P(l)) : IHtflP

= 1 E e-t ~ pq f IP S E e-t ~ IPq JIP S e-t E ~ pq (If IP) = Ht(l/IP).

qEN qEN qEN
6) Le théorème ergodique assure que si P est apériodique, alors
Pq(x, y) q-+oo vy. Fixons ê > 0, et NE N* tel que q 2: N ===}

IPq(x, y) - vyl < ê. Via 0), d'une part :

N-1~ ~ N-1~
Ht(x, y) < e-t L 1 Pq(x, y)+ e-t L 1 (vy + ê) < e-t L 1 + Vy + ê
q=O q. q"?.N q. k=O q.
= vy + ê + o(tN e-t) < vy + 2ê pour t assez grand, et d'autre part, de même :
~ N-1~
Ht(x, y) > e-t L 1 (vy - ê) = Vy - ê - e-t L 1 (vy - ê)
q"?.N q. q=O q.
= vy - ê -.o(tN e-t).

7) Nous avons Vj Pq(j, k) = vk Pq(k,j) pour tous j, k E E et q EN, car par

récurrence : Vj pq+l (j, k)

= L Vj Pq(j, e)P(e, k) = L Ve Pq(e,j)P(e, k) = L Ve P(e, k)Pq(e,j)

eEE eEE eEE
= L vk P(k, e)Pq(e,j) = vk pq+l(k,j). De sorte que via 0) :
eEE
VjHt(j,k) = e-tL t~ VjPq(j,k) = e-tL t~ vkPq(k,j) = vkHt(k,j).
q"?.0 q. q"?.0 q.
8) (PJ,g) = E Vj (PJ)j Bi= E VjP(j, k)fk9j = E VkP(k,j)gj/k
jEE j,kEE j,kEE
IX.23 CORRIGÉ DU PROBLÈME VII.23 311

= (!, Pg), d'où (b.f, g) = (!, b.g) et par récurrence sur q EN :

([Link],g) = (b.q-lf,b.g) = (f,[Link]).

Donc (Htf,g) = L fi([Link],g) = L fiU,[Link]) = (f,Htg).

q~O q~O

9) llPJll~ = L Ve IPJ(e)IP ::; L Ve P(IJIP)(e) = L (vP)e IJIP(e) = llfll~

eEE eEE eEE
d'une part, et d'autre part via 5) et 4) :

eEE eEE eEE

Pour p = oo, c'est encore vrai comme conséquence immédiate de Pl = 1 =
Htl:
llP flloo ::; llflloollPllloo = llflloo, et llHtflloo ::; llflloollHtllloo = llflloo ·
10) Si b.f = >.f et si f f: 0, alors d'une part

>. L velfel 2 = >.(!, f) = (b.f, f ), et d'autre part via 8) :

eEE
(b.f,f) = (f,b.f) = (f,b.f) = (f,b.f) = (b.f,f),
de sorte que ).. L velfel 2 doit être réel, et donc ).. aussi. Enfin on doit avoir
eEE
Pf = (1 + >.)f et donc Il+>.!::; 1 selon la question 2), d'où ).. ::; 0.

11) Selon la question 8), b. est symétrique pour (-, ·), et donc diagonali-
sable en base orthonormée : il existe une matrice Q = (1 = f 1 , J2, ... , fn)
(formée de fonctions propres réelles Ji telles que (Ji, Jk) = l{j=k}) telle que
b. = QDQ- 1 , et la matrice D est diagonale, de diagonale (0, >.2, ... , Àn) avec
>.2, ... , Àn réels< 0 selon les questions 10) et 3). Alors Ht = Q exp(tD)Q- 1 ,
et la matrice exp(tD) est diagonale, de diagonale (1, e>- 2 t, ... , e>-nt), et donc
converge lorsque t -t oo vers la matrice diagonale D 00 de diagonale (1, 0, ... , 0).
De sorte que (notant 0 la fonction constante égale à 0) Ht converge vers
QD00 Q- 1 = (1, 0, ... , O)Q- 1 , dont toutes les lignes sont égales à la première
ligne de Q- 1 . Comme selon la question 4) on doit avoir v = vQD 00 Q- 1 , la
première ligne de Q- 1 doit valoir v. Ceci prouve bien que

Ht(x, y) Hoo QD00 Q- 1 (x, y)= Vy, pour tous x, y E E.

312 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

IX.24 Corrigé du problème VII.24

1) Sur {Yn = O} nous avons X1 +···+Xun= n, de sorte que

X1 +···+Xun +Xun+l ~ n+ 1 et donc O'n+l = O'n + 1 et Yn+l = Xun+l -1;

nous avons donc pour tous j EN* et A E O"{Yo, ... , Yn-1} :

JP>[Yn+l = j - 11Yn=0, A] = .E JP>[Xun+l = j' O'n = k 1Yn=0, A]

kEN

= .E JP>[Xk+l = j' X1 + ... + xk = n' A]

N JP>[Yn = 0 , A]
kErll

=L µ;JP>[Xi+ .. ·+Xk=n,A] =µ;L JP>[Yn=O,an=k,A] =µj.

~T JP>[Yn = 0, A] ~T JP>[Yn = 0, A]
kEl'l kE1'1

Et sur {Yn > O} : X1 + · · · + Xun > n, de sorte que O'n+l = O'n et

Yn+l = Yn -1; d'où JP>[Yn+l = j -1 j Yn = j ,A]= 1 pour tout j EN*.
(Yn) constitue bien une chaîne de Markov, et c'est celle des rebonds en 0 (voir
la section IV.1 et les exercices IV.2.2.c et IV.4.11.b), avec ici qj =µHl pour
tout j EN: P(O,j) =µHl et P(j + 1,j) = 1.
2) Seule la classe de 0 est récurrente, et elle est absorbante. Il suffit donc de
la considérer (en oubliant les éventuels points transitoires). L'hypothèse sur
le support de µ assure l'apériodicité, car selon 1) ci-dessus pk(O, 0) ~ µk
pour tout k E N. Pour la même raison, nous avons lEo(To) = L: j µj =
jEN
JE(X1) < oo par hypothèse, de sorte que selon le théorème IV.4.7 la chaîne Y
est positivement récurrente, de loi invariante v telle que vo = 1/JE(X1). Nous
déduisons finalement du théorème ergodique IV.5.5 que lim JP>(Yn = 0) =
n-too
l/JE(X1).
3) Cela découle aussitôt de 2) ci-dessus, puisque pour n E N* (vu que Xj ~
1) :
{ (:3 k E N*) X1 + .. · + Xk = n} = LJ {Yn = 0, O"n = k} = {Yn = O}.
kEN*
4) La différence par rapport à 1) apparaît lorsque Yn = 0 (et pas sinon),
puisqu'il faut alors attendre un temps O'f EN* après O'n pour qu'une variable
Xun+uf prenne une valeur~ 1. Ce qui signifie que O'n+l = O'n +O'f et Yn+l =
Xun +uf - 1 •
Reprenant le calcul de 1), nous avons maintenant :
IX.24 CORRIGÉ DU PROBLÈME VII.24 313

JP>[Yn+l = j-1 IYn = O,A)

L JP>[Xk+i = j, <7n = k, ai= f 1Yn=0, A)

kEN,iEN*

= L JP>[Xk+t =j ,xk+l = ... = xkH-1 = O,X1 +···+Xk = n,A]

ki
, JP>[Yn = 0 , A]

~ t-l JP>[X1 + .. ·+ Xk = n, A) µi
= L....J µi µo llD[
irYn=O,A ] = - -·
1-µo
kEN,iEN*

Nous sommes donc ramenés à la situation précédente, à condition d'appliquer

ce qui précède avec µj := 1 ~to (qui définit bien une loi sur N*) en lieu et
place de µi.
5) Nous avons d'abord
n
Pn(o, 0) = JP>o(Yn = 0) = L JP>o(To = j, Yn-j o ()i = 0)
j=l
n n
=L JP>o(To = j) JP>o(Yn-j = 0) = L µj pn-i(O, 0).
j=l j=l

Ensuite, nous avons déjà vu en fin de question 1) que P(O, 0) = µ1, ce qui
constitue l'amorçage (pour n = 1) d'une récurrence sur n, et si on suppose
la formule voulue exacte aux rangs 2, ... , n - 1, alors selon l'égalité que nous
venons de voir, nous avons: pn(o, 0) =
n n-1
L µj pn-j(O,O) = µn + Lµi L
j=l

6) Selon la question précédente, pour tout s E JO, 1[ nous avons :

314 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

7) Nous avons d'abord µ]N) = l{j<N} µj + L

µi. Puis selon la
l{j=N}
i'?:_N
question 5), distinguant suivant le nombre f d'indices ni égaux à N, nous
avons:
P]{(O,O) = L
k'?:_l ni, ... ,nk'?:.l, ni +.. +nk=n l

. ~
3,l'?:_0,3+l'?:.l l~n1, ... ,n;<N
L ~ µi)
_ µn1 · · · µn; ( i'?:_N
,n1+··+n;+lN-n

= pn(0,0)- L L
= Pn(o,o) - L µm(l + pn-m(o,o)) ~ Pn(o,o) - 21P(X1 ~ N).
n'?:_m'?:_N
8) Notons d'abord que le p.g.c.d. du support de µ(N) est majoré par le
p.g.c.d. de l'intersection du support de µ avec {1, ... , N - 1}, qui décroît
avec N et doit tendre vers le p.g.c.d. du support de µ (c'est-à-dire 1 par
hypothèse), et doit donc lui être égal pour N assez grand. De sorte que le
résultat de la question 2) s'applique à (YN, PN) pour tout N suffisamment
grand. Appliquant la question 7), nous obtenons donc:

limsup pn(o,o) ~ 21P(X1 ~ N) +lE(min{Xi,N}f 1 .

n--+oo

Faisant ensuite tendre N vers l'infini, nous obtenons par convergence mo-
notone: limsup !Po(Yn = 0) = limsup pn(o, 0) ~ lE(X1)- 1 = 0 si X1 n'est
n--+oo n--+oo
pas intégrable. Donc lim !Po(Yn = 0) = 0. De plus, pour tout m EN, étant
n--+oo
donné que (selon la question 1) IPm(Yn = 0) = l{m~n} !Po(Yn-m = 0), nous
avons aussi lim IPm(Yn = 0) = 0. Enfin, pour toute loi initiale 11, nous avons
n--+oo
également, par convergence dominée:
lim IP,,,(Yn = 0) = lim ~ llm1Pm(Yn = 0) = 0 = lE(X1)- 1 .
n--+oo n--+oo L....t
mEN'

IX.25 Corrigé du problème VII.25

1. 1.a) Selon le corolaire IV.5.4 nous avons pour tous x, y E E :

-n1 LP (x,y)
n k
-7 IPx(Ty < oo)/lEy(Ty).
k=l
IX.25 CORRIGÉ DU PROBLÈME VII.25 315

1.b) Soit À une valeur propre de P, associée à un vecteur propre (matrice-

colonne complexe) fi- O. Selon la question précédente,
n n
~ E Àk f(x) doit converger pour tout x, de sorte que ~ E Àk doit converger;
k=l k=l
ce qui est impossible si IÀI > 1.
1.c) Selon le théorème IV.5.5, nous avons alors lim pn(x, ·) = li(·) pour
n-too
tout x E E, li désignant la probabilité invariante. Donc si P f = À f, avec
f(e) i- 0, nous avons :

>..n f(x) = L Pn(x, y) J(y) -----+ L ll(y) f(y) = Jf dll pour tout x E E.
yEE yEE

D'où pour x = e :. Àn -----+ j f dll / f(e), et donc soit l>..I < 1, soit À= 1 et f
est constante (égale à son intégrale contre li), de sorte que Ker( P-I) = IlH est
une droite. (Noter que la solution de l'exercice IV.5.6 comporte un argument
alternatif.)
1.d) La preuve du théorème IV.3.7 (ou sa variante la solution de la question
8 du problème VII.22, ou aussi bien la solution de la question 3 du problème
VII.23) montre de fait que Ker(P - I) = IlH est une droite, sans supposer
l'apériodicité.
2.a) Puisque Xmin{l,Tû = l{XoEË}Xo + l{Xo~Ë}X1 , nous avons
P = ( ~ I~e), les (d - 1) premières lignes étant celles de P, et Id-e la
matrice unité indexée par E.
2.b) TË est presque sûrement fini du fait de l'irréductibilité (proposition
IV.2.13). Donc lim Pk(i,j) = IP'i(XË = j), qui est nul si j ~ .e ou si j i- i >
k-too

.e ; en particulier, lim Pk = (0 Q)
0 1d-e , pour une certaine matrice Q (plus
k-too
délicate à expliciter, mais dont nous n'aurons pas besoin pour la suite).
2.c) Selon la question 2.a) ci-dessus, si un vecteur t(v1, ... , ve) i- 0 est propre
pour f> avec valeur propre À, alors V:= t(v1, ... , ve, 0, ... , 0) est propre pour
P, avec valeur propre À aussi; et selon la question 2.b) ci-dessus, nous devons
avoir lim ÀkV = ( lim Pk) V = 0, ce qui impose Àk --+ 0 et donc IÀI < 1.
k-too k-too
2.d) C'est la même chose! il suffit en effet de considérer une permutation 7r
de E qui amène les (d - .e) lignes supprimées sur les (d - .e) dernières, et de
considérer, au lieu de P, la matrice stochastique
316 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

P' := 7r pt7r = P(7r-1(·), 7r-1(·)).

II. 1) Si A' existe et si V = AU E Im{A), alors V = AA' AU = A 2 A'U E
Im{A 2 ), de sorte que Im{A) c Im(A2 ); et l'inclusion réciproque est triviale.
2) Soit V= AUE Im{A)nKer(A); on a aussitôt U E Ker(A 2 ); or Ker(A) c
Ker(A 2 ) et ils ont la même dimension par hypothèse et théorème du rang; donc
ils sont égaux, de sorte que U E Ker( A), et donc V= 0.
3) Soient {Vi, ... , Vr) une base de Im{A), et {Vr+i, ... , Vd) une base de
Ker(A), de sorte que selon la question 2) f3 := (Vi, ... , Vd) est une base de ~d
{identifié aux matrices colonnes). Soit W la matrice de passage associée. On a
w- 1AW = (~ 8), avec B matrice réelle de format r x r. Si U E Ker(B),
notant tu= {U1, ... , Ur) et tu'= (Ui, ... , Ur, 0, ... , 0) {de format 1 x d), on
a WU' E Im{A) nKer{A), donc WU'= 0, <l'o U' = 0, et U = 0: B est bien
inversible.

4) Soit A' := W ( B~ 1 8) w- 1. Nous avons bien

AA' = W (~ 8) w- 1 = A'A, et par suite A= AA'A et A'= A'AA'.

5) Nous avons (AA") 2 = A(A" AA") = AA" : AA" est la matrice d'un
projecteur (nécessairement sur son image et parallèlement à son noyau). De
plus lm(AA") c Im(A), et comme (AA")A = A, nous avons aussi l'inclusion
réciproque. Donc les noyaux de AA" et de A ont la même dimension. Or
A(AA") = A(A" A) =A implique Ker(AA") c Ker( A), et donc Ker(AA") =
Ker(A). Donc AA" s'identifie à la projection sur Im{A) parallèlement à
Ker(A). Utilisant la même base f3 que dans la question 3) ci-dessus, nous
avons AA" = W ( ~ 8) w- 1.

6) Selon les questions 3) et 5) ci-dessus, nous avons A = W ( ~ 8) w- et1

AA" = w (~ 8) w- 1. Soit A:= w- 1 A"W. Nous avons A= A(~ 8) =

(~ 8) A, de sorte que A= ( ~ 8), pour une matrice A de format r x r,

qui doit vérifier Ir =AB, et donc A= B- 1 ; ce qui prouve que A" =A',
via la question 4) ci-dessus.

III. 1) Considérons une base de trigonalisation de P, avec la fonction

constante 1 pour premier vecteur, et sa matrice de passage (complexe) U :
P = UTu- 1 , avec T matrice triangulaire (complexe). D'après la question
I.l.d), la diagonale de T est {1, À2, ... , Àd), avec À2, ... , Àd complexes =I 1
IX.25 CORRIGÉ DU PROBLÈME VII.25 317

(et de module ~ 1 selon la question 1.1.b). Donc u- 1 AU = Id - T est tri-

angulaire avec diagonale (0, 1 - >.2, ... , 1 - Àd)· Donc son rang complexe est
dimc(A<Cd) = d-1. Il en est de même pour u- 1 A 2 U = (Id-T) 2 , qui est tri-
angulaire avec diagonale (0, (1->.2)2, ... , (1-Àd) 2). Donc A et A 2 ont même
rang complexe, d'où A<Cd = A 2<Cd, une inclusion étant évidente. Comme A
et A 2 sont réelles, cela signifie que AlRd œJ=I AJRd = A 21Rd œJ=I A 21Rd,
d'où en projetant sur le sous-espace réel: AlRd = A 21Rd. Donc (1.4) s'applique.

2) Nous avons vu en (11.3,4) que A = W ( ~ 8) w- 1,

A'= W ( B~ 1 8) w- 1, avec B inversible de format r x r. Ici r = (d - 1)

d'après la question 1.1.d). Donc

Ëpk ~ wË (U•-1 0 -B)' ~) w-1

= W Uid-1 - (Id-Ô - B)n] B- 1 ~) w-1

= w (Id-1 - (Jg-1 -Br 8) (B~ 1 8) w-1 +w (8 ~) w-1

=w[1d-((Id-1onr üJw-1w(B~1 8)w-1+nw(8 üw-1

= (Id - pn)A' + n (Id - AA').

3) Il · Il est une norme, puisque

llM + M'll ~ max

l<i<d
[~
~
IM(i,j)I + ~
~
IM((i,j)I] ~ llMll + llM'll;
- - j=l j=l

de plus llM x Ali

d d d d
~ max LL IM(i,k) x A(k,j)I =max L
1::;i::;d j=l k=l l:=;i::;d k=l
IM(i,k)I x L IA(k,j)I
j=l
d
~max ~IM(i,k)I x llAll = llMll x llAll.
l<i<d ~
- - k=l

Nous avons donc

ll(Id - pn)A'll ~ llA'll + llPnA'll ~ llA'll + llPnllllA'll = 2 llA'll,
n-1
de sorte que d'après la question précédente lim ~ l: pk =Id - AA'.
n--too k=O
318 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

4) Nous avons d'une part (Id-AA')(Id-P) = (Id-AA')A = 0 par définition

de A, A'; ce qui signifie que chaque ligne Li de la matrice (Id - AA') est une
mesure invariante pour P. Et d'autre part nous avons aussi (Id - AA')l =
(Id - A' A)l = 1- A'(l - Pl)= 1, et
(Id - AA')A = 0, ce qui signifie la somme des termes de chaque ligne Li de
la matrice (Id - AA') vaut 1. Comme la question précédente prouve que les
coefficients de Li sont ~ 0, l'unicité de la loi invariante li assure que Li = li.
En conclusion, nous avons (Id - AA') = 1 x li.
IV. 1) Nous avons Tj ~ 1 et par suite Tj = 1 + Tj o (}, où Tj désigne
le temps d'atteinte de j. Donc la propriété de Markov fournit : pour tous
i,j E E, M(i,j)
= lEi(Tj) = 1+lEi(Tjo9) = 1 + lEi [lEx1 (Tj)] = 1 + L P(i, k)lEk(Tj).
kEE

Or lEk(Tj) = M(k,j)l{#k} = M(k,j) - D(M)(k,j), de sorte que

M(i,j) = U(i,j)+(PM)(i,j)-(PD(M)) (i,j) pour tous i,j E E, c'est-à-dire
M= U +PM-PD(M), et donc AM= M-PM= U-PD(M).
2.a) Multipliant l'égalité AM' = U - P D(M') à gauche par la loi invariante
li et à droite par la fonction l{j}, nous obtenons pour tout j E E :

0 = ll(ld-P)M'l{i} = llUl{i} - llPD(M')l{i} = lll - (llD(M'))i

= 1 - llj D(M')(j,j),
d'où D(M')(j,j) = 1/llj = D(M)(j,j) d'après le théorème IV.4.7, et donc
D(M') = D(M).
2. b) Par soustraction des formules relatives à M (celle de la question 1) ci-
dessus) et à M', on déduit de a) ci-dessus que A(M - M') = O. Utilisant la
question 11.3) selon laquelle A = W ( ~ 8) w- 1 avec B inversible, de taille
r = d - 1 d'après la question 1.1.d), nous déduisons que
( 1d0 1 8) w- (M -M') = 0 ce qui impose que
1 w- 1 (M -M') = (2) pour
une certaine matrice-ligne L. Or selon la question 11.5)

de sorte que
M - M' = W (2) =(Id - AA') W (2) =(Id -AA')T, pour T := W (2)
(par exemple).
IX.26. CORRIGÉ DU PROBLÈME VII.26 319

2.c) Nous avons vu en 111.4) que (Id - AA') = 1 x v. Donc M - M' =

1 x v x T a également toutes ses lignes égales. Or selon 2.a) ci-dessus nous
avons D(M - M') = 0. Ces deux observations imposent que M - M' = 0.
3) Notons M" :=(Id-A' +UD(A')) x D(M). Comme PU= U, nous avons
AM" = A(Id - A')D(M)

=(A - Id+ 1xv)D(M)=1 x v D(M) - PD(M) = U - PD(M)

d'après la question 111.4) et le théorème IV.4. 7. Enfin nous avons aussi :

D(M") = D(Id - A'+ UD(A'))D(M) =(Id - D(A') + D(U)D(A'))D(M)

= D(M); de sorte que M" vérifie la même équation que M' dans la question
2) ci-dessus, qui montre que de ce fait nécessairement M = M".

IX.26 Corrigé du problème VII.26

1) Il y a irréductibilité si et seulement si : partant de 0 la chaîne peut at-

teindre tout n 2: 1, et peut réciproquement revenir en 0 depuis un entier
arbitrairement grand ; autrement dit, si et seulement si :
Pn < 1 pour tout n EN, et {n EN 1 Pn > O} est infini.
2.a) Puisque 0 ~ 1 - Pi ~ 1, la suite (7rk) décroît et est minorée par O. Elle
converge donc vers 7r00 E [O, l]. Et nous avons classiquement :

7r00 = 0 ~ (log7rk) diverge ~ Llog(l - Pk) diverge ~ LPk diverge.

k k
n-1
2.b) Nous avons 1 - 1foPo = 1- Po = 7r1, et si 1 - E 1fkPk = 1fn, alors
k=O
n
1- E 1fkPk = 1fn - 1fnPn = 1fn+I. Donc par récurrence nous avons bien
k=O
n
1- E 1fkPk = 1fn+I pour tout n E N, d'où à la limite lorsque n --+ oo :
k=O
1- E 1fk Pk = 7fOO •
kEN
Nous pouvons aussi justifier cela en utilisant le temps To de retour en 0 : nous
avons en effet 1fkPk = JP>o(To = k + 1) et 1foo = JP>o(To = oo), de sorte que
E 1fk Pk + 7fOO = 1 .
k2'.0
3) Il y a récurrence si et seulement si partant de 0, le premier temps de
retour en 0, notons-le T, est presque sûrement fini. Or nous avons aussitôt :
320 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

lF>o(T = k) = 1rkPk pour tout k EN. Il y a donc récurrence si et seulement

si L 1rkPk = 1, c'est-à-dire selon 2.b) si et seulement si 7r00 = 0, ou bien
kEN
encore selon 2.a), si et seulement si L Pk = oo.
kEN
4.a) v P =v équivaut à: vo = L VkPk et vk = Vk-1(1- Pk-1) pour tout
k~O
k EN*.
4. b) Ceci se réécrit : vk = vo 7rk pour tout k E N et vo = vo L 7rk Pk , ou
k~O
bien encore :
Vk = vo 7rk pour tout k EN, et vo 7r 00 = 0.

4.c) Selon 4.b) et 2), 3) ci-dessus, on peut avoir v #- 0 si et seulement si

7r00 = 0, c'est-à-dire si et seulement si L Pk = oo, ou encore si et seulement
kEN
si la chaîne est récurrente.
5) Selon la question 3), P est transitoire si Pk = 2-k-l, et récurrente si
Pk = 21 ou s1. Pk = k+1 2 · s·1 Pk = 2
1 nous avons "L,, 7rk = "L,, 2-k < oo ,
k k
de sorte que la récurrence est positive ; tandis que si Pk = k! 2 nous avons
L 7rk = L k!l = oo, de sorte que la récurrence est nulle.
k k
6) Il suffit de prendre A' = limsupe-n(A) : nous avons en effet d'une
n
part e-n(A) = A presque sûrement pour tout n et donc A' = A presque
sûrement; et d'autre part e-n(A) E e-n(F00 ) = o-{Xn, Xn+1, .. .} pour tout
n et donc A' E Ç .
7) Comme e- 1 (A) = A presque sûrement, la propriété de Markov entraîne
que:

= 1Em[lIDx1 (A)] = lF>m[B- 1 (A)] = lF>m(A) = hA(m) pour tout m EN.

8) Nous avons en effet presque sûrement pour tout m :

1Em(h o Xn+ilFn) = lExn(h O X1) = L P(Xn, k)h(k) = Ph(Xn) = h(Xn)·

k

En tant que martingale bornée, (ho Xn) converge presque sûrement et dans
L 1 selon le corollaire V.3.2, vers une certaine variable aléatoire Y E A00 (F00 ) ;
de plus pour tous m, n E N : h(m) = pnh(m) = 1Em(h o Xn) --+ 1Em(Y)
IX.26 CORRIGÉ DU PROBLÈME VII.26 321

(lorsque n -t oo). Enfin, nous avons presque sûrement Y o () = lim ho Xn o () =

n
limhoXn+l =Y, ce qui montre que Y est bien I-mesurable.
n
9) Utilisant la propriété de Markov et la question 8), nous avons pour tout
mEN:
h(m) = 1Em(Y) = L 1Em(l{T=k} Y) = L 1Em(l{T=k} X y 0 ok)
kEN kEN

= 1Em(Y o OT) = 1Em(1ExT(Y)) = 1Em(h o Xr).

10) Pour tout n E N, Tn est Po-presque sûrement fini par hypothèse, de
sorte que nous avons h(n) = lEo(hoXrn) = h(O) d'après la question 9); ce qui
montre que h est constante. Donc Y= limhoXn = h(O) est presque sûrement
n
constante. Selon la question 7), cela vaut en particulier pour Y= lA dès que
A E I, prouvant alors que A = 0 ou n presque sûrement.
11) Puisque (Xn) est transitoire, T := max{k E N 1 xk = O} est presque
sûrement fini, et pour tout n ~ r nous avons n-Xn = r-Xr =: Z. Il est clair
que Z = lim (n - Xn) est Ç-mesurable, mais que Z o () = lim (n - Xn+i) =
n--+oo n--+oo
Z - 1 f: Z, de sorte que Z n'est pas I-mesurable.
12.a) La question précédente montre que JP>m(no) = 1 pour tout m EN. Elle
montre aussi que si w,w' E no et si Z(w) = Z(w') alors Xn(w) = Xn(w')
pour n ~no:= max{r(w),r(w')}.
Comme A E a{ Xn 0 , Xn 0 +1, ... } , il existe une fonction mesurable <Pno telle
que lA = </Jn0 (Xn 0 , Xn0 +1, ... ) ; d'où lA(w) = lA(w').
12.b) Soit B := Z(A n no). Nous avons z- 1 (B) ~ An no = A presque
sûrement d'une part, et d'autre part si w E non z- 1 (B), alors Z(w) E B,
de sorte qu'il existe w' E An no tel que Z(w) = Z(w') et donc lA(w) =
lA(w') = 1 selon la question précédente. Ceci prouve que w E A, et par
suite, que z- 1 (B) c A et donc que z- 1 (B) = A presque sûrement. Avec
la question 11), nous avons bien établi que g = a(Z), aux ensembles JP>m-
négligeables (pour tout m E N) près.

IX.27 Corrigé du problème VII.27

1) On a 0 < P(e, e') ~ 1J si e f: e', d'où l'irréductibilité, et l'apériodicité,
puisqu'aussi bien P(e,e) = 1- 1J L: min{l, µ(e')/µ(e)} ~ Jv >O.
e 1 EE,e'=le

2) µ(e)P(e, e') - µ(e')P(e', e) = 1J [min{µ(e), µ(e')} - min{µ(e'), µ(e)}]

= 0 si e f: e', et 0 encore (trivialement) si e = e' : µ est réversible.
322 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

3) Nous avons déjà vu lors de l'exercice IV.4.11.a) qu'étant réversible, µ est

aussi invariante. Comme P est irréductible et positivement récurrente (car E
est fini, ou car elle admet une loi invariante), le théorème IV.4.7 assure qu'elle
n'admet qu'une seule loi invariante.
4) On a JP>[/(e, Uo) = ei] = JP>[Pj-1(e) ::::; Uo < Pj(e)] = Pi(e) - Pj-1(e) =
P(e, ej), pour tout j E {1, ... , N} : la loi de /(e, Uo) est P(e, ·), pour tout
eE E.

5) Si pour q EN* fixé, dans l'algorithme on remplace chaque U_k par U-q-k,
sa loi est inchangée. Notons Aq l'événement {l'algorithme associé à la suite
(U-q-k) converge}, qui est dans la tribu engendrée par les U_k d'indice k 2 q.
Donc d'une part l'événement A:= n
Aq est dans la tribu asymptotique de
qeN*
la suite U, et donc (selon la loi du 0-1) il est de probabilité 0 ou 1, et d'autre
part JP>(Aq) ne dépend pas de q. Observons ensuite que par définition de
l'algorithme, si on a x".:..: indépendant de e, c'est a fortiori vrai pour x~_::q;
ce qui entraîne aussitôt que Aq c Aq-l. Donc JP>(A 0 ) = JP>(Aq) = lim JP>(Aq) =
q-+oo
JP>(A) E {O, 1}.
6) Si U-1 < min{P(e, ei)I e E E}, ce qui est de probabilité > 0, alors
f(e, U-1) =el pour tout e E E, et l'algorithme converge dès le premier pas
(n = 0 et Y= el)· Donc JP>(l'algorithme converge) > 0, ce qui avec la question
précédente permet de conclure.
7) a) Selon la question 4), la chaîne (X~fn+k) est markovienne de transition
P, et donc d'après la question 3), chacune des coordonnées X~fn+k a µ pour
loi. En particulier, la loi de Y' est µ .
b) On a clairement {X".:._f,. = e} c {Y'= x;·e}, et donc
n {Y= x;·e} c {Y'= Y}, de sorte que JP>(Y =/=Y') ::::; c.
eEE

c) D'après a) et b) ci-dessus, nous avons pour tout c > 0 et tout e E E :

IJP>(Y = e) - µ(e)I = IJP>(Y = e) - JP>(Y' = e)I

::::; JP>(Y = e =/= Y') + JP>(Y' = e =/= Y) ::::; 2 JP>(Y =/= Y') ::::; 2c ;
de sorte que JP>(Y = e) - µ(e) = 0 pour tout e E E : la loi de Y est µ.

8) a) On trouve µ = (2J~;:) , 3!2e) ·

b) JP>(X1 =!=Xi) = ~ c + ~(1 - c) = ~, et si N 2 2, quitte à intervertir a
et b, la situation est la même au temps 1 qu'elle était au temps O. De sorte
IX.28 CORRIGÉ DU PROBLÈME VII.28 323

que N est géométrique de paramètre ! (et en particulier, N est presque

sûrement finie).

c) IP(XN = b) = :EIP(XN = X'iv = b,N = n)

n2'.:1
= :E [IP(Xn =X~= b, Xn-1 =a, X~_ 1 = b, N > n - 1)
n2'.:1
+IP(Xn =X~= b,X~_ 1 = a,Xn-1 = b,N > n-1)]

= P(a, b)P(b, b) :EIP(N > n -1) = (e/2) :E 2-n = e.

La première égalité de la dernière ligne est due à la propriété de Markov et à

l'indépendance de X et X'. Donc la loi de XN est (1 - e, e).
d) On voit que la loi de XN diffère de la loi invariante µ. Cela signifie
que l'algorithme de Propp-Wilson modifié en direction du futur ne fonctionne
pas : repartir à chaque fois dans le passé est nécessaire pour obtenir un état
de loi µ.

IX.28 Corrigé du problème VII.28

1) Nous avons clairement pour n = 0, 1 : Xo(e,w) = e, X1(e,w) =
X(e,w1), et puis par récurrence: rn(e,w) = r( Xn_ 1(e,w), on-lw) =

(X (Xn-1 (e, w)' Wn) ' onw) ' ce qui montre la formule voulue, en posant :

Xn(e, w) :=X (xn-1(e, w), wn). Et il est clair que [Xn-1 Fn-1-mesurable] (i.e.
Xn-1(e,w) = Xn-1(e,wi, ... ,Wn-1)) implique Xn(e,w) =
X(Xn-1(e,w),wn) = X(Xn-1(e,w1, ... ,Wn-1),wn) = Xn(e,w1, ... ,wn)·
2) L'amorçage est tivial pour n = 0, 1, au vu de Xo, X1 ci-dessus. Et nous
avons par récurrence :

pn(e, e") = :E IP( {w E 01 Xn-1(e,w) = e'}) x µ( {f E F 1X(e', !) = e"})

e'EE

= :E IP( {w 1 Xn-1(e,w) = e'}) X IP( {w 1 X(e',wn) = e"})

e'EE

= :E IP( {w 1 Xn-1(e,w1, ... ,Wn-1) = e', X(e',wn) = e"})

e'EE
324 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

= L JP>( {w 1 Xn-1(e,w) = e', Xn(e,w) = e"})

e'EE

= JP>( {w E 01 Xn(e,w) = e"} ).

3) Tcp(e) = L cp o X(e, !) dµ(f) =ln cp o X1(e,w) dJP>(w),
et par récurrence :
fn+Icp(e) = fn(Tcp)(e) =ln Tep o Xn(e, w) dJP>(w)

=ln L cp o X(Xn(e,w), J)dµ(f)dJP>(w) =ln cp o X(Xn(e,w),wn+I)dJP>(w)

=ln cpoXn+I(e,w)dJP>(w) =ln cpoTn+l(e,w)dJP>(w).

4) fncp(e) = L J. cp(e') dJP>(w) = L JP>[Xn(e, ·) = e'] cp(e')

1{Xn(e,w)=e'}
n
e'EE e'EE

= L pn(e, e') cp(e') = pncp(e) (en utilisant la question 2).

e'EE
5) µ({! E F 1 fn(e) = e'})
= L µ [ {JIJ(e) = el,f(e1) = e2, ... ,f(en-1) = e'} J
ei, ... 1en-1EE

= L P(e, el)P(e1, e2) ... P(en-1, e') = pn(e, e').

6) a) 'Î'(e,f,g) := (e,f,f og) ((e,f,gof) convient aussi), car alors

'Î'n(e, f, ldE) = (e, f, Jn) et X o'Î'n(e, f, IdE) = Jn(e), d'où la formule voulue,
selon 5).
b) Nous avons aussitôt Xô(f) = e, ... , X~(!) = fn(e), de sorte que la
probabilité demandée vaut

µ( {f E F 1 J(e) =el, J 2(e) = e2, ... , fn(e) =en})

= µ( {f E F 1 f(e) =el, J(e1) = e2, ... , f(en-1) =en})

= P(e, el)P(e1, e2) ... P(en-1, en) par définition de µ.
Commentaire : Ainsi sous la probabilité fixe µ, la chaîne (X~) est marko-
vienne, issue de e et de matrice P : par définition de (Xn), cela montre
que toute chaîne de Markov est représentable par (la projection d')un schéma
déterministe itéré dans un espace plus gros.
IX.29. CORRIGÉ DU PROBLÈME VII.29 325

IX.29 Corrigé du problème VIl.29

1) La propriété de Markov forte (à l'instant T1) assure (par récurrence) que la

suite des événements {Aj lj 2: 2} est i.i.d., de probabilité commune 1Pk(A1) =
Tkl. En effet, Aj E Fr,;, et à chaque instant Tl (dès que j 2: 1) la chaîne
k
repart de k, et ce qui se passe après ne dépend pas de ce qui s'est passé avant
n
l'instant Tl. La loi des grands nombres assure donc que lim ~ E lA; = Tkl
n--+oo j=l
presque sûrement.
2) a) La chaîne est positivement récurrente, de sorte qu'en particulier
T1, est presque sûrement fini. Comme Tl 2: j , on a bien presque sûrement
Tl > T1, pour j assez grand, et donc Jkl < oo. Cela entraîne que
[JZl < oo:::::? JZt1 < oo J presque sûrement, d'où le résultat par récurrence.

2) b) La propriété de Markov forte (à l'instant T:Zt) assure (par récur-

Jq
rence) que la suite des temps JZt1 - JZl = Jkl o ()Tk kt est i.i.d., sous la loi
lPk. La loi des grands nombres assure donc que lim JZ1,/q = 1Ek(Jk1,), lPk-
q--+oo
presque sûrement. La propriété de Markov forte (à l'instant Tk) entraîne que
c'est encore valable lPj -presque sûrement, pour tout j EN.
1
JZi Jkt ] J9
2) c) Nous avons E lA; = [
E lA; o ()Tk kt = 1, puisque
i=JZt+i i= 1
JZt
Jkl = inf{j 2: li lA; = 1}. De sorte que par récurrence immédiate: E lA; =
j=l
q pour tout q E N* presque sûrement. (Détail de la première égalité :
TJZt
Jkt Jq Jkt08 k
(L lAj) 0 ()Tk kt = L
j=l j=l
326 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

JZt 1 -JZe JZt 1

L
~ 1
{X [TkHJZe ,Tki+JZt+i] passe par e}
= ._Jq 1
J- kt+
lA·'
3

si l'on veut être très formel.)

2) d) Selon les questions 1), 2.c), et 2.b), nous avons presque sûrement :
Jq
. 1 kt . q 1
rke = hm Jq L lAi = q-too
hm Jq = ID" (J ) ·
q-too ke j=l ke .ll!.k ke

J Jkt . . l ri-1
3) a) Nous avons Tk kt = L: (Tk - Tk- ) = L: l{Jkt?.i} Tk o () k .
j=l j?.1

b) Nous avons {Jke ~ j} = {Jke < j}c E Fti-1,

k
d'où par 3.a) et par la
propriété de Markov forte (à l'instant Tt- 1 ) : Ek ( Tfkt)

= LEk[1{Jkt?.i}Tko()T1- 1 ] = LIP'k[Jke ~j]Ek(Tk) =Ek(Jke)Ek(Tk)·

j?.1 f?.l

c) Nous avons Tfkt =Te+ Tk o ()Te : c'est bien le temps de retour en k

après être passé une première fois par .e .
d) Nous avons par la propriété de Markov forte à l'instant Te et par 3.c),
3.b), 2.d) :
Ek(Te) + Ee(Tk) = Ek(Te + Tk o oTe) = Ek(Tfkt) = Ek(Jke)Ek(Tk) = vk~ke ·
e) Il suffit d'intervertir k et .e dans la formule précédente.
4) a) IP'(Te > (,!0 - .s)ne) ~ IP'(Te > r;e) - IP'(j ~ - ,!0 1 > ë) (inégalité
triangulaire).
b) Notons d'abord que puisque Te ~ .e IP'o-presque sûrement, par conver-
gence dominée lim roe = lim IP'o(Te < To) = 0, de sorte que lim ne= oo.
e-too e-too e-too
D'où
(1- roere --+ e-u, puisque roene = roe [u/roe] = u + O(roe)--+ u.
e-too
c) Par la propriété de Markov forte (à l'instant 1 ), pour tout j ~ 1 TJ-
nous avons:
IP'o(Te > TJ) = IP'o (Te > 1 + To o ()Tj- 1 )TJ-
= IP'o({Te > TJ- 1}n(0Tj- 1 ) - 1 {Te > To})
IX.29 CORRIGÉ DU PROBLÈME VII.29 327
. 1 . 1
= JP>o(Te > rg- )JP>o(Te > To) = (1 - Toe)JP>o(Te > rg- ),
et nous pouvons conclure par récurrence.
d) Les v.a. (T6 -T6- 1 ) = To o ()Tg-i sont i.i.d. par la propriété de Markov
forte (à l'instant r5-
1 ), de sorte que selon la loi des grands nombres, nous

avons JP>o-p.s. :
nt nt
!a_ = l '°'(T/ - r,i-l) ~ Eo(To) = l
ne nt L..J 0 0 l--+oo 110 '
j=l
ce qui entraîne que la limite cherchée est 0, par convergence dominée.
e) C'est immédiat à partir de 4.a), 4.c), 4.b), 4.d) : on a minoré par une
quantité qui tend vers e-u.
f) Changeant u en (1 - voc)- 2 u, ce qui change ne disons en ni, nous
tirons de e) : liminf JP>0 (re > (l - c)ni) 2: e-< 1- 11oe)- 2 u. Cela permet de
l--+oo 110
conclure, puisque pour R assez grand, nous avons :
[u(l - voc)- 2 /Tot]Tot 2: u(l - voc)- 2 - Tot 2: u(l - voc)- 1 ,

et donc : {,;0 - c)ni - 110~0t 2: 110 ~ot [ (1- voc)[u(l - voc)- 2 /Toe]Toe - uJ 2: 0.
5) a) Via c '\i 0 et le lemme de Fatou, nous déduisons de 4.f) :

lim inf (vo Tot Eo(Te)) = lim inf f JP>o(vo Tot Te > u) du
00

l--+oo l--+oo Jo
> 1-1 ~
Jof Jof
00 00
2: liminfJP>o(Te ) du 2: e-u du = 1.
l--+oo o ot

b) Selon 3.d), nous avons : 1/vo = ToeEo(Te) + ToeEe(To) 2: ToeEo(Te),

ce qui avec a) ci-dessus donne aussitôt le résultat.

c) Cela entraîne clairement : :~~~~ ~ 0, et par 3.e) :

ve TlQ Eo(Te)
~ 1. Enfin, rien de ce qui précède n'est altéré si on remplace
partout 0 par k fixe.

IX.30 Corrigé du problème VIl.30

1) Pour tout q E N* nous avons :
{Tq-l < Tq = oo} c {xq-l injectif} c {X~-l =/: 0 pour tout n > O}
328 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

c {X ne passe qu'un nombre fini de fois par O},

qui est négligeable, puisque X est récurrente. Ceci montre que presque sûre-
ment tous les temps rq sont finis, et par conséquent que r; < rq < oo .
Enfin il n'y a pas de répétition dans X~,. .. ,r.j] = X~~~.r.j], par définition de
r;, de sorte que la première répétition dans Xq ne peut intervenir qu'après
r; , ce qui donne précisément r; < rq+l .
2) Lorsque X = [O, 2, 3, 4, 2, 3, 5, 0, 5, 4, 5, 3, 0, ... ] : ri = 4,
ri = 1, xi = [O, 2, 3, 5, 0, 5, 4, 5, 3, 0, ...], r2 = 4, r2 = 0,
X 2 = [O, 5,4, 5, 3,0, ...], rg = 3, r; = 1, X 3 = [O, 5,3,0, ... ], r4 = 3,
r,i = 0, puis Yo = [OJ, Yi= [0,2], Y2 = [0,2,3], Y3 = [0,2,3,4],
Y4 = [O, 2], Y5 = [O, 2, 3], Ya = [O, 2, 3, 5], Y1 = [O], Ys = [O, 5],
Yg = [O, 5,4], Y10 = [O, 5], Yu= [O, 5, 3], Yi2 = [OJ.

3) Pour q = 1, c'est seulement la définition de xi appliquée avec ri+ n (2

ri) (au lieu de n dans la définition). Puis si la formule est vraie au rang q,
alors par définition de Xq+l, et par application de l'hypothèse de récurrence
à (rq+l - r; + n) (au lieu de n), nous avons pour tout n EN:
xq+i
r;+l +n -xq
-
-xq
Tq+l +n - r.j+(Tq+i -r.j+n)

= X(r1 -ri)+··+(rq-1-r;_ 1)+rq+(rq+i -r.j+n)

= X(r1 -ri)+··+(rq-1-r;_ 1)+(rq-r.j)+rq+1 +n ·
Pour tout m EN, il existe un unique q EN* tel que
(T1 - Ti)+···+ (Tq-1 - T;_1) + Tq ~ ffl < (T1 - Ti)+···+ (Tq - T;) + Tq+li

ou autrement dit : un unique q 2 1 et un unique 0 :S n < rq+l - r; tels que

m =(ri - ri)+···+ (rq-i - r;_i) + rq + n.
Posant Ym = [cpo, ... , cpj], nous avons bien selon ce qui précède <pj
Xi-•+n
q
= Xm.
4) D'après la question précédente, nous avons pour tout m EN:
n»(Ym = [cpo, ... , 9'j']/Ym-i = [cpo, ... , cpj], Ym-2 = ... )
= n»(Ym = [cpo, ... , Xm]/Ym-i = [cpo, ... , Xm-iJ, Ym-2 = ... )
= P(Xm-i,Xm) = P(cpi,9'i'),
de sorte que Y est markovienne, avec
IX.30 CORRIGÉ DU PROBLÈME VII.30 329

Q([<po, ... , <pj], [<po, ... , <pj'l) = P(<pj, <pj' ).

Précisément :
Q([<po, <pi, ... , <pj], [<po, <pi, ... , <pkl) = P(<pj, <pk) pour 0 ~ k < j,
et

5) a) Partant de n'importe quel <p = [<po, ... , <pj] E ê '- {[O]}, nous arrivons à
[O] via n'importe quel chemin <pj -+ · · · -+ 0 pour X, ce qui est possible par
irréductibilité de P. Cela prouve que tout <p E ê conduit à [O].
b) Soit P telle que P(n, 0) = 1 pour tout n EN*, et telle que le support
de la loi P(O, ·) soit N*. Alors les hypothèses sont vérifiées (11n = !P(O, n) si
n EN* et 110 =!),et e' = {[OJ} u {[O,n] 1 n EN*}.
6) a) Pour toute trajectoire {Xo,Xi, ... } de X, à laquelle est associée la
trajectoire correspondante {Yo, Yi, ... } de Y, selon la question 3) nous avons
clairement T[o] = To .
b) Nous en déduisons aussitôt que Q[oj(T[o] < oo) = IPo(To < oo) = 1,
par récurrence de P : Q est bien récurrente aussi (sur&').
c) Nous en déduisons aussi que Qn([O], [O]) = pn(O,O) pour tout n EN*,
de sorte que l'apériodicité de X entraîne aussitôt celle de Y.
d) Comme X est positivement récurrente sur N, nous avons aussi
JE~] (T[o]) = JEC (To) < oo, qui montre que Y est positivement récurrente sur
ê'. Elle admet donc une probabilité invariante unique µ sur&'. D'après 5.a),
les points de e' "e sont transitoires, et ne peuvent donc être chargés par une
mesure invariante pour Q, de sorte que µ est la seule solution. Enfin, nous
avons µ[o] = JE~1 (T[oj)-i = JEC(To)-i = 110.
7) Pour <p = [<po, ... , <pj] E t'j et p, mesure sure données, nous avons
(p,Q)cp = E P,cp' Q(<p', <p) = l{j>O} P,[cpo, ... ,cp;-d Q([<po, .. ·, <pj-iJ, [<po, .. ·, <pj])
cp'Eê

+E E P,[cpo, ... ,cpm] Q([<po, .. ·, <pm], [<po, .. ·, <pj])

m>j 'Pi+li· .. 1'PmEN

Cette écriture sous-entend que les termes de la somme finale correspondant

à <p1 := [<po, ... , <pj, ... , <pm] ~ &m ne sont pas chargés par P, et contribuent
pour O.
330 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

8) a) Par récurrence sur q , { xg, ... ,Xj.0 } est une excursion hors de 0 qui
se déduit de son analogue relative à xq-l par effaçage de la première boucle
{X,i:-~
q
1 , ... ,xi; 1 }. De sorte que vient un premier q = q(X) < To(X) après
lequel c'est au tour de toute la première excursion
{xg, ... ,Xj.0 } = {O, cp1, ... , 'Pm, O} d'être effacée d'un coup. Puisque cette
excursion ne comporte plus de boucle à effacer (hormis elle-même), les 'Pk
sont nécessairement deux à deux distincts. Et m ~ 1, car X1 n'est jamais
effacé avant la (q+ 1)-ième itération (autrement dit, si rj = 1 pour un j ~ q,
a1ors X 1i = xi-1
TJ = xi-1
r~ = x 1) .
3

b) Nous déduisons de 8.a) que {Xo, ... , Xr0 } est constitué de

{ cpo = 0, cp1, ... , cpm, O} et de boucles Ci, ... , Cm, chaque Ck reliant 'Pk à
lui-même. Et si Ck passait par 'Pk-i (pour un 1 ~ i ~ k), la procédure
effacerait une boucle contenant {'Pk-i, 'Pk}, ce qui forcerait 'Pk-i et 'Pk à être
confondus.
c) Nous déduisons de 8.a,b) que {To < oo}
= lJ lJ {{Xo, ... ,Xr0 }={0,cpi,C1, ... ,cpm,Cm,O}},
me.N* <.pEt:m,C1, ... ,Cm
d'où
m
1 = Po(To < oo) = L II P('Pk-1, 'Pk) JP"Pk (Ck) X P('Pm, 0)
mEN* <.pEt:m,C1, ... ,Cm k=l
m
= L L II P(cpk-1,cpk) LJP"Pk(Ck) X P(cpm,O)
mEN* <.pEt:m k=l
m

= L L II P(cpk-1, 'Pk) c(cpk l{cpo, ... ''Pk-il) X P(cpm, 0).

mEN'* <.pEt:m k=l

d) Selon les question 7), 8.c), et 6.d), nous avons :

m
L L Il P( 'Pk-1, 'Pk)G ( 'Pk {c,oo, · · ·, 'Pk-d)
110 1 X P( 'Pm, 0) = 110 = ii[o] ·
mEN• <pEEm k=l

9) Fixons F c Net p E N'-F. Via la propriété de Markov, nous avons:

n
G(pl F) -1 = l:Pp[Xn =p,Tp > n] = L L Pp[Xn =p,Tp > n,Tp = m]
n;:::lm=l
IX.30 CORRIGÉ DU PROBLÈME VII.30 331

OO

= L L 1Pp[Xn-m = p,Tp > n-m] X lPp[Tp = m < Tp]

m2::1n=m

= L LlPv[Xn =p,Tp > n] x lPp[Tp = m < Tp]

m2::1n2::0

d'où le résultat.
10) Reprenant la preuve de 8.c), partant de 'Pi, et notant
El:,,:= {cp' E Eml'Pfej = cp}, nous avons {T'Pj < T{<po, .. .,<pj-i}}

= LJ LJ {{Xo, ... ,XT"',}={cpj,cpj+l,.Cj+l,···,cp~,.Cm,cpj}},

m>j <p'EE't.,.C.;+1 1 ••• ,Cm

avec des morceaux finis de trajectoire .Ci+l' ... , .Ck, ... , .Cm , qui cette fois ne
doivent pas rencontrer {O, cp1, ... , 'Pi, cpj+l, ... , cpk_ 1} respectivement. Donc
JP'Pj [T'Pj < T{ipo, ... ,<pj-d]

m
= L L II P(cpk-1, cpk)G(cpk l{cp~, ... ''Pk-1}) X P(cp'm, 'Pi)·
m>i <p'[Link]. k=i+l
11) Fixons j E N* et cp E Ei. Selon les question 7), 6.d), 9), et 10), nous
avons:

(P,Q)'P = il[<po, ... ,<pj-1] P( 'Pi-1, 'Pi) + 2:: 2:: il[<po, ... ,<pm] P( 'Pm, 'Pi)
m>i 'Pj+l1···1'PmEN
i i-1
= 110 II P('Pk-1, 'Pk) II
G ( 'Pk 1{ cpo, ... , 'Pk-1})
k=l k=l
m m
+L L vo II P(cp~-1, cpU x P(cp~, cpj) II a(cp~ l{cp~, ... , 'P~-1})
m>j <p1 EEm,'Ple; =<p k=l k=l

m
+L L II P(cp~-1,cp~)G(cp~j{cp~, ... ,cp~-l}) xP(cp~,cpj)]
m>j <p1 EEm,'Ple; =<p k=j+l

= il<p·
Donc p, est une mesure invariante pour Q. Par unicité, elle est proportionnelle
à µ. Enfin d'après 6.d) elle est égale à µ.
332 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

IX.31 Corrigé du problème VII.31

1) Nous avons pour tous n, k EN:
IE[Xn+k+l I Fn] = IE[IE[Xn+k+l I Fn+kl 1 Fn] s
IE[Xn+k 1 Fn]
presque sûrement, d'où l'existence de la limite Mn par monotonie.
2) D'une part Mn S Xn, de sorte que M;i S X;t E L 1 et donc IE(Mn) existe
bien, dans [-oo,IE(Xn)]. Et d'autre part, par convergence monotone appliquée
à la suite { Xn - JE [Xn+k 1Fn] 1 k E N}, nous avons :

0 S IE(Xn) - lim IE(Xk) = lim 1E [xn - lE[Xn+k 1 FnJ] = lE(Xn - Mn),

k--+oo k--+oo
de sorte que lE(Mn) = lim lE(Xk) = inf lE(Xk) > -oo.
k--+oo kEN
3) Nous avons par monotonie et par la question précédente, Vn EN:

k--+oo O.

4) Pour tout n EN, d'après les questions précédentes : Mn E L 1 (Fn, JP), et :

lE(Mn+ilFn) = 1E( k--+oo
lim lE[Xn+l+k 1Fn+i] IFn) = k--+oo
lim 1E(Xn+l+k 1 Fn] =Mn.
5) Soit M' une autre sousmartingale majorée par X. Alors pour tous n, k E
N:
M~ S lE(M~+klFn) S lE(Xn+klFn) k--+oo Mn.
6) V := X - M est clairement une surmartingale positive, et selon les
questions (2) et (4) : lE(Vn) = lE(Xn) - lE(Mn) n--+oo 0.
7) Si X = M' + V' est une autre telle décomposition, alors N := M - M' =
V' - V est une martingale, de sorte que (INnl) est une sousmartingale, telle
que
lE[INnl] S liminflE[INn+ml] S liminflE[Vn+m + V~+m] = 0.
m--+oo m--+oo
De sorte que INnl = 0 presque sûrement pour tout n EN.

IX.32 Corrigé du problème VII.32

1) On sait que V00 := lim Vn 2: 0 existe presque sûrement, et que (par le

n--+oo
lemme de Fatou) 0 S 1E(V00 ) S lim lE(Vn) = inf lE(Vn)· D'où le résultat.
n--+oo nEN
IX.32 CORRIGÉ DU PROBLÈME VII.32 333

2) Nous avons aussitôt llYnlli = lE(Yn) = lE(Yo), et llZnll1 = lE(Zn) = lE(Zo),

de sorte que llYn - Znll1 ::::; lE(Yn) +JE( Zn)= lE(Yo) + lE(Zo) < oo.
3) (M;t) est une sousmartingale bornée dans L 1 , et donc p.s. :
JE(M:+m+l IFn) = JE[JE(M:+m+l IFn+m) IFn] ;::: JE(M:+m IFn);::: M: ·
Donc cette suite presque sûrement croissante admet une limite presque sûre
Yn ;::: M;t ;::: 0 , et par convergence monotone :
lE(Yn) = lim lE(M:+m) ::::; sup llMnll1 <OO.
m-+oo nEN
De sorte que par convergence dominée, nous avons aussi

llYn - JE(M:+m IFn)ll1 = lE[Yn - JE(M:+m IFn)] ---+ 0 ·

4) D'après la question précèdente, d'une part Yn;::: M;t ;::: 0, et d'autre part
JE[Yn+l IFn]
= lE[~~oo JE(M:+m+l IFn+i) [Link]] = ~~00 JE[JE(M:+m IFn+i) [Link]] = Yn ·
5) Soit (Y~) une martingale positive majorant (Mn)· Alors pour tout n
Y~;::: M;t, et
Y~ = lE[Y~+m IFn] ;::: lE[M:+m IFn] pour tout m, de sorte que Y~ ;::: Yn .
6) C'est bien une surmartingale positive, et d'après la question 3) :
lE(Yn - M:) = lE(Yn) - JE(M:) = lE(Yo) - JE(M:)
---+ JE(Yo) - lim JE(M~) = 0.
m-+oo
7) Appliquant les questions 3) et 4) à (-M), on obtient une martingale
positive Z majorant (-M), définie par Zn := lim lE(M;+m IFn)· Alors
m-+oo
pour tout n :
Yn - Zn= lim [JE(M:+m IFn) - JE(M;+m IFn)] = lim JE[Mn+mlFn] =Mn.
m-+oo m-+oo

En outre, selon la question 6) : llMll1

= n-+oo
lim lE[IMnl] = lim [lE[M:J + lE[M;l] = lE[Yn] + lE[Zn] = llYll1 + llZll1-
n-+oo
8) Supposons que M = Y' - Z' pour deux autres martingales positives (Y~)
et (Z~) telles que llMll1 = llY'lli + llZ'll1. Alors selon la question 5) nous
avons Y~;::: Yn et de même Z~;::: Zn. D'où llY'll1 ;::: llYll1 et llZ'll1 ;::: llZlli.
Mais comme
llYll1 + llZll1 = llMll1 = llY'll1 + llZ'll1, cela impose llY'll1 = llYll1 et llZ'll1 =
llZll1, et par suite Y'= Y et Z' = Z.
334 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

IX.33 Corrigé du problème Vll.33

1) C'est directement dû au fait que toute permutation de {1, ... , n} est un
produit de transpositions (1, k), avec 2 ~ k ~ n.
2) En considérant la première loi marginale dans la définition, on voit que
chaque Zn a la même loi que Z1, de sorte que E(Zn) = E(Z1) et Var(Zn) =
Var(Z1). Il suffit donc d'appliquer la même transformation affine (z Maz+ b)
à toutes les variables Zn, avec a:= Var(Z1)- 1/ 2 et b := -aE(Z1).
3) Il suffit d'appliquer 1) avec la permutation 71' := (1,j)(2, k) et de projeter
sur les deux premières coordonnées, pour obtenir que les variables (Zi, Z2) et
(Zj, Zk) ont la même loi, et donc que Cov(Zj, Zk) = Cov(Zi, Z2). On sait par
l'inégalité de Schwarz que lei ~ 1. Il reste à voir que e 2:: 0. Or, via n -t oo,
cela découle de ce que nous avons pour tout n E N :

o:;E[(t.z;)'] =n+n(n-I)g '* 02:-l/(n-l).

4) Soit {}j li E N} une suite de v.a.i.i.d. centrées réduites. Il suffit de
considérer la suite (Zj) constituée des variables aléatoires centrées réduites
Zj := JeYo + ~}j: nous avons bien
Cov(Z1, Z2) = E(Z1Z2) = elE(Y02) = e, et pour tout n EN* l'échange de Z1
avec Zn revient à l'échange de Y1 avec Yn, qui laisse la loi de {}j 1 j E N}
inchangée, et donc aussi celle de {Zj 1 j E N*}.
5) Comme en 2) ci-dessus, il suffit de prendre b = Je et c = ~ pour
avoir les bonnes covariances. Or la loi d'un vecteur gaussien (de dimension
finie, et par suite de dimension infinie aussi) est déterminée par ses covariances.
Donc pour toute suite i.i.d. {Gj 1 j EN} de loi commune N(O, 1), (bGo +cGj)
a la même loi que (Zj)· Pour avoir l'égalité (et non seulement l'égalité en loi),
il suffit (de par la loi des grands nombres) de choisir Go := lim Zi +.. ·+Zn et
n-+oo n
puis Gj := (Zj - bGo)/c.
6) Par interversion de Z1 avec Zj et par symétrie de Fn , les vecteurs
aléatoires (Z1, Fn(Zi, .. ., Zn), Zn+l, .. .) et (Zj, Fn(Z1, .. . , Zn), Zn+l, .. .) ont
la même loi.
7) Le membre de droite est une fonction symétrique de (Zi, ... , Zn), et est
donc 'Tri-mesurable. De plus la question précédente assure que pour tout va-
riable 'Tri-mesurable bornée Y et pour tous 1 ~ j ~ n nous avons :
IX.33 CORRIGÉ DU PROBLÈME VII.33 335

8) La suite ('Tn) de tribus décroît, de sorte que selon la question précédente il

suffit d'appliquer l'exercice V.3.12 (sur les martingales renversées, avec Fn :=
'-n et Y:= cp o Z1).
9) J'f: est invariant par toute permutation 7r de {1, ... , n} : 7r o j E J'f: pour
toute j E J'f:. Par conséquant le membre de droite, disons zn, de l'égalité à
établir est une fonction symétrique de (Z1, ... , Zn), et est donc 'Tri-mesurable.
Par ailleurs toute j E J'f: se prolonge en une permutation 3 (non unique
si n > k + 1) de {1, ... , n}, de sorte que selon la question 1), pour toutes
fonctions Fn symétrique bornée et Hn bornée nous avons :

JE[</> o (Z1, ... , Zk) X Fn O (Zi, ... , Zn) X Hn O (Zn+l, .. .)]

= lE[</> o (Z3 1 , . . . , Z3k) x Fn o (Z3 1 , ••• , Z3J x Hn o (Zn+l• .. .)]

=JE[</> o (Zj 11 ••• , Zjk) X Fn o (Z1, ... , Zn) X Hn o (Zn+li .. . )]
= lE[zn X Fn o (Zi, ... , Zn) X Hn o (Zn+l• .. .)]
car n(n -1) · · · (n - k + 1) = Card(J'f:). Cela répond à la question.
10) Comme pour la question 8) ci-dessus, l'exercice V.3.12 assure la conver-
gence presque sûre de zn (le membre de droite de 9) vers
l
lE[</> o (Z1, ... , Zk) 7]. De plus n(n - 1) · .. (n - k + 1) "'nk, et </> étant
bornée, l'erreur entre zn et L
</> o (Zj11 ••• , Zjk)
nk
est

o( nk-n(n-~~.. (n-k+l)) = 0(1/n), qui tend vers o.

P. [~ t.
11) Appliquant 10) ci-dessus avec </>(z1, ... , zk) := cp1(z1) x · · · x 'Pk(zk), nous

obtenons l'i 0 Z;]

= ~ L 'Pl 0 Zji X ... X 'Pk 0 Zjk ----+ JE [ II 'Pi 0 Zj 11]'

n 1$ji,... ,jk$n 1$j$k
tandis que selon la question 8) ci-dessus nous avons la convergence presque

sûre ' ÎI [d'j=l:: l'i Z;] --+ 1$j$k

i=l
0II li<(I'; 0 z, T) .
1

L'égalité voulue découle donc de l'unicité de la limite presque sûre.

12) La question précédente signifie que relativement à la loi conditionnelle
IP(· 17) les variables aléatoires Zj sont indépendantes. De plus la question
6) assure qu'elles ont la même loi et l'inégalité de Jensen assure qu'elles sont
336 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

de carré intégrable (toujours relativement à la loi P( · 1T)) . Nous pouvons

donc leur appliquer le théorème central limite, ce qui fournit précisément le
résultat voulu; à la condition que le dénominateur ne s'annule pas, c'est-à-dire
que Var(Z1 17) = lE(Z[ 17) - lE(Z1 17) 2 =/:- 0. Or ceci revient à demander
que Z1 =/:- lE(Z117) presque sûrement, c'est-à-dire que Z1 ne soit pas /-
mesurable.

IX.34 Corrigé du problème VII.34

1) Itérant l'hypothèse, nous avons aussitôt : llPn fll2 :::; an llfll2 pour tout
n E N et toute f E L 2(E, li) telle que ll(j) = 0. Remplaçant f E L 2(E, li)
par f - ll(j), cela donne :
llPnf- ll(f)ll2 = llPn(f- ll(f))ll[Link]; anllf- ll(f)ll[Link]; anllfll2
pour tout n EN et toute f E L 2(E, li), et donc lim pn f = ll(j), puisque le
n-too
support de li est E entier. Particularisant à l'indicatrice f = l{e} du singleton
{e} c E, nous en déduisons que pour tout x E E :
lim pn(x, e) lim pn1{e} (x) = ll(l{e}) =lie > 0,
= n-too
n-too

de sorte que pn(x, e) > 0 pour n assez grand; cela établit l'irréductibilité.
2) Par définition de QT, via l'inégalité triangulaire et la majoration utilisée
pour la question précédente, nous avons pour tout T 2: 1 (dès que 11!112 :::; 1) :
1 T 1 T
llQTf- ll(f)ll[Link]; TL llPn f- ll(f)ll[Link]; T Lan llfll[Link]; min {a' (1-~)T }.
n=l n=l
3) Par définition de N nous avons Tu :::; TN; et aussi TN :::; T N, puisque
Tn:::; nT pour tout n EN* par définition de Tn.
4) Distinguant suivant les valeurs de Çn+l, Tn, Tn-1' .. . , nous avons :
T
P[X'Tn+i = e',X'Tn = e,X'Tn-1 = ... ] = L
m=l

L P[Xkn+m = e',Xkn = e,Xkn-l = · ··]P[Çn+l = m,Tn = kn,Tn-1 = kn-1 1 ••• ]

kn,kn-1, ...
IX.34 CORRIGÉ DU PROBLÈME VII.34 337

T
= ~ L pm(e, e') = Qr(e, e'),
m=l
ce qui (selon l'exercice IV.1.2) montre la propriété de Markov homogène, et
met en évidence que la matrice de transition de la chaîne (Xrn) est Qr. Par
ailleurs l'invariance de v pour P (et donc pour toute puissance pn) entraîne
aussitôt son invariance pour Qr .
5) Utilisant la (solution de la) question 2) nous avons pour toute f E
L 2 (E,v): llQr!ll~ = IJv(f) + Qrf- v(f)ll~
= v(/) 2 + llQr f - v(f)ll~ + 2 v(f) L ve(Qr f(e) - v(f))
eEE

= 1.1(!) 2 + llQr f - v(f)ll~ :S 1.1(!) 2 +'Yf11!11~ ·

6) Il suffit d'appliquer la question précédente et l'inégalité de Schwarz :

llQr(lv !)11 2 :S Jv(lv /) 2 + 'Yf li/li~ :S Jv(V) v(/2) + 'Yf li/li~

= J v(V) + 'Yf 11/112 ·

7) Distinguant suivant les valeurs de N nous obtenons en effet :

Ex [éN] = L efo JP> X [ XTJ. ~ u, ... 'XTn-1 ~ u, XTn E U] .

n~l

Ensuite (selon la question 4) nous avons :

JP>:z; [Xr1 Eu] = L Qr(x, e) = L Qr(x, e) lu(e) = Qrlu(x) ;

eEU eEE

et via la propriété de Markov de (Xrn), par récurrence sur n ~ 2:

JP>X [ Xr1 ~ u, ... 'XTn-1 ~ u, XTn E u] =

= L Px [xr = e, ((JT {Xn ~ U, ... ,Xrn- ~ U,Xrn-l EU} J

1 1 )-1 2
eeuc
= L Qr(x, e) [Xr1 E uc, ... 'XTn-2 E uc, XTn-1 Eu]
JP>e
eeuc

eEE

= L Qr(x, e) iuc(e) ([Qrluc r- Qr1u) (e) 2

eEE
338 CHAPITRE IX. CORRIGÉS DES PROBLÈMES

= QT( lue [QTluc r- 2QTlu) (x) = ([QTluc r- 1QTlu) (x).

8) Via la question 3), la question précédente et l'inégalité triangulaire, nous
déduisons:

Et par ailleurs, selon la question 6) nous avons pour tout n ~ 1, par récur-
rence:

ll[QTlucr- 1QTlull 2 = llQT(luc [QTlucr- 2QTlu )11 2

~ Jv(Uc) + î'f Il [QTluc r- 2QTlull2 ~ ...

< Jv(Uc) +î'f (n-1) llQTlull2 ~ [v(Uc) +î'f](n-1)/2.
9) La question précédente majore la norme quadratique de la fonction xi-+

Ex [e6 Tu J par une série géométrique de raison e6 TJ1 - v(U) + î'f . Il reste à
rendre cette raison < 1, ce qui est possible selon la question 2) puisque par
hypothèse v(U) > 0, de sorte qu'il suffit de prendre T assez grand pour que
î'T ~ v(U)/2 par exemple; puis enfin

0<ô< ~ log ( 2 _ ~(U)). Alors l'inégalité de Schwarz assure que

Ev [e6Tu] = llE. [e6Tu] 11 1 ~ llE. [e 6 Tu] 11 2 < oo. Enfin la série finie
Ev [e6 Tu J majore chaque terme Vx Ex [e6 Tu J, ce qui assure la finitude de
Ex [e6 Tu J (puisque Vx > 0 par hypothèse).
10) La question précédente permet de majorer comme suit (pour tout n EN):
Px(Tu ~ n)
=Ex [l{Tu-n~o}] ~ Ex [eô(Tu-n)] = Ex [eôTu] X e-ôn ~ C e-n/C,

en prenant C :=max {Ex [e 6 Tu], 1/ô}.

Bornons ici cette carrière.

Les longs ouvrages me font peur.
Loin d'épuiser une matière,
On n'en doit prendre que la fleur.
(Jean de La Fontaine)
Chapitre X

Index des notations, figures et

termes
X.1 Notations générales

N = {0,1,2,3, ... }; N* = {1,2,3, ... }; Z =Nu (-N); Q, <C désignent

respectivement l'ensemble des nombres rationnels, complexes. R désigne l'en-
semble des nombres réels; R* = R '- {O} = {x ER 1 x =/:- O};
R+=(O,oo(={xERlx2:0}; R~=]O,oo(={xERlx>O};
]a, b[ = {x ER 1a< x < b}; ]a, b] = {x ER 1a< x:::; b};
[a, b[ = {x ER [Link]; x < b}.
[x] := max{ n E Z 1n :::; x} désigne la partie entière de x E R.
M = (( Mij )) désigne la matrice dont le terme de ligne i et de colonne j
vaut Mij. tM désigne la matrice transposée d'une matrice M (de format
quelconque). Ker(M) désigne le noyau de la matrice M (opérant sur les
vecteurs-colonne).
~ f(t) désigne la derivée de f en 0 par rapport à t.
ft f (t) désigne la derivée de f en t par rapport à t .
lA désigne la fonction indicatrice de l'ensemble A : lA(x) = 1 si x E A,
= 0 sinon.
logx := Jt ~ désigne le logarithme népérien de x > 0.
tg ·-
.- sin ·'
cos cotg ·-
.- cos
sin ·' arctg ·-
. - tg- ·' arccos ·-
1
. - cos- ·' arcsin ·-
1
. - sin- •
1

ch t := !(et+ e-t); sh t := !(é - e-t); th := ~k ; coth := ~k ;

argch := ch - l ; argsh := sh - l ; argth := th - l .
340 CHAPITRE X. INDEX DES NOTATIONS, FIGURES ET TERMES

P(E) désigne l'ensemble des parties d'un ensemble E.

C(E) désigne l'ensemble des fonctions réelles continues sur E.
Cb(E) désigne l'ensemble des fonctions réelles continues bornées sur E.
Cj (E) désigne 1'ensemble des fonctions réelles de classe Cj sur E .
Cl(E) désigne les f E Cj(E) dont les dérivées d'ordre 0, ... ,j sont bornées
sur E.
Se désigne l'ensemble des permutations de {1, ... ,.e} (pour tout .e EN*).
U ·V= tuv désigne le produit scalaire (usuel) de 2 vecteurs U, VE Rd.
llUll désigne la norme (euclidienne ou non) d'un vecteur U E Rd.
x Vy =max{ x, y} désigne le maximum des deux réels x et y.
x /\ y = min{x, y} désigne le minimum des deux réels x et y .
lxl désigne le module de x E <C (et donc sa valeur absolue si x ER).
x+ =x V0 désigne la partie positive de x E R .
x- = (-x)+ désigne la partie négative de x ER.
Un= O(an) signifie que la suite (Un/an) est bornée.
Un= o(an) signifie que la suite (un/an) tend vers 0 (lorsque n---+ oo).
lim inf Xn et lim sup Xn désignent respectivement la plus petite et la plus
n n
grande valeur d'adhérence (dans R) de la suite réelle (xn)·
[limninf Xn](w) := li~inf (Xn(w)) pour toute suite (Xn) de v.a.r. et tout
wEO.
liminf An:=
n
LJ
n m~n
n
Am, limsupAn :=
n n m~n
n
LJ Am (voir la section 1.4).
LJ An= LJ An, mais n'est utilisé que si n f m =>An n Am= 0 (p.s.).
n n

X.2 Autres notations

Nota Bene Les chiffres en gras renvoient à la page.

B(p) désigne la loi de Bernoulli de paramètre p Déf. 1.3.5, 27

B(n,p) désigne la loi de binômiale de paramètres n,p Déf. 1.3.7, 28
t:(.X) désigne la loi exponentielle de paramètre À Déf. 1.3.29, 30
FT est la tribu associée à un temps d'arrêt T Déf. 111.1.3 et ex. 111.1.4, 61
X.3. FIGURES 341

g (p) désigne la loi géométrique de paramètre p Déf. 1.3.14, 28

1-l(N, n,p) désigne une loi hypergéométrique Définition 1.3.11, 28
LI = LI (7, IP) et L 2 = L 2 (7, IP) désignent respectivement l'ens. des v .a.
intégrables et l'ens. des v.a. de carré intégrable Déf. 1.2.11, 23
JJVllP désigne la norme dans LP(7,IP) de VE LP Déf. 1.6.l(i), 41
N(m, a2)
désigne une loi gaussienne (normale) Déf. 1.3.32, 31
N(m, K) désigne la loi d'un vecteur gaussien Déf. 1.3.35, 31
(n, 7) désigne un espace probabilisable Définition 1.1.1, 12
(n, 7, IP) désigne un espace probabilisé Définition 1.1.3, 12
P(A) désigne la loi de Poisson de paramètre À Déf. 1.3.20, 29
a{XI, ... , Xn} désigne la tribu engend. par XI, ... , Xn Déf. 1.2.1, 19
() désigne le décalage sur l'espace canonique Déf. 111.1.10 64, et 84
U(O) désigne la loi uniforme sur 0 c Rd Définition 1.3.25, 30

X.3 Figures
Nota Bene Les chiffres en gras renvoient à la page.

Table de la loi normale centrée réduite : 36

Figure 111.1 Graphe d'un début de traject. de la marches. sur Z 60

Figure 111.2 Un début de traject. de la marche simple dans Z 2 61
Figure 111.3 Principe de réflexion de D. André (lemme 111.5.2) 73
Figure V.l : 3 montées à travers [a, b] d'un début de trajectoire 115
Figure Vlll.1 Temps d'atteinte composé TE+ Tp o ()TE 192
Figure Vlll.2 Arbres homogènes, d = 3 et d = 4 197
Figure Vlll.3 Chaîne de Galton-Watson 210
Figure VIII.4 : Marche simple sur le cube 226

Figure IX.1 Graphe de transition de la chaîne du problème Vll.7 275

Figure IX.2 Boule B(a, 7) de l'arbre 'R2 du problème VII.18.(13) 298
342 CHAPITRE X. INDEX DES NOTATIONS, FIGURES ET TERMES

X.4 Terminologie

Nota Bene Les chiffres en gras renvoient à la page.

Absolument continue (loi ou variable aléatoire) Déf. 1.2.10, 22

Adapté (processus) Définition V.1.1, 109
Apériodique (état, classe) Déf. IV.2.5 et Prop. IV.2.7 90, Th. IV.5.5 105
Bayes (formule de) Proposition 1.1.18, 16
Bienaymé-Tchebitchev (inégalité de) Exercice 1.2.15, 24
Borel-Cantelli (lemmes de) Section 1.4, 37
Carré intégrable (variable aléatoire de) Définition 1.2.11, 23
Classe de communication Définition IV.2.1, 89
Combinaisons avec répétitions Section 1.3.41, 35
Convergence dominée (théorème de) Théorème 1.6.2, 42
Convergence monotone (théorème de) Théorème I.6.2, 42
Corrélation linéaire (coefficient de) Corollaire 1.2.13, 24
Covariance Définition 1.2.11, 23
Décalage (opérateur 0) Définition IIl.1.10, 64, et 84
Densité (d'une variable aléatoire) Définition 1.2.10, 22
Discrète (loi ou variable aléatoire) Proposition I.2.5, 21
Écart-type Corollaire 1.2.13, 24
Doob (théo., décomp.) Th. V.1.8, V.2.3, V.3.1112, 113, 115, Ex. V.3.11119
Ergodique (état, théorème) Déf. IV.4.1 et Th. IV.5.5, 98 et 105
Espace canonique (des traject.) Rem. IIl.1.9 et Sect. IV.l, 64 et 79
Espace probabilisable Définition 1.1.1, 12
Espace probabilisé (ou de probabilité) Définition 1.1.3, 12
Espérance (d'une variable aléatoire) Définition I.2.4, 20
Événement Définition I.1.1, 12
Fatou (lemme de) Théorème 1.6.2, 42
Filtration Sect. IIl.1, V.1 et VI.1, 59, 109 et 121
Fonction génératrice Remarque I.5.2, 39
Fonction de répartition Remarque I.2.3, 20
X.4. TERMINOLOGIE 343

Fubini (théorème de) Théorème 1.2.18, 25

Graphe de transition (d'une chaîne de Markov) 86
Gaussienne (variable, loi) Déf. 1.3.32 et 1.3.35, 31
Homogène (chaîne de Markov) Définition IV.1.6, 82
Indépendance (événements) Déf. 1.1.25 et 1.1.27, 17 et 18
Indépendance (variables aléatoires) Définition 1.2.21, 26
Intégrable (variable aléatoire) Définition 1.2.4, 20
Intégrale stochastique (discrète) Exercice V.1.9, 112
Invariante (mesure) Définition IV.3.1, 94
Irréductible (chaîne de Markov) Définition IV.2.1, 89
Jensen (inégalité de convexité de) Th. 1.2.17 et 11.4.2, 24 et 58
Jeu de pile ou face (illimité) Remarque 1.3.16, 29
Loi (d'une variable aléatoire) Définition 1.2.1, 19
Loi du 0-1 Exercice V.3.6, 117
Loi initiale Section IV .1, 79
Loi multinômiale Section 1.3.41, 33
Markov (inégalité de) Exercice 1.2.15, 24
Markov (chaîne de, propriété de) Définition IV.1.1, 79
Matrice de covariance (ou de dispersion) Définition 1.2.11, 23
Médiane (d'une v.a.r. ou d'une loi sur~) Remarque 1.2.3, 20
Mesure (positive, sur E fini ou dénombrable) 83
Multinômiale (loi) Section 1.3.41, 33
Négligeable (événement) Définition 1.1.3, 12
Normale (variable, loi) Déf. 1.3.32 et 1.3.35, 31
Norme dans LP = LP(T, JP) Définition 1.6.l(i), 41
Noyau de transition Définition IV.1.4, 80
Partition (presque sûre) Proposition 1.1.17, 16
Pas élémentaire (d'une marche aléatoire) Section 111.1, 59
Période (d'un état, d'une classe) Déf. IV.2.5 et Prop. IV.2.7, 90
Presque sûr (événement) Définition 1.1.3, 12
Polya (urne de) Exercice V.3.7, 118
344 CHAPITRE X. INDEX DES NOTATIONS, FIGURES ET TERMES

Probabilité Définition I.1.3, 12

Probabilité conditionnelle Définition I.1.14, 15
Probabilité tabou Exercice IV.1.16, 88
Probabilités totales (formule des) Proposition I.1.17, 16
Probabilités de transition Définition IV.1.4, 80
Récurrent(e) Sect. 111.4 et Déf. IV.2.9, 70 et 91
Récurrent positif, nul Déf. IV.4.1 et IV.4.8, 98 et 102
Renouvellement (théo., proc.) Probl. Vll.24 et VIl.26, 165 et 168
Réversible (mesure, ou matrice stochastique) Déf. IV.4.10, 102
Schwarz (inégalité de) Corollaire I.2.13, 24
u-algèbre Définition 1.1.1, 12
Simple (marche) Définition 111.1.1, 59
Simulation Exercice I.3.40, 33
Stirling (formule de) Exercice 1.8.4, 46
Stochastique (matrice) Section IV .1, 83
Temps d'arrêt Déf. 111.1.3 et ex. 111.1.4, 61 et 63
Transitoire Sect. 111.4 et Déf. IV.2.9, 70 et 91
Tribu Définition 1.1.1, 12
Tribu engendrée Définition 1.2.1, 19
Variable aléatoire Définition 1.2.1, 19
Vecteur (aléatoire) gaussien Définition 1.3.35, 31
 Bibliographie
Les cieux pour les mortels sont un livre entrouvert,
Ligne à ligne à leurs yeux par la nature offert;
Chaque siècle avec peine en déchiffre une page,
Et dit : Ici finit ce magnifique ouvrage.
(Alphonse de Lamartine)

[Bac] BACLAWSKI K., Introduction to Probability with R, Chapman &

Hall/CRC, 2008.

[Bau] BAUER H., Probability theory, De Gruyter, Berlin-New-York 1996.

[B-B] BACCELLI F., BRÉMAUD P., Elements of queueing theory, Springer,
Berlin 1994.

[B-EK] BENAÏM M., EL KAROUI N., Promenade aléatoire, Éditions de

l'école polytechnique, Palaiseau 2004.

[B-J] BRANCOVAN M., JEULIN T., Probabilités (niveau Ml), Ellipses,

Paris 2006.

[Bo] BOULEAU N., Processus stochastiques et applications, Hermann, Paris

1988.

[Br] BRÉMAUD P., Point processes and queues, Springer, Berlin 1981.
[Cl] CHUNG K.L., A course in probability theory, Academic Press, 1974.
[C2] CHUNG K.L., Markov chains with stationary transition probabilities,
Springer, 1960.

[C-G-D-M] COTTRELL M., GENON-CATALOT V., DUHAMEL C.,

MEYRE T., Exercices de probabilités, Cassini, Paris 1999.

[D-R-R] DEL MORAL P., RÉMILLARD B., RUBENTHALER S., Une

introduction aux probabilités, Ellipses, Paris 2006.

[Du] DURRETT R., Probability : theory and examples, Duxbury Press,

1996.

[F] FELLER W., An introduction to probability theory and its applications,

Vol. 1, Wiley and sons, New-York 1968.
346 BIBLIOGRAPHIE

[F-F] FOATA D., FUCHS A., Processus stochastiques, Dunod, Paris 2002.

[F-F-F] FOATA D., FRANCHI J., FUCHS A., Calcul des probabilités, 3°
édition, Dunod, Paris 2012.

[G] GRAHAM C., Chaînes de Markov, Dunod, Paris 2008.

[G-S] GRIMMET G., STIRZAKER D., Probability and Random Processes,

Clarendon Press, Oxford 1992.

[G-S'] GRIMMET G., STIRZAKER D., Probability and Random Processes:

Problems and Solutions, Clarendon Press, Oxford 1992.

[H] HÂGGSTRÔM O., Finite Markov chains and algorithmic applications,

Cambridge University Press, 2002.

[J] JAFFARD P., Probabilités, Masson, Paris 1976, 1988.

[K] KARLIN S., Initiation aux processus aléatoires, Dunod, Paris 1969.
[K-T] KARLIN S., TAYLOR H., A first course in stochastic processes,
Academic Press, New-York 1975.

[La] LAWLER G.F., Introduction to stochastic processes, Chapman & Hall,

Londres 1995.

[Les] LESIGNE E., Une introduction aux théorèmes limites du calcul des
probabilités, Ellipses, Paris 1997.

[Let] LETAC G., Intégration et probabilités, Masson, Paris- 1997.

[L-L] LAMBERTON D., LAPEYRE B., Introduction au calcul stochastique

appliqué à la finance, Math. et Appl., Ellipses, Paris 1991.
[M-P-B] MAZLIAK M., PRIOURET P., BALDI P., Chaînes de Markov,
exercices, Hermann, Paris 1998.

[M-N] MÉTIVIER M., NEVEU J., Cours de probabilités, Éditions de l'école

polytechnique, Palaiseau 1979, 1983.

[Nel] NEVEU J., Martingales à temps discret, Masson, Paris 1972.

[Ne2] NEVEU J., (Introduction aux) Probabilités, Éditions de l'école poly-

technique, Palaiseau 1990, 1995.
BIBLIOGRAPHIE 347

[No) NORRIS J.R., Markov chains, Cambridge University Press, Cambridge

1997.

[P) PARDOUX É., Processus de Markov et applications, Dunod, Paris 2007.

[Re) REVUZ D., Probabilités, Hermann, Paris 1994.

[Rob) ROBERT P., Réseaux et files d'attente: méthodes probabilistes, Sprin-

ger, Berlin 2000.

[Ros) ROSS S., Introduction to probability models, Academic Press, 1980.

[S) SENETA E., Non-negative matrices and Markov chains, Springer, Berlin
1973.

[T) TOULOUSE P.S., Thèmes de probabilités et statistique, Dunod, Paris

1999.

[V) VALLOIS P., Modélisations stochastiques et simulations, Ellipses, Paris

2007.

[Wi) WILLIAMS D., Probabilities with martingales, Cambridge University

Press, 1991.

[Wo) WOESS W., Catene di Markov e teoria del potenziale nel discreto,
Pitagora editrice, Bologna 1996.
Achevé d'imprimer en février 2013
N° d'impression 1302.0095
Dépôt légal, février 2013
Imprimé en France
Processus aléatoires à temps discret

Ce livre traite d'importants processus aléatoires, qui s'appliquent dans

de nombreux domaines et illustrent pleinement les fondements des
probabilités. Ces fondements sont présentés et expliqués dans un cha-
pitre introductif : inégalités de Schwarz, de Markov, de Jensen, lemmes
de Borel-CantellL théorèmes de convergence monotone ou dominée,
loi forte des grands nombres, théorème central limite. Le second c ha-
pitre présente très progressivement l'espérance conditionnelle, notion
essentielle que les étudiants abordent en général difficilement. Les qua-
tre chapitres suivant constitl.~ent le propos principal du livre, et traitent
successivement : marches aléatoires, chaînes de Markov, martingales,
et processus de Poisson. Ils contiennent beaucoup d'exercices, qui sont
de difficulté variable et résolus, de même que les 34 problèmes résolus
qui sont destinés à illustrer et à compléter le propos principal, et présen-
tent en particulier des applications et développements ultérieurs de la
théorie des chaînes de Markov.
La lecture et l'usage de ce livre requièrent principalement la connais-
sance de l'algèbre linéaire des matrices et des capacités (de niveau
Licence) de calcul sur les séries et les intégrales. D'un volume très rai-
sonnable pour ce qui concerne le corpus central, il reste maniable et
accessible et devrait s'avérer utile aux étudiants des Masters scientifiques
et des écoles d'ingénieurs. Il fournit en particulier les connaissances
souhaitables pour présenter l'option probabiliste de l'agrégation de
mathématiques. Sa lecture est facilitée par un lexique détaillé de nota-
tions et de terminologie.

L'auteur est agrégé et doc teur, professeur d e mathématiques à l'université de ~0

'E
Strasbourg. Cherc heur à /'Institut de Recherc he Mathématique Avancée de "c:>
Strasbourg, il est spécialisé en théorie des probabilités, e t auteur d 'une série de "
©
travaux de recherche sur les processus aléatoires à valeurs dans divers espaces
géométriques ou relativistes. ~>
"u0
.g
8
0
cr:

[Link]
-·- ______ L