Processus autorégressif 1

Processus autorégressif
Un processus autorégressif est un modèle de régression pour séries temporelles dans lequel la série est expliquée
par ses valeurs passées plutôt que par d'autres variables.

Définition
Un processus autorégressif d'ordre p, noté AR(p) est donné par:
Définition — AR(p):
où sont les paramètres du modèle, est une constante et un bruit blanc.

En utilisant l'opérateur des retards, on peut l'écrire:

Processus AR(1)
Un processus autorégressif d'ordre 1 s'écrit:

Représentation en moyenne mobile

On peut formuler le processus AR(1) de manière récursive par rapport aux conditions précédentes:

En remontant aux valeurs initiales, on aboutit à:

Propriété —

Il est à noter que les sommes vont ici jusqu'à l'infini. Cela est dû au fait que les séries temporelles sont souvent
supposées commencer depuis et non pas . Certains auteurs considèrent cependant que la série
commence en et ajoutent alors la valeur initiale dans la formule.
On peut voir que est le bruit blanc convolé avec le noyau plus une moyenne constante. Si le bruit blanc est
gaussien, alors est aussi un processus normal.

Représentation dans le domaine de la fréquence

La Densité spectrale de puissance est la Transformée de Fourier de la fonction d'autocovariance. Dans le cas discret,
cela s'écrit:

Ce développement est périodique dû à la présence du terme en cosinus au dénominateur. En supposant que le temps
d'échantillonnage ( ) est plus petit que le decay time ( ), alors on peut utiliser une approximation
continue de :

qui présente une forme lorentzienne pour la densité spectrale:

où est la fréquence angulaire associée à .

Processus autorégressif 2

Moments d'un processus AR(1)

Pour calculer les différents moments d'un processus AR(1), soit son espérance, sa variance, son autocovariance et
son autocorrélation, on va supposer que les bruits blancs sont indépendamment et identiquement distribués,
d'espérance nulle et de variance (que l'on note ).

Espérance

Démonstration par raisonnement par récurrence

• P(0) (initialisation): , parce que X0 est déterministe. L'expression est:

• P(t+1) (hérédité ):

Comme E est un opérateur linéaire:

Avec l'hypothèse d'induction:

Par un changement de variables dans la somme, i → i-1:

Et, avec :

Variance

Autocovariance

Autocorrélation
Processus autorégressif 3

Conditions de stationnarité
Le paramètre détermine si le processus AR(1) est stationnaire ou non:

ϕ<1

Sous la condition, , les résultats suivant viennent du fait que si alors la série géométrique

On peut voir que la fonction d'autocovariance décroît avec un taux de . On voit ici que l'espérance
et la variance sont constantes et que l'autocovariance ne dépend pas du temps: le processus est donc stationnaire.

ϕ=1
Lorsque , le processus s'écrit: et donc, en considérant contrairement à avant que

Processus AR(p)
Un processus AR(p) s'écrit:

Moments
Les différents moments d'un processus stationnaire (voir section suivante) sont[1]:

Les formules de la variance et de la covariance correspondent aux équations dites de Yule et walker (voir plus bas).
Processus autorégressif 4

Condition de stationarité
Théorème — Un processus AR(p) est stationnaire si le module des solutions (les racines) de son équation
caractéristique est à chaque fois strictement supérieur à 1 en valeur absolue.
La condition est souvent formulée différemment, selon laquelle les racines doivent être en dehors du cercle complexe
unitaire.

Exemple: AR(1)
Le polynôme des retards d'un processus AR(1) s'écrit: . Sa résolution (en

remplaçant l'opérateur retard L par la simple valeur x) donne . La condition que la

solution soit plus grande que 1 revient à

Exemple: AR(2)
Le polynôme des retards d'un processus AR(2) s'écrit:
. La résolution de l'équation du second degré amène aux
[2]
conditions suivantes :
•
•
•

Équations de Yule-Walker
Les équations de Yule-Walker établissent une correspondance directe entre les paramètres du modèle (les et )
et ses autocovariances. Elles sont utiles pour déterminer la fonction d'autocorrélation ou estimer les paramètres. Elles
établissent que:

équation YW —

Les coefficients représentent la fonction d'autocovariance de X d'ordre j.

Lorsque l'on inclut également l'autocovariance d'ordre 0 (en fait la variance), il faut également rajouter la variance
des résidus pour la première équation. Ce terme supplémentaire ne se retrouve que dans la première équation car on a
fait l'hypothèse d'indépendance des résidus (et donc ).

équation YW —

est la déviation (écart-type) du bruit blanc et δj le Symbole de Kronecker, qui vaut 1 si j=0 et 0 autrement.
Il est aussi possible d'exprimer ces équations en fonctions de l'autocorrélation:

équation YW —
Processus autorégressif 5

Exemples

AR(1)
Pour un processus AR(1), on a :

On remarque que l'on retrouve rapidement, avec j=1, le résultat obtenu plus haut :

en prenant l'équation supplémentaire pour , qui devient alors

AR(p)

Que l'on peut écrire sous forme matricielle:

Preuve
L'équation définissante du processus AR est

En multipliant les deux membres par Xt − j et en prenant l'espérance, on obtient

Or, il se trouve que E[XtXt − j] = γj par définition de la fonction d'autocovariance. Les termes du bruit blancs sont
indépendants les uns des autres et, de plus, Xt − j est indépendant de εt où j est plus grand que zéro. Pour j > 0,
E[εtXt − j] = 0. Pour j = 0,

Maintenant, on a pour j ≥ 0,

Par ailleurs,

qui donne les équations de Yule-Walker:

Processus autorégressif 6

pour j ≥ 0. Pour j < 0,

Estimation
En partant du modèle AR(p) sans constante donné par:

Les paramètres à estimer sont les et .

Méthode de Yule-Walker
La méthode consiste à reprendre les équations de Yule-Walker en inversant les relations: on exprime les coefficients
en fonction des autocovariances. On applique alors le raisonnement de la Méthode des moments: on trouve les
paramètres estimés d'après les autocovariances estimées.
En prenant l'équation sous sa forme matricielle:

Le vecteur des paramètres peut alors être obtenu.

Maximum de vraisemblance inconditionnel

L'estimation d'un modèle AR(P) par la méthode du maximum de vraisemblance est délicate car la fonction de
vraisemblance est très complexe et n'a pas de dérivée analytique. Cette difficutlé provient de l'interdépendance des
valeurs, ainsi que du fait que les observations antérieures ne sont pas toutes disponibles pour les p premières valeurs.

Maximum de vraisemblance conditionnel

Une manière de simplifier la complexité de la fonction de vraisemblance est de conditionner cette fonction aux p
premières observations. La fonction de log-vraisemblance devient:

La maximisation de cette fonction par rapport aux paramètres correspond à la minimisation des erreurs du
modèle. L'estimateur du maximum de vraisembance conditionnel correspond ainsi à celui des moindres carrés.
L'estimateur obtenu sera équivalent à l'estimateur inconditionnel dans de grands échantillons et tous deux ont la
même distribution asymptotique (Hamilton 1994, p. 126). Il peut être biaisé[3]
Processus autorégressif 7

Propriétés des estimateurs

Davidson et McKinnon (1993) rapportent que l'estimateur des moindres carrés conditionnel est biaisé, mais
néanmoins convergent. Cryer et Chan (2008) proposent une simulation Monte-Carlo pour tester les différents
estimateurs.

Annexes

Bibliographie
• (en) Jonathan D. Cryer et Kung-Sik Chan, Time Series Analysis with Applications in R, New York, Springer,
2008, 2e éd. (ISBN 978-0-387-75958-6, LCCN 2008923058 [4]), p. 491
• (en) Russell Davidson et James G. MacKinnon, Estimation and Inference in Econometrics, New York, Oxford
University Press, 1993 (ISBN 978-0-19-506011-9, LCCN 92012048 [5]), p. 874
• (en) William H Greene, Econométrie, Paris, Pearson Education, 2005, 5e éd. (ISBN 978-2-7440-7097-6), p. 2
• (en) James Douglas Hamilton, Time Series Analysis, Princeton N.J, Princeton University Press, 1994
[6]
(ISBN 978-0-691-04289-3, LCCN 93004958 ), p. 799
• (en) G. S. Maddala et In-Moo Kim, Unit Roots, Cointegration and Structural Change, Cambridge, Cambridge
University Press, 2003, 5e éd., relié (ISBN 978-0-521-58257-5, LCCN 98017325 [7]), p. 505

Notes et références
[1] selon Hamilton (1994, )
[2] voir Cryer (2008, )
[3] voir Greene (2005, )
[4] http:/ / lccn. loc. gov/ 2008923058
[5] http:/ / lccn. loc. gov/ 92012048
[6] http:/ / lccn. loc. gov/ 93004958
[7] http:/ / lccn. loc. gov/ 98017325

Articles connexes
• ARMA
• Séries temporelles
• Régression fallacieuse
• Marche aléatoire

• Portail des probabilités et de la statistique

Sources et contributeurs de l’article 8

Sources et contributeurs de l’article

Processus autorégressif Source: http://fr.wikipedia.org/w/index.php?oldid=101758399 Contributeurs: Albmont, Arnaud.trebaol, Bertol, Cantons-de-l'Est, Dhatier, Ethaniel, EtudiantEco, Ggal,
Hector2, Jean-Frédéric, Mro, Poulos, Sebastro, Ten0k, Thibautlg, Verbex, Winnie 007, 18 modifications anonymes

Source des images, licences et contributeurs

Fichier:Logo proba 4.svg Source: http://fr.wikipedia.org/w/index.php?title=Fichier:Logo_proba_4.svg Licence: Creative Commons Attribution-Sharealike 3.0 Contributeurs: User:Ipipipourax

Licence
Creative Commons Attribution-Share Alike 3.0
//creativecommons.org/licenses/by-sa/3.0/