See discussions, stats, and author profiles for this publication at: https://www.researchgate.

net/publication/323996031

Cours de statistique bayésienne.

Presentation · December 2017

CITATIONS READS

0 1,944

1 author:

Anne Philippe
University of Nantes
152 PUBLICATIONS 1,891 CITATIONS

SEE PROFILE

All content following this page was uploaded by Anne Philippe on 25 March 2018.

The user has requested enhancement of the downloaded file.

 Statistique Statistique
Bayésienne Contexte Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien Modèle Bayésien

Inférence Modèle paramétrique Inférence

Estimateurs de Bayes Estimateurs de Bayes
Régions de crédibilité Régions de crédibilité

Statistique Bayésienne Prévision des futures

observations
On observe une réalisation d’un vecteur aléatoire x1 , . . . , xn Prévision des futures
observations

Lois a priori Lois a priori

(n)
Approche subjective
Modèle hierarchique
x = (x1 , . . . , xn ) ⇠ f✓ (x), ✓ 2 ⇥ est inconnu Approche subjective
Modèle hierarchique

Anne Philippe Approche non informative

n o Approche non informative

Modèles (n) Modèles

Hiérarchiques On suppose que la famille de lois f✓ ; ✓2⇥ est connue Hiérarchiques
Laboratoire de Mathématiques Jean Leray Paramètres multi-variés et Paramètres multi-variés et
données historiques. données historiques.
Université de Nantes E↵et individuel
Objectif : E↵et individuel

Choix de modèles Choix de modèles

Décembre 2017 et BMA l’estimation du paramètre ✓ à partir et BMA
Sélection de modèle Sélection de modèle
Bayesian Model Averaging 1. des observations x1 , . . . xn Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

FB et choix de la loi a priori
2. des informations complémentaires information a FB et choix de la loi a priori
FB et Test
priori FB et Test

Classification Classification
bayésienne bayésienne
[email protected] Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Modèle Bayésien Statistique

Quelques références Bayésienne
Inférence Bayésienne

Anne Philippe Anne Philippe

Estimateurs de Bayes
1. Congdon, Peter Applied Bayesian modelling. Wiley Series in Modèle Bayésien
Régions de crédibilité Modèle Bayésien
Probability and Statistics. item Andrew Gelman, John B. Prévision des futures observations
Inférence Inférence
Carlin, Hal S. Stern, and Donald B. Rubin. ”Bayesian Data Estimateurs de Bayes
Lois a priori Estimateurs de Bayes

Analysis” Chapman and Hall Texts in Statistical Science Régions de crédibilité

Prévision des futures Approche subjective
Régions de crédibilité
Prévision des futures
Series. observations
Modèle hierarchique
observations

Lois a priori Lois a priori

2. Ghosh, J. K., Delampady, M., and Samanta, T. (2006). An Approche subjective Approche non informative Approche subjective
Modèle hierarchique Modèle hierarchique
Introduction to Bayesian Analysis, Theory and Methods. Approche non informative
Modèles Hiérarchiques Approche non informative

Springer. Modèles Paramètres multi-variés et données historiques. Modèles

Hiérarchiques E↵et individuel Hiérarchiques
3. Marin, J.-M. and Robert, C. (2007). Bayesian Core : A Paramètres multi-variés et Paramètres multi-variés et

Practical Approach to Computational Bayesian Statistics.

données historiques.
E↵et individuel
Choix de modèles et BMA données historiques.
E↵et individuel

Springer. Choix de modèles

Sélection de modèle Choix de modèles
et BMA Bayesian Model Averaging et BMA
4. C.P. Robert The Bayesian Choice : from Decision-Theoretic Sélection de modèle
Bayesian Model Averaging Facteur de Bayes
Sélection de modèle
Bayesian Model Averaging

Motivations to Computational Implementation (2001) Facteur de Bayes FB et choix de la loi a priori Facteur de Bayes
Springer-Verlag, New York FB et choix de la loi a priori
FB et Test FB et choix de la loi a priori
FB et Test FB et Test

5. C.P. Robert et G. Casella Monte Carlo Statistical Methods Classification Classification bayésienne Classification
bayésienne bayésienne
(1999) Springer-Verlag, New York. Modèle de mélange
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters Nombre de clusters
 Modèle Bayésien Statistique Statistique
Inférence Bayésienne Approche bayésienne Bayésienne

Anne Philippe Anne Philippe

Estimateurs de Bayes
Régions de crédibilité I Incertitude sur le paramètre ✓ est représentée par une
Modèle Bayésien Modèle Bayésien
Prévision des futures observations Inférence probabilité ⇡ sur ⇥. Inférence
Lois a priori Estimateurs de Bayes
I Le paramètre inconnu devient une variable aléatoire
Estimateurs de Bayes
Régions de crédibilité Régions de crédibilité
Approche subjective Prévision des futures
observations comme les observations Prévision des futures
observations
Modèle hierarchique
Lois a priori Lois a priori
Approche non informative Approche subjective Approche subjective

I
Modèle hierarchique Modèle hierarchique
Modèles Hiérarchiques Approche non informative On interprète la loi des observations f✓ comme la loi Approche non informative

Paramètres multi-variés et données historiques. Modèles conditionnelle des observations sachant ✓ Modèles
E↵et individuel Hiérarchiques Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et

Choix de modèles et BMA données historiques.

E↵et individuel
f (x|✓) = f✓ (x) données historiques.
E↵et individuel

Sélection de modèle Choix de modèles Choix de modèles

Bayesian Model Averaging et BMA et BMA
Sélection de modèle Sélection de modèle
Facteur de Bayes Bayesian Model Averaging ✓⇠⇡ Bayesian Model Averaging

FB et choix de la loi a priori Facteur de Bayes

Définition Facteur de Bayes

FB et Test FB et choix de la loi a priori

FB et Test
FB et choix de la loi a priori
FB et Test
⇡ est la loi a priori sur ✓.
Classification bayésienne Classification X1 , ...Xn observations
Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange Modèle de mélange

Nombre de clusters Nombre de clusters Nombre de clusters

Statistique Statistique
Inférence Bayésienne Bayésienne Les lois qui interviennent ... Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien On se donne f (x|✓) et ⇡(✓) Modèle Bayésien

Inférence Inférence
I la loi jointe de (✓, x),
loi a priori Observations
Estimateurs de Bayes
Régions de crédibilité
Estimateurs de Bayes
Régions de crédibilité

✓⇠⇡ x1 ...xn ⇠ f (x|✓)

Prévision des futures
observations
Prévision des futures
observations
'(✓, x) = f (x|✓)⇡(✓) ;
Lois a priori Lois a priori
Approche subjective Approche subjective
Modèle hierarchique I la loi marginale de x, Modèle hierarchique
On actualise la loi sur ✓ Approche non informative Approche non informative

à partir des observations Modèles Z Z Modèles

Hiérarchiques Hiérarchiques
Paramètres multi-variés et
m(x) = '(✓, x) d✓ = f (x|✓)⇡(✓) d✓ ; Paramètres multi-variés et
données historiques. données historiques.
⇡(✓)
⇡(✓|x) = f (x|✓) m(x) . E↵et individuel E↵et individuel

Choix de modèles I la loi a posteriori de ✓, Choix de modèles

et BMA et BMA
Sélection de modèle Sélection de modèle
Bayesian Model Averaging
f (x|✓)⇡(✓) Bayesian Model Averaging

Définition Facteur de Bayes ⇡(✓|x) = ; Facteur de Bayes

FB et choix de la loi a priori
m(x) FB et choix de la loi a priori

La loi conditionnelle de ✓ sachant les observations x est FB et Test FB et Test

Classification Classification
appelée loi a posteriori bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Statistique
évolution séquentielle de la loi a posteriori Bayésienne Modèle binomial : Pièces conformes Bayésienne

n observations Anne Philippe Anne Philippe

I X représente le nombre de pièces non-conformes dans
Modèle Bayésien Modèle Bayésien
un lot de n pièces.
Inférence Inférence
loi a priori Observations Estimateurs de Bayes I La proportion p de pièces non conformes est inconnue : Estimateurs de Bayes
✓ ⇠ ⇡0 (✓) (x1 , ...xn ) ⇠ f (x|✓) Régions de crédibilité Régions de crédibilité
Prévision des futures
observations
”toutes les valeurs sont équiprobables.” Prévision des futures
observations

Lois a priori Lois a priori

Loi a posteriori Approche subjective Approche subjective

✓|x ⇠ ⇡n (✓|x1 , ...xn ) Modèle hierarchique Traduction bayésienne Modèle hierarchique

Approche non informative Approche non informative

Modèles Modèles

Mise à jour : on observe xn+1 Hiérarchiques I La loi a priori : la loi uniforme ⇡(p) = I[0,1] (p) Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et
données historiques.
I Observation X : X ⇠ B(n, p) : données historiques.
E↵et individuel E↵et individuel

Choix de modèles P(X = x|p) = xn p x (1 p)n x Choix de modèles

loi a priori Observation
et BMA et BMA
Sélection de modèle I Loi a posteriori sur p : c’est une loi beta Sélection de modèle
✓ ⇠ ⇡n (✓|x1 , ...xn ) xn+1 ⇠ f (x|✓)
Bayesian Model Averaging Bayesian Model Averaging
Be(x + 1, n x + 1)
Facteur de Bayes Facteur de Bayes
FB et choix de la loi a priori FB et choix de la loi a priori

Loi a posteriori FB et Test FB et Test

⇡n+1 (✓|x1 , ...xn , xn+1 ) x n x

Classification
bayésienne ⇡(p|X = x) / P(X = x|p)⇡(p) = p (1 p) I[0,1] (p) Classification
bayésienne
/ ⇡n (✓|x1 , ..., xn )f (xn+1 |✓) Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
a ab
Loi Beta x ⇠ Be(a, b), E(x) = a+b et Var(x) = (a+b)2 (a+b+1)
Bayésienne Bayésienne

Anne Philippe Anne Philippe

0.5 0.5 0.5 0.5

0.5 1 3 15
Modèle Bayésien Modèle Bayésien
1 2 3 4 5
1.0 2.0 3.0

1. La loi a priori sur p : loi uniforme

0 2 4 6 8

0 5 10 15

Inférence Inférence
deta dist

deta dist

deta dist

deta dist

Estimateurs de Bayes
Régions de crédibilité
la moyenne de p vaut 12 Estimateurs de Bayes
Régions de crédibilité
0.0 0.8 0.0 0.8 0.0 0.8 0.0 0.8

1 1 1 1
Prévision des futures
observations 2. On observe x le nombre de pièces défectueuses Prévision des futures
observations
0.5 1 3 15
Lois a priori Lois a priori
0.6 0.8 1.0 1.2 1.4

0.0 1.0 2.0 3.0

5 10 15
1 2 3 4 5

Approche subjective Approche subjective

deta dist

deta dist

deta dist

deta dist

Modèle hierarchique + Modèle hierarchique

Approche non informative Approche non informative
0

0.0 0.8 0.0 0.8 0.0 0.8 0.0 0.8

Modèles 3. La loi a posteriori sur p : loi beta Modèles

3 3 3 3 Hiérarchiques Hiérarchiques
0.5 1 3 15
Paramètres multi-variés et La moyenne de p sachant x vaut Paramètres multi-variés et
0.0 1.0 2.0 3.0

0 1 2 3 4 5
0 2 4 6 8

données historiques. données historiques.

0.0 0.5 1.0 1.5
deta dist

deta dist

deta dist

deta dist

E↵et individuel E↵et individuel

x +1 1 n x
0.0 0.8 0.0 0.8 0.0 0.8 0.0 0.8
Choix de modèles
et BMA
E(p|x) = = + Choix de modèles
et BMA
Sélection de modèle
n+2 2 2(n + 1) n + 2 Sélection de modèle
15 15 15 15
0.5 1 3 15
Bayesian Model Averaging Bayesian Model Averaging
5 10 15

0 1 2 3 4 5

0 1 2 3 4
0 5 10 15

Facteur de Bayes Facteur de Bayes

deta dist

deta dist

deta dist

deta dist

FB et choix de la loi a priori FB et choix de la loi a priori

FB et Test FB et Test
0

0.0 0.8 0.0 0.8 0.0 0.8 0.0 0.8

Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Statistique
la loi a priori uniforme suite des lois a posteriori quand le nb Bayésienne Modification de la loi a priori Bayésienne

Anne Philippe Anne Philippe

observations (n) varie
Modèle Bayésien Modèle Bayésien
a priori 100 200

Inférence Inférence
On envisage deux situations : une loi a priori sur p
1.4

0 2 4 6 8 10 12
8
Estimateurs de Bayes Estimateurs de Bayes
1.2

6
Régions de crédibilité Régions de crédibilité
(p + 1)/(p + 1)

I favorisant p < 1/2

1.0

Prévision des futures Prévision des futures

4
observations observations
0.8

2
Lois a priori I favorisant p > 1/2 Lois a priori
0.6

0
0.0 0.4 0.8 0.0 0.4 0.8 0.0 0.4 0.8
Approche subjective Approche subjective
p

300 400
p

500
p
Modèle hierarchique On suppose que p suit a priori une loi beta Modèle hierarchique
Approche non informative Approche non informative
15

I loi a priori p ⇠ Be(a, b)

15
Modèles Modèles

15
Hiérarchiques Hiérarchiques
10

10

10
Paramètres multi-variés et
données historiques.
I loi a posteriori sur p ⇠ Be(a + x, b + n x) Paramètres multi-variés et
données historiques.
5

5
E↵et individuel E↵et individuel

Choix de (a, b) :
0

0
0.0 0.4 0.8 0.0 0.4 0.8 0.0 0.4 0.8
Choix de modèles Choix de modèles
p p p
et BMA et BMA
600 700 800
Sélection de modèle I a << b favorise les valeurs de p < 1/2 Sélection de modèle
20

Bayesian Model Averaging Bayesian Model Averaging

20

10 15 20
a >> b favorise les valeurs de p > 1/2
15

15

Facteur de Bayes Facteur de Bayes

10

10

FB et choix de la loi a priori FB et choix de la loi a priori

FB et Test FB et Test
5

5
Classification Classification
0

0.0 0.4 0.8 0.0 0.4 0.8 0 0.0 0.4 0.8

p p p
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
loi a priori favorisant p < 1/2 ou p > 1/2 Bayésienne Comportement asymptotique de la loi a Bayésienne

a priori 5 10
Anne Philippe
posteriori Anne Philippe
0.0 0.5 1.0 1.5 2.0 2.5

Modèle Bayésien Modèle Bayésien

0.0 0.5 1.0 1.5 2.0 2.5 3.0
0.0 0.5 1.0 1.5 2.0 2.5

Inférence Inférence
dbeta(p, 2, 5)

Estimateurs de Bayes Estimateurs de Bayes

Régions de crédibilité Soit X1 , ..., Xn iid suivant la loi f✓ et ✓0 la vraie valeur du Régions de crédibilité
Prévision des futures Prévision des futures

0.0 0.4 0.8 0.0 0.4 0.8 0.0 0.4 0.8

observations
paramètre. observations

p p p Lois a priori Lois a priori

15 20 25 Approche subjective
Modèle hierarchique
Théorème Approche subjective
Modèle hierarchique
4

Soit ⇡(·) la densité de la loi a priori sur ✓ 2 ⇥ ⇢ R, continue

Approche non informative Approche non informative
4
3

Modèles Modèles
et positive en ✓0 , k0 2 N . Soit U un voisinage de ✓0 .
2

Hiérarchiques Hiérarchiques
2
1

Paramètres multi-variés et Paramètres multi-variés et

1

Pour un modèle régulier, on a

1

données historiques. données historiques.

0

E↵et individuel E↵et individuel

0.0 0.4

p
0.8 0.0 0.4

p
0.8 0.0 0.4

p
0.8

Choix de modèles
Z Choix de modèles
30 35 40 et BMA
⇡(✓|X1:n ) d✓ ! 1. et BMA
5

Sélection de modèle Sélection de modèle

5

U
5

Bayesian Model Averaging Bayesian Model Averaging

4

4
3

Facteur de Bayes Facteur de Bayes

3

quand n ! +1,
3
2

FB et choix de la loi a priori FB et choix de la loi a priori

2
1

FB et Test FB et Test
1

1
0

0.0 0.4 0.8 0.0 0.4 0.8 0.0 0.4 0.8 Classification Classification
p p p bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Statistique
Théorème de Bernstein-von Mises Bayésienne Loi a priori impropre Bayésienne

Anne Philippe Anne Philippe

Théorème Modèle Bayésien

Soit ⇡ une mesure positive et non une loi de probabilité sur Modèle Bayésien
⇥, i.e. ⇡(✓) > 0 pour tout ✓ 2 ⇥ et
Soit ⇡(·) la densité de la loi a priori sur ✓ 2 ⇥ ⇢ R, continue Inférence Inférence
Estimateurs de Bayes
Z Estimateurs de Bayes

et positive en ✓0 , k0 2 N. Soit ✓bn l’estimateur du maximum Régions de crédibilité Régions de crédibilité

de vraisemblance et notons
Prévision des futures
observations ⇡(✓) d✓ = +1. Prévision des futures
observations

Lois a priori Lois a priori

1
✓bn )
Approche subjective Approche subjective
t = n (✓
2 Modèle hierarchique Le cadre bayésien s’étend à un tel choix de loi a priori, dite Modèle hierarchique
Approche non informative Approche non informative
impropre, dès lors que
Modèles Modèles
en (·|X1:n ) la densité de la loi de t conditionnellement aux
et ⇡ Hiérarchiques Z Hiérarchiques

observations X1:n , alors sous les hypothèses de régularité du Paramètres multi-variés et

données historiques.
m(x) := f (x|✓)⇡(✓) d✓ < +1.
Paramètres multi-variés et
données historiques.
E↵et individuel E↵et individuel
modèle, nous avons
Choix de modèles Choix de modèles
Z et BMA
La loi a posteriori est définie par et BMA
1 1 1 0
en (t|X1:n ) (2⇡) 2 |I (✓0 )| 2 e 2 t I (✓0 )t dt ! 0 ps,
Sélection de modèle Sélection de modèle
⇡ Bayesian Model Averaging Bayesian Model Averaging

R Facteur de Bayes 1 Facteur de Bayes

FB et choix de la loi a priori ⇡(✓|x) = ⇡(✓)f (x|✓) FB et choix de la loi a priori

où I (·) désigne l’information de Fisher du modèle et ✓0 la FB et Test m(x) FB et Test

Classification Classification
vraie valeur du paramètre. bayésienne C’est bien une loi de probabilité bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Modèle Bayésien Statistique Statistique

Inférence Bayésienne Approximation de Monte Carlo Bayésienne

Anne Philippe Anne Philippe

Estimateurs de Bayes
Régions de crédibilité L’inférence est calculée à partir de la loi a posteriori.
Modèle Bayésien Modèle Bayésien
Prévision des futures observations Elle utilise
Inférence Inférence
Lois a priori Estimateurs de Bayes I sa fonction de répartition Estimateurs de Bayes
Régions de crédibilité Régions de crédibilité
Approche subjective Prévision des futures
I sa densité Prévision des futures
observations observations
Modèle hierarchique
Lois a priori I sa fonction quantile Lois a priori
Approche non informative Approche subjective Approche subjective

Modèles Hiérarchiques
Modèle hierarchique
I sa constante de normalisation Modèle hierarchique
Approche non informative Approche non informative

Paramètres multi-variés et données historiques. Modèles I ses moments Modèles

E↵et individuel Hiérarchiques Hiérarchiques
Paramètres multi-variés et I son mode Paramètres multi-variés et

Choix de modèles et BMA données historiques.

E↵et individuel
données historiques.
E↵et individuel

Sélection de modèle Choix de modèles

Ces quantités ne sont généralement pas connues Choix de modèles
Bayesian Model Averaging et BMA explicitement et une approximation de Monte Carlo est et BMA
Sélection de modèle Sélection de modèle
Facteur de Bayes Bayesian Model Averaging nécessaire pour calculer Bayesian Model Averaging

FB et choix de la loi a priori Facteur de Bayes

I les régions de confiance, Facteur de Bayes

FB et Test FB et choix de la loi a priori FB et choix de la loi a priori

I
FB et Test FB et Test

Classification bayésienne les estimateurs de Bayes de h(✓)

Classification Classification
Modèle de mélange bayésienne I les lois prédictives bayésienne
Modèle de mélange Modèle de mélange

Nombre de clusters Nombre de clusters Nombre de clusters

 Statistique Statistique
Description de la méthode Bayésienne Construction d’un estimateur de Bayes Bayésienne

Simuler Anne Philippe

Question
Anne Philippe

Modèle Bayésien Modèle Bayésien

✓1 , . . . , ✓m ⇠ ⇡(✓| x) ou une loi qui approche ⇡(✓|x) Quelle est la meilleure procédure pour estimer g (✓) à partir
Inférence Inférence
Estimateurs de Bayes de la loi a posteriori ? Estimateurs de Bayes

Approche exacte ou méthode (MCMC) Régions de crédibilité

Prévision des futures
Régions de crédibilité
Prévision des futures

A partir de l’échantillon simulé, on estime observations Elle repose sur la notion de risque observations

Lois a priori Lois a priori

I la densité ⇡(✓|x) par un estimateur classique Approche subjective
1. Risque (fréquentiste) : Approche subjective
Modèle hierarchique I quadratique Modèle hierarchique
(histogramme / estimateur à noyau) calculé sur Approche non informative
Z Approche non informative

✓1 , . . . , ✓ m Modèles
R(✓, ) = E✓ ((✓ 2
(x)) ) = (✓ 2
(x)) f (x|✓)dx Modèles
Hiérarchiques Hiérarchiques
I la fonction de répartition par le processus empirique Paramètres multi-variés et X Paramètres multi-variés et
données historiques. données historiques.
E↵et individuel I errreur absolue E↵et individuel
m Z
1 X Choix de modèles Choix de modèles
Fm (✓|x) = I] 1,✓] (✓i ) et BMA R(✓, ) = E✓ (|✓ (x)|) = |✓ (x)|f (x|✓)dx et BMA
m Sélection de modèle
X Sélection de modèle
i=1 Bayesian Model Averaging Bayesian Model Averaging

Facteur de Bayes 2. Version Bayesienne du risque : Facteur de Bayes

I la fonction quantile par les quantiles empiriques de FB et choix de la loi a priori Z FB et choix de la loi a priori

l’échantillon ⇡
r (⇡, ) = E [R(✓, )] =
FB et Test FB et Test

Classification
R(✓, )⇡(✓)d✓ Classification
bayésienne ⇥ bayésienne
Qm (↵|x) = Fm (↵|x) = inf{t : Fm (t|x) ↵} Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
Construction de l’estimateur de Bayes Bayésienne Approximation des estimateurs par Monte Carlo Bayésienne

Anne Philippe Anne Philippe

I A partir de l’échantillon simulé suivant la loi a posteriori
Modèle Bayésien Modèle Bayésien

Inférence
✓1 , . . . , ✓m Inférence
étant donné : Estimateurs de Bayes Estimateurs de Bayes
Régions de crédibilité
Prévision des futures
I On approche E(h(✓)|x) par Régions de crédibilité
Prévision des futures
I la loi des observations x ⇠ f (x|✓), observations observations
m
X
I
Lois a priori 1 m!1 Lois a priori
la loi a priori ⇡ Approche subjective Im = h(✓i ) ! E(h(✓)|x) Approche subjective
Modèle hierarchique m Modèle hierarchique
⇡ i=1
On cherche l’estimateur qui minimise le risque bayésien Approche non informative
| {z } Approche non informative

Modèles Moyenne empirique Modèles

Hiérarchiques Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et
données historiques. Propriétés : données historiques.
E↵et individuel E↵et individuel
I E(Im ) = E(✓|x)
Choix de modèles Choix de modèles
Risque quadratique Risque absolu et BMA
I Var(Im ) = 1 Var(✓1 |x) et BMA
⇡ (x) est la médiane de loi a Sélection de modèle m Sélection de modèle
⇡
(x) = E(✓|x) posteriori
Bayesian Model Averaging
la vitesse 1/m est indépendante de la dimension Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

FB et choix de la loi a priori
FB et Test Remarque FB et choix de la loi a priori
FB et Test

Classification Classification
bayésienne Pour le risque absolu on approche l’estimateur par bayésienne
Modèle de mélange
Nombre de clusters
Qm (1/2|x) Modèle de mélange
Nombre de clusters
 Statistique Statistique
Famille exponentielle Bayésienne Propriété asymptotique de l’estimateur de Bayes Bayésienne

La densité est de la forme : f (x|✓) = h(x) exp{✓ · x (✓)} Anne Philippe Anne Philippe

Cette famille de lois contient les lois gaussiennes, , Modèle Bayésien Modèle Bayésien
binomiales, Poisson.... Inférence Inférence
Choix d’une loi a priori Estimateurs de Bayes Théorème Estimateurs de Bayes
Régions de crédibilité Régions de crédibilité

✓.µ (✓)
Prévision des futures
observations Sous les hypothèses du théorème de Théorème de Prévision des futures
observations
⇡(✓|µ, ) = K (µ, ) e Lois a priori Bernstein-von Mises. Lois a priori
Approche subjective Approche subjective

A priori (µ, ) A posteriori (µ + x, + 1) Modèle hierarchique De plus on suppose que Modèle hierarchique
Approche non informative
Z Approche non informative

Modèles Modèles
On estime la moyenne de la loi E✓ (X1 ) = (✓) Hiérarchiques ✓⇡(✓) d✓ < 1 Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et
1. a priori données historiques. ⇥ données historiques.
E↵et individuel E↵et individuel

E( (✓)) = µ/ Nous avons

Choix de modèles
p Choix de modèles

2. a posteriori
et BMA
Sélection de modèle
n(E(✓|x1 , ..xn ) ✓bn ) ! 0 et BMA
Sélection de modèle
Bayesian Model Averaging Bayesian Model Averaging
P presque sûrement
µ + xi Facteur de Bayes Facteur de Bayes
E( (✓)|x1 , ...xn ) = FB et choix de la loi a priori FB et choix de la loi a priori

n+ FB et Test FB et Test

Classification Classification
3. quand n tend vers l’infini, E(⇠(✓)|x1 , ...xn ) est bayésienne
Modèle de mélange
bayésienne
Modèle de mélange

équivalent à la moyenne empirique Nombre de clusters Nombre de clusters

Statistique Statistique
Estimation d’un support de loi Bayésienne L’estimateur du maximum a posteriori (MAP) Bayésienne

Anne Philippe Anne Philippe

On considère le modèle uniforme ; X1 , . . . , Xn des variables
aléatoires iid suivant la loi uniforme sur [0, ✓]. Modèle Bayésien Modèle Bayésien

On veut estimer ✓. Inférence S’il existe l’estimateur MAP est la valeur de ✓ qui maximise Inférence

On suppose que ✓ suit une loi de Pareto (famille conjuguée)

Estimateurs de Bayes
Régions de crédibilité
la densité de la loi a posteriori Estimateurs de Bayes
Régions de crédibilité
Prévision des futures Prévision des futures
observations observations
↵
Lois a priori Lois a priori
⇡↵, (✓) = ↵ I , ↵ > 1, > 0. ✓˜n = arg max ⇡(✓|x1 , .., xn )
✓↵+1 [ ,+1[
Approche subjective Approche subjective
Modèle hierarchique Modèle hierarchique
Approche non informative
= arg max ⇡(✓)f (x1 , .., xn |✓) Approche non informative

Le choix de est important Modèles Modèles

Hiérarchiques = arg max ⇡(✓)`(✓) Hiérarchiques
I Si P✓ (X1 > ) = 0 alors l’estimateur de Bayes est Paramètres multi-variés et Paramètres multi-variés et
données historiques. données historiques.
↵+n
presque sûrement égal à ↵+n 1.
E↵et individuel E↵et individuel

Choix de modèles I Si la loi a priori est la loi uniforme (ou loi impropre I⇥ ) Choix de modèles
L’estimateur de Bayes n’est donc pas un estimateur et BMA et BMA
Sélection de modèle alors on retrouve l’EMV Sélection de modèle
consistant Bayesian Model Averaging Bayesian Model Averaging
I Pour un modèle régulier, si EMV est consistant alors le
I Si P✓ (X1 > ) > 0 alors l’estimateur de Bayes et Facteur de Bayes Facteur de Bayes
FB et choix de la loi a priori MAP est aussi consistant. FB et choix de la loi a priori

l’estimateur du maximum de vraisemblance sont FB et Test FB et Test

presque sûrement équivalents quand n ! 1. Classification

bayésienne
Classification
bayésienne
Ils convergent vers la vraie valeur du paramètre. Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Statistique
Intervalle de crédibilité Bayésienne Illustration Bayésienne

Anne Philippe Anne Philippe

Soit ✓ unidimensionnel, on fixe 1 ↵ un niveau de confiance.
Modèle Bayésien Modèle Bayésien
I Un intervalle de crédibilté [a(x), b(x)] de niveau 1 ↵ Intervalle de crédibilité de niveau 1 ↵ sur ✓
Inférence Inférence
vérifie la propriété Estimateurs de Bayes Estimateurs de Bayes
Régions de crédibilité
↵ Régions de crédibilité

Z b(x)
Prévision des futures Prévision des futures
observations
1 ↵ observations

P(✓ 2 [a(x), b(x)]|x) = ⇡(✓|x) = 1 ↵ Lois a priori Lois a priori

a(x) Approche subjective Approche subjective
Modèle hierarchique Modèle hierarchique
Approche non informative Approche non informative

En pratique on utilise souvent les intervalles de crédibilité

⇡(✓|x)
Modèles Modèles
bilatéraux symétriques de niveau 1 ↵. Ils sont de la forme Hiérarchiques
Paramètres multi-variés et
Hiérarchiques
Paramètres multi-variés et

h i données historiques.
E↵et individuel
données historiques.
E↵et individuel

✓ 2 q ⇡↵ (x) ; q1⇡ ↵ (x) Choix de modèles Choix de modèles

2 2 et BMA et BMA
Sélection de modèle Sélection de modèle

où q↵⇡ (x) est le quantile d’ordre ↵ de la loi a posteriori. Bayesian Model Averaging Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

Z ⇡ (x)
q↵ FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test FB et Test

⇡(✓|x) d✓ = ↵.
1
Classification
bayésienne
q ⇡↵ (x) q1⇡ ↵ (x) Classification
bayésienne
2 2
Modèle de mélange ✓ Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
Optimisation des intervalles de crédibilité Bayésienne Approximation de Monte Carlo Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien Modèle Bayésien

Il existe une infinité d’intervalles qui vérifient la condition
Inférence A partir de l’échantillon simulé Inférence
Z b(x)
Estimateurs de Bayes Estimateurs de Bayes
Régions de crédibilité Régions de crédibilité

P(✓ 2 [a(x), b(x)]|x) = ⇡(✓|x) = 1 ↵ Prévision des futures

observations
✓1 , . . . , ✓m ⇠ ⇡(✓|x) Prévision des futures
observations
a(x)
Lois a priori Lois a priori
Approche subjective Approche subjective
Ils sont de la forme Modèle hierarchique Modèle hierarchique
Approche non informative 1. On estime les quantiles q ⇡ (x)
par les quantiles Approche non informative

⇥ ⇤
✓ 2 q (x) ;⇡
q1⇡ ↵+ (x)
Modèles
Hiérarchiques
empiriques de l’échantillon Qm ( ) pour tout 2 [0, ↵] Modèles
Hiérarchiques
Paramètres multi-variés et
données historiques. 2. on cherche la valeur de ⇤ qui minimise Paramètres multi-variés et
données historiques.

pour tout 2 [0, ↵] E↵et individuel

Qm (1 ↵ + ) Qm ( )
E↵et individuel

Choix de modèles Choix de modèles

Le plus court intervalle de crédibilité de niveau 1 ↵ est et BMA et BMA
3. L’intervalle de crédibilité optimal approché est
obtenu en prenant la valeur de qui minimise Sélection de modèle
Bayesian Model Averaging
Sélection de modèle
Bayesian Model Averaging

⇤ ⇤
Facteur de Bayes ✓ 2 [Qm ( ), Qm (1 ↵+ )] Facteur de Bayes
q1⇡ ↵+ (x) q ⇡ (x) FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test FB et Test

Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
Région HPD 1
Statistique Statistique
Bayésienne Illustration Bayésienne

Anne Philippe Anne Philippe

C’est une autre forme de régions de crédibilité construites Modèle Bayésien

Région HPD de niveau 1 ↵ sur ✓
Modèle Bayésien

sur les zones de plus haute densité a posteriori. Inférence

Estimateurs de Bayes
Inférence
Estimateurs de Bayes

Ces régions sont de la forme Régions de crédibilité

↵ Régions de crédibilité
Prévision des futures Prévision des futures
observations
1 ↵ observations

Q1⇡ ↵ (x) = ✓; ⇡(✓|x) k1⇡ ↵ (x) , Lois a priori Lois a priori

Approche subjective Approche subjective
Modèle hierarchique Modèle hierarchique

où k1⇡ ↵ (x) vérifie la relation Approche non informative Approche non informative

⇡(✓|x)
Modèles Modèles
Z Hiérarchiques Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et
⇡(✓|x) d✓ = 1 ↵. données historiques. données historiques.

{{✓; ⇡(✓|x) k1⇡ ↵ (x)} }

E↵et individuel
k1⇡ ↵ (x)
E↵et individuel

Choix de modèles Choix de modèles

et BMA et BMA
C’est la plus petit région de niveau 1 ↵ Sélection de modèle Sélection de modèle
Bayesian Model Averaging Bayesian Model Averaging

I Elles ne sont pas nécessairement connexes. Facteur de Bayes Facteur de Bayes

FB et choix de la loi a priori FB et choix de la loi a priori
I Le paramètre ✓ peut être multidimensionnel. FB et Test FB et Test

Classification Classification
bayésienne bayésienne
Modèle de mélange ✓ Modèle de mélange
Nombre de clusters Nombre de clusters
1. highest posterior density

Statistique Statistique
Approximation de Monte Carlo Bayésienne Couverture fréquentiste d’une région de Bayésienne

Anne Philippe
crédibilité Anne Philippe

Modèle Bayésien Modèle Bayésien

I Région de confiance fréquentiste de niveau 1 ↵:
A partir de l’échantillon simulé Inférence Inférence
Estimateurs de Bayes
I f✓ (x) la loi des observations Estimateurs de Bayes
Régions de crédibilité
I on construit une statistique pivotale T (x, ✓) Régions de crédibilité

✓1 , . . . , ✓m ⇠ ⇡(✓|x) Prévision des futures Prévision des futures

observations
[sa loi de dépend pas de ✓ ] observations

Lois a priori I Lois a priori

Approche subjective
On construit I telle que Approche subjective
Modèle hierarchique Z Modèle hierarchique

1. On caclule les valeurs de ⌘j = ⇡(✓j |x) ou ⇡

ˆ (✓j |x) où ⇡
ˆ Approche non informative
P✓ (T (x, ✓) 2 I ) = f✓ (x) dx = 1 ↵
Approche non informative

Modèles Modèles
est l’estimateur de Monte Carlo de la densité. Hiérarchiques {x: T (x,✓)2I } Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et
2. On calcule K le quantile empirique d’ordre ↵ de données historiques.
I La région de confiance {✓ : T (x, ✓) 2 I } données historiques.
E↵et individuel E↵et individuel
l’échantillon ⌘j , j = 1, ..., m. Choix de modèles Choix de modèles
et BMA et BMA
3. On prend comme région HPD, la région qui recouvre Sélection de modèle I Soit Rx une région de crédibilité bayésienne de niveau Sélection de modèle

l’ensemble Bayesian Model Averaging

1 ↵.
Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

{✓i |i = 1, ..., m, ⌘i > K } FB et choix de la loi a priori I la couverture fréquentiste est donnée par FB et choix de la loi a priori
FB et Test FB et Test
Z
Classification Classification
bayésienne P✓ ({x : ✓ 2 Rx }) = f✓ (x) dx = (n, ✓) bayésienne
Modèle de mélange {x: ✓2Rx } Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Statistique
Propriété asymptotique Bayésienne modèle de Poisson Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien Modèle Bayésien

La probabilité de couverture fréquentiste (n, ✓) Inférence I On suppose que les observations x1 , ..., xn sont iid Inférence
Estimateurs de Bayes Estimateurs de Bayes

di↵ère en général de 1 ↵ Régions de crédibilité suivant la loi de Poisson de paramètre ✓ Régions de crédibilité
Prévision des futures Prévision des futures

I
observations observations
On veut estimer le paramètre ✓
Lois a priori Lois a priori
Théorème Approche subjective Approche subjective
Modèle hierarchique Modèle hierarchique
Sous des hypothèses générales de régularité, on montre que Approche non informative
I On suppose que la loi a priori est la loi Gamma de Approche non informative

les intervalles de crédibilité unilatéraux et les régions HPD Modèles

paramètre (a, b).
Modèles
Hiérarchiques Hiérarchiques
vérifient Paramètres multi-variés et
données historiques. [E(✓) = a/b et Var(✓) = a/b2 ] Paramètres multi-variés et
données historiques.
Z E↵et individuel E↵et individuel

(n, ✓) = f✓ (x) dx ! 1 ↵ Choix de modèles Information a priori : Choix de modèles

et BMA et BMA
{x: ✓2Rx } Sélection de modèle I ✓ est autour de 1 a = b. Sélection de modèle
Bayesian Model Averaging Bayesian Model Averaging

quand le nombre n d’observations tend vers +1. Facteur de Bayes I On teste plusieurs choix de a. La loi se concentre autour Facteur de Bayes
FB et choix de la loi a priori
FB et Test
de 1 quand a augmente FB et choix de la loi a priori
FB et Test

Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
Représentation de la loi a priori pour di↵érents Bayésienne Les régions de crédibilité [ q2.5% (x); q97.5% (x) ] Bayésienne

choix de a Anne Philippe Anne Philippe

Modèle Bayésien On simule un échantillon suivant la loi de Poisson de Modèle Bayésien

Inférence paramètre 1 [cohérent avec notre information a priori ]. Inférence

Estimateurs de Bayes Estimateurs de Bayes
Régions de crédibilité I n = 50 Régions de crédibilité
Prévision des futures Prévision des futures
observations observations
5

a=b= 0.01
Lois a priori Lois a priori
a=b= 0.1 Approche subjective a 0.010 0.100 1 10 100Approche subjective
a=b= 1 Modèle hierarchique
q2.5% (x) 1.021 1.021 1.018 0.998 0.945
Modèle hierarchique
4

a=b= 10 Approche non informative Approche non informative

a=b= 100 Modèles q97.5% (x) 1.657 1.656 1.646 1.567 1.281
Modèles
Hiérarchiques Hiérarchiques
q97.5% (x) q2.5% (x) 0.636 0.635 0.628 0.569 0.337
3

Paramètres multi-variés et Paramètres multi-variés et

prior

données historiques. données historiques.

E↵et individuel I n = 5000 E↵et individuel

Choix de modèles Choix de modèles

2

et BMA et BMA
Sélection de modèle
Bayesian Model Averaging
a 0.010 0.100 1 10 100Sélection de modèle
Bayesian Model Averaging

q2.5% (x) 1.002 1.002 1.002 1.002 1.002

1

Facteur de Bayes Facteur de Bayes

FB et choix de la loi a priori
FB et Test
q97.5% (x) 1.058 1.058 1.058 1.058 1.057
FB et choix de la loi a priori
FB et Test

q97.5% (x) q2.5% (x) 0.056 0.056 0.056 0.056 0.056

0

Classification Classification
bayésienne bayésienne
0.0 0.5 1.0 1.5 2.0 Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

f
 Statistique Statistique
Les régions de crédibilité [ q2.5% (x); q97.5% (x) ] Bayésienne Evaluation des probabilités de couverture Bayésienne

Anne Philippe
fréquentiste Anne Philippe

Modèle Bayésien Modèle Bayésien

On simule un échantillon suivant la loi de Poisson de Inférence Démarche : Inférence

Estimateurs de Bayes Estimateurs de Bayes
paramètre 3 [ mais la moyenne de la loi a priori est 1 et la Régions de crédibilité I On simule N = 5000 échantillons suivant la loi de Régions de crédibilité
Prévision des futures Prévision des futures
variance tend vers 0 quand a ! 1]. observations Poisson de paramètre ✓0 observations

Lois a priori Lois a priori

I I Pour chaque échantillon on calcule la région de
n = 50 Approche subjective Approche subjective

a 0.010 0.100 1 10 100

Modèle hierarchique
Approche non informative
crédibilité Modèle hierarchique
Approche non informative

q2.5% (x) 2.760 2.757 2.724 2.454 1.542 Modèles I on estime (n, ✓0 ) par la proportion d’intervalles qui Modèles
Hiérarchiques Hiérarchiques
q97.5% (x) 3.757 3.752 3.705 3.311 1.964 Paramètres multi-variés et
données historiques.
contiennent la valeur ✓0 Paramètres multi-variés et
données historiques.

I n = 5000 E↵et individuel

Résultats pour ✓0 = 1 E↵et individuel

Choix de modèles Choix de modèles

a 0.010 0.100 1 10 100 et BMA et BMA

q2.5% (x) 2.916 2.916 2.915 2.912 2.878 Sélection de modèle

Bayesian Model Averaging
a 0.010 0.100 1 10 100 Sélection de modèle
Bayesian Model Averaging

q97.5% (x) 3.011 3.011 3.011 3.007 2.972 Facteur de Bayes n = 10 0.953 0.952 0.960 0.994 1.000 Facteur de Bayes
FB et choix de la loi a priori
FB et Test
n = 50 0.941 0.944 0.945 0.969 1.000 FB et choix de la loi a priori
FB et Test

Classification n = 500 0.948 0.943 0.946 0.955 0.968 Classification

bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
[suite] Bayésienne Modèle Gaussien Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien
On dispose de n observations X1 , ..., Xn iid suivant une loi Modèle Bayésien

Inférence
gaussienne N (✓, 1). Inférence
Estimateurs de Bayes Estimateurs de Bayes
Régions de crédibilité I On choisit comme loi a priori sur ✓ la loi gaussienne Régions de crédibilité

Résultats pour ✓0 = 3 Prévision des futures

observations N (0, ⌧ 2 ), ⌧ > 0
Prévision des futures
observations

Lois a priori Lois a priori

I loi a posteriori est une loi Gaussienne
a 0.010 0.100 1 10 100 Approche subjective
Modèle hierarchique
Approche subjective
Modèle hierarchique

n = 10 0.941 0.946 0.942 0.160 0.000 Approche non informative

X̄n 1
Approche non informative

n = 500 0.945 0.947 0.953 0.918 0.001 Modèles N( , ) Modèles

Hiérarchiques 1 + ⌧ /n n + ⌧ 2
2 Hiérarchiques
n = 5000 0.950 0.954 0.953 0.946 0.635 Paramètres multi-variés et
données historiques.
Paramètres multi-variés et
données historiques.

n = 50000 0.950 0.951 0.951 0.951 0.919 E↵et individuel

I les régions HPD de niveau 1 ↵(= .95) sont de la forme E↵et individuel

Choix de modèles Choix de modèles

et BMA  et BMA
Sélection de modèle X̄n u1 ↵/2 X̄n u1 ↵/2 Sélection de modèle
Bayesian Model Averaging
✓2 2
p ; 2
+p Bayesian Model Averaging

Facteur de Bayes 1 + ⌧ /n n + ⌧ 1 + ⌧ /n
2 n + ⌧2 Facteur de Bayes
FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test
où u↵ est le quantile d’ordre ↵ de la loi gaussienne FB et Test

Classification Classification
bayésienne standard. bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Statistique
Modèle Gaussien (suite) Bayésienne Prédicteur ponctuel optimal Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien Modèle Bayésien

Inférence Inférence
I Couverture fréquentiste de la région HPD Estimateurs de Bayes
Le modèle : : Estimateurs de Bayes
Régions de crédibilité Régions de crédibilité

HPD
Prévision des futures
observations
I observations : (x1 , ..., xn ) ⇠ f (n) (x|✓) Prévision des futures
observations
P✓ (✓ 2 I (⌧, X̄n )) =
r ! r !Lois a priori I ⇡ : la loi a priori Lois a priori
Approche subjective Approche subjective
✓⌧ 2 n + ⌧2 ✓⌧ 2 n+ ⌧2 Modèle hierarchique
I la loi a posteriori Modèle hierarchique
F p + u1 ↵/2 F p u1 ↵/2 Approche non informative Approche non informative
n n n n Modèles Modèles
Hiérarchiques
Paramètres multi-variés et
⇡(✓|x1 , ..., xn ) / ⇡(✓)f (n) (x|✓) Hiérarchiques
Paramètres multi-variés et
où F est la fonction de répartition de la loi gaussienne données historiques. données historiques.
E↵et individuel E↵et individuel
standard. Choix de modèles
Objectif : : Choix de modèles
I Comportement asymptotique : et BMA
I On veut prévoir xn+1 à partir des observations passées et BMA
Sélection de modèle Sélection de modèle
I cette probabilité tend vers 1 ↵ quand n ! 1. Bayesian Model Averaging
(x1 , ..., xn ). Bayesian Model Averaging

I cette probabilité tend vers 1 ↵ quand ⌧ ! 0. Facteur de Bayes Facteur de Bayes

FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test FB et Test

Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
Prédicteur en loi Bayésienne Prédicteur ponctuel bayésien Bayésienne

Anne Philippe Anne Philippe

Loi prédictive
Modèle Bayésien Modèle Bayésien
c’est la loi conditionnelle de xn+1 sachant (x1 , ..., xn ) c’est
Inférence Pour l’erreur quadratique, la meilleure approximation de Inférence
à dire Estimateurs de Bayes Estimateurs de Bayes

Z Régions de crédibilité xn+1 à partir d’une fonction de (x1 , ..., xn ) est l’espérance Régions de crédibilité
Prévision des futures Prévision des futures

p(xn+1 |(x1 , ..., xn )) = f (xn+1 |✓, (x1 , ..., xn ))⇡(✓|x1 , ..., xn ) d✓

observations conditionnelle observations

Lois a priori Lois a priori

⇥
x̂n+1 = E(xn+1 |(x1 , ..., xn ))
Approche subjective Approche subjective
Modèle hierarchique Modèle hierarchique
Approche non informative Approche non informative

I On e↵ectue de la prévision en loi Modèles

On a donc le prédicteur ponctuel bayésien suivant Modèles
Hiérarchiques Hiérarchiques
I On obtient des intervalles de prévision. Paramètres multi-variés et
données historiques. Z Z Paramètres multi-variés et
données historiques.

I Pour tout niveau 1 ↵, on calcule l’intervalle E↵et individuel

x̂n+1 = xn+1 f (xn+1 |✓, (x1 , ..., xn ))⇡(✓|x1 , ..., xn ) d✓ dxn+1
E↵et individuel

Choix de modèles Choix de modèles

[an+1 , bn+1 ] tel que et BMA Z ✓ Z et BMA
Sélection de modèle Sélection de modèle

P(Xn+1 2 [an+1 , bn+1 ]|x1 , .., xn ) = 1 ↵ Bayesian Model Averaging = ⇡(✓|x1 , ..., xn ) xn+1 f (xn+1 |✓, x1 , ..., xn ) dxn+1 d✓ Bayesian Model Averaging

Facteur de Bayes ⇥ Facteur de Bayes

I solution 1 : an+1 bn+1 sont respectivement les quantiles FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test FB et Test

d’ordre ↵/2, 1 ↵/2 de la loi predictive Classification Classification

I solution 2 : on optimise en cherchant le plus court bayésienne bayésienne
Modèle de mélange Modèle de mélange

intervalle Nombre de clusters Nombre de clusters

 Statistique Statistique
Prédicteur ponctuel fréquentiste Bayésienne Comparaison bayesien // fréquentiste Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien Modèle Bayésien

I On observe x1 , ..., xn de loi f (x1 , ..., xn |✓) où ✓ est 1. Prédicteur optimal si ✓ est connu :
Inférence Inférence
inconnu. Estimateurs de Bayes Z Estimateurs de Bayes
Régions de crédibilité
f Régions de crédibilité

I Le meilleur prédicteur (au sens de l’erreur quadratique) Prévision des futures x̂n+1 (✓) = xn+1 f (xn+1 |✓, x1 , ..., xn ) dxn+1 Prévision des futures
observations observations

de xn+1 est l’espérance conditionnelle Lois a priori Lois a priori

Approche subjective
Modèle hierarchique
2. Le prédicteur fréquentiste s’écrit Approche subjective
Modèle hierarchique
f
x̂n+1 (✓) = E(xn+1 |✓, x1 , ..., xn ) Approche non informative Approche non informative

Z Modèles
f
x̂n+1 ˆ
(✓) Modèles
Hiérarchiques Hiérarchiques
= xn+1 f (xn+1 |✓, x1 , ..., xn ) dxn+1 Paramètres multi-variés et Paramètres multi-variés et
données historiques. données historiques.
E↵et individuel 3. Le prédicteur bayésien s’écrit E↵et individuel

I Le prédicteur optimal dépend de ✓ inconnu. Choix de modèles Z Choix de modèles

et BMA et BMA
f
I En pratique Sélection de modèle x̂n+1 = x̂n+1 (✓)⇡(✓|x1 , ..., xn ) d✓ Sélection de modèle
Bayesian Model Averaging Bayesian Model Averaging
I on commence par estimer ✓ par exemple par le Facteur de Bayes Facteur de Bayes
maximum de vraisemblance ✓ˆ FB et choix de la loi a priori
C’est un mélange de prédicteur où les poids sont donnés FB et choix de la loi a priori

I f
le prédicteur retenu est x̂n+1 ˆ
(✓). FB et Test FB et Test

Classification
par la densité a posteriori Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
Approximation de Monte Carlo Bayésienne Un problème classique : la régression Bayésienne

A partir de l’échantillon simulé Anne Philippe Anne Philippe

Modèle Bayésien Modèle Bayésien

✓1 , . . . , ✓m ⇠ ⇡(✓|x) Inférence Inférence
Estimateurs de Bayes Estimateurs de Bayes
Régions de crédibilité Régions de crédibilité
Prévision des futures Prévision des futures

1. On simule un échantillon suivant la loi prédictive en

observations
On observe x = (vitesse,distance) observations

Lois a priori Lois a priori

prenant Approche subjective Approche subjective
Modèle hierarchique log(distance) = a + b log(vitesse) + erreur Modèle hierarchique
Approche non informative Approche non informative

xn+1 (i) ⇠ f (xn+1 |✓i , x1 , ..., xn ), pour tout i = 1, ..., m Modèles Modèles
Hiérarchiques Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et
I ✓ = (a, b, 2)
2. On approche leP predicteur ponctuel par la moyenne de données historiques.
E↵et individuel
données historiques.
E↵et individuel

l’échantillon m1 m i=1 xn+1 (i) Choix de modèles I log(distance) ⇠ Choix de modèles

et BMA 2) et BMA
3. On approche la densité de la loi prédictive en calculant Sélection de modèle N (a + b log(vitesse), Sélection de modèle

l’estimateur à noyau sur l’échantillon Bayesian Model Averaging Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

xn+1 (i), i = 1, ..., m FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test FB et Test
4. Les intervalles prédictifs sont approchés à l’aide des Classification Classification
quantiles empiriques de l’échantillon bayésienne bayésienne
Modèle de mélange Modèle de mélange
xn+1 (i), i = 1, ..., m Nombre de clusters Nombre de clusters
 Statistique Statistique
la régression : approche bayésienne Bayésienne la régression : estimateurs classiques Bayésienne

Anne Philippe Anne Philippe

Approche bayésienne non informative Modèle Bayésien Modèle Bayésien

La loi a priori de Je↵reys est ⇡(a, b, ) / 12 Inférence On estime les paramètres par la méthode des moindres carrés Inférence

La loi a priori est impropre mais la loi a posteriori est bien Estimateurs de Bayes
Régions de crédibilité
Voici le code R Estimateurs de Bayes
Régions de crédibilité

définie. Prévision des futures

observations
Prévision des futures
observations

Lois a priori Lois a priori

library(MCMCpack) Approche subjective > lm(log(dist) ~ log(speed), data = cars) Approche subjective
Modèle hierarchique Modèle hierarchique
posterior <- MCMCregress(log(dist) ~ log(speed), data = cars) Approche non informative Approche non informative

plot(posterior) Modèles Call: Modèles

Hiérarchiques Hiérarchiques
Paramètres multi-variés et lm(formula = log(dist) ~ log(speed), data = cars) Paramètres multi-variés et
Empirical mean and standard deviation for each variable, données historiques. données historiques.

plus standard error of the mean: E↵et individuel E↵et individuel

Choix de modèles Coefficients: Choix de modèles

et BMA et BMA
Mean SD Naive SE Time-series SE Sélection de modèle (Intercept) log(speed) Sélection de modèle

(Intercept) -0.7262 0.38441 0.0038441 0.0035905 Bayesian Model Averaging Bayesian Model Averaging
-0.7297 1.6024
log(speed) 1.6010 0.14294 0.0014294 0.0013524 Facteur de Bayes Facteur de Bayes
sigma2 0.1719 0.03700 0.0003700 0.0004516 FB et choix de la loi a priori
FB et Test
FB et choix de la loi a priori
FB et Test

Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Modèle Bayésien Statistique

prévision bayésienne Bayésienne
Inférence Bayésienne

prévision en loi. Anne Philippe

Estimateurs de Bayes Anne Philippe

On représente les quantiles d’ordre 5% à 95% de la loi Modèle Bayésien

Régions de crédibilité Modèle Bayésien
prédictive Inférence
Prévision des futures observations Inférence
Estimateurs de Bayes
Lois a priori Estimateurs de Bayes
Régions de crédibilité Régions de crédibilité
Prévision des futures Approche subjective Prévision des futures
observations observations
Modèle hierarchique
Lois a priori Lois a priori
Approche non informative
40

Approche subjective Approche subjective

Modèle hierarchique Modèle hierarchique
Modèles Hiérarchiques
prevision log(dist)

Approche non informative Approche non informative

Paramètres multi-variés et données historiques.

30

Modèles Modèles
Hiérarchiques E↵et individuel Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et
20

données historiques.
E↵et individuel
Choix de modèles et BMA données historiques.
E↵et individuel

Choix de modèles
Sélection de modèle Choix de modèles
10

et BMA Bayesian Model Averaging et BMA

Sélection de modèle Sélection de modèle
5 10 15 20 25
Bayesian Model Averaging Facteur de Bayes Bayesian Model Averaging

log(vitesse)
Facteur de Bayes FB et choix de la loi a priori Facteur de Bayes
FB et choix de la loi a priori
FB et Test
FB et Test FB et choix de la loi a priori
FB et Test

I On a représenté les intervalles de prévision de niveau Classification Classification bayésienne Classification

bayésienne bayésienne
90%, 80% etc Modèle de mélange
Modèle de mélange Modèle de mélange

I Rouge : intervalle à 90% Nombre de clusters Nombre de clusters Nombre de clusters

 Statistique Statistique
Choix de la loi a priori Bayésienne Approche informative Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien Modèle Bayésien

Inférence Inférence
Estimateurs de Bayes Estimateurs de Bayes
On dispose d’informations sur ✓ Régions de crédibilité Régions de crédibilité
Prévision des futures Prévision des futures
observations observations
Question Lois a priori On utilise de l’information provenant Lois a priori

I
Approche subjective Approche subjective
Comment traduire cette information en loi a priori ? Modèle hierarchique de la connaissance des experts Modèle hierarchique
Approche non informative Approche non informative
I d’autres études statistiques menées dans un contexte
Modèles Modèles
Question Hiérarchiques similaire. Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et

I
données historiques. données historiques.
Comment traduire la qualité de cette information ? E↵et individuel de données historiques non utilisées dans l’étude. E↵et individuel

Choix de modèles Choix de modèles

Absence d’information : Approche non informative et BMA et BMA
Sélection de modèle Sélection de modèle
On minimise le rôle de la loi a priori sur l’inférence Bayesian Model Averaging Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test FB et Test

Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
Utilisation de plusieurs échantillons historiques Bayésienne Utilisation d’un historique long Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien
On veut estimer ✓ à partir d’un petit échantillon x ⇠ f (x|✓) Modèle Bayésien
On dispose d’un long échantillon historique x H ⇠ f (x H |✓)
On veut estimer ✓ à partir d’un petit échantillon x 2 f (x|✓) Inférence Inférence
Estimateurs de Bayes On suppose que les deux échantillons ont la même loi Estimateurs de Bayes

On dispose de K échantillons historiques xiH , i=1,...,K Régions de crédibilité Régions de crédibilité

Prévision des futures
observations
I On estime ✓ à partir de l’échantillon (x, x H ) Prévision des futures
observations
I On estime le paramètre ✓ sur chacun des échantillons Lois a priori Lois a priori
xiH ✓ˆ1 , ..., ✓ˆK . Approche subjective
Modèle hierarchique
⇡(✓|x, x H ) / f (x|✓)f (x H |✓)⇡0 (✓) Approche subjective
Modèle hierarchique

I On suppose que ✓ˆ1 , ..., ✓ˆK sont iid suivant la loi a priori.
Approche non informative Approche non informative

Modèles I On réduit la contribution de l’historique en prenant Modèles

I On construit la loi a priori à partir de ✓ˆ1 , ..., ✓ˆK en Hiérarchiques
Paramètres multi-variés et comme loi a priori
Hiérarchiques
Paramètres multi-variés et
prenant données historiques.
E↵et individuel
données historiques.
E↵et individuel
I l’histogramme des ✓ˆ1 , ..., ✓ˆK . Choix de modèles ⇡(✓) / f (x H |✓)↵ ⇡0 (✓) Choix de modèles
I l’estimateur à noyau de la densité calculée sur ✓ˆ1 , ..., ✓ˆK . et BMA et BMA
Sélection de modèle Sélection de modèle
I ⇡ 2 {⇡ , 2 ⇤} on estime à partir des données Bayesian Model Averaging
où ↵ est un niveau de confiance accordé à l’historique Bayesian Model Averaging

✓ˆ1 , ..., ✓ˆK par un estimateur paramétrique (EMV..) Facteur de Bayes Facteur de Bayes
FB et choix de la loi a priori
I On prend une loi paramétrée dont le paramètre est fixé FB et choix de la loi a priori
FB et Test
à partir de x H . Par exemple la loi a priori est de FB et Test

Classification Classification
bayésienne moyenne l’estimation de ✓ à partir de l’échantillon x H . bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Hospital A : y = 1 and E= 66. Statistique
Estimating a Heart Transplant Mortality Rate Bayésienne
Standard estimate of mortality rate 1/66
Bayésienne

Anne Philippe Anne Philippe

Hospital B : y = 4 and E = 1767.
The number of deaths y within 30 days after the Heart Modèle Bayésien standard estimate of mortality rate ⇡1/450. Modèle Bayésien
transplant. Inférence Inférence
Estimateurs de Bayes HOSPITAL A Estimateurs de Bayes
Régions de crédibilité Régions de crédibilité

500 1000 1500

y ⇠ Poisson( E ) Prévision des futures
observations prior
Prévision des futures
observations
posterior

where E is the number of patients

Density
Lois a priori Lois a priori
Approche subjective Approche subjective

and where Modèle hierarchique Modèle hierarchique

Approche non informative Approche non informative

0
Modèles Modèles
is the mortality rate per unit. Hiérarchiques 0.0005 0.0010 0.0015 0.0020 0.0025 Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et
données historiques. lambdaA données historiques.
Prior distribution on : Gamma distribution E↵et individuel E↵et individuel

We fix the parameter from the observed data in 10 hospitals Choix de modèles HOSPITAL B Choix de modèles
P et BMA et BMA
I a= yi = 16 (number of deaths ) Sélection de modèle
prior
Sélection de modèle

P Bayesian Model Averaging

posterior
Bayesian Model Averaging

500 1000
I b = ei = 15174 (number of patients)

Density
Facteur de Bayes Facteur de Bayes
FB et choix de la loi a priori FB et choix de la loi a priori
1
⇡( ) = ba e b a 1 E( ) = a/b Var( ) = a/b 2
FB et Test FB et Test

(a) Classification Classification

0
bayésienne bayésienne
0.0005 0.0010 0.0015 0.0020 0.0025
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
lambdaB

Statistique Statistique
Proportion of heavy sleepers Bayésienne Discrete prior Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien Modèle Bayésien

We fix a
We want to estimate the proportion p of population Inférence Inférence
Estimateurs de Bayes list of plausible proportion values and then assign probabilities Estimateurs de Bayes
who sleep at least 8 hours. Régions de crédibilité Régions de crédibilité
Prévision des futures posterior Prévision des futures
observations observations

Lois a priori Lois a priori

I
0.4
The observations : 27 students such that Approche subjective Approche subjective

s=11 : 8 hours Modèle hierarchique

0.3
Modèle hierarchique
Approche non informative 0.2 Approche non informative
f=16 : < 8 hours Modèles 0.1 Modèles
I The likelihood function is given by Hiérarchiques Hiérarchiques

Probability
0.0
Paramètres multi-variés et prior Paramètres multi-variés et
données historiques. données historiques.
E↵et individuel E↵et individuel
L(p) = p s (1 p)f Choix de modèles
0.4

Choix de modèles
0.3
et BMA et BMA
I Choice of the prior for p from expert information : Sélection de modèle 0.2 Sélection de modèle
Bayesian Model Averaging Bayesian Model Averaging
0.1

1. Discrete prior Facteur de Bayes 0.0

Facteur de Bayes
2. Histogram prior FB et choix de la loi a priori
FB et Test
0.2 0.4 0.6 0.8
FB et choix de la loi a priori
FB et Test
P
3. Continuous prior Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Statistique
Histogram prior distribution Bayésienne Continuous prior for p Bayésienne

Anne Philippe
Initial beliefs : Anne Philippe

The prior beliefs : the range of p is divided into intervals and Modèle Bayésien I the median is around 0.3 Modèle Bayésien

we assign probabilities to the intervals. Inférence

I p is less than 0.5 with probability .90 Inférence
Estimateurs de Bayes Estimateurs de Bayes
Régions de crédibilité Régions de crédibilité
Prévision des futures We assume than the prior distribution is a beta distribution Prévision des futures
0.30

observations observations
with parameter

1.0
Lois a priori Lois a priori
0.25

Approche subjective Approche subjective

0.8
Modèle hierarchique
a = 3.4 and b = 7.4. Modèle hierarchique
0.20

Posterior density
Approche non informative Approche non informative
Prior density

0.6
0.15

Modèles Modèles
Hiérarchiques Hiérarchiques

0.4
0.10

Paramètres multi-variés et Paramètres multi-variés et

5
données historiques. données historiques.

0.2
0.05

E↵et individuel E↵et individuel

4
Prior
Choix de modèles Likelihood Choix de modèles
0.00

0.0 Posterior
et BMA et BMA

3
0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 Sélection de modèle Sélection de modèle

Density
x x Bayesian Model Averaging Bayesian Model Averaging

2
Facteur de Bayes Facteur de Bayes
FB et choix de la loi a priori FB et choix de la loi a priori

PRIOR POSTERIOR

1
FB et Test FB et Test

Classification Classification
bayésienne bayésienne

0
Modèle de mélange 0.0 0.2 0.4 0.6 0.8 1.0 Modèle de mélange
Nombre de clusters p Nombre de clusters

Statistique Statistique
predictive distributions Bayésienne Comparison of predictive distributions Bayésienne

Anne Philippe Anne Philippe

I Comparison of predictive distributions for two prior
distributions Modèle Bayésien Modèle Bayésien
I beta distribution Inférence Inférence
I

0.20
discrete distribution Estimateurs de Bayes
Régions de crédibilité
discrete Prior
beta Prior
Estimateurs de Bayes
Régions de crédibilité

I Goal : The distribution the number of heavy sleepers Y Prévision des futures
observations
Prévision des futures
observations

in a future sample of size m = 27. Lois a priori Lois a priori

0.15
Approche subjective Approche subjective
I The observations : (s, f ) = (11, 16) Modèle hierarchique Modèle hierarchique
Approche non informative Approche non informative

pred1
The predictive distribution is of the form, for all

0.10
Modèles Modèles
Hiérarchiques Hiérarchiques
y = 0, . . . , m Paramètres multi-variés et
données historiques.
Paramètres multi-variés et
données historiques.

I Continuous : E↵et individuel E↵et individuel

0.05
Z Choix de modèles Choix de modèles
et BMA et BMA
P(Y = y |(f , s)) = f (y |p)⇡(p|(f , s)) dp Sélection de modèle Sélection de modèle
0.00

Bayesian Model Averaging Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

0 5 10 15 20 25
I Discrete : FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test 0:27 FB et Test
X
P(Y = y |(f , s)) = f (y |pi )P(p = pi |(f , s)) Classification
bayésienne
Classification
bayésienne
i Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Statistique
A priori paramétrique Bayésienne Lois conjuguées Bayésienne

Anne Philippe Anne Philippe

On restreint le choix de ⇡ à une famille paramétrique Modèle Bayésien Modèle Bayésien

Inférence Inférence
⇡ 2 {⇡ , 2 ⇤} Estimateurs de Bayes
Régions de crédibilité
F une famille de lois sur ⇥ Estimateurs de Bayes
Régions de crédibilité
Prévision des futures Prévision des futures
observations
Définition observations

Lois a priori Lois a priori

Approche subjective F est une famille conjuguée pour la vraisemblance f (x|✓) Approche subjective
Définition Modèle hierarchique Modèle hierarchique
Approche non informative Si pour toute loi a priori ⇡ 2 F, la loi a posteriori Approche non informative

est appelé un hyper-paramètre Modèles ⇡(✓|x) 2 F. Modèles

Hiérarchiques Hiérarchiques

On choisit l’hyper-paramètre à partir de l’information que Paramètres multi-variés et

données historiques.
Paramètres multi-variés et
données historiques.
E↵et individuel I Préserve la structure sur la loi de ✓ E↵et individuel
l’on possède sur les moments ou/et les quartiles.
Choix de modèles Choix de modèles
et BMA I l’information apportée par les observations se traduit et BMA
Sélection de modèle Sélection de modèle
Bayesian Model Averaging uniquement par un changement de paramètres. Bayesian Model Averaging

= 0 ✓⇠⇡ 0 X1 , ...Xn observations f (x|✓) Facteur de Bayes Facteur de Bayes

FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test FB et Test

Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
modèle de Poisson Bayésienne modèle uniforme Bayésienne

Anne Philippe Anne Philippe

I x = (x1 , ..., xn ) iid suivant la loi de Poisson Modèle Bayésien I Soit X1 , . . . , Xn des variables aléatoires iid suivant la loi Modèle Bayésien

P
Inférence uniforme sur [0, ✓]. Inférence

n✓ xi 1 Estimateurs de Bayes Estimateurs de Bayes

f (x|✓) = e ✓ Q Régions de crédibilité

n
Régions de crédibilité

xi ! Prévision des futures

observations f (x|✓) / ✓ I[max(X1 ,...,Xn ),1[ (✓) Prévision des futures
observations

Lois a priori Lois a priori

I la loi a posteriori I
Approche subjective
Modèle hierarchique
La famille des lois de Pareto est une famille de lois Approche subjective
Modèle hierarchique
P Approche non informative
conjuguées Approche non informative
n✓ xi
⇡(✓|x) / ⇡(✓)e ✓ Modèles
↵ Modèles
Hiérarchiques Hiérarchiques
b✓ a 1 Paramètres multi-variés et ⇡↵, (✓) = ↵ I[ ,+1[ (✓) Paramètres multi-variés et
⇡(✓) / e ✓ données historiques.
E↵et individuel
✓↵+1 données historiques.
E↵et individuel

I On reconnait la densité d’une loi gamma Choix de modèles avec ↵ > 1 et >0 Choix de modèles
et BMA et BMA
Sélection de modèle Sélection de modèle
Bayesian Model Averaging
I évolution des paramètres : Bayesian Model Averaging
a priori a posteriori
P Facteur de Bayes a priori a posteriori Facteur de Bayes
a a + xi FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test ↵ ↵+n FB et Test
b b+n Classification max( , X1 , . . . , Xn ) Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Statistique
modèle gaussien Bayésienne modèle gaussien ( suite ) Bayésienne

Anne Philippe Anne Philippe

I x = (x1 , ..., xn ) iid suivant une loi gaussienne de
Modèle Bayésien Modèle Bayésien
variance connue.
Inférence Inférence
1 P
(nµ2 2µ xi ) Estimateurs de Bayes
I x = (x1 , ..., xn ) iid suivant la loi gaussienne N (✓1 , ✓2 ).
Estimateurs de Bayes

⇡(µ|x) / ⇡(µ)e 2 2 Régions de crédibilité Régions de crédibilité

Prévision des futures Prévision des futures
observations observations

µ suit une loi gaussienne Lois a priori

I Une famille conjuguée :
Lois a priori
Approche subjective Approche subjective

I x = (x1 , ..., xn ) iid suivant une loi gaussienne de Modèle hierarchique Modèle hierarchique
Approche non informative soit ( , ⌧, a, b) 2 R ⇥ R⇤3
+. La loi est définie par Approche non informative

moyenne connue. Modèles Modèles

Hiérarchiques Hiérarchiques

2 2
1
2 Sn
1 Paramètres multi-variés et
données historiques. I la loi conditionnelle de ✓1 sachant ✓2 est la loi
Paramètres multi-variés et
données historiques.
⇡( |x) / ⇡( )e 2 n E↵et individuel E↵et individuel

Choix de modèles
gaussienne de moyenne et de variance ✓2 /⌧ Choix de modèles
2 suit une loi inverse gamma et BMA et BMA
Sélection de modèle
I la loi de ✓2 est la loi inverse Gamma de paramètres Sélection de modèle
Bayesian Model Averaging
(a, b). Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

La densité de la loi inverse gamma de paramètre (a, b) est FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test FB et Test

1 Classification Classification
f (x) = ba e b/x
x a 1
IR⇤+ (x) bayésienne bayésienne
(a) Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
Mélange de loi Bayésienne Application du mélange d’avis d’experts Bayésienne

On suppose que K experts donnent des avis di↵érents.

Anne Philippe On lance n fois une pièce que l’on suppose truquée. Anne Philippe

On construit K loi a priori ⇡j (✓) , j = 1, ..., K . Modèle Bayésien

I Observation : x ⇠ B(n, p) Modèle Bayésien

La loi ⇡j traduit l’information fournit par l’expert j et Inférence I info a priori : p est proche de .3 (expert 1) et p est Inférence

⇡j (✓|x) la loi a posteriori associée.

Estimateurs de Bayes
Régions de crédibilité
proche de .7 (expert 2). Estimateurs de Bayes
Régions de crédibilité

Pour prendre en compte l’information des K experts on

Prévision des futures
observations
I Choix de la loi a priori : un mélange de deux lois Beta Prévision des futures
observations

prend un mélange de loi Lois a priori

Approche subjective
⇡(p) = qg1 (p) + (1 q)g2 (p)
Lois a priori
Approche subjective
Modèle hierarchique Modèle hierarchique
K
X Approche non informative I q 2 (0; 1) le poids attribué a chaque expert. Approche non informative

⇡(✓) = qi ⇡i (✓) Modèles

Hiérarchiques
Modèles
Hiérarchiques
i=1 I
Paramètres multi-variés et
données historiques. g1 est la densité d’une loi Paramètres multi-variés et
données historiques.

P E↵et individuel
beta qui favorise les
E↵et individuel

avec qi = 1, qi représente le poids du i ème expert c’est Choix de modèles Choix de modèles
à dire la confiance accordée à son avis. et BMA valeurs de p autour de .3 et BMA
Sélection de modèle Sélection de modèle

La loi a posteriori s’écrit comme un mélange des lois ⇡i (✓|x) Bayesian Model Averaging I g2 est la densité d’une loi Bayesian Model Averaging

Facteur de Bayes
beta qui favorise les Facteur de Bayes
K R FB et choix de la loi a priori FB et choix de la loi a priori
X qi
⇡i (✓)f (x|✓) d✓ FB et Test valeurs de p autour de .7 FB et Test

⇡(✓|x) = Qi ⇡i (✓|x) et Qi = PK R Classification Classification

i=1 j=1 qj ⇡j (✓)f (x✓) d✓ bayésienne
I La loi a posteriori est aussi un mélange de deux lois bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters
beta. Nombre de clusters
 Statistique Statistique
résultats numériques Bayésienne Résultats numériques (suite) Bayésienne

Anne Philippe Anne Philippe

I On lance n = 10 pièces et on observe x = 7 I On lance n = 100 pièces et on observe x = 78
I évolution des paramètres Modèle Bayésien I évolution des paramètres Modèle Bayésien

Inférence Inférence
Estimateurs de Bayes Estimateurs de Bayes

proba 1 er composante 2 nd composante Régions de crédibilité 1 er composante 2 nd composante Régions de crédibilité

Prévision des futures Prévision des futures

a priori q= 1/2 B(6,14) B(14,6) observations

a priori q= 1/2 B(6,14) B(14,6) observations

a posteriori Q = .1 B(13,17) B(21,9) Lois a priori

Approche subjective
a posteriori Q =⇡ 0 B(84,36) B(92,28) Lois a priori
Approche subjective
Modèle hierarchique Modèle hierarchique
Approche non informative Approche non informative

Modèles Modèles
Hiérarchiques Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et
Prior Prior
4

données historiques. données historiques.

4
Posterior E↵et individuel Posterior E↵et individuel
3

Choix de modèles Choix de modèles

DENSITY

DENSITY
3
et BMA et BMA
Sélection de modèle Sélection de modèle
2

2
Bayesian Model Averaging Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

1

1
FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test FB et Test
0

0
0.0 0.2 0.4 0.6 0.8 1.0 Classification 0.0 0.2 0.4 0.6 0.8 1.0 Classification
bayésienne bayésienne
P Modèle de mélange
P Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
Alternative : Structure hiérarchique Bayésienne Modèle hierarchique suite Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien Modèle Bayésien

On inclut l’hyper paramètre à l’ensemble des paramètres Inférence Inférence
Estimateurs de Bayes
Régions de crédibilité
I Le modèle hierarchique peut être réécrit comme un Estimateurs de Bayes
Régions de crédibilité
✓ 2 ⇥ ! (✓, ) 2 ⇥x⇤ Prévision des futures
modèle bayésien dont la loi a priori sur ✓ est Prévision des futures
observations observations

Lois a priori Z Lois a priori

I la loi ⇡ est interprétée comme la loi conditionnelle de ✓ Approche subjective Approche subjective
Modèle hierarchique ⇡(✓) = ⇡(✓| )⇡0 ( ) d Modèle hierarchique
sachant Approche non informative Approche non informative

I on choisit une loi a priori sur Modèles Modèles

Hiérarchiques I Le principe peut aussi s’étendre à lui-même dont la loi Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et

⇡(✓, ) = ⇡(✓| )⇡0 ( ).

données historiques.
E↵et individuel
a priori peut dépendre d’un nouvel hyperparamètre, etc. données historiques.
E↵et individuel

Choix de modèles I Une loi a priori hiérarchique conduit à des estimateurs Choix de modèles
et BMA et BMA
Sélection de modèle plus robustes, au sens où l’inférence est moins sensible Sélection de modèle

⇠ ⇡0 ✓ ⇠ ⇡(·| ) X1 , ...Xn observations f (x|✓) Bayesian Model Averaging

au choix de la loi a priori
Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test FB et Test

Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Statistique
Exemple : Xi i = 1...n iid Xi ⇠ Pois(⌧ ) Bayésienne Calcul des lois a posteriori Bayésienne

Anne Philippe Anne Philippe

A priori
Modèle Bayésien Modèle Bayésien
Lois a priori sur ⌧
Modèle 1 Modèle 2 : hiérarchique Inférence
Estimateurs de Bayes
Inférence
Estimateurs de Bayes

⌧ ⇠ Exponential(a) ⌧ ⇠ Exponential(a)

1.0
Régions de crédibilité Régions de crédibilité
Modèle 1 E (⌧ ) = 1
expo
hierar
Prévision des futures Prévision des futures

0.8
a fixé (par ex a=1) a ⇠ Exponential(1) observations observations

Modèle 2 E (⌧ ) = 1 car

0.6
Lois a priori Lois a priori

prior

0.4
1
Approche subjective
⇡(⌧ ) = (1+⌧ )2
Approche subjective

0.2
Modèle hierarchique Modèle hierarchique
Approche non informative Approche non informative
a ⇠ expo(1)

0.0
0 2 4 6 8 10
Modèles Modèles
tau
Hiérarchiques Hiérarchiques
⌧ ⇠ expo(1) Paramètres multi-variés et A posteriori Paramètres multi-variés et
données historiques. données historiques.
E↵et individuel E↵et individuel

⌧ ⇠ expo(a) Modèle 1 La
Ploi a posteriori est la loi gamma de paramètres
Choix de modèles Choix de modèles
et BMA ( ni=1 Xi + 1, n + a) et BMA
X1 , ...Xn iid Pois(⌧ ) Sélection de modèle Sélection de modèle
Bayesian Model Averaging Modèle 2 On ne retrouve pas une loi classique Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

X1 , ...Xn iid Pois(⌧ ) FB et choix de la loi a priori
n⌧ n 1 FB et choix de la loi a priori
FB et Test
⇡(⌧ |x) / e ⌧ FB et Test

Classification (⌧ + 1)2 Classification

bayésienne bayésienne
Modèle de mélange . Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
Lois non informatives Bayésienne Loi a priori de Laplace Bayésienne

Anne Philippe La loi a priori de Laplace correspond au choix Anne Philippe

Modèle Bayésien Modèle Bayésien

⇡(✓) / I⇥ (✓).
Inférence Inférence
Estimateurs de Bayes Estimateurs de Bayes
Régions de crédibilité
En fonction de l’ensemble ⇥ on obtient Régions de crédibilité

Question Prévision des futures Prévision des futures

I une loi uniforme ⇥

observations observations

Comment choisir la loi a priori lorsque l’on ne dispose pas Lois a priori
Approche subjective I une loi impropre.
Lois a priori
Approche subjective

d’information ? Modèle hierarchique R Modèle hierarchique

Approche non informative
Il faut alors vérifier la condition f (x|✓) d✓ < 1 Approche non informative

On distingue trois grandes familles de lois Modèles

Hiérarchiques Remarques
Modèles
Hiérarchiques
1. la loi uniforme (loi de Laplace) Paramètres multi-variés et
données historiques. I La loi a posteriori n’est pas toujours définie
Paramètres multi-variés et
données historiques.
E↵et individuel E↵et individuel

2. maximisation d’un critère d’information (loi de Je↵reys) Choix de modèles I la loi n’est pas invariante par reparamétrisation Choix de modèles
et BMA et BMA
3. argument fréquentiste (loi de concordance) Sélection de modèle
Reparamétrisation : ⌘ = g (✓) avec (g une bijection) Sélection de modèle
Bayesian Model Averaging Bayesian Model Averaging

Facteur de Bayes d 1 Facteur de Bayes

FB et choix de la loi a priori ⇡(✓) / 1 =) ⇡
e(⌘) / g (⌘) , FB et choix de la loi a priori
FB et Test d⌘ FB et Test

Classification Classification
bayésienne
Modèle de mélange
Le choix de loi a priori sur ⌘ n’est donc plus (en bayésienne
Modèle de mélange
Nombre de clusters général) la loi de Laplace Nombre de clusters
 Statistique Statistique
Loi de Je↵reys Bayésienne Expression de la loi de Je↵reys Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien Modèle Bayésien

Sa construction repose sur l’information de Fisher I (✓) : la
Inférence Inférence
Estimateurs de Bayes matrice défine par Estimateurs de Bayes
Régions de crédibilité Régions de crédibilité
Prévision des futures " ! !# Prévision des futures
Principe : on maximise l’information apportée par les données observations
@ log f (X |✓) @ log f (X |✓) observations

c’est-à -dire Lois a priori Iij (✓) = E✓ Lois a priori

Approche subjective @✓i @✓j Approche subjective
on maximise la distance entre la loi priori et la loi a posteriori Modèle hierarchique Modèle hierarchique
Approche non informative Approche non informative
Z Modèles pour ✓ 2 ⇥ 2 Rd Modèles
En ⇡(✓|xn ) log(⇡(✓|xn )/⇡(✓))d✓ Hiérarchiques
Paramètres multi-variés et
Hiérarchiques
Paramètres multi-variés et
données historiques. données historiques.
E↵et individuel E↵et individuel
La loi non informative de Je↵reys est définie par
on obtient ⇡n , puis on prend la limite quand n ! 1 Choix de modèles
et BMA
Choix de modèles
et BMA
1
Sélection de modèle
Bayesian Model Averaging
⇡ ⇤ (✓) / det 2 I (✓). Sélection de modèle
Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test FB et Test
Cette loi est invariante par reparamétrisation.
Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
Exemples Bayésienne Loi de Référence Bayésienne

Anne Philippe Généralisation de la loi de Je↵reys pour ⇥ ⇢ Rd Anne Philippe

1. modèle binomial : x ⇠ B(n, p) Modèle Bayésien I Les coordonnées sont regroupées par blocs. Modèle Bayésien

I L’information de Fisher s’écrit Inférence I La loi a priori de référence est construite de façon Inférence
Estimateurs de Bayes Estimateurs de Bayes

n Régions de crédibilité conditionnelle. Régions de crédibilité

I (p) = . Prévision des futures Prévision des futures

p(1 p) observations observations

Lois a priori Exemple : 2 blocs ✓ = (✓1 , ✓2 ) Lois a priori

I La loi de Je↵rey est la loi beta Be(1/2, 1/2) Approche subjective Approche subjective
Modèle hierarchique Modèle hierarchique

2. modèle gaussien : x ⇠ N (µ, 2) La loi de Je↵rey est Approche non informative I ✓1 est le paramètre d’intérêt Approche non informative

Modèles Modèles
I ⇡(µ) / 1 si la variance est connue Hiérarchiques I ✓2 est le paramètre de nuisance, Hiérarchiques
I 1
⇡( ) / si la moyenne est connue Paramètres multi-variés et
données historiques.
Paramètres multi-variés et
données historiques.

I ⇡(µ, ) / 2
si les deux sont inconnues E↵et individuel alors la loi a priori de référence est calculée à partir de E↵et individuel

I Pour les trois modèles : la loi a priori est impropre mais Choix de modèles
1. ⇡(✓2 |✓1 ) la loi de Je↵reys associée à f (x|✓) Choix de modèles
et BMA et BMA
la loi a posteriori est bien définie. Sélection de modèle
conditionnellement à ✓1 , Sélection de modèle

Il suffit de vérifier que Bayesian Model Averaging Bayesian Model Averaging

Facteur de Bayes 2. ⇡(✓1 ) comme la loi Je↵reys associée à Facteur de Bayes

Z Z FB et choix de la loi a priori FB et choix de la loi a priori

f (xi |µ, )⇡(µ, ) dµ d < 1 FB et Test Z FB et Test

Classification e
f (x|✓1 ) = f (x|✓1 , ✓2 )⇡(✓2 |✓1 ) d✓2 . Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Statistique
lois de concordance Bayésienne ✓ unidimensionnel Bayésienne

Argument fréquentiste sur les régions de crédibilité Anne Philippe Anne Philippe

Sous des hypothèses générales de régularité, on a Modèle Bayésien Modèle Bayésien

Inférence Inférence

Z Estimateurs de Bayes Proposition Estimateurs de Bayes

⇣ 1
⌘ Régions de crédibilité Régions de crédibilité

P✓ ✓  q↵⇡ (x) = f (x|✓) dx = ↵ + 0 n 2 , Prévision des futures

observations Pour un modèle régulier, la loi a priori est une loi de Prévision des futures
observations

{x| ⇡ (x)}
✓q↵ Lois a priori concordance (matching prior) si et seulement si Lois a priori
Approche subjective Approche subjective

pour tout ↵ 2 (0, 1). [q↵⇡ (x) quantile de la loi a posteriori] Modèle hierarchique
Approche non informative d n 1
o Modèle hierarchique
Approche non informative

⇡(✓)I (✓) 2 = 0.
L’objectif est de trouver des lois avec une meilleur Modèles
Hiérarchiques
d✓ Modèles
Hiérarchiques
vitesse de convergence Paramètres multi-variés et Paramètres multi-variés et
données historiques.
E↵et individuel
où I est l’information de Fisher. données historiques.
E↵et individuel

Choix de modèles Choix de modèles

Définition : Loi de concordance (matching prior) et BMA En dimension 1 : et BMA

I
Sélection de modèle Sélection de modèle

On cherche ⇡ telle que Bayesian Model Averaging la loi de Je↵rey est une loi de concordance Bayesian Model Averaging

Facteur de Bayes I c’est l’unique solution Facteur de Bayes

⇤ 1
P✓ ✓  q↵⇡ (x) = ↵ + 0 n
FB et choix de la loi a priori FB et choix de la loi a priori
, FB et Test FB et Test

Classification Classification
bayésienne bayésienne
pour tout ↵ 2 (0, 1). Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Modèle Bayésien Statistique Statistique

Inférence Bayésienne Motivation Bayésienne

Anne Philippe Anne Philippe

Estimateurs de Bayes
Régions de crédibilité Modèle Bayésien Modèle Bayésien
Prévision des futures observations Inférence Inférence
Lois a priori Estimateurs de Bayes Estimateurs de Bayes
Régions de crédibilité Régions de crédibilité
Approche subjective Prévision des futures Prévision des futures

Modèle hierarchique
observations
Dans de nombreux modèles multi-variés, les paramètres observations

Lois a priori Lois a priori

Approche non informative Approche subjective peuvent être supposés Approche subjective
Modèle hierarchique Modèle hierarchique
Modèles Hiérarchiques Approche non informative I liés/dépendants Approche non informative

Paramètres multi-variés et données historiques. Modèles Modèles

I connectés à d’autres variables exogènes/explicatives.
E↵et individuel Hiérarchiques Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et

Choix de modèles et BMA données historiques. la loi a priori doit refléter la dépendance entre les données historiques.
E↵et individuel E↵et individuel

Sélection de modèle Choix de modèles

paramètres. Choix de modèles
Bayesian Model Averaging et BMA et BMA
Sélection de modèle Sélection de modèle
Facteur de Bayes Bayesian Model Averaging Bayesian Model Averaging

FB et choix de la loi a priori Facteur de Bayes Facteur de Bayes

FB et Test FB et choix de la loi a priori

FB et Test
FB et choix de la loi a priori
FB et Test

Classification bayésienne Classification Classification

bayésienne bayésienne
Modèle de mélange Modèle de mélange Modèle de mélange

Nombre de clusters Nombre de clusters Nombre de clusters

 Statistique Statistique
Modèle hierarchique Bayésienne Description du modèle Bayésienne

Anne Philippe Anne Philippe

+ H H
Modèle Bayésien xH ⇡H ⇡ (·|X )
Modèle Bayésien
On veut estimer ✓ 2 Rp à partir d’un petit échantillon Inférence Inférence
x 2 f (x|✓) Estimateurs de Bayes
K, l µH , ⌃H
Estimateurs de Bayes
Régions de crédibilité Régions de crédibilité

La difficulté est souvent d’intégrer de la Prévision des futures

observations
Prévision des futures
observations

dépendance entre les coordonnées du paramètre ✓. Lois a priori x

+
a priori. ⇡ ⇡(·|X ) Lois a priori
Approche subjective Approche subjective

xH
Modèle hierarchique Modèle hierarchique
Contexte on dispose d’un échantillon historique pour Approche non informative Approche non informative

construire la loi a priori Modèles La loi a priori ⇡ est une loi gaussienne multivariée Modèles
Hiérarchiques Hiérarchiques
Démarche Paramètres multi-variés et Paramètres multi-variés et

I
données historiques.
µ = KE (✓|x H ) = K µH où K est une matrice diagonale données historiques.

On suppose que la loi a priori de ✓ est une loi E↵et individuel E↵et individuel

Choix de modèles Choix de modèles

gaussienne multivariée et BMA ⌃=l 1
Var(✓|x H ) = l 1
⌃H et BMA
Sélection de modèle Sélection de modèle
I On suppose que les deux échantillons sont issus de la Bayesian Model Averaging Bayesian Model Averaging

même famille de lois avec des paramètres similaires Facteur de Bayes Facteur de Bayes
FB et choix de la loi a priori 1. la loi a priori sur ✓ a la même matrice de corrélation que FB et choix de la loi a priori
(mais pas nécessairement égaux) FB et Test FB et Test
la loi a posteriori calculée sur les données historiques.
Classification Classification
bayésienne 2. K mesure la similarité entre les deux échantillons. bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters 3. K , l sont des hyper-paramètres Nombre de clusters

Statistique Statistique
loi des hyperparamètres Bayésienne Application à la régression polynomiale Bayésienne

Anne Philippe Anne Philippe

Modèle : pour tout t = 1...n

Modèle Bayésien Modèle Bayésien
1. La loi a priori du facteur l est choisie ” non
Inférence p
X Inférence
informative” : loi gamma avec une grande variance
✓i xti + "t
Estimateurs de Bayes Estimateurs de Bayes
Régions de crédibilité yt = Régions de crédibilité
2. la loi sur K : on suppose que les k1 , ..., kp sont iid de Prévision des futures
observations i=0
Prévision des futures
observations

moyenne 1 (car les paramètres des deux modèles sont Lois a priori Lois a priori
supposés proches) Approche subjective où Approche subjective
Modèle hierarchique Modèle hierarchique

I "n sont i.i.d. N(0, 2 ),

3. On peut ajouter un niveau hiérarchique sur K Approche non informative Approche non informative

Modèles Modèles
Hiérarchiques I x1 , . . . , xn sont régulièrement espacés sur [-1,1] Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et
données historiques. Description des données simulées : données historiques.

q ⇠ ⇡0 E(q) = 1 Sachant q, ki iid et E(ki |q) = q E↵et individuel E↵et individuel

Choix de modèles échantillon y H : nH = 200 observations avec p = 4 ; Choix de modèles

et BMA
Sélection de modèle
coefficients ✓H = (2, 1, 3, 1, 2) et 2 = 1 et BMA
Sélection de modèle
Bayesian Model Averaging Bayesian Model Averaging
Pour tout i, on a 2
Facteur de Bayes échantillon y : 10 observations : = 4 et Facteur de Bayes
FB et choix de la loi a priori FB et choix de la loi a priori

E (ki ) = E (E (ki |q)) = E (q) = 1 FB et Test FB et Test

Classification ✓0 = ⇢✓0H ✓1 = ⇢✓1H ✓2 = ✓2H ✓3 = ✓3H ✓4 = ✓4H Classification

bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Statistique
résultats numériques : ⇢ = 0.5 Bayésienne (cont.) Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien A -> historique et B -> l’échantillon Modèle Bayésien

Inférence Inférence
Estimateurs de Bayes Estimateurs de Bayes
20

Régions de crédibilité Régions de crédibilité

Prévision des futures NI I Prévision des futures

10

10
observations estimated A estimated A observations
true A true A
true B true B
Lois a priori Lois a priori

8
10
Error on coefficients

Approche subjective Approche subjective

6
Modèle hierarchique Modèle hierarchique
Approche non informative Approche non informative

P(t)

P(t)
4

4
Modèles Modèles
0

Hiérarchiques Hiérarchiques

2
Paramètres multi-variés et Paramètres multi-variés et
données historiques. données historiques.

0
E↵et individuel E↵et individuel
−10

−2

−2
Choix de modèles Choix de modèles
et BMA et BMA
−1.0 −0.5 0.0 0.5 1.0 −1.0 −0.5 0.0 0.5 1.0
Sélection de modèle Sélection de modèle
t t
Bayesian Model Averaging Bayesian Model Averaging
0 MLE 1 MLE 2 MLE 3 MLE 4 MLE 0 NI 1 NI 2 NI 3 NI 4 NI 0I 1I 2I 3I 4I
Facteur de Bayes Facteur de Bayes
Order
FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test Polynomes estimés : comparaison de l’approche FB et Test

Classification non-informative (left) et de l’approche informative (right). Classification

Erreurs d’estimation pour les 5 coefficients du modèle, MLE, bayésienne
Modèle de mélange
bayésienne
Modèle de mélange

loi non-informative (NI) and loi informative (I) Nombre de clusters Nombre de clusters

Statistique Statistique
Modèle Bayésienne Les lois du modèle Bayésienne

Anne Philippe Anne Philippe

On dispose de n observations y1 , ..., yn 1. La loi des observations :
Modèle Bayésien Modèle Bayésien
1. Chaque observation yi est issue de la loi f (·|✓i ) f (x1 , ..., xn |✓1 , ..., ✓n )
Inférence Inférence
2. tous les ✓i sont distribués suivant une même loi de Estimateurs de Bayes
2. La loi a priori Estimateurs de Bayes
Régions de crédibilité Régions de crédibilité
paramètre ↵ Prévision des futures
observations ⇡(✓1 , ..., ✓n |↵) Prévision des futures
observations

3. Le paramètre ↵ est fixé ou supposé inconnu. Lois a priori

3. loi de l’hyper-paramètre Lois a priori
Approche subjective Approche subjective
Modèle hierarchique Modèle hierarchique
Approche non informative ⇡(↵) Approche non informative

Modèles Modèles
Hiérarchiques La loi a posteriori est Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et
données historiques. données historiques.
E↵et individuel
⇡(✓1 , ..., ✓n , ↵|x1 , ..., xn ) / E↵et individuel

Choix de modèles Choix de modèles

et BMA f (x1 , ..., xn |✓1 , ..., ✓n )⇡(✓1 , ..., ✓n |↵)⇡(↵) et BMA
Sélection de modèle Sélection de modèle
Bayesian Model Averaging Bayesian Model Averaging

Facteur de Bayes
et Facteur de Bayes
FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test ⇡(✓1 , ..., ✓n |x1 , ..., xn ) / FB et Test

Classification Z Classification
bayésienne bayésienne
Modèle de mélange
f (x1 , ..., xn |✓1 , ..., ✓n )⇡(✓1 , ..., ✓n |↵)⇡(↵) d↵ Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Statistique
Echangeabilité Bayésienne Forme des lois échangeables Bayésienne

Anne Philippe La forme la plus simple d’une distribution échangeable est de Anne Philippe

Modèle Bayésien supposer les variables ✓1 , ..., ✓n indépendantes et Modèle Bayésien

Si aucune information n’est disponible pour distinguer les ✓j Inférence identiquement distribuées suivant une loi paramétrée par ↵ Inférence
Estimateurs de Bayes Estimateurs de Bayes
les uns des autres. Régions de crédibilité
n
Y
Régions de crédibilité
Prévision des futures Prévision des futures

I aucun ordre sur les ✓1 , ..., ✓n observations

p(✓1 , ..., ✓n |↵) = p(✓i |↵) observations

Lois a priori Lois a priori

I i=1
aucun regroupement Approche subjective Approche subjective
Modèle hierarchique
Approche non informative
En général, ↵ est inconnu, et il devient un paramètre (hyper Modèle hierarchique
Approche non informative
On doit supposer que les paramètres sont paramètre) du modèle :
Modèles Modèles
interchangeables Hiérarchiques
n Hiérarchiques
Paramètres multi-variés et Y Paramètres multi-variés et

Cette propriété correspond à la propriété d’échangeabilité

données historiques.
E↵et individuel
p(✓1 , ..., ✓n , ↵) = p(✓i |↵)⇡(↵) données historiques.
E↵et individuel

Choix de modèles i=1 Choix de modèles

pour une loi de probabilité : et BMA et BMA
et Z Y
la loi a priori sur ✓1 , ..., ✓n est invariante par
Sélection de modèle
n Sélection de modèle
Bayesian Model Averaging Bayesian Model Averaging

permutation des indices (1, ..., n). Facteur de Bayes p(✓1 , ..., ✓n ) = p(✓i |↵)⇡(↵) d↵ Facteur de Bayes
FB et choix de la loi a priori A i=1 FB et choix de la loi a priori
FB et Test FB et Test

Classification I Conditionnellement à ↵, les variables ✓1 , ..., ✓n sont Classification

bayésienne bayésienne
Modèle de mélange
indépendantes Modèle de mélange
Nombre de clusters
I Mais les variables ✓1 , ..., ✓n ne sont pas indépendantes Nombre de clusters

Statistique Statistique
Echangeabilité et informations supplémentaires Bayésienne Echangeabilité et covariables Bayésienne

Multilevel model Anne Philippe Anne Philippe

I Si les observations peuvent être regroupées, on construit Modèle Bayésien Modèle Bayésien

un modèle hiérarchique où chaque groupe a son propre Inférence La façon habituelle de modéliser l’échangeabilité avec les Inférence

sous-modèle.
Estimateurs de Bayes
Régions de crédibilité
covariables z1 , ..., zn est de supposer l’indépendance Estimateurs de Bayes
Régions de crédibilité

On choisit des lois échangeables pour chacun des

Prévision des futures
observations conditionnelle. Prévision des futures
observations

groupes Lois a priori La loi a priori s’écrit Lois a priori

Approche subjective Approche subjective
Modèle hierarchique Modèle hierarchique
Approche non informative
n
Y Approche non informative

Modèles p(✓1 , ..., ✓n , ↵|z1 , ..., zn ) = p(✓i |↵, zi )p(↵|z1 , ..., zn ) Modèles
Hiérarchiques Hiérarchiques
Paramètres multi-variés et
i=1 Paramètres multi-variés et
données historiques. données historiques.
E↵et individuel
et E↵et individuel

Choix de modèles Choix de modèles

et BMA Z Y
n et BMA
Sélection de modèle Sélection de modèle
Bayesian Model Averaging p(✓1 , ..., ✓n |z1 , ..., zn ) = p(✓i |↵, zi )p(↵|z1 , ..., zn ) d↵ Bayesian Model Averaging

Facteur de Bayes i=1 Facteur de Bayes

FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test FB et Test

Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Statistique
Prévision dans un modèle hierarchique Bayésienne Modèle hiérarchique Normal-Normal Bayésienne

Anne Philippe Anne Philippe

I On observe x1 , ..., xn avec xi ⇠ f (·|✓i ) On suppose que

Modèle Bayésien Modèle Bayésien
I Les paramètres du modèle sont (✓1 , ..., ✓n , ↵) Inférence 1. les observations sont indépendantes gaussiennes Inférence

I On veut prévoir xn+1

Estimateurs de Bayes
Régions de crédibilité
yi ⇠ N(µi , si2 ) Estimateurs de Bayes
Régions de crédibilité
Prévision des futures
observations
yi = µi + si "i Prévision des futures
observations

Lois a priori Lois a priori

Approche subjective Approche subjective
Modèle hierarchique I les si sont connues Modèle hierarchique

p(xn+1 |x1 , ..., xn ) = Approche non informative

I
Approche non informative

Z les "i sont iid N(0, 1).

Modèles Modèles
Hiérarchiques Hiérarchiques
f (xn+1 |✓n+1 )p(✓n+1 |↵)⇡(↵|x1 , ..., xn ) d↵ d✓n+1 Paramètres multi-variés et
2. Hypothèses sur les µi : Paramètres multi-variés et
données historiques. données historiques.
E↵et individuel E↵et individuel

A partir d’un échantillon (↵1 , ..., ↵M ) simulé suivant la loi a Choix de modèles
µi = µ + "˜i Choix de modèles
et BMA et BMA
posteriori de ↵, Sélection de modèle Sélection de modèle
Bayesian Model Averaging Bayesian Model Averaging

1. On simule ✓n+1 (i) suivant p(✓n+1 |↵i ) pour tout Facteur de Bayes I mesure la dispersion des µi autour de µ Facteur de Bayes
i = 1, ..., M FB et choix de la loi a priori I les "˜i sont iid N(0, 1). FB et choix de la loi a priori
FB et Test FB et Test
I Loi échangeable sur µ1 , .., µn car conditionnellement à
2. On simule xn+1 (i) suivant f (xn+1 |✓n+1 (i)) pour tout Classification Classification
bayésienne (µ, 2 ), µ1 , .., µn sont iid suivant la loi N(µ, 2 ) bayésienne
i = 1, ..., M Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
Loi a priori sur les hyper paramètres Bayésienne Alternative pour la loi sur la variance Bayésienne

Anne Philippe Anne Philippe

2 µ
Modèle Bayésien On fixe s0 > 0. Modèle Bayésien

On choisit Inférence La loi de 2 est la loi de shrinkage uniforme de paramètre s0 Inférence

Estimateurs de Bayes Estimateurs de Bayes
Régions de crédibilité si Régions de crédibilité
2 2
p( , µ) = p( )p(µ) Prévision des futures
observations s02 /( 2 + s02 ) ⇠ U(0, 1) Prévision des futures
observations

Lois a priori Lois a priori

avec Approche subjective La densité est de la forme Approche subjective
Modèle hierarchique Modèle hierarchique

s2
Approche non informative Approche non informative
µi 2
⇠ loi gamma(⌫, ) Modèles p( 2 ) = 2 0 2 2 . Modèles
si2 Hiérarchiques
(s0 + ) Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et
données historiques. données historiques.
µ ⇠ N(mµ , Vµ ) E↵et individuel E↵et individuel

yi
Choix de s0
Choix de modèles Choix de modèles
et BMA Si les si2 sont connus on prend et BMA
i = 1 to n Sélection de modèle Sélection de modèle
Bayesian Model Averaging Bayesian Model Averaging
n
Facteur de Bayes 1 1X 1 Facteur de Bayes
Remarque = .
s02 si2
FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test n FB et Test
2 i=1
Attention si on prend une loi impropre pour (par exemple Classification Classification
1
2 ) la loi a posteriori n’est pas toujours définie. bayésienne
Modèle de mélange
bayésienne
Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Statistique
Extension : vers un modèle robuste Bayésienne Illustration : Bayésienne

Pour obtenir un modèle robuste, on ajoute un e↵et individuel Anne Philippe Anne Philippe

sur la variance Modèle Bayésien Modèle Bayésien

µi = µ + i "˜i Inférence Inférence
Estimateurs de Bayes Estimateurs de Bayes

µ Régions de crédibilité Régions de crédibilité

Prévision des futures Prévision des futures
observations observations

Lois a priori
1. Pour illustrer la robustesse on simule un échantillon de Lois a priori
Approche subjective taille 100 et on remplace une proportion q des valeurs Approche subjective
Modèle hierarchique Modèle hierarchique
Approche non informative par des outliers. Approche non informative

2 Modèles Modèles
i Hiérarchiques 2. On répète 500 fois l’expérience Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et
données historiques. 3. On représente l”évolution des estimateurs de Bayes de données historiques.
E↵et individuel E↵et individuel

µi Choix de modèles
µ, i en fonction de q. Choix de modèles
si2 et BMA
Sélection de modèle
et BMA
Sélection de modèle
Bayesian Model Averaging Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

yi FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test FB et Test
i = 1 to n Classification Classification
bayésienne bayésienne
Loi a priori sur les i. Ils sont iid suivant la loi de Shrinkage Modèle de mélange
Nombre de clusters
Modèle de mélange
Nombre de clusters

uniforme.

Statistique Modèle Bayésien Statistique

Résultats numériques Bayésienne
Inférence Bayésienne

Anne Philippe Anne Philippe

Estimateurs de Bayes
Régions de crédibilité
Comparaison des modèles avec ou sans e↵et individuel sur la Modèle Bayésien
Prévision des futures observations
Modèle Bayésien

Inférence Inférence
variance Estimateurs de Bayes
Lois a priori Estimateurs de Bayes
Régions de crédibilité Régions de crédibilité
Prévision des futures Approche subjective Prévision des futures
observations observations
Modèle hierarchique
Lois a priori Lois a priori
Approche subjective Approche non informative Approche subjective
Modèle hierarchique Modèle hierarchique
Approche non informative
Modèles Hiérarchiques Approche non informative

Modèles Paramètres multi-variés et données historiques. Modèles

Hiérarchiques E↵et individuel Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et
données historiques.
E↵et individuel
Choix de modèles et BMA données historiques.
E↵et individuel

Choix de modèles
Sélection de modèle Choix de modèles
et BMA Bayesian Model Averaging et BMA
Sélection de modèle Sélection de modèle
Bayesian Model Averaging Facteur de Bayes Bayesian Model Averaging

Facteur de Bayes FB et choix de la loi a priori Facteur de Bayes

Comparaison des valeurs de i entre une observation FB et choix de la loi a priori

FB et Test
FB et Test FB et choix de la loi a priori
FB et Test

”standard” et un outlier Classification Classification bayésienne Classification

bayésienne bayésienne
Modèle de mélange
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters Nombre de clusters
 Statistique Statistique
Description du problème Bayésienne Approche classique Bayésienne

Anne Philippe Anne Philippe

I Pour chaque modèle, on estime le paramètre ✓k 2 ⇥k à
Modèle Bayésien Modèle Bayésien

Inférence
partir des observations x ✓ˆk l’estimateur du Inférence
Estimateurs de Bayes Maximum de Vraisemblance Estimateurs de Bayes

Soit Mk k = 1, ...K une collection de modèles. Régions de crédibilité

Prévision des futures
Régions de crédibilité
Prévision des futures
observations observations

I A partir des observations x = (x1 , ..., xn ) : on veut Lois a priori I On utilise un critère de sélection de modèle : Lois a priori
choisir le meilleur modèle Approche subjective
Modèle hierarchique 1. AIC = 2 ln(L(✓ˆk )) + 2k
Approche subjective
Modèle hierarchique

2. AICc = AIC + 2k(k+1)

Approche non informative Approche non informative

Modèles
n k 1 Modèles
Hiérarchiques 3. BIC = 2 ln(L(✓ˆk )) + ln(n)k Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et

I Pour k = 1, .., K , le modèle Mk est défini par données historiques.

E↵et individuel
données historiques.
E↵et individuel

I x ⇠ fk (x|✓k ) = L(✓k ) Choix de modèles

et BMA
I On sélectionne le modèle que minimise le critère : k⇤ Choix de modèles
et BMA
I ✓k 2 ⇥ k Sélection de modèle Sélection de modèle
Bayesian Model Averaging Bayesian Model Averaging

Facteur de Bayes
Décision Facteur de Bayes
FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test I On estime ✓ par ✓ˆk ⇤ FB et Test

Classification Classification
bayésienne I On prévoit en utilisant le modèle Mk ⇤ bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
Version Bayésienne Bayésienne Règle de décision Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien Modèle Bayésien

Inférence Inférence
I On calcule les probabilités a posteriori des K modèles
I Soit Mk k = 1, ...K une collection de modèles. Estimateurs de Bayes Estimateurs de Bayes
Régions de crédibilité
Prévision des futures
R Régions de crédibilité
Prévision des futures
observations P(Mi ) fi (x|✓i )⇡i (✓i ) d✓i observations

⇡(Mi |x) = Pk R
I pour i = 1, ..., K on note Lois a priori Lois a priori
Approche subjective j=1 P(Mj ) fj (x|✓j )⇡j (✓j ) d✓j Approche subjective

I x ⇠ fi (x|✓i ) Modèle hierarchique Modèle hierarchique

Approche non informative Approche non informative
I ✓i 2 ⇥ i I La règle de décision :
Modèles Modèles
I ✓i ⇠ ⇡i (✓i ) Hiérarchiques
Paramètres multi-variés et
On sélectionne la valeur k ⇤ qui maximise Hiérarchiques
Paramètres multi-variés et
I On construit un méta modèle : données historiques.
P(Mk |x) données historiques.
E↵et individuel E↵et individuel

l’indice du modèle devient aussi un paramètre du modèle Choix de modèles Choix de modèles
et BMA ou et BMA
I soit
P P(Mk ) les probabilités a priori des K modèles. Sélection de modèle
Bayesian Model Averaging
On construit un modèle moyenné avec des Sélection de modèle
Bayesian Model Averaging
P(Mk ) = 1 poids (BMA)
Facteur de Bayes Facteur de Bayes
FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test FB et Test

Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Statistique
Bayesian Model Averaging Bayésienne La prévision par mélange Bayésienne

Anne Philippe Anne Philippe

Cox : ”All models are wrong, some are useful”
Modèle Bayésien Modèle Bayésien
Soit Mk k = 1, ...K une collection de modèles. Inférence Inférence

Pour chaque modèle de la collection on note Estimateurs de Bayes Ayant observé x1 , . . . , xn , Estimateurs de Bayes
Régions de crédibilité Régions de crédibilité

I x ⇠ fk (x|✓k )
Prévision des futures
observations
I la densité prédictive de xn+1 est Prévision des futures
observations

I ✓k 2 ⇥ k
Lois a priori X Lois a priori
Approche subjective
Modèle hierarchique
f (y |x1 , . . . , xn ) = ⇡(Mk |x1 , . . . , xn )fk (y |x1 , . . . , xn ) Approche subjective
Modèle hierarchique
I ✓k ⇠ ⇡k (✓k ) Approche non informative Approche non informative
k
Modèles Modèles
Idée Hiérarchiques Hiérarchiques
où fk (y |x1 , . . . , xn ) est la densité de la loi prédictive
I
Paramètres multi-variés et Paramètres multi-variés et
On estime et prévoit à partir d’un modèle moyenné données historiques. données historiques.
E↵et individuel dans le modèle Mk E↵et individuel

I Tous les modèles n’ont pas la même contribution Choix de modèles Z Choix de modèles
et BMA et BMA
I Les poids des modèles individuels sont les probabilités a Sélection de modèle fk (y |x1 , . . . , xn ) = fk (y |x1 , . . . , xn , ✓k )⇡k (✓k |x1 , . . . , xn ) d✓k Sélection de modèle
Bayesian Model Averaging Bayesian Model Averaging
posteriori des modèles, c’est à dire
Facteur de Bayes Facteur de Bayes
R FB et choix de la loi a priori FB et choix de la loi a priori

P(Mk ) fk (x|✓k )⇡k (✓k ) d✓k FB et Test FB et Test

⇡(Mk |x) = PK R Classification Classification

i=1 P(Mi ) fi (x|✓i )⇡i (✓i ) d✓i bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
Intervalle de prévision et prévision ponctuelle Bayésienne Estimation et BMA Bayésienne

I Les intervalles de prévision se calculent sur la loi

Anne Philippe Soit Mk k = 1, ...K une collection de modèles. Anne Philippe

prédictive Modèle Bayésien Pour chaque modèle de la collection on note Modèle Bayésien
P I x ⇠ fk (x|✓k )
f (y |x1 , . . . , xn ) = k ⇡(Mk |x1 , . . . , xn )fk (y |x1 , . . . , xn ) Inférence Inférence
Estimateurs de Bayes
I ✓k 2 ⇥ k Estimateurs de Bayes

I Le prédicteur optimal est Régions de crédibilité Régions de crédibilité

Prévision des futures
I ✓k ⇠ ⇡k (✓k ) Prévision des futures
X observations observations

x̂n+1 = ⇡(Mk |x1 , . . . , xn )x̂n+1 (k) Lois a priori On veut estimer un paramètre d’intérêt ✓˜ (commun à tous Lois a priori
Approche subjective Approche subjective
k Modèle hierarchique les modèles) Modèle hierarchique
Approche non informative
✓˜ 2 ⇥
˜ ⇢ ⇥i pour tout i Approche non informative

où x̂n+1 (k) est le predicteur ponctuel dans le modèle Mk Modèles Modèles
Z Hiérarchiques
Paramètres multi-variés et
Le modèle bayesien moyenné est défini par la loi a posteriori Hiérarchiques
Paramètres multi-variés et
données historiques. données historiques.
x̂n+1 (k) = y fk (y |x1 , . . . , xn ) dy E↵et individuel
K
X E↵et individuel

Choix de modèles
˜ =
⇡ BMA (✓|x) ˜ k , x)⇡(Mk |x)
⇡(✓|M Choix de modèles
et BMA et BMA
Sélection de modèle
k=1 Sélection de modèle
Remarque Bayesian Model Averaging Bayesian Model Averaging

Facteur de Bayes I ˜ k , x) est la loi a posteriori du paramètre ✓˜ pour

⇡k (✓|M Facteur de Bayes

I le modèle Mk
FB et choix de la loi a priori FB et choix de la loi a priori
Tous les modèles contribuent au calcul de la prévision FB et Test FB et Test

I I ⇡(Mk |x) est la probabilité a posteriori du modèle k

Dans l’approche classique, on calcule la prévision dans Classification
bayésienne
Classification
bayésienne
le modèle sélectionné. Modèle de mélange C’est la moyenne pondérée des distributions a Modèle de mélange
Nombre de clusters Nombre de clusters

posteriori de ✓˜ pour chacun des modèles

 Statistique Statistique
Lien entre l’estimation et la prévision Bayésienne Regression Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien Le modèle s’écrit Modèle Bayésien

Inférence
Estimateurs de Bayes
yi = xi> + "i . Inférence
Estimateurs de Bayes
Régions de crédibilité Régions de crédibilité
Prévision des futures On suppose qu’il y a p variables explicatives donc 2p modèles Prévision des futures

On suppose que ✓ = ✓. ˜ observations observations

Lois a priori I La loi a priori de Zellner’s g-prior est la loi multivariée Lois a priori
La prévision par mélange coincide avec la loi prédictive Approche subjective Approche subjective

construite à partir de la loi a posteriori ⇡ BMA (✓|x) Modèle hierarchique gaussienne Modèle hierarchique
Approche non informative Approche non informative

Z Modèles 1 > 1 Modèles

Hiérarchiques | ⇠ N[ 0 , g (X X ) ]. Hiérarchiques
f (y |x1 , . . . , xn ) = f (y |x1 , . . . , xn , ✓)⇡ BMA (✓|x1 , . . . , xn ) d✓ Paramètres multi-variés et
données historiques.
Paramètres multi-variés et
données historiques.
E↵et individuel
où 2 = 1 est la variance de "i E↵et individuel

Choix de modèles Choix de modèles

et BMA I g est un scalaire à fixer. Le choix classique ’unit et BMA
Sélection de modèle Sélection de modèle
Bayesian Model Averaging information prior’ (UIP), g = N le nombre Bayesian Model Averaging

Facteur de Bayes d’observations. Facteur de Bayes

FB et choix de la loi a priori FB et choix de la loi a priori

I 1
FB et Test
⇡( ) = FB et Test

Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
Regression (cont) Bayésienne Application sur données simulés (R : BMS) Bayésienne

Anne Philippe Anne Philippe

I On choisit la loi uniforme sur les modèles. Modèle Bayésien Modèle Bayésien

Inférence Inférence
I La loi sur le nombre de variables incluses n’est pas I
Estimateurs de Bayes
4 variables explicatives. Estimateurs de Bayes

uniforme. Régions de crédibilité

I
Régions de crédibilité
Prévision des futures
observations Données simulées avec 3 variables explicatives : Prévision des futures
observations
I Loi a posteriori BMA pour les coefficients de la Lois a priori y = 1 ⇤ x1 + 1.5 ⇤ x2 + .5 ⇤ x3 + " Lois a priori
régression Approche subjective
I
Approche subjective
Modèle hierarchique la variable 4 n’apparait pas dans le modèle Modèle hierarchique
Approche non informative Approche non informative

X2p Modèles Modèles

⇡( |x, y ) = ⇡( |Mk , x, y )⇡(Mk |x, y ) Hiérarchiques
Paramètres multi-variés et
Hiérarchiques
Paramètres multi-variés et
données historiques. données historiques.
k=1 E↵et individuel E↵et individuel

Choix de modèles Choix de modèles

et BMA et BMA
Remarque Sélection de modèle Sélection de modèle
Bayesian Model Averaging Bayesian Model Averaging

En grande dimension on ne peut pas estimer tous les Facteur de Bayes Facteur de Bayes
FB et choix de la loi a priori FB et choix de la loi a priori
modèles. On conserve que les modèles de plus forte FB et Test FB et Test

probabilité a posteriori. Classification Classification

bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Statistique
loi a posteriori sur le nombre de variables Bayésienne loi a posteriori sur les modèles Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien Modèle Bayésien

Inférence Inférence
Estimateurs de Bayes Estimateurs de Bayes
Régions de crédibilité Régions de crédibilité
Prévision des futures Prévision des futures
observations 0d 0e 0f 0c 07 05 06 04 03 08 09 observations

Lois a priori x1 1.0 1.00 1.00 1 0 0 0 0 0 1 1 Lois a priori

Approche subjective Approche subjective
Modèle hierarchique x2 1.0 1.00 1.00 1 1 1 1 1 0 0 0 Modèle hierarchique
Approche non informative Approche non informative
x3 0.0 1.00 1.00 0 1 0 1 0 1 0 0
Modèles Modèles
Hiérarchiques x4 1.0 0.00 1.00 0 1 1 0 0 1 0 1 Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et
données historiques. PMP 0.5 0.44 0.05 0 0 0 0 0 0 0 0 données historiques.
E↵et individuel E↵et individuel

Choix de modèles Choix de modèles

et BMA PMP : probabilité a posteriori du modèle et BMA
Sélection de modèle Sélection de modèle
Bayesian Model Averaging Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test FB et Test

Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
Estimation des paramètres Bayésienne Prévision Bayésienne

Anne Philippe Anne Philippe

PIP Post Mean Post SD
x2 1.0000000 1.4546208 0.03075993 Modèle Bayésien Modèle Bayésien

x1 1.0000000 0.9341147 0.04337772 Inférence Inférence

x4 0.5555022 0.1787574 0.30165430 Estimateurs de Bayes
Régions de crédibilité
Estimateurs de Bayes
Régions de crédibilité

x3 0.4970332 0.2239837 0.60424542 Prévision des futures

observations
Prévision des futures
observations

Lois a priori Lois a priori

PIP : probabilité a posteriori que la variable soit intégrée dans le Approche subjective Approche subjective

modèle Modèle hierarchique Modèle hierarchique

Approche non informative Approche non informative

Modèles Modèles
Hiérarchiques Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et
données historiques. données historiques.
E↵et individuel E↵et individuel

Choix de modèles Choix de modèles

et BMA et BMA
Sélection de modèle Sélection de modèle
Bayesian Model Averaging Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test FB et Test

Classification
bayésienne
Le trait jaune représente la réalisation Classification
bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
Modèle Bayésien Statistique Statistique
Inférence Bayésienne Facteur de Bayes Bayésienne

Anne Philippe Anne Philippe

Estimateurs de Bayes
Régions de crédibilité Modèle Bayésien
Définition Modèle Bayésien
Prévision des futures observations Inférence Le facteur de Bayes est défini par Inférence
Lois a priori Estimateurs de Bayes
✓ ◆
Estimateurs de Bayes
Régions de crédibilité Régions de crédibilité
Approche subjective Prévision des futures P(M0 |x) P(M0 ) Prévision des futures

Modèle hierarchique
observations
B0/1 = / observations

Lois a priori P(M1 |x) P(M1 ) Lois a priori

Approche non informative Approche subjective Approche subjective
Modèle hierarchique Modèle hierarchique
Modèles Hiérarchiques Approche non informative Approche non informative

Paramètres multi-variés et données historiques. Modèles Le FB élimine bien l’influence des poids a priori des deux Modèles
E↵et individuel Hiérarchiques
modèles et se comporte comme un rapport de vraisemblance Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et

Choix de modèles et BMA données historiques.

E↵et individuel R
données historiques.
E↵et individuel

Sélection de modèle f0 (x|✓0 )⇡0 (✓0 ) d✓0

Choix de modèles B0/1 = R Choix de modèles
Bayesian Model Averaging et BMA
f1 (x|✓1 )⇡1 (✓1 ) d✓1 et BMA
Sélection de modèle Sélection de modèle
Facteur de Bayes Bayesian Model Averaging Bayesian Model Averaging

FB et choix de la loi a priori Facteur de Bayes

Interprétation du FB Facteur de Bayes

FB et Test FB et choix de la loi a priori

FB et Test
FB et choix de la loi a priori
FB et Test

Classification bayésienne Classification

Une valeur de B0/1 > 1 signifie que M0 est plus Classification
Modèle de mélange bayésienne
Modèle de mélange
vraisemblable M1 bayésienne
Modèle de mélange

Nombre de clusters Nombre de clusters Nombre de clusters

Statistique Statistique
Table donnée par Kass et Raftery Bayésienne choix de modèles entre plusieurs lois a priori Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien Modèle Bayésien

I Données le nombre de
Inférence Inférence
Estimateurs de Bayes
Régions de crédibilité
buts marqués par match Estimateurs de Bayes
Régions de crédibilité
Prévision des futures
observations
pendant une saison (pour Prévision des futures
observations

log10 B0/1 confiance en faveur de M0 Lois a priori une équipe) Lois a priori

15
Approche subjective Approche subjective
0 - 0.5 faible I On dispose d’un

table(soccergoals)
Modèle hierarchique Modèle hierarchique
Approche non informative Approche non informative
0.5 - 1 substantielle échantillon de taille 35.

10
Modèles Modèles
1–2 forte Hiérarchiques I On modélise ces données Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et
>2 décisive.

5
données historiques.
E↵et individuel
par une loi de Poisson de données historiques.
E↵et individuel

Choix de modèles paramètre Choix de modèles

0
et BMA et BMA
Sélection de modèle I On compare quatre 0 1 2 3 4 5
Sélection de modèle
Bayesian Model Averaging soccergoals Bayesian Model Averaging
modèles qui
Facteur de Bayes Facteur de Bayes
FB et choix de la loi a priori correspondent à quatre FB et choix de la loi a priori
FB et Test FB et Test
choix de lois a priori
Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Statistique
Lois a priori Bayésienne calcul des facteur de Bayes Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien Modèle Bayésien

1. suit une loi Gamma de Inférence Les FB s’écrivent Inférence

Estimateurs de Bayes Estimateurs de Bayes
paramètres (4.57, 1.43). Régions de crédibilité R Régions de crédibilité

E ( ) = 3 et P( < 2.1) = Prévision des futures f (x|✓)⇡i (✓) d✓ mi (x) Prévision des futures
observations
Bi/j =R = observations

P( > 4.04) = .25. Lois a priori f (x|✓)⇡j (✓) d✓ mj (x) Lois a priori
Approche subjective Approche subjective
2. log ( ) suit une loi Modèle hierarchique où mi est la loi marginale de x. Modèle hierarchique
Approche non informative Approche non informative
N (1, 1/4) et P( < Résultats numériques
Modèles Modèles
1.94) = P( > 3.81) = .25. Hiérarchiques Hiérarchiques
Paramètres multi-variés et
modèles MAP SD a post log(m(x)) Paramètres multi-variés et

3. log ( ) suit une loi données historiques. données historiques.

N (2, 1/4) et
E↵et individuel
1 0.5248047 0.1274414 -1.502977 E↵et individuel

Choix de modèles Choix de modèles

P( < 5.27) = P( > et BMA 2 0.5207825 0.1260712 -1.255171 et BMA
Sélection de modèle
10.35) = .25. Bayesian Model Averaging
3 0.5825195 0.1224723 -5.076316 Sélection de modèle
Bayesian Model Averaging

4. log ( ) suit une loi N (1, 4) Facteur de Bayes 4 0.4899414 0.1320165 -2.137216 Facteur de Bayes
FB et choix de la loi a priori FB et choix de la loi a priori
et P( < 1.92) = P( > FB et Test FB et Test

28.5) = .25. Classification Classification

bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
Facteur de Bayes Bayésienne Tests Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien Modèle Bayésien

Inférence Inférence
Estimateurs de Bayes Estimateurs de Bayes
Régions de crédibilité Régions de crédibilité
Prévision des futures Prévision des futures
observations
On veut tester si ✓ 2 ⇥0 contre ✓ 2 ⇥1 . observations

modèles i/j 2/1 2/3 2/4 Lois a priori

Le FB s’écrit
Lois a priori
Approche subjective Approche subjective
(Bi/j ) 1.28 45.7 2.42 Modèle hierarchique Modèle hierarchique
Approche non informative Approche non informative
log (Bi/j ) .24 3.82 0.88 ✓ ◆ R
Modèles Modèles
en faveur de 2 2 2 Hiérarchiques P(✓ 2 ⇥0 |x) P(✓ 2 ⇥0 ) f (x|✓)⇡0 (✓) d✓ Hiérarchiques
Paramètres multi-variés et B0/1 = / = R⇥0 Paramètres multi-variés et
confiance faible décisive substantielle données historiques.
E↵et individuel
P(✓ 2 ⇥1 |x) P(✓ 2 ⇥1 ) ⇥1 f (x|✓)⇡1 (✓) d✓ données historiques.
E↵et individuel

Choix de modèles Choix de modèles

et BMA et BMA
Sélection de modèle Sélection de modèle
Bayesian Model Averaging Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test FB et Test

Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Statistique
Hypothèses classiques Bayésienne Comparaison avec Neyman Pearson Bayésienne

Anne Philippe Anne Philippe

I Pour le test {✓0 } contre {✓1 } Modèle Bayésien Modèle Bayésien

I ⇡i sont les masses de Dirac en ✓i Inférence Inférence

Estimateurs de Bayes Estimateurs de Bayes
I le BF s’écrit Régions de crédibilité
On teste pour un échantillon gaussien : µ = 0 contre µ 6= 0 Régions de crédibilité

f (x|✓0 ) Prévision des futures Prévision des futures

B0/1 = observations
On choisit comme loi a priori observations

f (x|✓1 ) Lois a priori Lois a priori

Approche subjective Approche subjective
I Pour le test {✓0 } contre {✓ 6= ✓0 } Modèle hierarchique ⇡( d✓) = p 0 ( d✓) + (1 p)g (✓) d✓ Modèle hierarchique
Approche non informative Approche non informative
I ⇡0 sont les masses de Dirac en ✓0
Modèles Modèles
I ⇡1 admet pour densité g sur R Hiérarchiques où g est la densité de la loi gaussienne de paramètre (0, 10) Hiérarchiques
I la loi a priori est donnée par Paramètres multi-variés et
données historiques. Le facteur de Bayes est égal à Paramètres multi-variés et
données historiques.
E↵et individuel E↵et individuel
p
⇡( d✓) = p ✓0 ( d✓) + (1 p)g (✓) d✓ Choix de modèles
B0/1 = 11 exp( 10x 2 /22) Choix de modèles
et BMA et BMA
Sélection de modèle Sélection de modèle
I le BF s’écrit Bayesian Model Averaging Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

f (x|✓0 ) FB et choix de la loi a priori FB et choix de la loi a priori
B0/1 = R FB et Test FB et Test

R
f (x|✓)g (✓) d✓
Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
Interprétation Bayésienne Remarque sur les lois a priori impropres Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien Test sur la moyenne d’un échantillon gaussien Modèle Bayésien
I Le FB atteint son maximum en 0
Inférence Inférence
I
On teste pour un échantillon gaussien N (✓, 1) : ✓ = 0 contre
Le FB est supérieur à 1 (décision favorable à Estimateurs de Bayes Estimateurs de Bayes
Régions de crédibilité
✓ 6= 0 Régions de crédibilité

l’hypothèse nulle) si |x| < 1.62 Prévision des futures Prévision des futures
observations
Si on prend la loi de Je↵reys g (✓) = C IR , La constante C observations

I On retrouve la région du test de Neyman Pearson au Lois a priori Lois a priori

Approche subjective
est arbitraire Approche subjective
seuil 10 %. Modèle hierarchique Modèle hierarchique
Approche non informative Approche non informative

Modèles
⇡( d✓) = p 0 ( d✓) + (1 p)C d✓ Modèles
Hiérarchiques Hiérarchiques
Paramètres multi-variés et
données historiques. le BF s’écrit Paramètres multi-variés et
données historiques.
E↵et individuel E↵et individuel

Choix de modèles f (x|0) 1 x 2 /2 Choix de modèles

et BMA B0/1 = R = p e et BMA
Sélection de modèle C R f (x|✓) d✓ C 2⇡ Sélection de modèle
Bayesian Model Averaging Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

FB et choix de la loi a priori
le BF depend de C qui est arbitraire ! FB et choix de la loi a priori
FB et Test FB et Test

Classification Conclusion : lorsque l ’on calcule un FB, la loi a priori doit Classification
bayésienne bayésienne
Modèle de mélange être une probabilité. Modèle de mélange
Nombre de clusters Nombre de clusters
Modèle Bayésien Statistique Statistique
Inférence Bayésienne Modèlisation par mélanges Bayésienne

Anne Philippe Anne Philippe

Estimateurs de Bayes
Régions de crédibilité Modèle Bayésien Modèle Bayésien
Prévision des futures observations Inférence
Motivations Inférence
Lois a priori Estimateurs de Bayes Estimateurs de Bayes

Approche subjective
Régions de crédibilité
Prévision des futures
1. Phénomènes complexes // Structures multimodales Régions de crédibilité
Prévision des futures
observations observations
Modèle hierarchique 2. Populations hétérogènes et classes homogènes
Lois a priori Lois a priori
Approche non informative Approche subjective
3. Discrimination/Classification Approche subjective
Modèle hierarchique Modèle hierarchique
Modèles Hiérarchiques Approche non informative Approche non informative

Paramètres multi-variés et données historiques. Modèles Modèles

E↵et individuel Hiérarchiques
Paramètres multi-variés et
Définition Hiérarchiques
Paramètres multi-variés et

Choix de modèles et BMA données historiques.

E↵et individuel Le modèle admet une densité de la forme
données historiques.
E↵et individuel

Sélection de modèle Choix de modèles Choix de modèles

Bayesian Model Averaging et BMA k
X et BMA
Sélection de modèle Sélection de modèle
Facteur de Bayes Bayesian Model Averaging g (x) = pi f (x|✓i ) , Bayesian Model Averaging

FB et choix de la loi a priori Facteur de Bayes i=1 Facteur de Bayes

FB et Test FB et choix de la loi a priori FB et choix de la loi a priori

FB et Test
avec la contrainte p1 + . . . + pk = 1 FB et Test

Classification bayésienne Classification Classification

bayésienne bayésienne
Modèle de mélange Modèle de mélange Modèle de mélange

Nombre de clusters Nombre de clusters Nombre de clusters

Statistique Statistique
Bayésienne Difficulté Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien Modèle Bayésien

Inférence Inférence
Estimateurs de Bayes Estimateurs de Bayes
Régions de crédibilité
Prévision des futures
évaluation de la vraisemblance [k n termes] Régions de crédibilité
Prévision des futures
observations observations

n k
!
Lois a priori
Approche subjective
Y X Lois a priori
Approche subjective
Modèle hierarchique L(✓, p|x) = pi f (xj |✓i ) , Modèle hierarchique
Approche non informative Approche non informative
j=1 i=1
Modèles Modèles
Hiérarchiques Hiérarchiques

I
Paramètres multi-variés et Paramètres multi-variés et
données historiques. L’estimateur du maximum de vraisemblance ne peut pas données historiques.
E↵et individuel E↵et individuel

Choix de modèles
être calculé facilement Choix de modèles
et BMA I la loi a posteriori est difficile à évaluer et BMA
Sélection de modèle Sélection de modèle
Bayesian Model Averaging Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test FB et Test

Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Statistique
variable latente Bayésienne Choix de la loi a priori Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien Modèle Bayésien

Inférence Paramètres : Inférence

Estimateurs de Bayes Estimateurs de Bayes
k
X Régions de crédibilité Régions de crédibilité

x1 , . . . , xn ⇠ pi f (x|✓i ), Prévision des futures

observations {p1 , . . . , pk , ✓1 , . . . , ✓k , z1 , . . . , zn } Prévision des futures
observations

i=1 Lois a priori Lois a priori

On introduit les variables d’allocation : zi indicateur de la

Approche subjective
Modèle hierarchique
On décompose la loi a priori de la forme suivante Approche subjective
Modèle hierarchique
Approche non informative Approche non informative
composante d’origine de xi .
Modèles ⇡(p, ✓, z) = ⇡(z|p)⇡(✓1 , . . . , ✓k , p) Modèles
Réécriture du modèle : Hiérarchiques Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et

où ⇡(z|p) ⇠ p1 I(z=1) + . . . + pk I(z=k)

données historiques. données historiques.
E↵et individuel E↵et individuel
x|z ⇠ f (x|✓z ) Choix de modèles Choix de modèles
et BMA I La loi de z sachant p, ✓1 , . . . ✓k est indépendante de et BMA
et Sélection de modèle
✓ 1 , . . . ✓k Sélection de modèle
Bayesian Model Averaging Bayesian Model Averaging
z ⇠ p1 I(z=1) + . . . + pk I(z=k) , I
Facteur de Bayes p, ✓1 , . . . ✓k sont indépendants Facteur de Bayes
FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test FB et Test

Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
Choix de la loi a priori [suite] Bayésienne Classification Bayésienne

Lorsque les composantes sont dans la famille exponentielle Anne Philippe Anne Philippe

(✓) Modèle Bayésien Modèle Bayésien

f (x|✓) = h(x)e ✓·x , ✓ 2 Rp ,
Inférence On estime à partir de la loi a posteriori de zi la composante Inférence
Estimateurs de Bayes Estimateurs de Bayes

on peut prendre pour chaque composante une loi a priori Régions de crédibilité d’origine de l’observation xi . Régions de crédibilité
Prévision des futures Prévision des futures
conjuguée observations Le critère est le suivant observations

(✓)
⇡(✓|y0 , ) / e ✓·y0 Lois a priori
Approche subjective
On décide que l’observation xi est issue de fJ(i) où Lois a priori
Approche subjective
Modèle hierarchique Modèle hierarchique
et Approche non informative
J(i) = argmax`=1,...k P(zi = `|x1 , .., xn )
Approche non informative

(p1 , . . . , pk ) ⇠ Dirichlet(↵1 , . . . , ↵k ) Modèles

Hiérarchiques
Modèles
Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et
de densité données historiques. données historiques.
E↵et individuel Cas particulier : population à deux composantes E↵et individuel

D
⇡ (p1 , . . . , pk ) / p1↵1 1 . . . pk↵k 1 I(p1 +...+pk =1) . Choix de modèles
et BMA Il suffit de calculer P(zi = 1|x1 , .., xn ).
Choix de modèles
et BMA
Sélection de modèle Sélection de modèle
Bayesian Model Averaging Si P(zi = 1|x1 , .., xn ) > 1/2 alors on décide que la Bayesian Model Averaging

Identifiabilité Facteur de Bayes composante xi est issue de la première composante. Facteur de Bayes
FB et choix de la loi a priori FB et choix de la loi a priori

Pour que le modèle soit identifiable on impose une FB et Test FB et Test

Classification Classification
contrainte sur les paramètres. bayésienne bayésienne
On peut prendre par exemple ✓1 < ... < ✓p Modèle de mélange
Nombre de clusters
Modèle de mélange
Nombre de clusters
 Statistique Statistique
Exemple du mélange de deux populations Bayésienne Bayésienne

gaussiennes Anne Philippe

I
Anne Philippe

Modèle Bayésien
On introduit des variables latentes Modèle Bayésien
Histogram of y (
Inférence 2) Inférence
1 si x ⇠ N ( 1,
7

Estimateurs de Bayes
Régions de crédibilité
z= 2)
Estimateurs de Bayes
Régions de crédibilité
6

Prévision des futures 2 si x ⇠ N ( 2, Prévision des futures

5

observations observations
Frequency

Lois a priori Lois a priori

I Le choix de la loi a priori sur p est la loi uniforme.
3

Approche subjective Approche subjective

Modèle hierarchique Modèle hierarchique
I
2

Approche non informative Le choix des lois a priori sur i et sont les lois Approche non informative
1

Modèles conjuguées. Modèles

0

Hiérarchiques Hiérarchiques
530 535 540 545 550 555
Paramètres multi-variés et [loi gaussienne sur i et loi inverse gamma sur 2 ] Paramètres multi-variés et
y données historiques. i données historiques.
E↵et individuel
I Pour les zi on prend E↵et individuel

Bowmaker et al (1985) analyse data on the peak sensitivity Choix de modèles Choix de modèles
et BMA et BMA
wavelengths for individual microspectrophotometric records Sélection de modèle
P(zi = 1|p) = p, i = 1, ..., n Sélection de modèle

on a small set of monkey’s eyes. (48 measurements). Bayesian Model Averaging Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

Le modèle considéré est FB et choix de la loi a priori . FB et choix de la loi a priori
FB et Test FB et Test

2 2
pN ( 1, ) + (1 p)N ( 2, ) Classification
bayésienne
Classification
bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
densityplot : lois a posteriori marginales Bayésienne Estimation des variables cachées / manquantes Bayésienne

Anne Philippe Anne Philippe

I Le graphique de gauche représente les probabilités
sigma Modèle Bayésien P(zi = 1|x) en fonction de i (les données sont triées par Modèle Bayésien
0.0 0.6

Inférence ordre croissant) Inférence

Estimateurs de Bayes Estimateurs de Bayes

2 4 6 8 10 Régions de crédibilité
I Le graphique de droite représente les estimations des zi Régions de crédibilité
Prévision des futures Prévision des futures
lambda[2] observations observations
0.00.2

Lois a priori Lois a priori

Approche subjective Approche subjective
540 545 550 555 560 Modèle hierarchique Modèle hierarchique
Approche non informative Approche non informative
lambda[1]
Densité
0.0 0.3

Modèles Modèles
Hiérarchiques Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et
530 535 540 données historiques. données historiques.

P[2] E↵et individuel E↵et individuel

0 2 4

Choix de modèles Choix de modèles

et BMA et BMA
Sélection de modèle Sélection de modèle
0.0 0.2 0.4 0.6 0.8 1.0
Bayesian Model Averaging Bayesian Model Averaging
P[1]
Facteur de Bayes Facteur de Bayes
0 2 4

FB et choix de la loi a priori FB et choix de la loi a priori

FB et Test FB et Test

0.0 0.2 0.4 0.6 0.8 1.0

Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Statistique
Données simulées Bayésienne Les données manquantes .... Bayésienne

Anne Philippe Anne Philippe

I On évalue la qualité de la classification sur des données
simulées. Modèle Bayésien Modèle Bayésien
I On simule un échantillon suivant un mélange de deux Inférence Inférence
lois gaussiennes Estimateurs de Bayes
Régions de crédibilité
Estimateurs de Bayes
Régions de crédibilité
I la composante 1 est centrée et de variance 1 Prévision des futures Prévision des futures
observations observations
I la composante 2 est de moyenne 2 et de variance 1 Lois a priori Lois a priori
Approche subjective Approche subjective
Modèle hierarchique Modèle hierarchique
Approche non informative Approche non informative

Modèles Modèles
Hiérarchiques Hiérarchiques
Paramètres multi-variés et Paramètres multi-variés et
données historiques. données historiques.
E↵et individuel E↵et individuel

Choix de modèles Choix de modèles

et BMA et BMA
Sélection de modèle Sélection de modèle
Bayesian Model Averaging Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test FB et Test

Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
Qualité de la classification Bayésienne Estimation du nombre de composantes Bayésienne

Anne Philippe Anne Philippe

Les points jaunes représentent les variables mal-classées Modèle Bayésien Modèle Bayésien

Inférence Inférence
Estimateurs de Bayes
Régions de crédibilité
C’est un problème de sélection de modèles Estimateurs de Bayes
Régions de crédibilité
Prévision des futures Prévision des futures
observations
I On dispose d’une famille de modèles {Mk ; i 2 K } observations

Lois a priori Lois a priori

Approche subjective où Mk est le mélange de lois à k composantes. Approche subjective
Modèle hierarchique Modèle hierarchique
Approche non informative I Pour chaque modèle, on dispose d’une structure Approche non informative

Modèles
Hiérarchiques
paramétrique ✓(k) 2 ⇥k qui regroupe les paramètres des Modèles
Hiérarchiques
Paramètres multi-variés et
données historiques.
k composantes du mélange. Paramètres multi-variés et
données historiques.
E↵et individuel
I On suppose que le nombre de composante k est E↵et individuel

Choix de modèles Choix de modèles

et BMA inconnu. et BMA
Sélection de modèle
Bayesian Model Averaging
Il est inclus dans l’ensemble des paramètres à estimer Sélection de modèle
Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

FB et choix de la loi a priori FB et choix de la loi a priori
FB et Test FB et Test

Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters
 Statistique Statistique
Description du modèle bayésien Bayésienne Méthode de Monte Carlo Bayésienne

Anne Philippe Anne Philippe

Modèle Bayésien Modèle Bayésien

p(x, k, ✓(k) ) = ⇡0 (k)⇡1 (✓(k) |k) p(x|✓(k) , k) Inférence Inférence

| {z } | {z } Estimateurs de Bayes Estimateurs de Bayes

loi a priori vraisemblance Régions de crédibilité Régions de crédibilité

Prévision des futures Prévision des futures
observations observations
Estimateurs Lois a priori
Cette approche nécessite en général la simulation de Lois a priori
Approche subjective variables aléatoires en dimension variable. Approche subjective
1. Le paramètre discret est estimé par Modèle hierarchique Modèle hierarchique
Approche non informative Approche non informative
k̂ = argmaxP(k = k0 |x) I Algorithme d’Hasting Métropolis à sauts réversibles
Modèles Modèles
k0 2K Hiérarchiques Green, 95 Hiérarchiques
2. pour chaque modèle Mk : son vecteur des paramètres Paramètres multi-variés et Paramètres multi-variés et
données historiques.
I Processus markovien de vie-et-mort Stephens, 00 données historiques.

✓(k) est estimé par E(✓(k) |x, k) E↵et individuel E↵et individuel

Choix de modèles Choix de modèles

3. Prédictive et BMA et BMA
Sélection de modèle Sélection de modèle

K
X Z Bayesian Model Averaging Bayesian Model Averaging

Facteur de Bayes Facteur de Bayes

p(xn+1 |x1 , ..., xn ) = P(k = k0 |x) fk0 (x|✓k0 )⇡k0 (✓k0 |x) d✓
FB etkchoix
0 de la loi a priori FB et choix de la loi a priori
FB et Test FB et Test
k0 =1
Classification Classification
bayésienne bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

Statistique Statistique
Sortie de ces algorithmes Bayésienne Exemple suite : estimation du nombre de clusters Bayésienne

Anne Philippe Anne Philippe

On simule un processus (kt , ✓t ) pour t = 1, ...M
Modèle Bayésien Modèle Bayésien
1. (kt ) est un échantillon suivant une approximation de la Inférence Inférence
loi a posteriori du nombre de composantes Estimateurs de Bayes Estimateurs de Bayes
Régions de crédibilité Régions de crédibilité

2. L’approximation de P(k = k0 |x) par la méthode de Prévision des futures

observations
Prévision des futures
observations

M
X Lois a priori Lois a priori
1
Monte Carlo s’écrit M Ikt =k0 Approche subjective
Modèle hierarchique
Approche subjective
Modèle hierarchique

t=1 Approche non informative Approche non informative

3. la dimension du vecteur ✓t varie avec t. ✓t 2 ⇥kt Modèles

Hiérarchiques
Modèles
Hiérarchiques
l’ensemble des paramètres du mélange à kt Paramètres multi-variés et
données historiques.
Paramètres multi-variés et
données historiques.

composantes. E↵et individuel E↵et individuel

Choix de modèles Choix de modèles

4. { ✓t |kt = k, t = 1, ..., M} est un échantillon suivant et BMA et BMA

une approximation de la loi a posteriori de ✓(k) Sélection de modèle

Bayesian Model Averaging
Sélection de modèle
Bayesian Model Averaging

5. L’approximation de E(✓(k) |x, k) par la méthode de Facteur de Bayes Facteur de Bayes

FB et choix de la loi a priori FB et choix de la loi a priori
M
X FB et Test FB et Test
1
Monte Carlo s’écrit M ✓t Ikt =k Classification Classification
t=1
bayésienne Résultats obtenus avec la librarie R bmixture bayésienne
Modèle de mélange Modèle de mélange
Nombre de clusters Nombre de clusters

View publication stats