Scribd
Importer
121 vues10 pages

Estimation Bayésienne et Fonction de Perte Quadratique

Ce document décrit l'estimation bayésienne. Il présente l'approche bayésienne pour estimer un paramètre inconnu θ en minimisant le risque bayésien. Il montre que pour une fonction de perte quadratique, l'estimation bayésienne est donnée par l'espérance conditionnelle de θ sachant les observations.

Transféré par

hibaouafi502
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd
121 vues10 pages

Estimation Bayésienne et Fonction de Perte Quadratique

Ce document décrit l'estimation bayésienne. Il présente l'approche bayésienne pour estimer un paramètre inconnu θ en minimisant le risque bayésien. Il montre que pour une fonction de perte quadratique, l'estimation bayésienne est donnée par l'espérance conditionnelle de θ sachant les observations.

Transféré par

hibaouafi502
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

Statistique Mathématique

Salim Lardjane

Université Bretagne Sud


Partie V
Estimation Bayésienne

1
Estimation Bayésienne

On souhaite estimer un état de la Nature θ.

On observe une réalisation x d’une variable


ou d’un vecteur aléatoire X, où X est de den-
sité de probabilité fθ (x), et on prend la déci-
sion δ(x).

δ(x) est notre estimation de θ.

On quantifie la perte associée à la décision


δ(x) à l’aide de la fonction de perte :

L(θ, δ(x))
supposée positive.

2
Estimation Bayésienne

On suppose à présent que θ est aléatoire de


densité h(θ).

L’approche bayésienne consiste à minimiser


le risque bayésien ou perte moyenne :
Z +∞ Z +∞
B(δ) = h(θ)fθ (x)L(θ, δ(x))dθdx
−∞ −∞
de façon à déterminer δ .

Notons que h(θ)fθ (x) = h(θ)f (x|θ) est la


densité conjointe de θ et X.

Cette dernière peut également être mise sous


la forme f (x)f (θ|x).

3
Estimation Bayésienne

Ainsi,
Z +∞ "Z #
+∞
B(δ) = f (x) L(θ, δ(x))f (θ|x)dθ dx
−∞ −∞

Comme f (x) est positive, il suffit de minimi-


ser
Z +∞
L(θ, δ(x))f (θ|x)dθ
−∞
en δ(x), pour chaque valeur de x.

On obtient ainsi une règle de décision δ


qui permet de calculer des estimations bayé-
siennes de θ.

4
Estimation Bayésienne

De façon analogue, pour estimer une fonc-


tion γ(θ) de θ, on minimise :
Z +∞
L(γ(θ), δ(x))f (θ|x)dθ.
−∞

On peut résumer l’approche en disant qu’on


observe une variable aléatoire X et qu’on
veut estimer une variable aléatoire Y par une
fonction de X, de la forme g(X).

Pour déterminer g, on doit minimiser


E[L(Y, g(X)].

5
Fonction de perte quadratique

On suppose à présent que

L(Y, g(X)) = (Y − g(X))2.

En vertu d’un résultat classique de Théorie


des Probabilités, on peut écrire :

2 2

E(Y − g(X)) = E E[(Y − g(X)) |X]
Z +∞
= E[(Y − g(X))2 |X = x]f (x)dx.
−∞

Comme précédemment, il suffit de minimiser


l’espérance conditionnelle pour chaque valeur
de x.

6
Fonction de perte quadratique

Si on note z = g(x), on minimise en z :

z 2 − 2E[Y |X = x]z + E[Y 2|X = x].

Or Az 2 − 2Bz + C est minimal lorsque z =


B/A = E(Y |X = x)/1, d’où le résultat sui-
vant.

Théorème. E[(Y − g(X))2|X = x] est mini-


male lorsque g(x) = E(Y |X = x).

7
Fonction de perte quadratique

L’estimation bayésienne est alors donnée


par :
Z +∞
δ(x) = E[θ|X = x] = θf (θ|x)dθ
−∞
où, d’après le Théorème de Bayes,
f (θ, x) h(θ)f (x|θ)
f (θ|x) = = .
f (x) f (x)

8
Fonction de perte quadratique

Ainsi,
R +∞
−∞ θh(θ)fθ (x)dθ
δ(x) = R +∞
−∞ h(θ)fθ (x)dθ

Si on souhaite estimer une fonction γ(θ) de


θ, il suffit de remplacer θ par γ(θ) dans le
numérateur.

Des exemples d’estimation bayésienne seront


vus en TD.

Vous aimerez peut-être aussi