Estimation par Noyaux pour Données Discrètes

Quentin KERE

2024

Introduction

L’estimation par noyau est une méthode non paramétrique qui permet d’estimer une fonction
inconnue à partir d’un ensemble de données. Pour les données continues, il s’agit d’estimer
une densité de probabilité, mais pour les données discrètes, on s’intéresse à l’estimation des
fonctions de masse de probabilité (fmp). Le problème de base est que, pour un ensemble de
données discrètes, l’estimation directe de la fmp à partir des fréquences observées peut être
imprécise, surtout pour de petits échantillons. Ainsi, l’utilisation de noyaux permet de lisser
les données, en tenant compte à la fois de la nature discrète et de la distribution locale des
observations.

Estimateurs à noyaux continus classiques

Les estimateurs à noyaux classiques sont principalement conçus pour des données continues.
L’idée est de lisser une série de points de données x1 , x2 , · · · , xn pour obtenir une estimation
lisse de la densité de probabilité à un point donné x. L’estimateur à noyau pour les données
continues est défini par :
1 Xn
x − xi
 
ˆ
f (x) = K
nh i=1 h
Ici :

• fˆ(x) est l’estimation de la densité au point x,

• n est le nombre d’observations,
• h est la bande-passante (paramètre de lissage), qui contrôle à quel point les observations
sont lissées,
• K(·) est une fonction noyau, telle que le noyau de Gauss, Epanechnikov, ou encore
uniforme.

1
Choix du noyau

Le noyau K(·) est généralement choisi pour être une fonction de densité symétrique. Par
exemple, pour le noyau gaussien, on a :
1
!
u2
K(u) = √ exp −
2π 2
La performance de l’estimateur dépend fortement du choix de la bande-passante h. Un h
trop petit provoque un surajustement aux données, tandis qu’un h trop grand conduit à une
sous-estimation de la variabilité des données.

Estimateurs à noyaux pour données discrètes

Dans le cas des données discrètes, comme les comptages ou des observations finies,
l’utilisation directe des noyaux continus est inadéquate. En effet, les données discrètes
nécessitent des noyaux adaptés à leur nature discrète. Dans ce contexte, on utilise des
noyaux associés discrets pour mieux capter les propriétés des données. L’estimateur à noyau
pour les données discrètes est donné par la formule suivante :
1X n
fˆb (x) = Kx,h (xi )
n i=1
où Kx,h est un noyau associé discret, qui est défini spécifiquement pour des points discrets
xi , et h est toujours le paramètre de lissage.

Approche bayésienne globale

L’approche bayésienne repose sur l’idée d’utiliser l’information a priori pour estimer la
fonction de masse de probabilité, en plus des données observées. Dans le cadre bayésien,
l’estimation de la fonction de masse de probabilité nécessite l’intégration de la loi a priori et
la vraisemblance conditionnelle pour obtenir une loi a posteriori.

Estimation de la vraisemblance conditionnelle

La vraisemblance conditionnelle pour une série d’observations x1 , x2 , · · · , xn est définie par :

n
L(x1 , x2 , · · · , xn ; h) = fˆb (xi )
Y

i=1

où fˆb (x) est l’estimateur à noyau associé discret de la fmp.

2
Théorème de Bayes

Selon le théorème de Bayes, la loi a posteriori de h, qui représente le paramètre de lissage,

est donnée par :

π(h|x1 , x2 , · · · , xn ) ∝ L(x1 , x2 , · · · , xn ; h)π(h)

où : - π(h|x1 , x2 , · · · , xn ) est la distribution a posteriori de h, - L(x1 , x2 , · · · , xn ; h) est
la vraisemblance des observations données h, - π(h) est la distribution a priori de h. Cette
approche permet d’incorporer une incertitude sur le paramètre de lissage h, en tenant compte
des données disponibles ainsi que de l’information a priori sur h. En pratique, cela se traduit
par une estimation plus robuste de la fmp, particulièrement lorsque le nombre d’observations
est limité.

Sélection de la bande-passante

Le choix de la bande-passante h est crucial dans l’estimation par noyau. Un choix adéquat
permet de trouver un équilibre entre le biais et la variance de l’estimation. La méthode de
base pour sélectionner h repose sur l’optimisation de l’erreur quadratique intégrée moyenne
(MSE), qui mesure la différence entre la fmp estimée et la vraie fmp. La MSE est définie
comme suit :  2 
ˆ
MSE(h) = E fb (x) − f (x)

où f (x) est la vraie fonction de masse de probabilité. Cette expression est décomposée en
deux parties : le biais au carré et la variance de l’estimation :

MSE(h) = Biais2 + Variance

L’objectif est de minimiser la MSE en ajustant h. Plus précisément, une bande-passante
h trop petite entraîne une faible variance mais un fort biais, alors qu’une h trop grande
entraîne un faible biais mais une forte variance. Des techniques comme la validation croisée
ou des méthodes de type plug-in sont utilisées pour choisir h.

Validation croisée pour le choix de la bande-passante

Une méthode couramment utilisée pour sélectionner h est la validation croisée, qui consiste
à diviser les données en sous-ensembles, à estimer la fmp sur un sous-ensemble et à évaluer
l’erreur sur un autre sous-ensemble. Cela permet d’obtenir une estimation plus objective de
la bande-passante optimale. L’erreur de validation croisée (CVE) est calculée par :
1X n 
fˆ−i,h (xi ) − f (xi )
2
CVE(h) =
n i=1

où fˆ−i,h (xi ) est l’estimation de la fmp à xi sans inclure l’observation xi elle-même.