Notions de variables aléatoires en statistiques
Notions de variables aléatoires en statistiques
Version résumée : Seules les paramètres et les fonctions jugés nécessaires pour la bonne
compréhension de ce module sont cités dans ce chapitre. Toute erreur signalée est la bienvenue
Donc une v.a. est une fonction qui passe du domaine du processus aléatoire au domaine des nombres.
Exemple 2 : un enseignant qui reçoit des étudiants, Il peut recevoir 0,1,2….. Théoriquement il peut recevoir
jusqu’à l’infinie. Il ne peut pas recevoir une fraction.
Contrairement à la v.a. continue dont la valeur est toujours non dénombrable et fonctionne en intervalle [],
L’opérateur espérance mathématique est un opérateur linéaire (il s’agit d’une intégrale ou d’une
sommation). Par conséquence, on a :
E [aX ] = aE [X ], E [b + aX ] = b + aE [X ] E [ag ( X )] = aE [g ( X )]
(a et b des constantes)
1
USTHB, FEI, Dépt Télécom, Master ST/Section A, Octobre 2018, Chapitre 2 : Notions de variables aléatoires
E ∑ X i = ∑ E [ X i ] et Var(aX+b) :=a2Var(X), Var(b)=0
i i
Si, X1, ….,Xn, sont indépendantes, alors la variance de leur somme est égale à la somme de leurs
variances.
1. Fonction de répartition/pdf-pmf
Noter que la lettre majuscule est la v.a et la lettre minuscule représente la valeur qu’elle peut prendre.
Fonction de répartition
La fonction de répartition FX(x) exprime la probabilité que la variable aléatoire X prenne une valeur
Propriétés :
lim FX ( x ) = 0, lim FX ( x ) = 1
x→ −∞ x →∞
Si X est une v.a. discrète, FX(x) est une fonction en escalier, dans le cas contraire FX(x) est continue.
1. Cas discret :pX(x)= P(X=x) est une fonction de masse de probabilité (Probability mass
function :pmf) de la v.a. discrète X. On peut exprimer la pmf par pX(x)= FX(x)-FX(x-)
2. Cas continu: fX(x) est une fonction de densité de probabilité (Probability density
∂
function :pdf) de la v.a. discrète X. La pdf est donnée par : f X ( x) = FX ( x)
dx
Une fonction de densité de distribution est une fonction qui montre comment les probabilités d’une v.a.
sont assignées à chaque résultat de valeurs numériques.
0.2 0.6
0.4
0.1
Pro 0.2
prié
0
tés :
0
-3 -2 -1 0 1 2 3 -3 -2 -1 0 1 2 3
x x
2
USTHB, FEI, Dépt Télécom, Master ST/Section A, Octobre 2018, Chapitre 2 : Notions de variables aléatoires
∑ P (x ) = 1
i
X i
∫
−∞
∞
f X ( x)dx = 1
Exemple : Dans une expérience on jette deux fois une pièce de monnaie équilibrée: le domaine est
S={PP, FF, PF, FP} P : Pile, F : Face
Le nombre de faces est R={0, 1, 2},
Ici on ne cherche pas une pdf mais une PMF puisque la variable est discrète.
PX(0)=1/4, PX(1)=1/2, PX(2)=1/4.
Et on peut tracer la PMF par :
Exemple 1 : Des tiges d’acier montrent une résistance en tension variable. La fdp est donnée par
La pdf uniforme :
Si toute valeur de X est équiprobable dans l’intervalle [a,b], alors X suit une loi uniforme. La fdp et la
fonction de répartition :
1 x−a
f X ( x) = a ≤ x ≤ b, FX ( x) = a≤ x≤b
b−a b−a
E ( x) = (a + b ) 2 Var ( X ) = (a + b ) 12
2
3
USTHB, FEI, Dépt Télécom, Master ST/Section A, Octobre 2018, Chapitre 2 : Notions de variables aléatoires
de plusieurs propriétés extrêmement intéressantes. Finalement, elle constitue la distribution limite pour
une somme de v.a. indépendantes de même distribution (théorème central limite).
( x − µ )2
f X (x ) = E[X ] = µ , Var [X ] = σ 2
1
exp − ,
2π σ 2σ 2
Note: Une variable aléatoire X suit une loi N (μ, σ 2) si z=(X- μ)/ σ 2, suit la loi normale N (0,1).
La distribution gaussienne est la plus utilisée en statistiques. Cette distribution fournit souvent un excellent
modèle pour la distribution de fréquence observée pour de nombreux événements naturels, tels que la
distribution des tailles ou les poids des individus de la même espèce, d’où son importance. Lorsque la
moyenne mu =0, on dit que la pdf est centrée et lorsque sigma est égale à 1, on dit que la pdf est réduite.
Les propriétés de la distribution gaussienne lui confèrent aussi cette importance. Elle est considérée
comme une fonction de distribution propre, c'est-à-dire que si un phénomène représenté par une
gaussienne traverse un filtre LIT la sortie sera aussi gaussienne dont les paramètres sont différents que
ceux de celle en entrée.
L’espérance mathématique
Pour n’importe quelle loi, la moyenne µ , et la variance σ 2 , sont définies respectivement par :
x max x max
µ= ∫ xf ( x)dx σ = ∫ (x − µ )
2 2
et f ( x)dx
x min x min
La racine carrée de la variance, σ (sigma), est appelée écart type (standard deviation).
4
USTHB, FEI, Dépt Télécom, Master ST/Section A, Octobre 2018, Chapitre 2 : Notions de variables aléatoires
Covariance : Si deux v.a X et Y réelles admettent des moments d’ordre 2, alors la covariance cov(X,Y)est
définie par :
Cov = Cov , ( X , Y ) = E [( X , µ )](Y , µ )
XY X Y
[Link] conjointes
Dans plusieurs expériences, les observations sont en fonctions d’un ensemble de v.a. au lieu que ça soit une
seule v.a. Par exemple pour enregistrer la taille et le poids de chaque personne dans une société
quelconque nous avons besoin de deux nombres, d’où pour étudier cet exemple nous considérons 2 v.a. .
Soit X et Y deux v.a. Alors:
P( y1 < Y ≤ y2 ) = FY ( y2 ) − FY ( y1 ) = ∫ fY ( y )dy.
y2
P(x1 < X ≤ x2 ) = FX ( x2 ) − FX ( x1 ) = ∫ f X ( x)dx,
x2
y1
x1
La probabilité d’appartenance de la paire de v.a (X,Y) à une partie donnée est estimée par :
P[( x1 < X ≤ x2 ) ∩ ( y1 < Y ≤ y2 )]
On définit alors la fonction de distribution de probabilité conjointe (the joint probability distribution
function) de X et de Y par :
FXY ( x, y ) = P[( X ≤ x) ∩ (Y ≤ y )]
= P( X ≤ x, Y ≤ y ) ≥ 0,
où x et y sont des nombres réelles arbitraires.
On définit alors la Fonction de répartition de probabilité conjointe et la fonction de distribution de
probabilité conjointe ( joint pdf).
5
USTHB, FEI, Dépt Télécom, Master ST/Section A, Octobre 2018, Chapitre 2 : Notions de variables aléatoires
En général, toutes les lois que nous avons vu pour une seule v.a, sont aussi valables pour deux v.a. ou plus.
Nous avons alors, la p.d.f conjointe de X et de Y est donnée par :
FXY ( x, y ) = ∫
x y
∂2
−∞ ∫ −∞
f XY (u , v) dudv. f XY ( x, y ) =
dxdy
FXY ( x, y )
Dans le contexte de plusieurs v.a, les statistiques de chacune sont appelées les statistiques marginales.
Ainsi,
FX (x) est la fonction de répartition marginale de X, et f X (x) est la pdf marginale de X. Il est intéressant
de noter que toutes les marginales peuvent être obtenues à partir de la pdf conjointe. Pour deux v.a, nous
avons :
+∞ +∞
f X ( x) = ∫ f XY ( x, y )dy, fY ( y ) = ∫ f XY ( x, y )dx.
Remarque ; −∞ −∞
Dans le cas d’une variable aléatoire discrète, tel que le cas de la distribution de poisson, on ne parle
pas de fonction de distribution mais de fonction de masse.
Exemple 2:
Soit la fonction pdf donnée par :
Alors : exp[− ( x + y )]
f X ,Y ( x, y ) = x, y ≥ 0
y
0 sin on
FX ,Y ( x, y ) = ∫ ∫ exp[− (t + u )]dtdu
x
FX ,Y ( x, y ) = ∫ [1 − exp(− x )]exp(− u )du
y
0 0
0
Ainsi : y
0 0
0
Exemple 3: Vérifier que la pdf est bien celle donnée dans l’exercice précédent (homework 1).
Exemple 4 : vérifier si f(x,y) et h(x,y) sont des pdfs.
x + y 0 ≤ x, y ≤ 1 x a y1−a 0 ≤ x, y ≤ 1
f X ,Y ( x, y ) = hX ,Y ( x, y ) =
Réponse : ∞ ∞ 0 sin on 0 sin on
∫ ∫ f X ,Y ( x, y)dxdy = 1,
−∞ −∞
∞ ∞
∫ ∫ hX ,Y ( x, y)dxdy = 1 / 1 + q − q
−∞ −∞
(2
)
f X ,Y ( x, y ) = 1 donc une pdf , hX ,Y ( x, y ) ≠ 1, ne vérifie pas la condition
Homework 2 :
Quelle est la condition sur la valeur de la variable a pour que f X ,Y ( x, y ) = 1 / 1 + q − q
2
( ) soit une pdf ?
Moments d’ordre N :
___
Moments: Le moment d’ordre n d’une v.a X est donné par: mn = X n = E ( X n ), n ≥1
Et µ n = E[( X − µ ) ] est connu sous le nom de moment central d’ordre n.
n
6
USTHB, FEI, Dépt Télécom, Master ST/Section A, Octobre 2018, Chapitre 2 : Notions de variables aléatoires
E(Xj)=μj, var(Xj)=E(Xj-μj)2=δj2 ,
Moyenne d’un vecteur aléatoire : E(X) = μ =(E(X1), · · ·, E(XN))T= E(X) = (μ1,, · · ·, μN)T
Soit un vecteur X=(X1, X2, ……………. XN) où chaque composante admet un moment d’ordre 2. On appelle
matrice de variance-covariance ou matrice de dispertion, la matrice ∑ donnée par :
La distribution normale multivariable est une extension de la distribution normale d’une v.a. s singulière au
vecteur aléatoire de taille (nx1) où ses v.a. suivent chacune une distribution normale. Sa pdf est donnée
par ([Link]) :
1 −1 / 2 ( X − µ )T Σ −1 ( X − µ )
f ( x, µ , Σ ) = f ( x ) = Σ exp−
(2π )n / 2 2
Si det(∑) est différent de 0, alors ∑ est symétrique, semi-définie positive.
Exemple : Cas d’une matrice diagonale 2x2
Vérifier que la pdf du vecteur X est donnée par le produit des pdf des v.a. qui le constituent.
f ( x, µ , Σ )
x1 µ1 σ 12 0
X = , µ = Σ = 2
x2 µ2 0 σ2
1 x − µ T σ 2 0 −1 x − µ
1
p ( x, µ , Σ ) = x1 − µ1 exp − 1 1 1
Réponse :
1 1
σ 12 0
1/ 2 2 x2 − µ2 0 σ 22 x2 − µ2
2π
0 σ 22
(x1 − µ1 )2 ( x2 − µ2 )2
f ( x, µ , Σ ) =
1 1
exp − .
2π σ exp − 2σ 2
2π σ 1 2σ 2
1 2 2
On reconnait bien le produit de pdf gaussiennes de v.a. indépendantes avec les moyennes μ1 et μ2 et les
variances σ12 et σ22.
7
USTHB, FEI, Dépt Télécom, Master ST/Section A, Octobre 2018, Chapitre 2 : Notions de variables aléatoires
Y1= X1/X2 et Y2 = X 2
Réponse :
X(n) = X(2) ≡{( x1,x2) : 0< x1<x2<1 } et
1. Y1= X1/X2 et Y2= X2 → X1= Y1.Y2 et X2=Y2
3. Le Jaconbien :
∂x1 ∂x1 ∂y1 ∂y1
1 x1
∂y ∂y2 y2 y1 ∂x ∂x2 1
Dy = 1 =
∂x2 0
= y2 Dx = 1 = x22 =
∂x2 1 ∂y2 ∂y2 x2 x2
1
∂x2
0
∂y1 ∂y2 ∂x1
Supposons que X1 et X2 sont des v.a. iid définies sur R+, chacune avec une pdf f(x). Calculer la pdf
conjointe des v.a.: Y1= X1 et Y2= X1+X2
1 x
Reponse f ( x) = exp− x>0 0 sin on
2πx 2
J =1
1 1 y
fY1 ,Y2 ( y1 , y2 ) = f X1 , X 2 ( y1 , y2 − y1 ) = exp− 2 pour 0 < y1 < y2 < ∞ 0 sin on
2π y1 ( y2 − y1 ) 2
8
USTHB, FEI, Dépt Télécom, Master ST/Section A, Octobre 2018, Chapitre 2 : Notions de variables aléatoires
Exemple 5 :
Figure XX : Distribution de
l’échantillon, distribution de la
moyenne de (a) avec un
échantillon n = 10, (c) :
Distribution de moyenne avec un
échantillon de taille = 100
Exemple 6 : pour une v.a. X suit une distribution exponentiel avec une pdf :
λ e−λ x ,
1 1
f (=
x; λ ) ( x ≥ 0, λ > 0 ) ⇒ E
= [X ] =
, V [X ]
λ λ2
L’illustration, pour λ = 1pour l’échantilllon moyenne avec des tailles d’échantillons égales à n = 1, 2, 4 et 8 :
=n 1:=f ( x) e− x =n 2=
: fX ( x) 4 x e −2 x
4 ( 4 x ) e−4 x 8 ( 8 x ) e −8 x
3 7
=n 4=
: fX ( x) =n 8=
: fX ( x)
3! 7!
Ce site web contient des définitions rapides sur plusieurs paramètres et fonctions statistiques.
[Link]
9
USTHB, FEI, Dépt Télécom, Master ST/Section A, Octobre 2018, Chapitre 2 : Notions de variables aléatoires
Déf. Soient X et Y deux v.a. entières indépendantes avec des fonctions de distributions m1(x) et m2(x)
respectivement. La convolution de m1(x) et m2(x) est la function de distribution m3 = m1 * m2 donnée par :
∞
m3 ( j ) = ∑ m (k ).m ( j − k )
1 2
k = −∞
La fonction m3(x) est la fonction de distribution de la variable aléatoire Z=X+Y.
Cas continu :
Soient deux v.a. continues indépendantes avec des pdf f(x) et g(y) respectivement. On suppose qu’elles sont
définies pour tous les nombres. La convolution de f et g , f*g est la fonction donnée par :
FX +Y ( z ) = P{X + Y ≤ z} ∂FX +Y ( z )
f X +Y ( z ) =
=∫ f X ( x ). fY ( y )dxdy ∂z
X +Y ≤ z +∞
+∞ z − y +∞ z − x = ∫ f X ( z − y ). fY ( y )dy
=∫ ∫ f X ( x ). fY ( y )dxdy = ∫ ∫ fY ( x ). f X ( x )dydx −∞
−∞ −∞ −∞ −∞ +∞
+∞ +∞ = ∫ fY ( z − x ). f x ( x )dx
= ∫ FX ( z − y ). fY ( y )dy = ∫ FY ( z − x ). f x ( x )dx −∞
−∞ −∞
+∞
( f * g )(z ) = ∫−∞ f (z − y ).g ( y )dy
+∞
= ∫ g ( z − x ). f ( x )dx
−∞
Donc : si X et Y sont deux v.a. indépendantes avec des pdf fX(x) et fY(y) pour tout x, alors la somme
X=X+Y
est une v.a. avec une pdf fZ(z) résultante de la convolution de fX par fY.
10