Distribución normal multivariada y

distribuciones asociadas
José A. Perusquía Cortés
Análisis Multivariado Semestre 2024 - I
 Distribución normal multivariada

- Decimos que x ∼ Np (μ, Σ) (no singular) si tiene función de densidad

[ 2 ]
1 1 T −1
f(x) = 1/2
exp − (x − μ) Σ (x − μ)
| 2πΣ |

- Donde

‣ (x) = μ
‣ Var(x) = Σ > 0 (positiva definida)

- En R: librería mvtnorm
𝔼
 Distribución normal multivariada
- Por ejemplo, la densidad de un vector normal multivariado con parámetros

(3) (1 3)
3 3 1
μ= Σ=
 Distribución normal multivariada
- Para datos bivariados también se puede crear un scatterplot en 3D con librería scatterplot3d
 Distribución normal multivariada

- Si ran(Σ) = k < p podemos definir la densidad (singular) como

[ ]
− 2k
(2π) 1 T −
f(x) = exp − (x − μ) Σ (x − μ)
(λ1⋯λk)
1
2 2

- Donde

- x vive en el híper-plano N′(x − μ) y N es una matriz de tamaño p × (p − k) tal que:

T
1. N Σ = 0
T
2. N N = Ip−k

−
- Σ es la inversa generalizada y λ1, …, λk son los eigenvalores diferentes de cero.

 Distribución normal multivariada

- Definición

T
Decimos que x tiene una distribución normal p-variada si y solo si a x tiene una distribución normal
univariada para todos los vectores p-variados (no triviales) a

- Proposición

Sea x un vector normal p-variado y definamos a y = Ax + b donde A es una matriz de dimensión

q × p. Entonces y tiene una distribución normal q-variada tal que:

T
(y) = Aμ + b Var(y) = AΣA
𝔼
 Distribución normal multivariada

- Corolario

1
Sea x ∼ Np(0, Ip) y definamos a y = Σ x + μ, entonces, y ∼ Np(μ, Σ)
2

- Corolario

1 1
−2 −2
Sea x ∼ Np(μ, Σ) con Σ > 0 y definamos a y = Σ (x − μ), donde Σ es la matriz raíz cuadrada
−1
de Σ . Entonces, y1, y2, …, yp son variables aleatorias iid N(0,1).

− 12
- En R la librería expm proporciona la función requerida para obtener Σ con sqrtm
 Distribución normal multivariada

x ∼ N2(μ, Σ)

(3)
3
μ=

(1 3)
3 1
Σ=
 Distribución normal multivariada

− 12
y = Σ (x − μ)
 Distribución normal multivariada
- Observación
La distribución normal multivariada tiene densidad constante en elipses (elipsoides)

T −1
(x − μ) Σ (x − μ) = k
 Distribución normal multivariada
- En R: la librería plotly para una gráfica más interactiva
 Distribución normal multivariada

- Proposición

T −1 2
Sea x ∼ Np(μ, Σ) entonces, U = (x − μ) Σ (x − μ) ∼ χp .

- Observación

Podemos fácilmente evaluar la probabilidad de que x este en un elipsoide, i.e.

ℙ [(x − μ) Σ (x − μ) < k]
T −1
 Distribución normal multivariada

- Proposición

Sea x ∼ Np(μ, Σ), entonces los coeficientes de asimetría y curtosis están dados respectivamente por,

β1,p = 0
β2,p = p(p + 2)

- Proposición

Sea x ∼ Np(μ, Σ), entonces la función característica de x está dada por,

( )
T 1 T
ϕ(t) = exp it μ − t Σt
2
 Distribución normal multivariada
- Proposición

Sea x ∼ Np(μ, Σ) y sea la partición

(x(2)) (μ (2)) (Σ21 Σ22)

(1) Σ11 Σ12
x (1) μ
x= μ= Σ=

(1) (2)
donde x es de dimensión k y x es de dimensión p − k, entonces,

1. x(1)
∼ Nk (μ , Σ11)
(1)

2. x (1)
yx (2)
son independientes si y solo si Cov (x , x ) = Σ12 = O
(1) (2)

T −1
3. x Σ x ∼ χp (μ Σ μ)
2 T −1

4. x (2)
|x (1)
∼ Np−k (μ (2)
+ −1 (1)
Σ21Σ11 [x (1)
− μ ], Σ22 − Σ21Σ11 Σ12)
−1
 Distribución normal multivariada

- Checar normalidad

‣ Todas las distribuciones univariadas son normales

✴ qqplot

✴ histogramas

✴ Pruebas de normalidad (e.g. Anderson-Darling, Shapiro-Wilk, Lilliefors, etc.)

T −1 2
‣ (x − μ) Σ (x − μ) ∼ χp
✴ qqplot

‣ Prueba de Mardia (1970) basada en los coeficientes de asimetría y curtosis multivariados

‣ Otras pruebas (e.g. Henze-Zirkler (1990), Royston (1982))

‣ En R: librería MVN
 Distribución normal multivariada
- Teorema Central del Límite

Sean xn = (xn1, …, xnp) una colección de vectores aleatorios independientes e idénticamente

distribuidos, con vector de medias μ y matriz (finita) de covarianza Σ. Entonces,

n (x̄ − μ) → Np (0p, Σ)

- Teorema de Cramér-Wold

p
Para xn = (xn1, …, xnp) y x = (x1, …, xp) dos vectores aleatorios y t ∈ ℝ , entonces

p p
d d
∑ ∑
xn → x ⇔ ti xni → ti xi
i=1 i=1
Distribución Wishart
 Distribución Wishart

- Definición

Sea Mp×p una matriz simétrica de variables aleatorias, tal que ℙ(M > 0) = 1 , y sea Σp×p una
matriz definida positiva. Si n ∈ ℕ , tal que n ≥ p , entonces Mp×p tiene una distribución Wishart,
p(p + 1)
M∼ Wp(n, Σ), no singular con n grados de libertad si la función de densidad de los distintos
2
elementos de Mp×p está dada por:

( 2 )
−1
−1 (n−p−1)/2 Σ M
f(m11, m12, …, mpp) = c |M| etr −

- Donde
‣ etr es el operador exptrace

(2)
n
Γ ( ⋅ )
np n

‣ c = 2 |2Σ |2Γp y p la función gamma multivariada

 Distribución Wishart

- Definición

T
Sean x1, …, xn vectores aleatorios iid distribuidos como Np(0, Σ) entonces Mp×p = X X tiene una
distribución Wishart con n grados de libertad

- Observación

Si Σ > 0 y n ≥ p , entonces se puede probar que ℙ(M > 0) = 1 . De lo contrario, se tiene que
M ≥ 0, por lo que la densidad no existe y se dice que M tiene una distribución singular
 Distribución Wishart

- Teorema

Sea M ∼ Wp(n, Σ) entonces, si Cq×p tal que ran(C) = q, se tiene que CMC ∼ Wq (n, CΣC )
T T

- Corolario

T 2 2 2 T
Si M ∼ Wp (n, Σ) y a es un vector de constantes, entonces a Ma ∼ σa ⋅ χn , donde σa = a Σa

- Corolario

2
Si M ∼ Wp (n, Σ) entonces mii ∼ Σii ⋅ χn
 Distribución Wishart
- Proposición

Sea M ∼ Wp(n, Σ) entonces:

1. (M) = nΣ
m m

∑ (∑ )
2. (Aditividad) Si Mi ∼ Wp(ni, Σ) independientes entonces, Mi ∼ Wp ni, Σ
i=1 i=1
3. Si partimos a M y a Σ como,

(M21M22) (Σ21Σ22)
M11M12 Σ11Σ12
M= Σ=

entonces, M11 ∼ Wk(n, Σ11) y M22 ∼ Wp−k(n, Σ22) . Más aún si Σ12 = 0 , entonces M11 y
M22 son independientes.
𝔼
 Distribución Wishart
- Teorema (Formas cuadráticas)

Sea M ∼ Wp(n, Σ), entonces

( )
1. Sea Aq×p una matriz tal que ran(A) = q, entonces (AM AT) ∼ Wq n − p + q, (AΣ−1A )
−1 T −1
−1

yTMy yT −1
Σ y
2. Sea yp×1 independiente de M y tal que ℙ(y = 0) = 0, entonces T ∼ χn y T −1 ∼ χn−p+1
2 2
y Σy y M y
3. Sean x1, …, xn vectores aleatorios iid Np(0, Σ) . Entonces si consideramos a y = Xa con ap×1 ,
An×n , Bn×n matrices simétricas de rango r, s respectivamente y bn×1 un vector de constantes
entonces

T T 2 2
- X AX ∼ Wp(r, Σ) si y solo si y Ay ∼ σa ⋅ χr
T T T 2 2 T 2 2
- X AX ∼ Wp(r, Σ) y X BX ∼ Wp(s, Σ) son independientes si y solo si y Ay ∼ σa
⋅ χr y y By
∼ ⋅ σa χr
son independientes
T T T T 2 2
- X b ∼ Np y X AX ∼ Wp (r, Σ) son independientes si y solo si y b ∼ N1 y y Ay ∼ σa ⋅ χr son
independientes
 Distribución Wishart

- Lema

Sean x1, …, x1 ∼ Np(0, Σ) (iid) entonces se cumple lo siguiente

1. x ( j)
∼ Nn (0, σjjI)

2. Si an×1 es un vector de constantes entonces X a ∼ Np (0, | | a | | Σ)

T 2

3. Si {a1, …, ar}, r ≤ n, es un conjunto de vectores mutuamente ortogonal entonces, los vectores

T
aleatorios dados por X ai son mutuamente independientes

4. Si bp×1 es un vector de constantes, entonces Xb ∼ Nn (0, σb I) donde σb

2 2 T
= b Σb
 Distribución Wishart

- Lema

Sea x ∼ Np (0, σ I) y Ap×q una matriz simétrica entonces x Ax ∼ σ ⋅

2 T 2 2
χr si y solo si A es
idempotente y con ran(A) = r

- Lema

2 T 2 2
Sea x ∼ Np(0, σ I) y sean Qi = x Pix ∼ σ ⋅ χri (i = 1,2) dos formas cuadráticas,. Entonces Q1
y Q2 son independientes si y solo si P1P2 = O
 Distribución Wishart
- En R: rWishart
T
- Para entender su aleatoriedad podemos graficar las elipses generadas: a Mia = c

i = 1,2,3,4
df = 2

(01)
10
Σ=
 Distribución Wishart no centrada

- Definición (Distribución Wishart no centrada)

Sean x1, …, xn vectores aleatorios independientes y distribuidos como Np(μi, Σ) , entonces

T
Mp×p = X X tiene una distribución Wishart no centrada, M ∼ Wp(n, Σ, Δ) , con n grados de
libertad y matriz de no centralidad Δ definida como

n
− 12 − 12 T − 12 T − 12
∑
Δ= (Σ μi)(Σ μi) = Σ Λ ΛΣ
i=1

donde

Λ = (μ1, …, μn)
T
Distribución T de Hotelling
2
 Distribución T de Hotelling
2

- Teorema (Distribución centrada)

Sean x ∼ Np(μ, Σ) y M ∼ Wp(n, Σ) independientes y no singulares, entonces,

(n − p + 1)
2 T −1 np 2
T = n(x − μ) M (x − μ) ∼ Fp,n−p+1 = Tp,n

- Corolario

−1
Sean x ∼ Np(μ, λ Σ) y M ∼ Wp(n, Σ) independientes y no singulares, entonces,

(n)
−1
M
λ (x − μ) (x − μ) ∼
T 2
Tn,p
 Distribución T de Hotelling
2

- Teorema (Distribución no centrada)

T −1
Sean x ∼ Np(μ, Σ) y M ∼ Wp(n, Σ) independientes y no singulares, y denotemos por δ = μ Σ μ
(parámetro de no centralidad), entonces,

(n − p + 1)
2 T −1 np 2
T = nx M x ∼ Fp,n−p+1,δ = Tp,n,δ
Estimación para la distribución normal multivariada
 Estimación
- Función de verosimilitud
iid
Sean x1, …, xn ∼ Np(μ, Σ) , entonces la verosimilitud está dada por,

[ 2∑ ]
− n2 1
L(μ, Σ) = | 2πΣ | exp − (xi − μ)T Σ −1(xi − μ)
i=1

y la log-verosimilitud
n
n 1 T −1
2∑
log(L(μ, Σ)) = − log( | 2πΣ | ) − (xi − μ) Σ (xi − μ)
2 i=1

- Proposición
iid
Sean x1, …, xn ∼ Np(μ, Σ) , con n ≥ p + 1 , entonces los estimadores máximo verosímiles están
dados por
(n − 1)
μ ̂ = x̄ Σ̂ = S
n
 Estimación

- Teorema

Sean x̄ y S la media y matriz de varianzas muestrales de una distribución normal multivariada

Np(μ, Σ) con (n − 1) ≥ p entonces,

−1
- x̄ ∼ Np(μ, n Σ)

- (n − 1)S ∼ Wp(n − 1,Σ)

- x̄ y S son independientes

T −1 2
- n(x̄ − μ) S (x̄ − μ) ∼ T (p, n − 1)
Prueba de hipótesis para μ
 Prueba para μ con Σ conocida

iid
- Sean x1, …, xn ∼ Np(μ, Σ) queremos hacer el siguiente contraste

H0 : μ = μ0 vs Ha : μ ≠ μ0

- Usamos el estadístico de prueba

2 T −1
ξ = n(x̄ − μ0) Σ (x̄ − μ0)

2 2
- Bajo H0 se tiene que ξ ∼ χp

- Región de confianza 100(1 − α) % son las elipsoides

{ χp,1−α}
2 2
x : ξ ≤
 Prueba para μ con Σ conocida

- Ejemplo

Dados x1, …, x203 ∼ N2(μ, Σ) (iid) con

(64.7) (155.6 313.5)

64.1 191 155.6
μ= Σ= .

Se busca contrastar,

H0 : μ = 60 vs Ha : μ ≠ 60
Prueba para μ con Σ conocida

2 2
ξ = 5.971581 < 5.991465 = χ2,.95

No rechazamos H0
 Prueba para μ con Σ desconocida

- Para una muestra, utilizamos S para construir el estadístico de prueba

2 n(n − p) T −1
γ = (x̄ − μ0) S (x̄ − μ0)
(n − 1)p

2
- Bajo H0 se tiene γ ∼ Fp,n−p

- Región de confianza 100(1 − α) % son las elipsoides

{ p,n−p,1−α}
2
x : γ ≤ F
Prueba para μ con Σ desconocida

2
γ = 3.870381 > 3.013826 = F2,201,.95

Rechazamos H0
Pruebas de hipótesis para Σ
 Pruebas para Σ
iid
Sean x1, …, xn ∼ Np(μ, Σ) con n ≥ p + 1 se pueden hacer las siguiente pruebas para Σ

- Independencia por bloques, H0 : Σrs = 0

- Esfericidad
2 2 2
‣ Caso 1 : Σ = σ I con σ desconocida ( esta prueba incluye a Σ = σ Σ0 )
‣ Caso 2: Σ = I ( esta prueba incluye a Σ = Σ0 )

- Igualdad en los bloques diagonales, i.e., Σ11 = Σ22 = ⋯ = Σqq

- Igualdad de varianzas y correlaciones
1 ρ ⋯ ρ
ρ 1 ⋯ ρ
Σ=
⋮ ⋮ ⋮
ρ ρ ⋯ 1
Pruebas de hipótesis para dos poblaciones
 Prueba de igualdad de covarianzas

iid iid
- Sean x1, …, xn ∼ Np(μ1, Σ1) y y1, …, ym ∼ Np(μ2, Σ2)

- A través del cociente de verosimilitudes se obtiene el estadístico de prueba

(n + m)p n m
(n + m) 2 | Q1 | | Q2 |
2 2
ℒ= np mp n+m
n m
2 2 | Q1 + Q2 | 2

- (Wilks, 1931) Asintóticamente se tiene que si Ho es cierta entonces

2 p(p + 1)
−2 log(ℒ) ∼ χν , ν=
2
 Prueba de igualdad de medias
- Caso 1: Σ1 = Σ2 = Σ conocida y con muestras independientes

‣ x̄ ∼ N (μ1, n Σ) es independiente de Q1 = (n − 1)S1 ∼ Wp(n − 1,Σ)

−1

‣ ȳ ∼ N (μ2, m Σ) es independiente de Q2 = (m − 1)S2 ∼ Wp(m − 1,Σ)

−1

‣ x̄, ȳ, Q1, Q2, son independientes

Así,

( (n m) )
1 1
x̄ − ȳ ∼ Np μ1 − μ2, + Σ Q = Q1 + Q2 ∼ Wp (n + m − 2,Σ)

El estadístico de prueba es

nm(n + m − 2)
(x̄ − ȳ − (μ1 − μ2)) Q (x̄ − ȳ − (μ1 − μ2)) ∼ Tp,n+m−2
T 2
n+m
 Prueba de igualdad de medias
- Caso 2: Σ1 = Σ2 = Σ desconocida y muestras independientes

- Proposición
Sean x1, …, xn ∼ Np(μ1, Σ1) y y1, …, ym ∼ Np(μ2, Σ2) si μ1 = μ2 y Σ1 = Σ2 entonces,
iid iid

nm T −1 2
(ȳ − x̄) Su (ȳ − x̄) ∼ T (p, n + m − 2)
n+m
donde

nS1 + mS2
Su =
n+m−2

- Usamos el estadístico

2 (n + m − p − 1)nm T −1
δ = (ȳ − x̄) Su (ȳ − x̄) ∼ Fp,n+m−p−1
(n + m − 2)(n + m)
 Prueba de igualdad de medias

- Caso 3: m = n y Σ1 ≠ Σ2 se reduce a considerar

zi = xi − yi ∼ Np (μ, Σ)
donde

μ = μ1 − μ2 Σ = Σ1 + Σ2

- Se hace el contraste de hipótesis para una población

H0 : μ = 0 vs Ha : μ ≠ 0
 Prueba de igualdad de medias

- Caso 4: m ≠ n y Σ1 ≠ Σ2 (problema de Behrens-Fisher)

‣ Se considera el estadístico

(n m)
S1 S2
= (x̄ − ȳ) ( x̄ − ȳ)
T
+

‣ Bajo H0 y para n y m suficientemente grandes

2
∼ χp
𝒯
𝒯