Tema 1: Distribuciones y formas cuadráticas
1.1 Introducción
En este tema se proporcionan una serie de herramientas algebraicas y probabilı́sticas que se manejarán
a lo largo de toda la asignatura. Más concretamente se estudiarán resultados sobre matrices y sobre
distribuciones de probabilidad, particularmente la normal multivariante, y las distribuciones asociadas
a formas cuadráticas.
1.2 Resultados algebraicos
Consideraremos vectores y matrices con coeficientes en R. Los denotaremos con letra negrita. Los
vectores serán considerados como matrices columna, es decir de orden n × 1. De este modo, si x ∈ Rn
x1
x = ...
xn
Denotaremos como In a la matriz identidad de orden n y como 0 a la matriz o vector cuyos elementos
son todos iguales a 0 (no se especificará en la notación la dimensión de dicha matriz o vector).
Una matriz cuadrada de orden n, A, se dice ortogonal si su traspuesta y su inversa coinciden, es decir,
si AAt = At A = In .
Traza
La traza de una matriz cuadrada de orden n, A = (ai j ) es la suma de los elementos de su diagonal
principal, es decir, tr(A) = ni=1 aii . A continuación enumeramos algunas propiedades de la traza:
P
a) tr(A + B) = tr(A) + tr(B) , tr(kA) = k tr(A) siendo k escalar.
b) tr(A) = tr(At ).
c) tr(In ) = n.
d) tr(AB) = tr(BA).
e) tr(ABC) = tr(CAB) = tr(BCA).
f) si P invertible tr(A) = tr(P−1 AP).
1
Rango
El rango de una matriz A es el máximo número de filas o columnas linealmente independientes. Lo
denotaremos por r(A). A continuación enumeramos algunas propiedades del rango:
a) Si A, C invertibles, entonces r(AB) = r(BC) = r(B).
b) r(At A) = r(AAt ) = r(A) = r(At ).
c) Una matriz cuadrada de orden n, A, es invertible si y sólo si r(A) = n.
Autovalores
Si A es una matriz cuadrada de orden n con n autovalores (no necesariamente distintos).
• El determinante de A es igual al producto de sus autovalores.
• La traza de A es igual a la suma de sus autovalores.
• El rango de A es igual al número de sus autovalores distintos de 0.
Matrices idempotentes
Una matriz cuadrada P se dice idempotente si P2 = P. Algunas propiedades de las matrices idempo-
tentes:
a) Si P es idempotente de orden n entonces In − P también es idempotente.
b) Si P es una matriz idempotente entonces sus únicos posibles autovalores, tanto reales como
complejos, son 0 ó 1.
c) Si P es una matriz simétrica de orden n entonces P es idempotente de rango r si y sólo si el
autovalor 1 de P tiene multiplicidad r y el autovalor 0 tiene multiplicidad n − r.
d) Si P simétrica idempotente entonces r(P) = tr(P).
Formas cuadráticas
Si A es una matriz cuadrada simétrica de orden n, x = (x1 , . . . , xn )t ∈ Rn , se denomina forma
cuadrática asociada a A a la aplicación QA : Rn → R definida por:
n
X n
X X
QA (x) = x Ax =
t
ai j xi x j = aii xi2 + 2 ai j xi x j .
i, j=1 i=1 i< j
Cada forma cuadrática QA queda definida unı́vocamente por la matriz simétrica A.
2
Matrices y formas cuadráticas definidas y semidefinidas positivas
• Diremos xt Ax es semidefinida positiva si xt Ax ≥ 0 para todo x ∈ Rn .
• Diremos que una forma cuadrática xt Ax es definida positiva si
xt Ax ≥ 0 para todo x ∈ Rn ; xt Ax = 0 ⇐⇒ x = 0
La matriz simétrica A es (semi)definida positiva si su forma cuadrática asociada lo es.
Propiedades
a) Si P es una matriz no singular y A simétrica, entonces A es definida (resp. semidefinida)
positiva si y sólo si Pt AP es definida (resp. semidefinida) positiva.
b) Si A es definida positiva de orden n entonces existe una matriz no singular P tal que Pt AP = In .
c) Una matriz es definida (resp. semidefinida) positiva si y sólo si sus autovalores son mayores
(resp. mayores o iguales) que 0. En particular, las matrices idempotentes son semidefinidas
positivas.
Descomposición de matrices definidas positivas
• Si A es una matriz simétrica de orden n y rango r (r ≤ n) con coeficientes reales entonces existe
una matriz L de orden n × r (con coeficientes complejos) tal que A = LLt . Esta matriz L no es
única.
• Si además A es semidefinida positiva entonces L tiene coeficientes reales.
• Si A es definida positiva, entonces L es cuadrada y de rango n (invertible). Además podemos
tomar L simétrica. A una matriz L cuadrada e invertible verificando A = LL la denominaremos
L = A1/2 y a su inversa A−1/2 .
Podemos decir que la matriz A1/2 es una raı́z cuadrada de A.
Matrices AAt y At A
Sea A una matriz de orden m×n entonces se verifica que tanto At A como AAt son matrices semidefinidas
positivas. Además,
• Si r(A) = m entonces AAt es definida positiva.
• Si r(A) = n entonces At A es definida positiva.
3
1.3 Distribuciones de probabilidad asociadas al modelo lineal
Vectores aleatorios
Si (Ω, A, P) es un espacio de probabilidad, denominaremos vector aleatorio a toda función medible
Y : (Ω, A, P) → Rn . El vector aleatorio Y se escribirı́a Y = (Y1 , Y2 , . . . , Yn )t y sus componentes son
variables aleatorias.
Al vector µ = E[Y] = (E[Y1 ], E[Y2 ], . . . , E[Yn ])t se le denomina vector de medias del vector aleatorio
Y. Algunas propiedades del vector de medias:
• Si b ∈ Rn , entonces E[Y + b] = E[Y] + b. En particular, E[Y − µ] = 0.
• Si A es una matriz k × n, entonces E[AY] = AE[Y].
Si µ = (µ1 , . . . , µn )t , entonces se define la covarianza de las variables Yi e Y j ,
σi j = Cov[Yi , Y j ] = E[(Yi − µi )(Y j − µ j )].
Obviamente, si i = j
σii = Var[Yi ]
A la matriz
σ11 σ12 . . . σ1n
σ21 σ22 . . . σ2n
V = Cov[Y] = .. .. .. ..
. . . .
σn1 σn2 . . . σnn
se le denomina matriz de covarianzas de Y. Algunas propiedades de la matriz de covarianzas:
• Cov[Y] = E[(Y − µ)(Y − µ)t ].
• La matriz Cov[Y] es simétrica y semidefinida positiva.
• Si b ∈ Rn , entonces Cov[Y + b] = Cov[Y].
• Si A es una matriz k × n, entonces Cov[AY] = A Cov[Y]At . En particular, si denotamos
V = Cov[Y] y V es definida positiva, Cov[V−1/2 Y] = In .
La función de distribución de un vector aleatorio se define como
FY (y) = FY (y1 , . . . , yn ) = P(Y1 ≤ y1 , . . . , Yn ≤ yn ) , y = (y1 , . . . , yn )t ∈ Rn
Diremos que el vector aleatorio Y es continuo si existe una función fY : Rn → [0, ∞) tal que
Z y1 Z yn
FY (y) = ··· fY (z1 , . . . , zn )dx1 . . . dxn , y = (y1 , . . . , yn )t ∈ Rn
−∞ −∞
A la función fY (y) se le denomina función de densidad del vector aleatorio Y.
4
Se define la función caracterı́stica del vector aleatorio Y (al que supondremos continuo) como
Z ∞ Z ∞ n
t
X
φY (s) = E[eis Y ] = f (y , . . . , yn )dy1 . . . dyn , s = (s1 , . . . , sn )t ∈ Rn .
··· exp i s y
−∞
−∞
Y 1
k k
k=1
Análogamente se define la función generatriz de momentos del vector aleatorio Y (caso de existir)
Z ∞ Z ∞ n
t
X
MY (s) = E[es Y ] = f (y , . . . , yn )dy1 . . . dyn , s = (s1 , . . . , sn )t ∈ Rn .
··· exp s y
−∞
−∞
k k
Y 1
k=1
Distribuciones marginales
Supongamos que Yt = (Yt1 , Yt2 ) con Y1 = (Y1 , . . . , Yk )t , k < n, e Y2 = (Yk+1 , . . . , Yn )t .
La función de distribución marginal de Y1 se puede calcular,
FY1 (y1 ) = lim FY (y1 , y2 ) , y1 ∈ Rk ,
y2 →∞
entendiendo que y2 ∈ Rn−k tiende a ∞ si todas sus coordenadas tienden a infinito.
Análogamente, la función de densidad de Y1 se puede calcular,
Z ∞ Z ∞
fY1 (y1 ) = ··· fY (y1 , . . . , yk , yk+1 , . . . , yn )dyk+1 . . . dyn , y1 = (y1 , . . . , yk )t ∈ Rk .
−∞ −∞
En cuanto a la función caracterı́stica o generatriz de momentos de Y1 , se puden calcular
! !
s1 s1
φY1 (s1 ) = φY , MY1 (s1 ) = MY , s1 ∈ Rk .
0 0
Algunas propiedades de las distribuciones marginales:
• Los vectores de medias de Y1 e Y2 son, respectivamente,
µ1 = (µ1 , . . . , µk )t , µ2 = (µk+1 , . . . , µn )t
y sus matrices de covarianzas
σ11 . . . σ1k σk+1k+1 . . . σk+1n
V11 = ... . . . ... .. ..
, V22 = ..
. . .
σk1 . . . σkk σnk+1 . . . σnn
• La matriz de covarianzas de Y1 e Y2 es
σ1k+1 . . . σ1n
V12 = Cov[Y1 , Y2 ] = ... .
..
. .. = E[(Y1 − µ1 )(Y2 − µ2 )t ].
σkk+1 . . . σkn
• Si A y B matrices k × n y (n − k) × n, respectivamente, entonces
V12 = Cov[AY1 , BY2 ] = A Cov[Y1 , Y2 ]Bt .
Podemos notar que el vector de medias µ y la matriz de covarianzas V de un vector aleatorio quedan
particionados de la forma:
µ1
! !
V11 V12
µ= , V= .
µ2 Vt12 V22
5
Independencia
Supongamos que Yt = (Yt1 , Yt2 ) con Y1 = (Y1 , . . . , Yk )t e Y2 = (Yk+1 , . . . , Yn )t . Los vectores aleatorios
Y1 e Y2 son independientes si y sólo si
FY (y) = FY1 (y1 ) · FY2 (y2 ) , y1 ∈ Rk , y2 ∈ Rn−k , y = (yt1 , yt2 )t
o equivalentemente
fY (y) = fY1 (y1 ) · fY2 (y2 ) , y1 ∈ Rk , y2 ∈ Rn−k , y = (yt1 , yt2 )t
o equivalentemente
φY (s) = φY1 (s1 ) · φY2 (s2 ) , s1 ∈ Rk , s2 ∈ Rn−k , s = (st1 , st2 )t
Se verifica que si Y1 e Y2 son vectores aleatorios independientes entonces Cov[Y1 , Y2 ] = 0. El
recı́proco en general no es cierto.
Distribución normal unidimensional
Sea µ ∈ R y σ2 > 0. Diremos que la variable aleatoria Y tiene distribución normal de parámetros µ y
σ2 si su función de densidad es
(y − µ)2
( )
1
f (y) = √ exp − , y∈R
2π σ 2σ2
En tal caso denotaremos Y ∼ N(µ, σ2 ).
Propiedades
• Las funciones caracterı́stica y generatriz de momentos de la distribución N(µ, σ2 ) son:
1 1
φY (s) = exp{iµs − σ2 s2 } , MY (s) = exp{µs + σ2 s2 } , s ∈ R
2 2
• La media de Y es µ y su varianza σ2 .
Y −µ
• Si Z = , entonces Z ∼ N(0, 1).
σ
• Si Y ∼ N(µ, σ2 ) y a, b ∈ R, entonces aY + b ∼ N(aµ + b, a2 σ2 ).
Distribución normal multivariante
Sea V = (σi j ) una matriz cuadrada de orden n, con coeficientes reales, simétrica y definida positiva;
y sea µ = (µ1 , . . . , µn )t ∈ Rn
Definición. Diremos que el vector aleatorio n-dimensional Y = (Y1 , . . . , Yn )t sigue distribución Nor-
mal n-dimensional de parámetros µ y V (Y ∼ Nn (µ, V)) si tiene la función de densidad conjunta:
1 1
f (y) = exp{− (y − µ)t V−1 (y − µ)} , y = (y1 , . . . , yn )t ∈ Rn .
(2π)n/2 |V|1/2 2
6
Proposición. La función caracterı́stica y la función generatriz de momentos de Y son, respectiva-
mente:
1 1
φY (s) = exp{ist µ − st Vs} , MY (s) = exp{st µ + st Vs} , s ∈ Rn
2 2
Propiedades
1. El vector de medias de Y es µ y su matriz de covarianzas es V.
2. Si Z = AY + b, con A matriz k × n de rango k (k ≤ n) y b ∈ Rk , entonces Z ∼ Nk (Aµ + b, AVAt ).
3. Las distribuciones marginales de una distribución Normal Multivariante son Normales. Con-
cretamente, si Y1 = (Y1 , . . . , Yk )t , k < n, entonces Y1 ∼ Nk (µ1 , V11 ).
4. La distribución de Y1 = (Y1 , . . . , Yk )t condicionada a Yk+1 = yk+1 , . . . , Yn = yn es Nk (µ1 +
22 (y2 − µ2 ), V11 − V12 V22 V12 ), siendo y2 = (yk+1 , . . . , yn ) .
V12 V−1 −1 t t
5. Si Yt = (Yt1 , Yt2 ) con Y1 = (Y1 , . . . , Yk )t e Y2 = (Yk+1 , . . . , Yn )t entonces Y1 y Y2 son independi-
entes si y sólo si Cov[Y1 , Y2 ] = 0.
6. Y = (Y1 . . . , Yn )t ∼ Nn (µ, V) si y sólo si toda combinación lineal de Y1 . . . , Yn sigue distribución
Normal (i.e. para todo λ ∈ Rn , λt Y ∼ N(λt µ, λt Vλ)).
7. Las variables aleatorias Y1 . . . , Yn son independientes e idénticamente distribuidas con dis-
tribución N(0, σ2 ) si y sólo si el vector aleatorio Y = (Y1 . . . , Yn )t ∼ Nn (0, σ2 In ).
Distribuciones de probabilidad asociadas a la Normal
Distribución Chi-cuadrado no central
Definición. Si Y ∼ Nn (µ, In ), llamaremos Chi-cuadrado no central con n grados de libertad y
parámetro de descentralización µ∗ = 21 µt µ a la distribución de la variable aleatoria Q = Yt Y y
escribiremos Q ∼ χ2 (n, µ∗ ).
Propiedades
1. Q tiene función de densidad
∞ n+2k x
X µ∗k x 2 −1 exp{− 2 }
f (x) = exp{−µ } ∗
si x > 0; 0 si x ≤ 0
k=0
k! Γ( n+2k )2 n+2k
2
2
2. La función generatriz de momentos de Q es
1
MQ (s) = (1 − 2s)−n/2 exp{−µ∗ (1 − )} , s en un entorno de 0
1 − 2s
3. χ2 (n, 0) ≡ χ2 (n).
4. Si Y ∼ Nn (µ, σ2 In ), entonces Yt Y/σ2 ∼ χ2 (n, µ∗ ), siendo µ∗ = 1
2σ2
µt µ.
7
5. Sean Qi ∼ χ2 (ni , µi ), i = 1, . . . , k, variables aleatorias independientes. Entonces
k
X k
X k
X
Qi ∼ χ ( ni ,
2
µi )
i=1 i=1 i=1
Distribución F-Snedecor no central
Definición. Si Q1 ∼ χ2 (n1 , µ) y Q2 ∼ χ2 (n2 , 0) son variables aleatorias independientes, llamare-
mos F-Snedecor no central con n1 , n2 grados de libertad y parámetro de descentralización µ a la
distribución de la variable aleatoria
Q1 /n1
Z=
Q2 /n2
y escribiremos Z ∼ F(n1 , n2 , µ).
Z tiene función de densidad
n1 +2k
∞ k ( n1 ) 2 Γ( n1 +n2 +2k ) n +2k
−µ µ n2 n1 − n1 +n22 +2k
X 2 1
f (x) = e x 2 −1 (1 + x) si x > 0; 0 si x ≤ 0
k=0
k! Γ( n1 +2k
2
)Γ( n22 ) n2
Observación:
• F(n1 , n2 , 0) ≡ F(n1 , n2 ).
• Si T ∼ t(n) entonces T 2 ∼ F(1, n).
8
1.4 Formas cuadráticas.
Sea A = (ai j ) una matriz cuadrada, simétrica de orden n y sea Y = (Y1 , . . . , Yn )t un vector aleatorio.
Llamaremos forma cuadrática asociada al vector aleatorio Y a la variable aleatoria:
X n
n X n
X X
Y AY =
t
ai j Yi Y j = aii Yi2 + 2ai j Yi Y j
i=1 j=1 i=1 i< j
Los siguientes resultados nos relacionan la distribución y los momentos de Yt AY con los de Y.
Supongamos que Y tiene vector de medias µ y matriz de covarianzas V. Entonces se verifica:
a) E[Yt AY] = tr(AV) + µt Aµ
Si además Y ∼ Nn (µ, V), entonces
b) Var[Yt AY] = 2 tr((AV)2 ) + 4µt AVAµ.
c) Cov[Y, Yt AY] = 2VAµ.
Distribuciones de las formas cuadráticas.
Podemos establecer el siguiente resultado:
Teorema 1. Sea Y ∼ Nn (µ, V) y sea A una matriz simétrica de orden n. Entonces se verifica:
Yt AY ∼ χ2 (r(A), 12 µt Aµ) cualquiera que sea µ ⇐⇒ AV es idempotente.
Independencia de las formas cuadráticas.
Se verifican los siguientes resultados:
Teorema 2. Sea Y ∼ Nn (µ, V). Sea A una matriz simétrica y semidefinida positiva de orden n y B una
matriz s × n de rango s. Entonces se verifica:
Yt AY y BY son independientes cualquiera que sea µ ⇐⇒ BVA = 0.
Teorema 3. Sea Y ∼ Nn (µ, V). Sean A y B dos matrices simétricas y semidefinidas positivas de orden
n. Entonces se verifica:
Yt AY e Yt BY son independientes cualquiera que sea µ ⇐⇒ AVB = 0 (⇔ BVA = 0).