Análisis de Factores (FA)
José A. Perusquía Cortés
Análisis Multivariado Semestre 2024-I
Motivación
- El análisis de factores es un modelo matemático que busca:
Explicar la correlación de un conjunto de p variables a través de m factores latentes.
- Orígenes en psicología:
Spearman (1904). “General-Intelligence,” Objectively Determined and Measured. American
Journal of Psychology. 15 (2): 201–293.
Thurstone (1931). Multiple factor analysis. Psychological Review. 38 (5): 406–427.
Thurstone (1934). The Vectors of Mind. The Psychological Review. 41: 1–32.
Formulación
- Sea xp×1 un vector aleatorio con (x) = μ y Var(x) = Σ entonces,
x = Λf + u + μ
Donde
1. Λp×k es una matriz de constantes
2. fk×1 es un vector aleatorio de factores comunes
3. up×1 es un vector aleatorio de factores únicos
𝔼
Formulación
- Supuestos
1. (f) = 0
2. Var(f) = I
3. (u) = 0
4. Var(u) = Ψ = diag (Ψ11, …, Ψpp)
5. Cov(f, u) = O
𝔼
𝔼
Formulación
- Así, para cada variable se tiene la representación
k
∑
xi = λij fj + ui + μi
j=1
Proposición
Dado el modelo de análisis de factores, se tiene que la varianza de cada xi está dada por
k
Var (xi) = 2 2
∑
λij + Ψii = hi + Ψii,
j=1
y la covarianza de xi y xk es
k
Cov (xi, xk) =
∑
λij λjk
j=1
T
- Por lo que, Σ = ΛΛ + Ψ
Propiedades
1. Invariante ante cambios de escala, i.e. para y = Cx con, C = diag(c1, …, cp), se cumple
T
Var(y) = CΛΛ C + CΨC = CΣC
T
2. Λ no es única, ya que si G ∈ entonces x = (ΛG)(G f) + u + μ y así
T T
Σ = (ΛG)(G Λ ) + Ψ .
Se necesita una restricción,
T −1
G = Λ Ψ Λ = diag(g11, …, gpp) g11 > g22 > ⋯ > gpp
𝒪
Estimación
Dada una matriz de datos X ¿Cómo estimar Λ, Ψ a partir de S ?
- Buscar Λ ̂
, Ψ ̂ tales que S = Λ ̂ Λ T̂
+ Ψ ̂
y Ψ ̂
ii ≥ 0
- Dado un estimador Λ ̂ podemos hacer
Ψ iî = Sii −
k
2̂
∑
λ ij
j=1
Estimación
- La solución dependerá de la diferencia entre los grados de libertad de Σ y de Λ, Ψ
[ 2 ] 2
p(p + 1) k(k − 1) 1 2
s= − p + pk − = [(p − k) − (p + k)]
2
‣ Si s < 0: Hay una in nidad de soluciones (no es interesante)
‣ Si s = 0: existe una única solución (no siempre es viable)
‣ Si s > 0: no hay solución exacta y debe aproximarse (caso interesante)
fi
Estimación
Proposición
1
−2
Sea Y = HXD entonces considerando el modelo de análisis de factores se cumple que
R = Λ y Λ y + Ψ ŷ
̂ T̂
donde
- Λ ̂
y=D
− 12
Λ x̂
- Ψ ̂
y=D
− 12
Ψ x̂
Observación
Con la matriz de correlaciones se tiene que, Ψ iî = 1 −
k
2̂
∑
λ ij
j=1
Estimación por factores principales
- Aplicar una descomposición de valores propios para la matriz de correlación reducida
R− Ψ̂ ̂ 2̂ 2̂
diag (R − Ψ ) = ( h 1, …, h p)
̂
- Primero hay que estimar hi
2
‣ El cuadrado del coe ciente de correlación múltiple de la i-ésima variable con el resto de
las variables.
‣ El coe ciente de correlación más grande entre la i-ésima variable y alguna de las otras,
i.e., max | rij | .
j≠i
fi
fi
Estimación por factores principales
- Por el teorema de descomposición espectral se tiene que
R− Ψ ̂=
p
T
∑
αiγiγi
i=1
donde, α1 ≥ α2 ≥ ⋯ ≥ αp son los eigenvalores y γ1, …, γp los eigenvectores
̂
1
- Así Λ = Γ k Ak
2
- Finalmente, voler a estimar a Ψ ̂
ii como
Ψ iî = 1 −
k
2̂
∑
λ ij
j=1
Ejemplo 1: Spearman
- Correlaciones entre el aprovechamiento académico de:
‣ Estudios clásicos
‣ Francés
‣ Inglés
1 0.83 0.78
( )
R= 1 0.67
1
- Considerando un solo factor se tiene una solución exacta
Ejemplo 1: Spearman
- Podemos modelar las correlaciones como:
x1 = 0.983 ⋅ f + u1
x2 = 0.844 ⋅ f + u2
x3 = 0.794 ⋅ f + u3
Donde, f es un factor común llamado “general intelligence ability” y donde
Ψ11 = Var(u1) = 0.034
Ψ22 = Var(u2) = 0.288
Ψ33 = Var(u3) = 0.370
Ejemplo 2
- Considerar la matriz de correlaciones
1 0.84 0.6
R= 1 0.35
1
- La solución al sistema es
λ1 = 1.2 Ψ11 = Var(u1) = − 0.44
λ2 = 0.7 ⇒ Ψ22 = Var(u2) = 0.51
λ3 = 0.5 Ψ33 = Var(u3) = 0.75
‣ No es admisible y una posible solución es jar λ1 = 1 (caso de Heywood)
fi
Ejemplo 3: Calificaciones
- 88 cali caciones de 5 exámenes a libro abierto o cerrado.
Lineal (C) Estadística (C) Probabilidad(A) Finanzas (A) Cálculo (A)
97 92 77 72 96
83 88 90 75 96
95 83 81 71 96
75 82 73 75 83
83 73 75 75 78
- La matriz de correlación es
1 .546 .545 .410 .390
1 .613 .489 449
R=
1 .712 .666
1
- Resolvemos en R con la función fa() de la librería psych
fi
Ejemplo 3: Calificaciones
- Para k = 1
Variable λi hi2 Ψii
Lineal 0.61 0.37 0.63
Estadística 0.69 0.48 0.52
Probabilidad 0.91 0.83 0.17
Finanzas 0.76 0.58 0.42
Cálculo 0.72 0.51 0.49
- El factor común se puede interpretar como un factor de habilidad general en matemáticas
Ejemplo 3: Calificaciones
- Para k = 2
Variable λ1i λ2i hi2 Ψii
Lineal 0.64 0.33 0.51 0.49
Estadística 0.71 0.28 0.59 0.41
Probabilidad 0.90 -0.08 0.81 0.19
Finanzas 0.77 -0.23 0.65 0.35
Cálculo 0.72 -0.22 0.57 0.43
- El primer factor se puede interpretar como un factor de habilidad general en matemáticas
- El segundo factor se puede interpretar como un factor de habilidad en exámenes cerrados y
abiertos
Estimación por máxima verosimilitud
T
- Suponiendo que x ∼ N(μ, Σ) donde Σ = ΛΛ + Ψ y μ ̂ = x̄ podemos pensar en maximizar
la log-verosimilitud
n n −1
L = (log | 2πΣ | ) − tr(Σ S)
2 2
- O equivalentemente minimizar (Jörekog, 1967)
−1
F = log( | Σ | ) + tr(SΣ ) − log( | S | ) − p
1. Minimizar F analíticamente con respecto a Λ para una Ψ ja
2. Minimizar numéricamente F con respecto a Ψ
fi
Prueba de hipótesis en el número de factores
- Bajo el supuesto de normalidad se pueden hacer pruebas de hipótesis para el número de
factores
- El estadístico de prueba estará dado por (Bartlett, 1954)
1 2
U = n′ min(F) n′ = n − 1 − (2p + 5) − k
6 3
- Si k factores son su cientes entonces,
2 1 2 1
U∼ χν ν = (p − k) − (p + k)
2 2
- Se puede probar de forma secuencial para k = 1,2,… para encontrar el número de factores
a considerar


fi
Ejemplo 3: Calificaciones
- Para k = 1
Estimación por MLE Estimación por factores principales
Variable λi 2
hi Ψii Variable λi 2
hi Ψii
Lineal 0.60 0.36 0.64 Lineal 0.61 0.37 0.63
Estadística 0.67 0.45 0.55 Estadística 0.69 0.48 0.52
Probabilidad 0.92 0.84 0.16 Probabilidad 0.91 0.83 0.17
Finanzas 0.77 0.60 0.40 Finanzas 0.76 0.58 0.42
Cálculo 0.73 0.53 0.47 Cálculo 0.72 0.51 0.49
Ejemplo 3: Calificaciones
- Para k = 2
Estimación por MLE Estimación por factores principales
Variable λ1i λ2i 2
hi Ψii Variable λ1i λ2i 2
hi Ψii
Lineal 0.62 0.38 0.53 0.47 Lineal 0.64 0.33 0.51 0.49
Estadística 0.70 0.29 0.57 0.43 Estadística 0.71 0.28 0.59 0.41
Probabilidad 0.90 -0.05 0.81 0.19 Probabilidad 0.90 -0.08 0.81 0.19
Finanzas 0.78 -0.20 0.65 0.35 Finanzas 0.77 -0.23 0.65 0.35
Cálculo 0.73 -0.19 0.57 0.43 Cálculo 0.72 -0.22 0.57 0.43
Ejemplo 3: Calificaciones
- Hacemos la prueba de hipótesis para k = 1, obteniendo
2
U = n′ min(F) = 7.749803 < 11.0705 = χ5,.95
- Por lo que no rechazamos la hipótesis nula de que un factor sea su ciente
- Hacemos la prueba de hipótesis para k = 2, obteniendo
2
U = n′ min(F) = 0.02823699 < 3.841459 = χ1,.95
- Por lo que no rechazamos la hipótesis nula de que un factor sea su ciente


fi
fi
Rotaciones ortogonales
- Para tener unicidad en el modelo se consideró la restricción
T −1
G = Λ Ψ Λ = diag(g11, …, gpp) g11 > g22 > ⋯ > gpp
- Para la interpretación de los factores es preferible que:
1. Cada variable esté asociada fuertemente a lo más a un factor
2. Las cargas sean muy grandes y positivas o cercanas al cero con algunos valores
intermedios
- Ejemplos: varimax, quartimax, orthomax, etc.
Rotación varimax
- Rotación ortogonal propuesta por Kaiser (1958)
- Sea Λ la matriz de cargas y G matriz ortogonal entonces la matriz de cargas rotadas es:
Δ = ΛG
- Objetivo: maximizar ϕ
k p δij p
2 ¯ 2 ¯ −1 2
∑∑ ∑
ϕ= (dij − dj) dij = dj = p dij
j=1 i=1
hi i=1
Ejemplo 3: Calificaciones
- Para k = 2
Factores principales con varimax Factores principales sin rotación
Variable λ1i λ2i 2
hi Ψii Variable λ1i λ2i 2
hi Ψii
Lineal 0.27 0.66 0.51 0.49 Lineal 0.64 0.33 0.51 0.49
Estadística 0.36 0.68 0.59 0.41 Estadística 0.71 0.28 0.59 0.41
Probabilidad 0.74 0.52 0.81 0.19 Probabilidad 0.90 -0.08 0.81 0.19
Finanzas 0.74 0.32 0.65 0.35 Finanzas 0.77 -0.23 0.65 0.35
Cálculo 0.69 0.30 0.57 0.43 Cálculo 0.72 -0.22 0.57 0.43
Ejemplo 3: Calificaciones
Ejemplo 3: Calificaciones
Rotaciones oblicuas
- Permiten que los factores estén correlacionados
- Pueden proporcionar soluciones más simples
- Para factores latentes puede ser complicado tener que explicar la correlación entre ellos
- Ejemplos: quartimin, covarimin, biquartimin, oblimin (por default en R), etc.
Ejemplo 3: Calificaciones
- Para k = 2
Factores principales con varimax Factores principales con oblimin
Variable λ1i λ2i hi2 Ψii Variable λ1i λ2i hi2 Ψii
Lineal 0.27 0.66 0.51 0.49 Lineal -0.03 0.74 0.51 0.49
Estadística 0.36 0.68 0.59 0.41 Estadística 0.09 0.70 0.59 0.41
Probabilidad 0.74 0.52 0.81 0.19 Probabilidad 0.72 0.22 0.81 0.19
Finanzas 0.74 0.32 0.65 0.35 Finanzas 0.85 -0.05 0.65 0.35
Cálculo 0.69 0.30 0.57 0.43 Cálculo 0.79 -0.05 0.57 0.43
- La correlación de los factores es 0.76
Ejemplo 3: Calificaciones
