FACULTAD DE INGENIERÍA
ECONÓMICA, ESTADÍSTICA Y CC. SS
MÉTODO MINIMOS CUADRADOS
PONDERADOS
Autor(a): Huapaya Caycho Alison Elizabeth
Docente: Lic. Amélida Pinedo Sánchez
Asignatura: Análisis de Regresión
Lima – Perú
2021
MÉTODO MINIMOS CUADRADOS
PONDERADOS
Mínimos cuadrados ponderados, también conocida como regresión lineal
ponderada, es una generalización de mínimos cuadrados ordinarios y regresión
lineal en la que el conocimiento de la varianza de las observaciones se incorpora a la
regresión.
El método de mínimos cuadrados ordinarios supone que hay una varianza constante
en los errores (lo que se llama homocedasticidad). El método de mínimos cuadrados
ponderados se puede utilizar cuando se infringe el supuesto de mínimos cuadrados
ordinarios de varianza constante en los errores (lo que se denomina
heterocedasticidad).
En este método de estimación se trata de minimizar ∑𝑛𝑖=1 𝑤𝑖 (𝑦𝑖 − 𝑦̂) 𝑖
2
, donde 𝑤𝑖
representa el peso o factor de ponderación asignado a la i-ésima observación, que
se escoge como inversamente proporcional a la varianza de 𝑦𝑖 .
Para el caso de la regresión lineal simple, la función de mínimos cuadrados
ponderados es:
𝑛
𝑆(𝛽0 , 𝛽1 ) = ∑ 𝑤𝑖 (𝑦𝑖 − 𝛽0 − 𝛽1 𝑥𝑖 )2
𝑖=1
Las ecuaciones normales de mínimos cuadrados que resultan son
𝑛 𝑛 𝑛
̂0 ∑ 𝑤𝑖 + 𝛽
𝛽 ̂1 ∑ 𝑤𝑖 𝑥𝑖 = ∑ 𝑤𝑖 𝑦𝑖
𝑖=1 𝑖=1 𝑖=1
𝑛 𝑛 𝑛
̂1 ∑ 𝑤𝑖 𝑥𝑖 2 = ∑ 𝑤𝑖 𝑥𝑖 𝑦𝑖
𝛽0 ∑ 𝑤𝑖 𝑥𝑖 + 𝛽
𝑖=1 𝑖=1 𝑖=1
Al resolver las ecuaciones se obtendrían los estimados ponderados, por mínimos
cuadrados, del 𝛽0 y 𝛽1
Considerando un caso un poco mas general, se resolverá este problema
transformando el modelo en un nuevo conjunto de observaciones que satisfagan las
premisas estándar de mínimos cuadrados. Cuando el modelo es:
𝑦 = 𝑋𝛽 + Ɛ
Donde los errores Ɛ no están correlacionados, pero tienen varianzas desiguales de
modo que la matriz de covarianza de Ɛ sea, por ejemplo
1
0 ⋯ 0
𝑤1
1
2 2 0 ⋯ 0
𝜎 𝑉=𝜎 𝑤2
⋮ ⋮ ⋱ ⋮
1
0 0 ⋯
[ 𝑤𝑛 ]
Al procedimiento de estimación se le suele llamar mínimos cuadrados ponderados.
Sea
𝑊 = 𝑉 −1
Como 𝑉 es una matriz diagonal, 𝑊 tambien es diagonal y sus elementos diagonales,
pesos o factores de ponderación, son 𝑤1 , 𝑤2 , … … , 𝑤𝑛 .
Multiplicando ambos lados del modelo lineal por 𝑊 se obtiene:
𝑊𝑦 = 𝑊𝑋𝛽 + 𝑊Ɛ
𝑧 = 𝐵𝛽 + 𝑔
𝐿𝑜𝑠 𝑒𝑟𝑟𝑜𝑟𝑒𝑠 𝑒𝑛 𝑒𝑠𝑡𝑒 𝑚𝑜𝑑𝑒𝑙𝑜 𝑡𝑟𝑎𝑠𝑓𝑜𝑟𝑚𝑎𝑑𝑜 𝑡𝑖𝑒𝑛𝑒𝑛 𝑢𝑛 𝑣𝑎𝑙𝑜𝑟 𝑒𝑠𝑝𝑒𝑟𝑎𝑑𝑜 𝑐𝑒𝑟𝑜 𝐸(𝑔) = 0
𝑁𝑜𝑡𝑎𝑟 𝑞𝑢𝑒 𝑉𝑎𝑟(𝑔) = 𝑉𝑎𝑟(𝑊Ɛ) = 𝑊𝑣𝑎𝑟(Ɛ)𝑊 ′ = 𝑊𝑉𝑊 ′ 𝜎 2 = 𝐼𝜎 2
Las ecuaciones normales de mínimos cuadrados ponderados son:
(𝑋 ′ 𝑊𝑋)𝛽̂ = 𝑋 ′ 𝑊𝑦
Éste es un análogo, en regresión múltiple, de las ecuaciones normales de mínimos
cuadrados ponderados para la regresión lineal simple. En consecuencia,
𝛽̂ = (𝑋 ′ 𝑊𝑋)−1 𝑋 ′ 𝑊𝑦
𝑒𝑠 𝑒𝑙 𝑒𝑠𝑡𝑖𝑚𝑎𝑑𝑜𝑟 𝑝𝑜𝑛𝑑𝑒𝑟𝑎𝑑𝑜 𝑑𝑒 𝑚í𝑛𝑖𝑚𝑜𝑠 𝑐𝑢𝑎𝑑𝑟𝑎𝑑𝑜𝑠
Los estimados por mínimos cuadrados ponderados se pueden obtener con facilidad
con un programa ordinario de cómputo de mínimos cuadrados. Si se multiplica cada
uno de los valores observados de la i-ésima observación (incluyendo el 1 de la
ordenada de origen) por la raíz cuadrada del peso de esa observación, se obtendrá
entonces un conjunto de datos transformados.
1√𝑤1 𝑥11 √𝑤1 ⋯ 𝑥1𝑘 √𝑤1 𝑦1 √𝑤1
𝐵 = 1√𝑤2 𝑥21 √𝑤2 ⋯ 𝑥2𝑘 √𝑤2 , 𝑧 = 𝑦2 √𝑤2
⋮ ⋮ ⋱ ⋮ ⋮
[ 1√𝑤𝑛 𝑥𝑛1 √𝑤𝑛 ⋯ 𝑥𝑛𝑘 √𝑤𝑛 ] [𝑦𝑛 √𝑤𝑛 ]
Ahora si se aplican los mínimos cuadrados ordinarios a esos datos transformados, se
obtendrá:
𝛽̂ = (𝐵′ 𝐵)−1 𝐵′ 𝑧 = (𝑋 ′ 𝑊𝑋)−1 𝑋 ′ 𝑊𝑦
𝑞𝑢𝑒 𝑒𝑠 𝑒𝑙 𝑒𝑠𝑡𝑖𝑚𝑎𝑑𝑜 𝑑𝑒 𝛽 𝑝𝑜𝑟 𝑚í𝑛𝑖𝑚𝑜𝑠 𝑐𝑢𝑎𝑑𝑟𝑎𝑑𝑜𝑠 𝑝𝑜𝑛𝑑𝑒𝑟𝑎𝑑𝑜𝑠
Algunos puntos clave con respecto a los mínimos cuadrados ponderados son:
Para usar mínimos cuadrados ponderados se deben conocer los pesos 𝑤𝑖 , y para la
obtención del mismo se tiene:
➢ A veces se puede recurrir a la experiencia o conocimientos anteriores.
➢ Si la respuesta 𝑦𝑖 es un promedio de 𝑛𝑖 observaciones en 𝑥𝑖 con varianza
2
constante 𝜎 2 , entonces 𝑉𝑎𝑟(𝑦𝑖 ) = 𝑉𝑎𝑟(𝜀𝑖 ) = 𝜎 ⁄𝑛𝑖 𝑦 𝑤𝑖 = 𝑛𝑖 .
➢ El análisis de residuales puede indicar que la varianza de los errores puede ser
una función de uno de los regresores 𝑥i , entonces 𝑉𝑎𝑟(𝜀𝑖 ) = 𝜎 2 𝑥𝑖𝑗 𝑦 𝑤𝑖 =
1⁄ .
𝑥𝑖𝑗
➢ Los residuos son demasiado variables para usarlos directamente en la
estimación de los pesos, 𝑤𝑖 ,por lo que en su lugar usamos los residuos al
cuadrado para estimar una función de varianza o los residuos absolutos para
estimar una función de desviación estándar. Luego usamos esta función de
varianza o desviación estándar para estimar los pesos.
➢ Si una gráfica de residuales contra un predictor presenta una forma de
megáfono, entonces haga una regresión de los valores absolutos de los
residuales contra ese predictor. Los valores ajustados resultantes de esta
regresión son estimaciones de 𝜎𝑖 . (Y recuerda 𝑤𝑖 = 1⁄𝜎 2 ).
𝑖
La principal ventaja de que goza los mínimos cuadrados ponderados sobre otros
métodos es la capacidad de manejar situaciones de regresión en el que los puntos
de datos son de calidad variable.
La mayor desventaja de los mínimos cuadrados ponderados, es probablemente el
hecho de que la teoría detrás del método se basa en la suposición de que los pesos
se conocen con exactitud
EJERCICIO
En este ejercicio se muestran los ingresos mensuales promedio por venta de
alimentos, y los correspondientes gastos anuales en publicidad para 30
restaurantes. La gerencia se interesa en la relación entre esas variables, por lo
que se ajusta un modelo de regresión lineal donde:
𝑦: 𝑉𝑒𝑛𝑡𝑎𝑠 𝑑𝑒 𝑎𝑙𝑖𝑚𝑒𝑛𝑡𝑜𝑠 (𝐼𝑛𝑔𝑟𝑒𝑠𝑜)
𝑥: 𝐺𝑎𝑠𝑡𝑜𝑠 𝑑𝑒 𝑃𝑢𝑏𝑙𝑖𝑐𝑖𝑑𝑎𝑑
Gastos de
Ingreso(yi) Mediante el método de mínimos cuadrados ordinarios tenemos:
Publicidad(xi)
81464 3000
72661 3150 Trabajamos en Minitab
72344 3085
90743 5225
98588 5350
96507 6090
126574 8925
114133 9015
115814 8885
123181 8950
131434 9000
140564 11345
151352 12275
146926 12400
130963 12525
144630 12310
147041 13700
179021 15000
166200 15175
180732 14995
178187 15050
185304 15200
155931 15150
172579 16800
188851 16500
192424 17830
203112 19500
192482 19200
218715 19000 En esta gráfica se aprecia la violación de la suposición de
214317 19350 varianza constante. En consecuencia, el ajuste por
mínimos cuadrados ordinarios es inadecuado.
Para corregir este problema de desigualdad de varianza, se deben conocer los
pesos 𝑤𝑖
Al examinar la tabla se nota que hay varios conjuntos de valores de x que son “vecinos
cercanos”, estos es, que tienen puntos de repeticion aproximados en x. Entonces se supondra
que esos vecinos cercanos están lo bastante cerca entre sí para poder considerarse puntos
de repetición .
Se usará la varianza de las respuestas en dichos puntos para investigar la forma en que 𝑉𝑎𝑟(𝑦)
cambia en función de x.
GASTO DE
INGRESO 𝐷𝑜𝑛𝑑𝑒 ∶
PUBLICIDAD
81464 3000 3078.3 26794616 𝑋̅ 𝑟𝑒𝑝𝑟𝑒𝑠𝑒𝑛𝑡𝑎 𝑒𝑙 𝑣𝑎𝑙𝑜𝑟 𝑝𝑟𝑜𝑚𝑒𝑑𝑖𝑜 𝑑𝑒 𝑥
72661 3150
𝑝𝑎𝑟𝑎 𝑐𝑎𝑑𝑎 𝑔𝑟𝑢𝑝𝑜 𝑑𝑒 𝑣𝑒𝑐𝑖𝑛𝑜𝑠 𝑐𝑒𝑟𝑐𝑎𝑛𝑜𝑠
72344 3085
90743 5225 5287.5 30772013 𝑆𝑦 2 𝑙𝑎 𝑣𝑎𝑟𝑖𝑎𝑛𝑧𝑎 𝑚𝑢𝑒𝑠𝑡𝑟𝑎𝑙 𝑑𝑒 𝑙𝑎𝑠 𝑦 𝑒𝑛 𝑐𝑎𝑑𝑎
98588 5350
96507 6090 𝑔𝑟𝑢𝑝𝑜
126574 8925 8955.0 52803695
114133 9015
115814 8885 Al graficar 𝑆𝑦 2 en función de la 𝑋̅
123181 8950 correspondiente, implica que 𝑆𝑦 2 aumenta
131434 9000 en forma aproximadamente lineal con 𝑋̅
140564 11345 12171.0 59646475
151352 12275
146926 12400
130963 12525
144630 12310
147041 13700
179021 15000 15095.0 120571061
166200 15175
180732 14995
178187 15050
185304 15200
155931 15150
172579 16800 16650.0 132388992 Un ajuste por el método de mínimos
188851 16500 cuadrados ordinarios tenemos nos da:
192424 17830
203112 19500 19262.5 138856871
192482 19200
218715 19000
214317 19350
Al sustituir cada valor de 𝑥𝑖 en la ecuación se obtendrá un estimado de la varianza de la observación
𝑦𝑖 correspondiente. Y los inversos de esos valores ajustados serán estimados razonables de los pesos
𝑤𝑖
Gastos de
Ingreso(yi) PESOS wi
Publicidad(xi)
81464 3000 14119998 7.08215E-08
72661 3150 15287298 6.54138E-08
72344 3085 14781468 6.76523E-08
90743 5225 31434948 3.18117E-08
98588 5350 32407698 3.08569E-08
96507 6090 38166378 2.62011E-08
126574 8925 60228348 1.66035E-08
114133 9015 60928728 1.64126E-08
115814 8885 59917068 1.66897E-08
123181 8950 60422898 1.655E-08
131434 9000 60811998 1.64441E-08
140564 11345 79060788 1.26485E-08
151352 12275 86298048 1.15877E-08
146926 12400 87270798 1.14586E-08
130963 12525 88243548 1.13323E-08
144630 12310 86570418 1.15513E-08
147041 13700 97387398 1.02683E-08
179021 15000 107503998 9.30198E-09
166200 15175 108865848 9.18562E-09
180732 14995 107465088 9.30535E-09
178187 15050 107893098 9.26843E-09
185304 15200 109060398 9.16923E-09
155931 15150 108671298 9.20206E-09
172579 16800 121511598 8.22967E-09
188851 16500 119176998 8.39088E-09
192424 17830 129527058 7.72039E-09
203112 19500 142522998 7.01641E-09
192482 19200 140188398 7.13326E-09
218715 19000 138631998 7.21334E-09
214317 19350 141355698 7.07435E-09
Al aplicar los mínimos cuadrados a los datos, con los pesos, se obtiene el modelo ajustado:
Trabajamos en Minitab
Ahora se deben examinar los residuos para determinar si el ajuste ha mejorado al usar los
mínimos cuadrados ponderados.
G
Grafica previa del ajuste de mínimos Grafica con la aplicación de mínimos
cuadrados ordinarios cuadrados ponderados
Se llega a la conclusión que los mínimos cuadrados ponderados han corregido el problema de
desigualdad de varianza.
Se debe mencionar otros puntos acerca de este ejemplo:
❖ El primero es que se tuvo la suerte de contar con varios vecinos cercanos en el espacio x
❖ Fue fácil identificar esos grupos de puntos, por inspección a la gráfica además porque solo
había implicado un regresor ya que cuando hay mas regresores es más difícil la
identificación visual de esos grupos.
❖ Otro punto implica el uso de una ecuación de regresión para estimar los pesos. El analista
debe comprobar con cuidado los pesos que produce la ecuación, para estar seguro de que
son razonables, en este caso para nuestro problema un valor suficientemente pequeño de
x hubiera resultado en un peso negativo, lo cual es irrazonable
