UNIVERSIDAD ESAN
METODO DE REGRESIÓN RIDGE
Curso : Análisis Multivariado
Profesor : Carlos López de Castilla Vásquez
Sección : S-001
Fecha : 05/07/2022
INTEGRANTES:
Emerson Joel Vilcatoma Chuchon
Gabriel Gonzalo Ramos Gabriel
Martín García Collahuaso
Lima – Perú
2022
CONTENIDO
Capítulo I: Introducción y definición......................................................................................................1
1.1. Definición de regresión lineal....................................................................................................1
1.2. Definición del método de regresión Ridge.................................................................................1
1.3. Comparación entre otros modelos............................................................................................1
1.4. Ventajas.....................................................................................................................................2
1.5. Desventajas...............................................................................................................................2
Capítulo II: Aplicación en R....................................................................................................................2
2.1. Modelo de regresión en R..........................................................................................................2
Conclusiones..........................................................................................................................................2
Bibliografía............................................................................................................................................2
1
Capítulo I: Introducción y definición
1.1. Definición de regresión lineal
La regresión lineal o también conocida como regresión contraída o Tikhonov
regularization es un método estadístico que trata de modelar la relación entre una
variable continua y una o más variables independientes mediante el ajuste de una
ecuación lineal. Tres de las limitaciones que aparecen en la práctica al tratar de
emplear este tipo de modelos (ajustados por mínimos cuadrados ordinarios) son:
Se ven perjudicados por la incorporación de predictores correlacionados.
No realizan selección de predictores, todos los predictores se incorporan en
el modelo, aunque no aporten información relevante. Esto suele complicar la
interpretación del modelo y reducir su capacidad predictiva.
No pueden ajustarse cuando el número de predictores es superior al número
de observaciones.
Una forma de atenuar el impacto de estos problemas es utilizar estrategias de
regularización como Ridge, Lasso o Elastic Net, que fuerzan a que los coeficientes
del modelo tiendan a cero, minimizando así el riesgo de overfitting, reduciendo
varianza, atenuado el efecto de la correlación entre predictores y reduciendo la
influencia en el modelo de los predictores menos relevantes.
1.2. Definición del método de regresión Ridge
La regularización Ridge penaliza la suma de los coeficientes elevados al cuadrado
( || | )
p
¿ β ¿ =∑ β 2j .A esta penalización se le conoce como l2 y tiene el efecto
2
2
j=1
de reducir de forma proporcional el valor de todos los coeficientes del modelo pero
sin que estos lleguen a cero. El grado de penalización está controlado por el
hiperparámetro λ. Cuando λ=0, la penalización es nula y el resultado es equivalente
al de un modelo lineal por mínimos cuadrados ordinarios (OLS). A medida
que λ aumenta, mayor es la penalización y menor el valor de los predictores.
1.3. Comparación entre otros modelos
2
La principal diferencia práctica entre lasso y ridge es que el primero consigue que algunos
coeficientes sean exactamente cero, por lo que realiza selección de predictores, mientras que
el segundo no llega a excluir ninguno. Esto supone una ventaja notable de lasso en
escenarios donde no todos los predictores son importantes para el modelo y se desea que los
menos influyentes queden excluidos.
1.4. Ventajas
La principal ventaja de aplicar ridge frente al ajuste por mínimos cuadrados
ordinarios (OLS) es la reducción de varianza. Por lo general, en situaciones en las
que la relación entre la variable respuesta y los predictores es aproximadamente
lineal, las estimaciones por mínimos cuadrados tienen poco margen de error, pero
aún pueden sufrir alta varianza (pequeños cambios en los datos de entrenamiento
tienen mucho impacto en el modelo resultante). Este problema se acentúa conforme
el número de predictores introducido en el modelo se aproxima al número de
observaciones de entrenamiento, llegando al punto en que, si p>n, no es posible
ajustar el modelo por mínimos cuadrados ordinarios. Empleando un valor adecuado
de λ, el método de ridge es capaz de reducir varianza sin apenas aumentar el margen
de error, consiguiendo así un menor error total.
1.5. Desventajas
La desventaja del método ridge es que, el modelo final, incluye todos los
predictores. Esto es así porque, si bien la penalización fuerza a que los coeficientes
tiendan a cero, nunca llegan a ser exactamente cero (solo si λ=∞). Este método
consigue minimizar la influencia sobre el modelo de los predictores menos
relacionados con la variable respuesta, pero, en el modelo final, van a seguir
apareciendo. Aunque esto no supone un problema para la precisión del modelo, sí lo
es para su interpretación.
Capítulo II: Aplicación en R
2.1. Modelo de regresión en R
Adjuntado:
3
Conclusión
Este método nos muestra métodos alternativos para estimar los parámetros de un
modelo lineal de manera diferente al modelo clásico, el modelo de regresión Ridge
escogen las estimaciones de los parámetros en el modelo lineal mediante una
penalización de sus valores, además
Bibliografía
Amat Rodrigo, J. (2020, 11 noviembre). Regularización ridge, Lasso y Elastic Net
con Python y Scikitlearn. cienciadedatos. Recuperado 5 de julio de 2022, de
https://www.cienciadedatos.net/documentos/py14-ridge-lasso-elastic-net-python.html
