REGRESIÓN LINEAL SIMPLE,
MULTIVARIADA, POLINOMIAL Y
MÉTRICAS
UNIDAD 1: APRENDIZAJE SUPERVISADO
Maestría en Ciencia de Datos
Agenda
04
Consideraciones finales
Underfitting y Overfitting
01
Transformación de variables categóricas
Aplicación Real
Dataset para predecir las ventas
05 Lecturas complementarias
02 Acercamiento intuitivo
06 Práctica en Google Colab
03 Descripción matemática
Regresión lineal y Residuo
Métricas
07 ¡Comprueba tu conocimiento!
Regresión lineal simple, multivariada, polinomial y métricas
01
Aplicación Real
Dataset para predecir las ventas del siguiente año de 200 tiendas
Regresión lineal simple, multivariada, polinomial y métricas
Predicción de ventas
Una reconocida app lo ha contratado para que los ayude a predecir las ventas del año
siguiente de 200 tiendas en toda España.
01 01
Regresión lineal simple, multivariada, polinomial y métricas
Predicción de ventas
01 01
Regresión lineal simple, multivariada, polinomial y métricas
Predicción de ventas
Por cada euro que invertimos en
Televisión suben 4.6€ las ventas.
Por cada euro que invertimos en
radio, suben 18,6€ las ventas.
Por cada euro que invertimos en
prensa, suben 0.08€ las ventas.
01 01
Regresión lineal simple, multivariada, polinomial y métricas
Ventas reales y las predicciones realizadas
01 01
Regresión lineal simple, multivariada, polinomial y métricas
02 Acercamiento intuitivo
Regresión lineal simple, multivariada, polinomial y métricas
Regresión lineal simple, multivariada, polinomial y métricas
02
Regresión lineal simple, multivariada, polinomial y métricas
¿Qué es la Regresión?
Objetivo: Ajustar modelos para predecir valores
continuos de la variable objetivo (target) con
respecto a una o varias variables independientes
(predictores).
Métodos:
Regresión lineal (simple y múltiple).
Regresión polinomial.
RANSAC.
KNN.
Árboles de regresión.
Línea base (baseline): evaluación dada por un
modelo que predice una medida de tendencia
central (e.g.: el promedio).
02
Regresión lineal simple, multivariada, polinomial y métricas
¿Qué es la Regresión?
Construye una línea o curva
que pasa a través de todos
los puntos de datos en el
gráfico de predicción objetivo
de tal manera que la distancia
vertical entre los puntos de
datos y la curva de regresión
es mínima.
02
KNN (K-Nearest
Regresión lineal Neighbors
simple, multivariada,
Algorithm) polinomial y métricas
Tipos de modelos de Regresión
02
Regresión lineal simple, multivariada, polinomial y métricas
En el gráfico de la derecha se presenta una relación no lineal entre la variable dependiente y
la independiente. Por lo tanto, la línea de regresión no pasa a través de los puntos de
manera significativa.
Dado que esto no es posible, el modelo de regresión no puede interpretar significativamente
los coeficientes o podría haber errores en la predicción.
02
Regresión lineal simple, multivariada, polinomial y métricas
03 Descripción matemática
Regresión lineal y Residuo
Métricas
Regresión lineal simple, multivariada, polinomial y métricas
Regresión lineal Simple
y-intercepto Pendiente
Error
aleatorio
Variable Dependiente (respuesta)
Variable Independiente (Explicatoria)
03
Regresión lineal simple, multivariada, polinomial y métricas
Regresión lineal Simple
03
Regresión lineal simple, multivariada, polinomial y métricas
Residuo
La distancia entre los datos y la curva
construida.
Indica si el modelo ha capturado la relación
entre los predictores y la variable objetivo.
Residuo (e) =
valor observado de salida - valor predicho
Los modelos de regresión buscan minimizar el
valor de e para el conjunto de predictores de
entrenamiento.
03
Regresión lineal simple, multivariada, polinomial y métricas
Residuo
La gráfica de los residuos puede ayudar a identificar si el modelo de regresión ha
capturado la relación entre la variable objetivo y los predictores.
03
Regresión lineal simple, multivariada, polinomial y métricas
Regresión Lineal Múltiple
03
Regresión lineal simple, multivariada, polinomial y métricas
Regresión Lineal Múltiple
03
Regresión lineal simple, multivariada, polinomial y métricas
Regresión Lineal Múltiple
Si existen varias variables independientes, se puede definir el modelo de regresión múltiple a
utilizar, dada una medida de calidad del ajuste:
Completo Tamaño fijo Paso a paso PCA
(stepwise)
Se evalúan todas Se evalúan todas Se transforman los
las posibles las posibles Hacia adelante datos a un nuevo
combinaciones de combinaciones de K (forward) espacio vectorial de
variables variables menor
independientes, y se independientes y se Hacia atrás dimensionalidad
escoge la mejor. escoge la mejor. (backward) que el de entrada.
Regresión lineal simple, multivariada, polinomial y métricas
Regresión Polinomial
Regresión polinomial en una variable (predicción):
Donde:
Orden del polinomio.
Coeficientes del polinomio.
Vector de coeficientes.
Regresión lineal simple, multivariada, polinomial y métricas
Métricas de evaluación
Sea:
m: número de observaciones o ejemplos
la j-ésima observación de entrada
la j-ésima predicción de salida
el j-ésimo valor de la salida observada
03
Regresión lineal simple, multivariada, polinomial y métricas
Métricas más utilizadas
MSE
RMSE
R^2 (coeficiente de
determinación)
03
Regresión lineal simple, multivariada, polinomial y métricas
04 Consideraciones finales
Underfitting y Overfitting
Transformación de variables categóricas
Regresión lineal simple, multivariada, polinomial y métricas
Underfitting
Ocurre cuando el modelo no
puede capturar la relación entre
la variable objetivo y los
predictores.
Se detecta cuando se obtiene un
error alto para los datos de
entrenamiento y también para los
de prueba.
07 04
Regresión lineal simple, multivariada, polinomial y métricas
Overfitting
Ocurre cuando el modelo captura
demasiado bien la relación entre la
variable objetivo y los predictores en el
conjunto de entrenamiento.
Los modelos complejos que tienen
muchos términos tienden al overfitting.
Se detecta cuando se obtiene un error
muy bajo para los datos de
entrenamiento y alto para los de prueba.
07 04
Regresión lineal simple, multivariada, polinomial y métricas
Variables Categóricas
En muchas librerías, las variables predictoras deben ser numéricas. Por lo tanto, debemos
convertir las variables categóricas a variables numéricas, para lo cual existen varias opciones:
Reemplazar valores: reemplazar las categorías con números "deseados". Usar replace en
pandas
Codificación binaria: primero las categorías se codifican como ordinales, luego esos
enteros se convierten en código binario, luego los dígitos de esa cadena binaria se dividen
en columnas separadas. Esto codifica los datos en menos dimensiones que one-hot. Usar
BinaryEncoder de la librería category_encoders
07 04
Regresión lineal simple, multivariada, polinomial y métricas
Variables Categóricas
Codificar etiquetas (label encoding): convierte cada valor de una columna en un número. Las
etiquetas numéricas están siempre entre 0 y (número de categorías - 1). Usar LabelEncoder en
pandas.
Codificación 1 de n (one-hot encoding): convierte cada valor de la categoría en una nueva
columna y le asigna un valor de 1 o 0 (verdadero / falso). Tiene como ventaja no ponderar un
valor de forma incorrecta. Usar get_dummies() en pandas.
07 04
Regresión lineal simple, multivariada, polinomial y métricas
05 Lecturas complementarias
Regresión lineal simple,
KNN multivariada, polinomialAlgorithm)
(K-Nearest Neighbors y métricas
Linear Regression
https://en.wikipedia.org/wiki/Linear_regression
What is Linear Regression
https://www.ibm.com/topics/linear-regression
Linear Regression for Machine Learning
https://machinelearningmastery.com/linear-regression-for-
machine-learning/
05 05
Regresión lineal simple, multivariada, polinomial y métricas
06 Práctica en Google Colab
Regresión lineal simple,
KNN multivariada, polinomialAlgorithm)
(K-Nearest Neighbors y métricas
07 ¡Comprueba tu conocimiento!
Regresión lineal simple,
KNN multivariada, polinomialAlgorithm)
(K-Nearest Neighbors y métricas
¿Cuál es el objetivo de la Regresión?
Ajustar modelos para predecir valores de la variable
independiente con respecto a una o varias variables objetivo.
Ajusta modelos para predecir valores de la variable target
utilizando una única variable independiente como predictor.
Ajusta modelos para predecir valores de la variable target con
respecto a una o varias variables independientes.
07
Regresión lineal simple, multivariada, polinomial y métricas
¿Cuál es el objetivo de la Regresión?
Ajustar modelos para predecir valores de la variable
independiente con respecto a una o varias variables objetivo.
Ajusta modelos para predecir valores de la variable target
utilizando una única variable independiente como predictor.
Ajustar modelos para predecir valores de la variable target con
respecto a una o varias variables independientes.
07
Regresión lineal simple, multivariada, polinomial y métricas
Indique si es verdadero o falso
Se busca incrementar el valor del Residuo (e)
Falso, los modelos de regresión buscan minimizar el valor del
residuo
Verdadero, los modelos de regresión buscan aumentar el valor
del residuo
07
Regresión lineal simple, multivariada, polinomial y métricas
Indique si es verdadero o falso
Se busca incrementar el valor del Residuo (e)
Falso, los modelos de regresión buscan minimizar el valor del
residuo
Verdadero, los modelos de regresión buscan aumentar el valor
del residuo
07
Regresión lineal simple, multivariada, polinomial y métricas
Entre las métricas utilizadas para evaluar al modelo de regresión se
encuentran:
F1-Score, Precisión y Recall
MSE, RMSE y R^2
MSE, RMSE y F1-Score
Matriz de confusión, RMSE y F1-Score
07
Regresión lineal simple, multivariada, polinomial y métricas
Entre las métricas utilizadas para evaluar al modelo de regresión se
encuentran:
F1-Score, Precisión y Recall
MSE, RMSE y R^2
MSE, RMSE y F1-Score
Matriz de confusión, RMSE y F1-Score
07
Regresión lineal simple, multivariada, polinomial y métricas
José Armando Ordóñez
Director of Master in data science
ML Practicioner/consultant, AL Researacher
[email protected]
Regresión lineal simple, multivariada,
polinomial y métricas
UNIDAD 1: APRENDIZAJE SUPERVISADO
