Técnicas de Aprendizaje Automático
Sergio Cebollada López
TEMA 7. Máquinas de vectores de soporte
Índice
► Introducción y Conceptos básicos
► Separación en hiperplanos
► Clasificador de margen máximo
► Soft margin
► El truco del kernel
► Aplicaciones de SVM
2
INTRODUCCIÓN Y
CONCEPTOS BÁSICOS DE
SVM
3
Introducción y Conceptos básicos
• Las máquinas de vector soporte (support vector
machines o SVM) se basan en modelos de aprendizaje
estadístico.
• Objetivo del algoritmo crear un límite o línea de
decisión que pueda separar, un conjunto de datos en
diferentes clases.
• Este límite de decisión se conoce como hiperplano.
4
Introducción y Conceptos básicos
• SVM, es un conjunto de algoritmos de aprendizaje
supervisado utilizados para regresión, clasificación y
detección de outliers.
– Originalmente fueron pensados para resolver
problemas de clasificación binaria.
– Más adelante, las SVM se extendieron a los
problemas de regresión.
– SVM fue el primer enfoque no basado en modelos
probabilísticos sino en un modelo geométrico.
5
Introducción y Conceptos básicos
• SVM representa los datos de entrenamiento en el
espacio separando las clases en espacios los más
amplios posibles usando un hiperplano.
Fuente imagen:
https://www.cienciadedatos.net/documentos/34_maquin
as_de_vector_soporte_support_vector_machines
6
Introducción y Conceptos básicos
• Se utilizan para resolver problemas de
– reconocimiento de patrones,
– clasificación de imágenes,
– categorización de texto.
• Son eficaces en espacios de alta dimensión y cuando
los datos no son separables linealmente.
7
Introducción y Conceptos básicos
• Objetivo del modelo SVM es buscar un plano que separe
las clases en un espacio de características (feature space).
8
Introducción y Conceptos básicos
• Hiperplano: En geometría es una extensión del concepto de plano
– Plano: es un objeto ideal que solo posee dos dimensiones, y contiene
infinitos puntos y rectas,
– En un espacio unidimensional (como una recta), un hiperplano es un
punto: divide una línea en dos líneas. En un espacio bidimensional
(como el plano xy), un hiperplano es una recta: divide el plano en dos
mitades.
Fuente
imagen:https://en.wikipedia.org/wiki/Hyperplane#/media
/File:Intersecting_planes.svg
9
Introducción y Conceptos básicos
• Hiperplano generalización de un plano (separación: en
2D línea, en 3D plano, en 4D o más, hiperplano).
LO IMPORTANTE concepto que separa un espacio de n
dimensiones en dos grupos o mitades.
• Margen La distancia entre el límite de decisión
(hiperplano) y los puntos de datos más cercanos de cada
clase.
El objetivo de SVM es maximizar este margen al minimizar los
errores de clasificación.
10
Introducción y Conceptos básicos
• Vector Segmento de recta, contado a partir de un
punto del espacio, cuya longitud representa a escala una
magnitud, en una dirección determinada y en uno de sus
sentidos.
𝑣𝑣⃗
• Vectores de soporte Son los puntos de datos que se
encuentran más cerca del límite de decisión (hiperplano)
en SVM.
– Son importantes porque determinan la posición y
orientación del hiperplano.
11
SEPARACIÓN EN
HIPERPLANOS
12
Separación en hiperplanos
• SVM es un modelo que representa a los puntos de muestra en el espacio,
separando las clases en dos espacios lo más amplios posibles mediante un
hiperplano de separación.
• Establecer función matemática que separa los puntos en dos
clases. SVM tienen
como objetivo
buscar un plano
que separe las
clases
13
Separación en hiperplanos
• Establecer función matemática que separa los puntos en dos
clases.
𝑓𝑓 𝑋𝑋 = 𝛽𝛽0 + 𝛽𝛽1 · 𝑋𝑋1 + 𝛽𝛽2 · 𝑋𝑋2 + ··· +𝛽𝛽𝑝𝑝 · Xp
𝑆𝑆𝑆𝑆 𝑓𝑓 𝑋𝑋 > 0 → 𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴
𝑆𝑆𝑆𝑆 𝑓𝑓 𝑋𝑋 < 0 → 𝑁𝑁𝑁𝑁𝑁𝑁𝑁𝑁𝑁𝑁
14
Separación en hiperplanos
• Establecer función matemática que separa los puntos en dos
clases.
𝑓𝑓 𝑋𝑋 = 𝛽𝛽0 + 𝛽𝛽1 · 𝑋𝑋1 + 𝛽𝛽2 · 𝑋𝑋2 + ··· +𝛽𝛽𝑝𝑝 · Xp
15
CLASIFICADOR DE MARGEN
MÁXIMO
16
Clasificador de margen máximo
• En el caso de un problema de clasificación binaria, es necesario buscar entre todos
los hiperplanos posibles aquel que nos proporcione la mayor diferencia entre las dos
clases.
• La mayor distancia entre los puntos que pertenecen a una y a otra clase.
• La hipótesis que hay detrás de esto es que suponemos que este hiperplano será el
que tendrá una mayor distancia en el conjunto de test y en las predicciones futuras.
17
Clasificador de margen máximo
• Qurdarnos con el hiperplano que proporcione la mayor diferencia entre las dos
clases.
18
Clasificador de margen máximo
• Qurdarnos con el hiperplano que proporcione la mayor diferencia entre las dos
clases.
19
SOFT MARGIN
20
Soft margin
• Principal problema: la separación es que los datos, por lo general, no son
linealmente separables con una recta.
21
Soft margin
• Hard margin (margen duro): • Soft margin permite que
se requiere que todas las algunas muestras se encuentren
muestras de entrenamiento dentro del margen o incluso en
estén correctamente el lado incorrecto del hiperplano
clasificadas y se encuentren de separación.
fuera del margen,
22
Soft margin
A través del parámetro C (función de coste) se puede hacer que el margen sea más
grande o pequeño.
• Un valor de C más grande hace el margen más pequeño
• Un valor C más pequeño hace el margen más grande.
23
Problema con fronteras lineales
• Problema con las fronteras lineales. ¿Qué ocurre
cuándo las fronteras lineales siguen sin funcionar,
independientemente de la flexibilidad permitida?
• No es posible realizar una separación entre dos
clases.
• Una opción es incrementar el espacio de las variables
por medio de transformaciones.
24
Problema con fronteras lineales
• Una opción es incrementar el espacio de las
variables por medio de transformaciones:
1. pasar de un espacio a un espacio de más
dimensiones.
2. Ajustar un clasificador de vector de soporte
en este nuevo espacio.
3. El objetivo es obtener fronteras de decisión
no lineales sobre el espacio original
Polinomios cúbicos
Se puede pasar de dos a nueve variables.
De esta forma, el clasificador en el nuevo espacio
soluciona el problema de buscar los patrones en el
espacio con menor dimensiones.
𝑓𝑓 𝑋𝑋 = 𝛽𝛽0 + 𝛽𝛽1 · 𝑋𝑋1 + 𝛽𝛽2 · 𝑋𝑋2 +𝛽𝛽3 · 𝑋𝑋12 + 𝛽𝛽4 · 𝑋𝑋22 + 𝛽𝛽5 · 𝑋𝑋1 · 𝑋𝑋2
+𝛽𝛽6 · 𝑋𝑋13 + 𝛽𝛽7 · 𝑋𝑋23 + 𝛽𝛽8 · 𝑋𝑋12 · 𝑋𝑋2 + 𝛽𝛽9 · 𝑋𝑋1 · 𝑋𝑋22
25
Support vector regression
• Variante de la SVM para resolver problemas de regresión.
• Las SVM tradicionales se centran en encontrar un hiperplano de separación óptimo
entre clases.
• El SVR se enfoca en encontrar una función de regresión que se ajuste a los datos
de manera óptima a la vez que mantiene la cantidad de error dentro de un cierto
límite predefinido.
• La idea es encontrar una función que capture la relación entre las variables
independientes (características) y la variable dependiente (la que se quiere predecir),
de manera que se minimice el error.
26
EL TRUCO DEL KERNEL
27
El truco del kernel
• Las expansiones de las variables con polinomios son computacionalmente
costosas, especialmente aquellas con grandes dimensiones.
• Kernels: solución más elegante y controlada para introducir la no linealidad que se
utiliza en las máquinas vector de soporte.
• Los kernels se apoyan en el concepto del producto vectorial de los vectores de
soporte, de manera que se trata de funciones que reciben dos vectores como
parámetros.
• El uso de kernels permite obtener fronteras de decisión no lineales por medio de
transformaciones matemáticas, sin necesidad de tener que realizar
transformaciones con polinomios.
28
El truco del kernel
• Los dataset del “mundo real” no se suelen presentar en casos idílicos de dos
dimensiones, sino que un algoritmo SVM debe tratar con
a) más de dos variables predictoras,
b) curvas no lineales de separación,
c) casos donde los conjuntos de datos no pueden ser completamente separados
d) clasificaciones en más de dos categorías.
Fuente imagen: https://towardsdatascience.com/the-
kernel-trick-c98cdbcaeb3f
29
El truco del kernel
• Necesitamos otro tipo de separación.
• Función Kernel que proyecta los datos a nuevo espacio de características de mayor
dimensión.
Fuente imagen: https://towardsdatascience.com/the-
kernel-trick-c98cdbcaeb3f
30
El truco del kernel
• Kernel trick Parece que los datos se han transformado para encontrar el
hiperplano de separación óptimo. Sin embargo, la realidad es que los datos siguen
siendo los mismos, ya que no se han transformado.
• Ofrece una forma para calcular las relaciones entre los puntos de datos mediante
funciones de kernel y busca representar los datos de una manera más eficiente con
menos cálculos.
31
El truco del kernel
• Kernel de base radial (RBF)
32
El truco del kernel
• kernel es una función que toma dos vectores de datos.
• Funciones más utilizadas:
– Linear
– RBF
– Sigmoid
– Polynomial
33
El truco del kernel
• kernel es una función que toma dos vectores de datos.
El valor de γ (gamma) controla el comportamiento del kernel, cuando es muy pequeño, el
modelo final es equivalente al obtenido con un kernel lineal, a medida que aumenta su
valor, también lo hace la flexibilidad del modelo.
34
APLICACIONES DE SVM
35
Aplicaciones de SVM
• Clasificación de imágenes.
• Clasificación de texto.
• Bioinformática.
• Detección de fraude y seguridad
• Otros como geociencias, el marketing, la visión por computadora y más.
36
Técnicas de Aprendizaje Automático
Sergio Cebollada López
FIN
Click to edit Master title style
TEMA 7. Máquinas de vectores de soporte
37
