Redes neuronales - Deep Learning
Diego Barajas, Miguel Beltran
Universidad javeriana Facultad de ingeniería
Bogota DC.
Resumen: El siguiente documento busca exponer el funcionamiento
del deep learning, sus antecedentes históricos, así como sus bases
de funcionamiento (Redes neuronales convolucionales y redes
neuronales recurrentes), por otro lado, se muestran sus mecanismos
de aprendizaje (supervisado, no supervisado y retroalimentado). se
exponen algunas de sus aplicaciones generales y más
específicamente se analiza un paper de aplicación para el deep
learning el cual muestra el análisis de sentimientos a través de texto,
concretamente twits.
Palabras clave: NNC, RNN, Deep Learning, Redes neuronales,
Análisis de sentimientos.
1. Introducción
Los sistemas deep learning son una de las aplicaciones de las redes neuronales, cuya
principal característica es la cantidad de capas ocultas que tiene la red neuronal (mayor
a 2), y la capacidad para extraer características de la información automáticamente, a
diferencia de otros mecanismos de machine learning a los cuales deben entregarse la
información a clasificar ya procesada. Esta capacidad se obtiene por medio de otros
algoritmos como lo son las redes neuronales convolucionales (CNN) las cuales se
especializan en analizar imágenes automáticamente o las redes neuronales recurrentes
(RNN), las cuales permiten que las entradas de una neurona puedan provenir no solo
de capas anteriores, sino que también de capas posteriores, permitiendo analizar datos
de tipo espacio-temporal como videos o audios.
2. Análisis histórico
El concepto de inteligencia artificial nace en la década de los 50 con bases teóricas de
redes neuronales y con algoritmo como los sistemas expertos, el el año de 1958 nace el
concepto de perceptrón el cual funcionaba bajo el ajuste de una regresión lineal para
varias entradas de carácter binario, posteriormente a esto para el año de 1965 al ver el
limitado funcionamiento del perceptrón nace el concepto de perceptrón multicapa el
cual se basa en acoplar perceptrones uno tras otro para así ajustar la regresión lineal a
mayor cantidad de problemas, esto genera otros inconvenientes como el hecho de que
al final siempre al ejecutar operaciones con rectas obtenemos otra recta, esto se
soluciona con la introducción del concepto de las funciones de activación, que como lo
dice su nombre son funciones matemáticas que permiten modificar la orientación de la
regresión lineal calculada por los perceptrones estas funciones de activación pueden
ser aplicadas por medio de cualquier función matemática, pero las más populares son
las tangenciales, sigmoidales y las de rectificación lineal o Relu, siendo estas últimas
las más utilizadas en algoritmos de deep learning. para el año de 1980 nace un
concepto primordial para el funcionamiento de las redes neuronales, el backpropagation
que consiste en asignar errores desde la capa de salida hasta la capa de entrada para
poder ajustar de mejor manera las clasificaciones de una red neuronal, en 1989 se da a
conocer el término de CNN las cuales nos permiten analizar imágenes de manera
automática por una red neuronal, por último para el año de 1997 nacen las RNN que
nos permiten trabajar con datos más complejos y generar soluciones a una una mayor
amplitud de problemas con deep learning.
3. Redes neuronales convolucionales (CNN)
Las redes neuronales convolucionales nacen con la iniciativa de clasificar imágenes, sin
la necesidad de codificar su información de forma manual, sino que por el contrario, la
red neuronal fuese capaz de analizar las imágenes y obtener información de las
mismas.
La primera red convolucional se especializaba en clasificar números manuscritos, se
realizó su entrenamiento de manera supervisada pasandole una gran cantidad de
números escritos a mano por diferentes personas y se analizaron sus resultados con la
respuesta real, la cual era conocida por quienes entrenaban la red neuronal, luego de
miles de datos de entrenamiento la red neuronal era capaz de clasificar
satisfactoriamente nuevas entradas de texto manuscrito.
Las redes convolucionales tiene la característica de capturar la esencia de los objetos
dentro de la imágenes que analizan, pues bien a pesar de que un objeto se rote o la
imagen cambie su ángulo o nivel de luz, la red neuronal será capaz de reconocer el
objeto siempre o al menos sus características principales. Para lograr este tipo de
acciones la redes convolucionales se basan en 2 procesos básico la convolución y el
pooling, posteriormente a estos procesos la información obtenida se pasa a una red
neuronal encargada de la clasificación de la información tal como se ve en la imagen 1.
Imagen 1. funcionamiento de una CNN
3.1. Convolución
El proceso de convolución consiste en aplicar filtros a la imagen original, tal como se
usan en computación gráfica un filtro es una matriz entera que se aplica a diferentes
espacios de una imagen, como ejemplo podemos ver la imagen 2, en la cual
observamos como el filtro se aplica a todas las permutaciones de la matriz generada
por la imagen, el filtro se aplica por medio de un producto escalar y así obtenemos una
nueva matriz más pequeña en base a la imagen original.
Imagen 2. Proceso de convolución.
3.2. Pooling
El proceso de pooling se basa en tomar todos los filtros realizados a una imagen tras el
proceso de convolución y agrupar sus características principales en una nueva matriz
de datos tal como se ve en la imagen 3.
Imagen 3. Proceso de pooling
4. Redes neuronales recurrentes (RNN)
Las RNN se caracterizan a una red neuronal normal, porque estas permiten que la
información de salida de una neurona pueda ser información de entrada para la misma
capa de donde se extrae la información como se ve en la imagen 4. Esto permite que
se pueda trabajar con tipos de datos más complejos como videos, audios o textos
(datos espacio-temporales).
Imagen 4. diferencias entre NN y RNN
Algunas de las aplicaciones de la RNN en conjunto con CNN son la identificación de
objetos en videos a tiempo real, la identificación de textos, autocompletado de texto y
análisis de audios.
5. Paper
El paper utilizado en este artículo es una evaluación de técnicas de Deep Learning en el
análisis de sentimientos de datos de twitter.
Con la expansión de la popularidad de las redes sociales ahora las personas pueden
expresar sus sentimientos y opiniones por medios digitales y ser vistos por muchas
personas. Por ello ha surgido un interés por parte de muchas áreas e interesados sobre
poder analizar los sentimientos y emociones de un grupo de personas de manera
mucho mas rapida.
El paper expone es un análisis de técnicas de Deep Learning más no intentan crear una
red neuronal o una aplicación que pueda obtener un análisis sobre los sentimientos y
emociones de la información de alguien que publica un texto en twitter.
Para analizar estos textos se realiza una clasificación según el nivel de satisfacción de
la persona, si es positivo y negativo, y contraste entre feliz e infeliz. Anterior a este
paper ya se habían realizado otros análisis con Deep Learning obteniendo resultados
con precisiones altas pero no satisfactorias.
Para realizar el experimento se utilizaron datos de SemVal, 32000 tweets, de los cuales
se realizaron dos procesos de pre-procesamiento. El primero es la eliminación de
caracteres especiales y el otro es pasar todo a minúsculas. Se utilizaron dos métodos
para normalizar los textos. Uno de ellos es rellenar los textos o quitar palabras para que
queden de la misma longitud y el otro es partir el texto en regiones por partes iguales o
por signos de puntuación.
Ya con los textos o regiones completados, se realiza un proceso de vectorización para
poder utilizar Deep Learning y así tener datos espacio-tiempo. Se utilizaron dos
herramientas para vectorizar: GloVe y Word2Vec. Para el experimento se hicieron
muchas combinaciones de redes neuronales convolucionales y redes neuronales
recurrentes. Se combinaron capas de estas o redes completas de los diferentes tipos.
Como resultados y conclusiones de este paper, se tiene que sus resultados fueron
similares a anteriores análisis hechos en otros artículos, rondando en un 65% de
precisión, sin embargo están por debajo de la mayoría. Esto principalmente a que la
cantidad de datos para entrenar las redes neuronales en este paper fueron mucho
menores. Otro motivo es que el paper solo tenía el fin de analizar no mejorar los
resultados obtenidos previamente por otros papers.
6. Referencias
● Lecun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553),
436–444. https://doi.org/10.1038/nature14539
● Kamiş, S., & Goularas, D. (2019). Evaluation of Deep Learning Techniques in
Sentiment Analysis from Twitter Data. Proceedings - 2019 International Conference
on Deep Learning and Machine Learning in Emerging Applications, Deep-ML 2019,
12–17. https://doi.org/10.1109/Deep-ML.2019.00011
● Najafabadi, M. M., Villanustre, F., Khoshgoftaar, T. M., Seliya, N., Wald, R., &
Muharemagic, E. (2015). Deep learning applications and challenges in big data
analytics. Journal of Big Data, 2(1), 1–21. https://doi.org/10.1186/s40537-014-0007-7
● Najafabadi, M. M., Villanustre, F., Khoshgoftaar, T. M., Seliya, N., Wald, R., &
Muharemagic, E. (2015). Deep learning applications and challenges in big data
analytics. Journal of Big Data, 2(1), 1–21. https://doi.org/10.1186/s40537-014-0007-7
