Facultad de ingeniería y arquitectura

Circuitos Electrónicos
2025

Informe Laboratorio
Analisis de Emociones con IA
Laura Daniela Barragan Silva

Jerónimo Novoa Giraldo

Objetivos
Introducción
●​ Estudiar la consistencia de los
modelos al interpretar emociones El reconocimiento de emociones es una
en diversas situaciones, de las áreas más fascinantes y desafiantes
considerando factores como el de la inteligencia artificial, con
tono de voz, expresiones faciales aplicaciones que van desde la salud
y lenguaje corporal. mental hasta la interacción
humano-computadora. Los avances en el
●​ Identificar posibles discrepancias procesamiento de lenguaje natural (NLP)
o incoherencias en los resultados y el análisis de imágenes han permitido a
proporcionados por los sistemas. los sistemas de IA identificar emociones a
partir de señales de audio y expresiones
●​ Reflexionar sobre las faciales. Sin embargo, la precisión y
implicaciones éticas del uso de coherencia de estos modelos pueden
estas tecnologías, incluyendo la variar significativamente dependiendo de
privacidad, los sesgos factores como el idioma, la calidad de los
algorítmicos y la posible datos y la diversidad cultural.
manipulación de emociones.
Este laboratorio se enfoca en explorar
Resumen: Este laboratorio tiene como cómo diferentes modelos de IA abordan
objetivo evaluar la capacidad de el reconocimiento emocional en dos
diferentes modelos de inteligencia modalidades principales: audio y video. A
artificial (IA) para reconocer emociones través de actividades prácticas, se
en audio y video, analizando su precisión, analizará la capacidad de los sistemas
coherencia y limitaciones. A través de para detectar emociones básicas, tanto en
cuatro actividades principales: análisis de idiomas familiares (español) como en
emociones en audio, reconocimiento de lenguas menos comunes (ruso), y se
emociones en idioma ruso, comparará su rendimiento en el
reconocimiento facial de emociones y reconocimiento facial. Además, se
comparación de precisión entre modelos reflexionará sobre las limitaciones
de audio y faciales. El laboratorio busca técnicas y éticas de estas tecnologías,
reflexionar sobre las fortalezas y considerando su impacto en la sociedad y
debilidades de estos sistemas.
Facultad de ingeniería y arquitectura
Circuitos Electrónicos
2025

su potencial para mejorar o distorsionar la 1. Modelo IA 1: Reconocimiento

interacción humana. de Emociones en Audio (OpenAI
Whisper Large v3)
Marco Teórico
2. Modelo IA 2: Reconocimiento
Las emociones son respuestas de Emociones en Audio en Ruso
psicofisiológicas complejas que los seres (HuBERT Large)
humanos experimentan ante estímulos
internos o externos. Paul Ekman, pionero 3. Modelo IA 3: Reconocimiento
en el estudio de las emociones, propuso la de Emociones Faciales
teoría de las emociones básicas,
identificando seis universales: alegría, 2.​ Desarrollo experimental:
tristeza, ira, miedo, sorpresa y asco. Estas
emociones son reconocibles a través de Grabación de Audios y Videos
expresiones faciales y tonos de voz, lo
Se grabaron audios expresando
que las convierte en un punto de partida
emociones básicas (alegría, tristeza, ira,
para el desarrollo de sistemas de
miedo, sorpresa y asco) utilizando un
reconocimiento emocional. El análisis de
celular. Los audios se grabaron tanto en
emociones en audio se basa en el
español como en ruso para comparar el
procesamiento de señales de voz para
rendimiento de los modelos en diferentes
extraer características acústicas como el
idiomas. Posteriormente, los archivos se
tono, la intensidad, el timbre y la
descargaron en una computadora y se
velocidad del habla. Estas características
convirtieron al formato .wav para facilitar
se utilizan para entrenar modelos de IA,
su procesamiento. Para el reconocimiento
como redes neuronales recurrentes (RNN)
facial, se simularon expresiones faciales
o transformadores, que clasifican las
correspondientes a las emociones
emociones en categorías predefinidas. Sin
mencionadas, grabando videos cortos con
embargo, este enfoque enfrenta desafíos
la cámara del celular.
como la variabilidad cultural en la
expresión vocal y la sensibilidad al ruido ​
ambiental. Procesamiento de Datos en la IA
Procedimiento Los audios en español se cargaron en
Google Colab, donde se ejecutó el código
1.​ Materiales
del modelo OpenAI Whisper Large v3
●​ PC
para transcribir y analizar las emociones.
●​ • Acceso a los siguientes modelos El modelo procesó las características
de IA: acústicas de los audios y generó una
clasificación emocional. Para los audios
en ruso, se utilizó el modelo HuBERT
Large, especializado en reconocimiento
de emociones en múltiples idiomas. Sin
Facultad de ingeniería y arquitectura
Circuitos Electrónicos
2025

embargo, se encontraron dificultades caso del reconocimiento facial, posterior a

debido a la fonética del ruso, lo que las dificultades con su funcionamiento
afectó la precisión del modelo. En el caso local, se realizaron pruebas adicionales
del reconocimiento facial, fue necesario con expresiones más exageradas para
emplear el uso local del software para facilitar la clasificación.​
lograr su pleno funcionamiento, dado a Comparación entre Modelos de IA
dificultades iniciales con la prueba remota
a través de Colab, posterior a ello, los El modelo de reconocimiento facial
videos de expresiones faciales se mostró una mayor precisión en la
analizaron utilizando un modelo basado detección de emociones en comparación
en redes neuronales convolucionales con los modelos de audio, especialmente
(CNN), que detectó las Unidades de en emociones como alegría y tristeza. El
Acción Facial (AU) y clasificó las modelo OpenAI Whisper Large v3 tuvo
emociones correspondientes. un mejor rendimiento en español,
mientras que el modelo HuBERT Large
Errores en la Detección de Emociones enfrentó desafíos en ruso. Se observó que
la combinación de audio y video podría
Durante la ejecución de los modelos en mejorar la precisión general, ya que cada
Google Colab, se presentaron errores de modalidad compensa las limitaciones de
compatibilidad y dependencias faltantes. la otra.
Estos se solucionaron actualizando las
librerías y ajustando el código. El modelo Discusión con Compañeros
HuBERT Large mostró dificultades para
reconocer emociones en audios en ruso, Al finalizar las pruebas, se llevó a cabo
especialmente en tonos neutros o una discusión con los compañeros para
ambiguos, lo que se atribuyó a la comparar los resultados obtenidos. Se
complejidad fonética del idioma y a la destacó la importancia de considerar la
falta de datos de entrenamiento en ruso. diversidad cultural y lingüística en el
En el reconocimiento facial, el modelo entrenamiento de los modelos, así como
confundió emociones similares, como la necesidad de mejorar la precisión en
sorpresa y miedo, debido a la similitud en idiomas menos comunes como el ruso.
las expresiones faciales.​ Además, se reflexionó sobre las
​ implicaciones éticas del uso de estas
Soluciones Implementadas tecnologías en aplicaciones prácticas.

Para solucionar los errores en el código, 3.​ Resultados Obtenidos

se revisó la documentación oficial de los
modelos y se consultaron foros En esta sección, se documentan los
especializados. Para mejorar la detección resultados obtenidos durante el
en ruso, se ajustaron los parámetros del laboratorio, incluyendo los casos en los
modelo y se utilizaron audios con una que los modelos de IA no interpretaron
pronunciación más clara y enfática. En el correctamente las emociones. A
Facultad de ingeniería y arquitectura
Circuitos Electrónicos
2025

continuación, se presentan los hallazgos

clave.​
¿Los modelos de IA lograron detectar
correctamente las emociones?

En general, los modelos mostraron un

rendimiento variable dependiendo de la
modalidad (audio o video) y el idioma. A
continuación, se detallan los resultados:

Modelo IA 1 (OpenAI Whisper Large v3 Modelo IA 3 (Reconocimiento Facial):

- Audio en Español): El modelo detectó Este modelo mostró una mayor precisión
correctamente emociones como alegría y en la detección de emociones como
tristeza en audios con tonos claramente alegría y tristeza, gracias a la claridad de
diferenciados. Sin embargo, en casos de las expresiones faciales. Sin embargo,
emociones más sutiles, como el asco o la emociones como sorpresa y miedo fueron
sorpresa, el modelo mostró dificultades confundidas en varias ocasiones debido a
para clasificarlas con precisión. la similitud en las expresiones.

Modelo IA 2 (HuBERT Large - Audio en

Ruso): El modelo tuvo un rendimiento
inferior en comparación con el análisis en
español, especialmente en audios con ¿Cómo influyeron el idioma o la
tonos neutros o ambiguos. Se observaron entonación en los resultados?
errores frecuentes en la clasificación de
Idioma: El modelo OpenAI Whisper
emociones como miedo y sorpresa,
Large v3 funcionó mejor en español,
atribuidos a la complejidad del idioma.
mientras que el modelo HuBERT Large
mostró limitaciones en ruso debido a la
Facultad de ingeniería y arquitectura
Circuitos Electrónicos
2025

complejidad fonética y la falta de datos de como el ruso, debido a la falta de datos de

entrenamiento en ese idioma. entrenamiento en esos idiomas.

Entonación: En audios con entonaciones Mejora propuesta: Incluir datasets más

exageradas, los modelos de audio diversos y representativos de diferentes
lograron clasificar las emociones con culturas y lenguas.
mayor precisión. Sin embargo, en tonos
neutros o ambiguos, los resultados fueron Sensibilidad al Ruido y Calidad de los
menos confiables. Datos: Los modelos de audio y video son
sensibles a la calidad de los datos de
Análisis de Errores y Relación con entrada, lo que puede generar errores en
Emociones la clasificación.

Complejidad de la Expresión Emocional: Mejora propuesta: Implementar técnicas

Las emociones humanas no siempre se de preprocesamiento para reducir el ruido
expresan de manera clara o exagerada. En y mejorar la calidad de los datos.
casos de emociones sutiles o ambiguas,
como el asco o la sorpresa, los modelos
de IA mostraron dificultades para
clasificarlas correctamente. Dificultad para Interpretar Emociones
Sutiles: Los modelos tienen dificultades
Sensibilidad a la Calidad de los Datos: La para interpretar emociones que no se
calidad del audio o video influyó expresan de manera clara o exagerada.
significativamente en los resultados.
Audios con ruido de fondo o videos con Mejora propuesta: Incorporar técnicas de
iluminación deficiente afectaron la aprendizaje profundo que permitan
precisión de los modelos. capturar matices emocionales más sutiles.

Similitud entre Emociones: Algunas Reflexión sobre la Ambigüedad

emociones comparten características Emocional y su Impacto en la
similares, lo que dificulta su Interpretación de las Máquinas
diferenciación. Por ejemplo, la sorpresa y
La ambigüedad emocional es un desafío
el miedo pueden generar expresiones
tanto para los humanos como para las
faciales parecidas, como ojos abiertos y
máquinas. Mientras que los humanos
cejas levantadas.
pueden interpretar el contexto y las
Limitaciones de los Modelos Utilizados señales no verbales para resolver
y Cómo Podrían Mejorarse ambigüedades, las máquinas dependen
únicamente de los datos de entrada y su
Falta de Diversidad en los Datos de entrenamiento. Por ejemplo:
Entrenamiento:Los modelos mostraron
limitaciones en idiomas menos comunes, Un tono de voz sarcástico puede ser
interpretado como "ira" por un modelo de
Facultad de ingeniería y arquitectura
Circuitos Electrónicos
2025

IA, mientras que un humano reconocería [2]. The age of artificial emotional
la intención sarcástica. intelligence. (n.d.). IEEE Journals &
Magazine| IEEE Xplore.
Una expresión facial leve de "ira" puede https://ieeexplore.ieee.org/document/8481
ser clasificada como "neutral" por un 266
modelo, mientras que un humano podría
percibir la emoción subyacente.

Conclusiones

●​ Se identificaron desafíos técnicos,

como la falta de datos en idiomas
menos comunes y la sensibilidad
al ruido, así como preocupaciones
éticas relacionadas con la
privacidad y los sesgos
algorítmicos. La ambigüedad
emocional resaltó la complejidad
de interpretar emociones
humanas, especialmente en
contextos culturales diversos.
●​ Los modelos de IA tienen un gran
potencial en aplicaciones
prácticas, es necesario mejorar su
precisión, diversidad y equidad,
además de establecer marcos
éticos para su uso responsable.
Este laboratorio subraya la
importancia de continuar
investigando para desarrollar
sistemas más robustos y
adaptables a la complejidad de las
emociones humanas.

Referencias .

[1]. Ekman, P. (1992). An argument for

basic emotions. Cognition & Emotion,
6(3–4),169–200.
https://doi.org/10.1080/026999392084110
68