Universidad de La Salle

Ciencia Unisalle

Ingeniería en Automatización Facultad de Ingeniería

2018

Sistema para el aprendizaje del lenguaje de señas colombiano

usando visión por computador
Iván Camilo Triviño López
Universidad de La Salle, Bogotá

Follow this and additional works at: [Link]

Part of the Computer Engineering Commons, and the Engineering Education Commons

Citación recomendada
Triviño López, I. C. (2018). Sistema para el aprendizaje del lenguaje de señas colombiano usando visión
por computador. Retrieved from [Link]

This Trabajo de grado - Pregrado is brought to you for free and open access by the Facultad de Ingeniería at
Ciencia Unisalle. It has been accepted for inclusion in Ingeniería en Automatización by an authorized administrator
of Ciencia Unisalle. For more information, please contact ciencia@[Link].
SISTEMA PARA EL APRENDIZAJE DEL LENGUAJE DE SEÑAS
COLOMBIANO USANDO VISIÓN POR COMPUTADOR

IVÁN CAMILO TRIVIÑO LÓPEZ

UNIVERSIDAD DE LA SALLE
FACULTAD DE INGENIERÍA
INGENIERÍA EN AUTOMATIZACIÓN
BOGOTÁ, D.C.
2018
 SISTEMA PARA EL APRENDIZAJE DEL LENGUAJE DE SEÑAS
COLOMBIANO USANDO VISIÓN POR COMPUTADOR

IVÁN CAMILO TRIVIÑO LÓPEZ

TRABAJO DE GRADO PARA OPTAR POR EL TITULO DE INGENIERO EN

AUTOMATIZACIÓN

Director
CESAR HERNÁN RODRÍGUEZ GARAVITO, PhD.

UNIVERSIDAD DE LA SALLE
FACULTAD DE INGENIERÍA
INGENIERÍA EN AUTOMATIZACIÓN
BOGOTÁ, D.C.
2018
 Nota de aceptación

Firma del presidente del jurado

Firma del jurado

Firma del jurado

Bogotá D.C.
 DEDICATORIA Y AGRADECIMIENTOS

Dedico este trabajo a mis padres Martha López y Camilo Triviño que con su esfuerzo
hicieron todo lo posible para permitirme comenzar y culminar este proceso y ayudarme a
lograr mis objetivos. Agradezco su apoyo, sus consejos y su preocupación por hacerme
crecer como persona y como profesional día a día.

Agradezco a mi hermano Edwin Triviño, a mi abuela Flor López y a mi novia Vanessa

Aristizabal, quienes contribuyeron durante este proceso formativo con sus consejos, su
apoyo incondicional y su compañía.

Agradezco a mi director de trabajo de grado Cesar Rodríguez por todas sus enseñanzas
a lo largo del desarrollo de este trabajo de grado; todo el conocimiento que me compartió
sin duda me hizo crecer como persona y como profesional.

Por último, comparto este logro con las personas anteriormente mencionadas y con to-
dos los profesores, compañeros y amigos que estuvieron presentes a lo largo de este
proceso.
 TABLA DE CONTENIDOS

pág.

INTRODUCCIÓN 1

1. VISIÓN POR COMPUTADOR 10

1.1. Introducción . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.2. Representación de una imagen . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.2.1. Espacio de color RGB . . . . . . . . . . . . . . . . . . . . . . . . . . 12

1.2.2. Espacio de color YCrCb . . . . . . . . . . . . . . . . . . . . . . . . . 12

1.3. Descriptores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

1.3.1. Local Binary Patterns (LBP) . . . . . . . . . . . . . . . . . . . . . . . 14

1.3.2. Histograma de Orientación de Gradientes (HOG) . . . . . . . . . . . 17

1.3.3. Firma del contorno . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

1.3.4. Trayectorias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

2. DETECCIÓN Y SEGUIMIENTO 22

2.1. Adquisición de la imagen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

2.2. Pre-procesamiento y detección de la mano . . . . . . . . . . . . . . . . . . 24

2.3. Seguimiento o tracking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

3. RESULTADOS DE CLASIFICACIÓN 30

3.1. Métricas empleadas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

3.1.1. Exactitud o accuracy . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

III
 3.1.2. Precisión . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

3.1.3. Sensibilidad o Recall . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

3.1.4. F1 -Score . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

3.2. Clasificación de señas estáticas . . . . . . . . . . . . . . . . . . . . . . . . 32

3.3. Clasificación de señas dinámicas . . . . . . . . . . . . . . . . . . . . . . . . 36

4. DESARROLLO DE LA APLICACIÓN 39

4.1. Resultados de encuestas . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

5. CONCLUSIONES 44

5.1. TRABAJO FUTURO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

REFERENCIAS 47

A. Matrices de confusión de señas estáticas 50

B. Matrices de confusión de señas dinámicas 52

C. Formato de encuesta 53

IV
 LISTA DE FIGURAS

pág.

1. Ejemplo de interfaz Humano-Maquina aplicado al proyecto Linux . . . . . . 1

2. Diagrama de funcionamiento del sistema diseñado. . . . . . . . . . . . . . 4

3. Representación de una imagen mediante un histograma . . . . . . . . . . . 11

4. Representación matricial del espacio RGB . . . . . . . . . . . . . . . . . . 12

5. Imágenes tomadas para ejemplo . . . . . . . . . . . . . . . . . . . . . . . . 14

6. Ejemplo de cálculo de descriptor LBP . . . . . . . . . . . . . . . . . . . . . 15

7. Patrones LBP uniformes en una imagen . . . . . . . . . . . . . . . . . . . . 16

8. Ejemplo de características LBP . . . . . . . . . . . . . . . . . . . . . . . . . 16

9. Ejemplo de características HOG . . . . . . . . . . . . . . . . . . . . . . . . 18

10. Ejemplo de características de Firma Contorno . . . . . . . . . . . . . . . . 19

11. Ejemplo de descriptor de trayectoria . . . . . . . . . . . . . . . . . . . . . . 21

12. Superposición de imágenes del sensor de profundidad y el sensor RGB

sin calibración . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

13. Diagrama de descripción de las etapas de pre-procesamiento y detección

de la mano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

14. Posiciones de la mano detectadas por el clasificador Haar Cascade pre-

entrenado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

15. Validación de la mano detectada por el clasificador Haar Cascade . . . . . 26

16. Segmentación por color de piel . . . . . . . . . . . . . . . . . . . . . . . . . 27

17. Ilustración de los vecinos que son seleccionados por cada pixel. . . . . . . 28

V
18. Representación genérica de la matriz de confusión. . . . . . . . . . . . . . 30

19. Tablas de precisión de señas estáticas. . . . . . . . . . . . . . . . . . . . . 33

20. Gráficas de precisión de señas estáticas. . . . . . . . . . . . . . . . . . . . 34

21. Exactitud de clasificación de señas estáticas. . . . . . . . . . . . . . . . . . 34

22. Métricas F1 -Score promedio para cada descriptor. . . . . . . . . . . . . . . 35

23. Tabla de precisión de señas dinámicas . . . . . . . . . . . . . . . . . . . . . 36

24. Tabla de precisión de señas dinámicas . . . . . . . . . . . . . . . . . . . . . 37

25. Tabla de resultados de la métrica F1 -Score de señas dinámicas . . . . . . . 37

26. Gráfica de resultados promedio de la métrica F1 -Score para señas dinámicas 38

27. Tabla de resultados de exactitud para señas dinámicas . . . . . . . . . . . 38

28. Vistas de la aplicación desarrollada . . . . . . . . . . . . . . . . . . . . . . 39

29. Distribución de la vista de práctica . . . . . . . . . . . . . . . . . . . . . . . 40

30. Tiempo promedio de ejecución de cada componente de la aplicación . . . 41

31. Resultados de las encuestas . . . . . . . . . . . . . . . . . . . . . . . . . . 42

32. Matrices de confusión para el clasificador de Naive bayes. . . . . . . . . . . 50

33. Matrices de confusión para el clasificador de SVM. . . . . . . . . . . . . . . 50

34. Matrices de confusión para el clasificador de ANN. . . . . . . . . . . . . . . 51

35. Matrices de confusión para el clasificador de KNN. . . . . . . . . . . . . . . 51

36. Matriz de confusión para el clasificador de Naive bayes. . . . . . . . . . . . 52

37. Matriz de confusión para el clasificador de KNN. . . . . . . . . . . . . . . . 52

38. Matriz de confusión para el clasificador de Random Forest. . . . . . . . . . 52

39. Matriz de confusión para el clasificador de SVM. . . . . . . . . . . . . . . . 52

VI
 LISTA DE ALGORITMOS

pág.

1. Proceso de remuestreo sobre la trayectoria. . . . . . . . . . . . . . . . . . . 21

2. Pseudocódigo del algoritmo Region growing. . . . . . . . . . . . . . . . . . . 29

VII
 RESUMEN

El reconocimiento de gestos con las manos es un área de investigación que ha capturado

la atención de muchos investigadores para el desarrollo de aplicaciones de interacción
Humano-Máquina (HCI, por sus siglas en inglés), entre las que se pueden encontrar
realidad virtual, realidad aumentada, juegos, aplicaciones educativas, entre otras.

En el presente proyecto de investigación se desarrolló un sistema para el apoyo de la

enseñanza del lenguaje de señas a través de una aplicación HCI que emplea visión
por computador; el sistema propuesto le indica al usuario a través de una imagen o
un videoclip, qué seña debe ejecutar y de qué manera debe hacerlo, posteriormente
le permite ejecutar la seña mientras la captura con un dispositivo Microsoft Kinect para
luego, haciendo uso de procesamiento de imágenes digitales y algoritmos de inteligencia
artificial, determinar si el usuario ha ejecutado la seña de manera correcta.

La aplicación desarrollada es capaz de clasificar un conjunto de siete señas estáticas,

con un total de 3.600 muestras y cuatro señas dinámicas, con un total de 1.800 muestras;
para el análisis de las señas estáticas se tuvieron en cuenta tres descriptores: HOG,
U-LBP y Firma del contorno, junto con cuatro clasificadores: Naive Bayes, SVM, ANN
y KNN, obteniendo que el mejor descriptor es HOG, con una precisión promedio de
clasificación de 0, 9795 con el clasificador SVM y asimismo que el mejor clasificador es
SVM con una exactitud de clasificación de 0, 9800 y un resultado de F1 -Score de 0, 9798
junto con el descriptor HOG. Por otro lado, para las señas dinámicas se tuvo en cuenta un
descriptor basado en la trayectoria junto con cuatro clasificadores: Random Forest, SVM,
KNN y Naive Bayes, obteniendo que el mejor clasificador es el SVM con una exactitud
de clasificación de 0, 9400, una precisión promedio de 0, 9400 y un resultado de F1 -Score
de 0, 9390.

El desarrollo de la aplicación así como las pruebas, se realizaron en un computador con

procesador Intel Core i5 de 2,5 GHz con TurboBoost 3,1GHz y 8GB de memoria RAM.

Palabras clave: visión por computador, seguimiento de la mano, Microsoft Kinect, ma-
chine learning, Interfaz Humano-Maquina
 INTRODUCCIÓN

El reconocimiento de gestos con las manos es un área de investigación que ha cap-

turado la atención de muchos investigadores independientes y empresas a lo largo del
mundo, para el desarrollo de aplicaciones de interacción Humano-Máquina (HCI, por sus
siglas en inglés), entre estas podemos encontrar aplicaciones de realidad virtual, reali-
dad aumentada, juegos, aplicaciones educativas, entre otras. En la Figura 1 se observa
un ejemplo de cómo funciona una aplicación HCI; por un lado se tiene al usuario, quien a
través de sus sentidos interactúa con el hardware que se encarga de traducir las peticio-
nes del usuario a lenguaje de máquina, el cual es interpretado por una pieza de software
que retorna una respuesta la cual se presenta al usuario a través del hardware nueva-
mente.

Figura 1: Ejemplo de interfaz Humano-Maquina aplicado al proyecto Linux.

Fuente: Otto Traian (2014)

1
Lenguaje de señas

El lenguaje por el cual se expresan las personas hipoacúsicas es llamado lenguaje de

señas, el cual es el objeto de estudio de este trabajo; los elementos del lenguaje de señas
son la configuración, la posición y la orientación de las manos en relación con el cuerpo
y con el individuo, de los cuales también se tiene en cuenta el espacio, la dirección y la
velocidad, entre otros elementos, para transmitir el significado del mensaje (Insor, 2018).

El lenguaje de señas en el mundo occidental tiene sus inicios formales a partir del año
1755, cuando el abad francés Charles Michel de l’Épée funda en París la primera escuela
pública para sordos, donde desarrolla un alfabeto y crea signos que posteriormente se
adaptaron a una estructura gramatical parecida al idioma francés; ese primer lenguaje
de señas posteriormente dio inicios a otros lenguajes de señas como el Lenguaje de
Señas Americano (ASL, por sus siglas en inglés), Lenguaje de señas Mexicano (LSM),
el Lenguaje de señas Brasileño (LIBRAS, por sus siglas en brasileño), entre otros (Cruz,
2008). A partir de la extensión del lenguaje de señas alrededor del mundo, cada país
lo adoptó de una manera particular teniendo en cuenta su cultura y su idioma natal
(aunque sin embargo es importante aclarar que el lenguaje de señas en un país no
es dependiente de su idioma natal y no necesariamente guarda estrecha relación con el
mismo); el lenguaje de señas adoptado para la realización de este trabajo es el Lenguaje
de Señas Colombiano (LSC).

La comunidad de personas hipoacúsicas está conformada por individuos pertenecientes

a diferentes condiciones personales y sociales, haciéndola heterogénea; sin embargo,
la imposibilidad de comunicación verbal genera una limitante en la integración social y
participación en actividades laborales, académicas, entre otras; asimismo, quienes no
padecen de dicha patología no son formados para establecer comunicación mediante el
Lenguaje de Señas (Tovar, 2015). Dado el problema anterior, se decidió realizar el pre-
sente proyecto de investigación con el fin de aportar al desarrollo de una aplicación HCI
que despierte el interés de las personas para aprender lenguaje de señas, enseñándoles
algunos elementos básicos del mismo. Todo esto se realizó a través de una aplicación
de visión por computador que además de enseñarle al usuario cómo se ve una seña, lo

2
incentiva a realizarla, validando si la está ejecutando de manera correcta.

Para abordar el problema anterior, se dividió el sistema en tres módulos principales: un

primer módulo de captura y pre-procesamiento de imágenes, en este módulo se captura
la imagen por medio del sensor y se le aplica una serie de filtros para disminuir el ruido
en la escena, el cual puede surgir como consecuencia de las características físicas del
sensor o de las condiciones medioambientales y se compone de una variación de color
aleatoria en la imagen; un segundo módulo para procesar las imágenes y extraer los
elementos de interés que van a ser posteriormente analizados, a esto se le denomina
segmentación y extracción de características (también conocidas como descriptores); fi-
nalmente un último módulo que se encarga de pasar las características por algoritmos
de aprendizaje automático (machine learning) y determinar si la respuesta obtenida con-
cuerda con la seña que se le está solicitando al usuario.

En la Figura 2 se muestra un diagrama que describe el funcionamiento general de la

aplicación diseñada; inicialmente se capturan las imágenes con el sensor Microsoft Ki-
nect (tanto RGB como de profundidad), posteriormente se extrae el fondo y se busca una
mano abierta en la escena, cuando la mano es encontrada se clasifica la seña ingresada
usando el modelo de machine learning previamente entrenado y por último se le entrega
al usuario el resultado de clasificación cuando este es exitoso.

Para el desarrollo e implementación de este proyecto se utilizó un computador Macbook

Pro con procesador Intel Core i5 dual core de 2,5 GHz, 8 GB de memoria RAM y un
sensor óptico Microsoft Kinect V1. En cuanto al software se empleó el driver que ofrece
OpenKinect mediante su librería libfreenect para establecer conexión con el sensor Ki-
nect y capturar datos, la librería OpenCV (Bradski, 2000) para realizar procesamiento de
imágenes digitales, las librerías scikit-learn (Pedregosa et al., 2011) y TensorFlow (Aba-
di et al., 2015) para estandarización de descriptores y algoritmos de machine learning,
NumPy (Oliphant, 2006) para computación científica y manejo de matrices, Cython (Beh-
nel et al., 2011) para optimización de módulos de python y PyQt para realizar la interfaz
gráfica.

El conjunto de datos utilizado se creó desde ceros, ya que era necesario extraer los des-

3
Figura 2: Diagrama de funcionamiento del sistema diseñado.

Fuente: El autor. Imágenes tomadas de Freepik.

criptores y entrenar los algoritmos de machine learning con las imágenes y trayectorias
obtenidas luego del procesamiento de las imágenes capturadas para prevenir que se
propagara un error de clasificación; asimismo, se recopilaron imágenes propias ya que
no existen bancos de datos libres para el Lenguaje de Señas Colombiano. Para la clasifi-
cación de las señas estáticas se capturaron en total 3.600 imágenes pertenecientes a 9
diferentes categorías: letra A, letra B, letra E, letra L, letra V, letra W, letra Y, Fondo y Pal-
ma abierta. Para la clasificación de las señas dinámicas de capturaron 800 trayectorias
pertenecientes a 4 diferentes categorías: Decidir, Diferente, Hacer y Jugar.

El desarrollo de la aplicación se realizó para el Lenguaje de Señas Colombiano, sin

embargo los métodos de pre-procesamiento, seguimiento y segmentación de la mano,
extracción de descriptores y entrenamiento de clasificadores son aplicables a cualquier
lenguaje de señas, siempre y cuando se cuente con un conjunto de datos de las señas
de interés.

4
Trabajos relacionados

Particularmente, en el análisis de gestos para el reconocimiento del lenguaje de señas

se han realizado varias investigaciones y desarrollos tanto a nivel nacional como a nivel
internacional. Es importante aclarar que el lenguaje de señas no es universal; es decir,
cada país e incluso cada ciudad/region puede adoptar señas diferentes, lo que hace que
centrarse en el desarrollo de un único software no sea suficiente para abarcar la gran
magnitud de señas y es ahí donde radica la importancia del estudio particular por cada
país en el área. A continuación se exponen algunos trabajos relevantes relacionados a
este proyecto de investigación.

RIVERA et al. (2013) en su trabajo “IDENTIFICACIÓN DE LA PUNTA DE LOS DEDOS

DE LA MANO EN UN PLANO 2D BASADO EN KINECT” presenta un sistema de reco-
nocimiento de la ubicación del centro de la palma de la mano y a través de la técnica de
Alineamiento Temporal Dinámico (DTW por sus siglas en inglés) encuentra la ubicación
de los dedos con ayuda del sensor de profundidad de la Kinect. Debido a variables como
la luminosidad y distorsión de contornos, la exactitud del reconocimiento de la mano se
ve afectada, por lo que a través de un modelo se procede a encontrar la ubicación más
acertada de los dedos de la mano, pero no se tiene distinción de cuál de los dedos de los
extremos corresponde al meñique y cuál corresponde al pulgar. Por otro lado, Rodríguez
et al. (2013) en su trabajo “Software que captura, por medio de Kinect, los datos de las
señas manuales y los traduce a texto” captura los puntos de la escena con el sensor de
profundidad de la Kinect y mediante procedimientos de filtrado de la imagen elimina los
datos no deseados, reconstruyendo finalmente una en 2D que contiene los datos desea-
dos. Para el análisis de la imagen resultante captura el gesto realizado y lo compara con
la base de datos para encontrar similitudes con algún dato y presentar los resultados
finales. Concluyen, que empleando la librería OpenCV es posible realizar el filtrado de
las imágenes, en escala de grises para este caso particular, sin un elevado coste compu-
tacional. Se entrena una red neuronal para llevar a cabo la clasificación de los elementos
de entrada del sistema. Si bien ambos trabajos emplean el sensor de profundidad para
determinar la ubicación de la mano, el primer trabajo distingue la posición de cada de-
do de la mano mientras el segundo trabajo toma la imagen segmentada y binarizada, y

5
la analiza con la base de datos. Si bien puede resultar más fácil segmentar la imagen
y realizar la posterior identificación, para el desarrollo de este proyecto es de gran im-
portancia conocer la posición de la mano para acertar en el signo que el usuario está
introduciendo, aunque no precisamente realizando aproximaciones mediante modelos.

Vargas et al. (2010) presenta un sistema de reconocimiento de patrones de imágenes es-

táticas empleando redes neuronales para la identificación de las señas del Lenguaje de
Señas Colombiano; consiste en una red neuronal multicapa con un algoritmo de retropro-
pagación. Se capturan las imágenes y se les realiza un procesamiento para adaptarlas a
la red con el fin de discriminar patrones de mejor forma. El sistema presentó un desem-
peño favorable para el reconocimiento de señas estáticas mediante redes neuronales.
En este trabajo se presenta al sistema la seña en un ambiente controlado, por lo que la
influencia de las perturbaciones lumínicas medioambientales se reduce en gran medida,
pero se limita el uso del software a un ambiente particular.

Plaza (2015) realiza una herramienta computacional capaz de capturar una secuencia de
imágenes, correspondientes a los gestos que ingresa el usuario; el software se encarga
de analizar el gesto introducido para emitir el texto correspondiente a su significado.
El software permitió identificar correctamente los signos en diferentes ambientes. Se
empleó el algoritmo convexhull para detectar adecuadamente el contorno de la mano
y apoyar el proceso de identificación del significado del signo ingresado; también se
empleó el algoritmo k-nearest para el entrenamiento del clasificador.

Sánchez and Hurtado (2015) emplean la API ofrecida por Microsoft para el sensor Kinect,
que proporciona las posiciones de las articulaciones del cuerpo humano en un espacio
bidimensional. Con las posiciones se usa la técnica DWT para realizar la traducción del
LSC a texto, para lo cual se obtuvo un 98,2 % de acierto. Este trabajo está orientado
únicamente al reconocimiento de señas dinámicas, principalmente debido a la técnica
empleada; los resultados de este trabajo dejan ver que la técnica DWT resulta ser una
opción adecuada para el análisis de señas dinámicas dado su porcentaje de éxito.

A nivel nacional, el trabajo realizado hasta el momento presenta mayor similitud es el

realizado por Londoño (2015), el cual se titula “Aplicativo para apoyar el proceso de

6
aprendizaje del lenguaje de señas hacia un oyente mediante Microsoft Kinect”. El trabajo
presenta un aplicativo que por medio de un sensor de tipo RGB-D procesa las imágenes
capturadas y a través de inteligencia artificial enseña al usuario conceptos básicos sobre
el lenguaje de señas colombiano. Se hizo énfasis en el filtrado de la imagen de entrada
para eliminar variables de luminosidad y contraste, esto con el fin de evitar calibrar el
sistema cada vez que se iniciase. Se concluyó que el entrenamiento juega un papel
crucial, ya que los valores de convergencia de los estados de la cadena de Markov están
ligados con las secuencias de entrenamiento, por lo que con puntos parecidos el sistema
no sabe a cuál converger.

Vogler and Metaxas (2001) propone un framework para el reconocimiento del lenguaje de
señas americano que consiste en la descomposición de los signos en sus fonemas que
emplea Modelos Paralelos Ocultos de Markov para así obtener aspectos simultáneamen-
te de forma independiente; con lo cual se logra que se pueda realizar el entrenamiento
de forma independiente sin requerir la consideración de las diferentes combinaciones.
Se realizó el experimento para 22 signos diferentes del Lenguaje de Señas Americano
y se demostró la eficiencia de los Modelos Paralelos Ocultos de Markov frente a los
convencionales.

Chana and Jakkree (2016) propone una técnica de reconocimiento de la postura de la

mano con fondos complejos, aprovechando las características del sensor Microsoft Ki-
nect para evitar interferencias del entorno como el color de la piel. Se emplean histogra-
mas de gradiente orientado para extraer las características de los signos introducidos,
que posteriormente son pasadas por una red neuronal artificial para el entrenamiento y
reconocimiento. Se observó que el método propuesto es robusto en cuanto a la detec-
ción de signos introducidos en entornos con fondos complejos. Se obtuvo un porcentaje
de reconocimiento del 84,05 % para el reconocimiento de 24 signos diferentes.

Yamashita and Watasue (2014) propone una metodología en la que se divide la comple-
ja arquitectura de la mano; por un lado se realiza la extracción de la forma de la mano
con fondos complejos y cambios de iluminación y por otro lado el reconocimiento de la
postura de la mano por medio de una imagen binarizada. Según lo anterior, se propone
la implementación de una red neuronal convolucional con capas especiales para la ex-

7
tracción de características de imágenes binarizadas. Se obtuvieron mejores resultados
en comparación con con el método base (esto es, sin incluir las capas especializadas en
extracción de características de las imágenes binarizadas). PÉREZ (2012) propone en
su tesis de maestría un sistema que contiene dos módulos principales: uno de aprendi-
zaje y uno de reconocimiento. Emplea un sensor Microsoft Kinect para capturar los datos
y compararlos con los patrones almacenados en la base de conocimiento del sistema.
Cuando se ingresa un signo con una similitud menor al 90 % se acciona el módulo de
aprendizaje que almacena el nuevo signo ingresado. Con el primer método se reconocen
20 signos diferentes invariantes a rotaciones , escalamiento y traslaciones del lenguaje
de señas mexicano; para este método se requiere de un fondo negro, condiciones de
iluminación controladas y que la mano se sitúe a 50cm del sensor óptico. Se encontró
que el problema más recurrente es identificar la ubicación de la muñeca, ya que el an-
tebrazo afecta el reconocimiento de la mano. Con el segundo método se reconocieron
25 señas del Lenguaje de Señas Mexicano; con este método se obtuvo una tolerancia
ante las rotaciones y deformaciones de la mano durante la ejecución, además de que no
requiere de aprendizaje previo. Se observó que capturar la mano con el sensor Kinect
presenta una ventaja para el proceso de segmentación, pero debido a la resolución de la
cámara (para la versión 1) no se puede distinguir la transición entre señas realizadas rá-
pidamente debido al efecto motion blur. Para el proceso de aprendizaje-reconocimiento
del segundo método se requirió definir un umbral de reconocimiento para discriminar
adecuadamente cuando se trata de una seña del Leguaje según los datos de la base de
conocimiento; dicho umbral debe ser menor o igual al 10 % para un resultado correcto.

A nivel internacional, uno de los trabajos más representativos en el campo de hand trac-
king es el presentado por POUDEL (2014) en su tesis doctoral. En esta se propone una
técnica basada en regiones para la detección del color de la piel, que contrasta con
las técnicas empleadas actualmente basadas en pixeles y según el autor supera los re-
sultados obtenidos; se basa en una técnica de segmentación llamada superpixels que
agrupa varios pixeles del mismo color. El framework propuesto consta de 3 módulos:
segmentación de regiones de la mano, estimación de la postura mediante regresiones y
seguimiento de la mano empleando estimación de la posición, prioridad cinemática e in-

8
formación temporal. Empleando la técnica propuesta se obtuvo un resultado del 91,17 %
de aciertos, frente a un 13,12 % de falsos negativos. El trabajo realizado en esta tesis fue
publicado en la propuesta de código abierto para liberación del SDK’s del sensor Kinect
para el sistema operativo Microsoft.

9
 1. VISIÓN POR COMPUTADOR

1.1. Introducción

La visión artificial, también conocida como visión por computador (CV, por sus siglas
en inglés), es un campo de la inteligencia artificial en el cual por medio de análisis de
imágenes se obtiene una descripción de los objetos capturados en una escena. Dentro
de los campos en los que se utiliza la visión por computador se encuentran aplicaciones
militares, de control de calidad industrial, robótica, agricultura, biomedicina, seguridad,
control de tráfico, etc.

Para lograr el correcto funcionamiento de una aplicación de visión artificial es necesa-

rio inicialmente preparar la imagen para ser leída de manera adecuada, resaltando las
características principales que se desean obtener mediante filtros, y posteriormente ex-
traer los datos de interés mediante diferentes técnicas que varían según la aplicación en
concreto. (de la Escalera, 2001)

1.2. Representación de una imagen

Una imagen digital se compone de un conjunto de valores numéricos que van típica-
mente de 0 a 255, cada valor es denominado pixel y su posición dentro de la imagen se
determina a través de coordenadas X y Y que se sitúan en los ejes horizontal y vertical
con límites en el ancho y alto de la imagen respectivamente, siendo el eje X horizontal y
positivo en dirección derecha y el eje Y vertical y positivo hacia abajo. De forma general,
considerando un modelo de imagen simple f (x, y) compuesta únicamente de valores de
intensidad luminosa (imagen en escala de grises), donde el valor f (x, y) es el valor de
intensidad en el pixel (x, y), se tiene que f (x, y) ∈ [0, ∞) debido a que la luz es una forma
de energía (Muñoz P., 2009).

La intensidad luminosa de la imagen f (x, y) se puede caracterizar por dos componen-

tes: la cantidad de luz que incide en la escena denotada por I(x, y) ∈ [0, ∞) y la cantidad
de luz reflejada por los objetos de la escena denotada por r(x, y) ∈ [0, 1], de manera que:

10
 f (x, y) = I(x, y) × r(x, y) (1)

De la Ecuación 1 se obtiene que una imagen tiene una representación matricial y por
tanto es susceptible de ser computada con otras imágenes por medio de operaciones
como suma, resta o multiplicación; asimismo, una imagen digital puede ser representa-
da mediante histogramas, los cuales son funciones que indican la frecuencia con la que
aparecen los valores de intensidad que pueden tomar los pixeles, como se muestra en
la Figura 3; sin embargo, es necesario tener en cuenta que esta representación no pro-
porciona información espacial de la imagen, por lo que dos imágenes diferentes podrían
llegar a tener un mismo histograma, razón por la cual esta representación no suele ser
utilizada como una descripción de la imagen (de la Escalera et al., 2016).

Figura 3: Representación de una imagen mediante un histograma.

Fuente: Girod (2013)

Además de la intensidad, los objetos presentes en una escena se caracterizan principal-

mente por el color. Un espacio de color es una interpretación que a partir de un conjunto
de ecuaciones matemáticas permite describir los colores de una imagen y descomponer-
los en canales. Existen multiples espacios de color que según su composición pueden
ser empleados en diferentes contextos para resaltar ciertas características, entre algunos

11
de los más populares se encuentran el RGB, el HSV y el YCrCb.

1.2.1. Espacio de color RGB

Es el más extendido y el que utilizan dispositivos como cámaras de video y cámaras fo-
tográficas para construir imágenes de color, motivo por el cual es ampliamente utilizado
como sistema de referencia en aplicaciones de visión por computador, ya que trabajar
con el mismo espacio de color en que vienen las imágenes desde el sensor disminu-
ye la aparición de ruido y previene la alteración de las propiedades del color durante
operaciones sobre la imagen.

En el espacio de color RGB los colores están definidos por la mezcla de los valores de
intensidad de tres colores primarios, rojo, verde y azul (Red-Green-Blue), de manera que
cada pixel de una imagen RGB está compuesto por una tupla de 3 componentes, cada
uno correspondiente a un canal de color (ver Figura 4).

Figura 4: Representación matricial del espacio RGB.

Fuente: El autor.

1.2.2. Espacio de color YCrCb

Surge de una codificación no lineal del espacio RGB; la componente Y representa la

luminancia y las componentes Cr y Cb representan la crominancia o tono de color, Cb

12
toma colores en una escala entre el azul y el amarillo y Cr toma colores en una escala
entre el rojo y el verde. La transformación entre el espacio RGB y YCrCb se puede reali-
zar mediante la Ecuación 2 (Molinero D., 2010).

       
Y 65, 481 128, 553 24, 966 R 16
       
 Cb  =  −39, 797 −74, 203  ∗  G  +  128  (2)
       
112
       
Cr 112 −93, 786 −18, 214 B 128

Las componentes RGB están codificadas en un byte (de 0 a 255), mientras que la lumi-
nancia se define en 220 niveles y las crominancias en 224 niveles, por lo que es necesa-
rio escalar las componentes para que puedan ser almacenadas dentro de un byte como
un número sin signo.

1.3. Descriptores

Una imagen digital puede contener cientos de características inmersas en la escena, pa-
ra extraer correctamente las características de las imágenes previamente presentadas
al sistema se hace uso de los descriptores (Cuenca, 2008); estos son características
extraídas del resultado de modelos matemáticos aplicados a las imágenes digitales, los
cuales resumen y simplifican el contenido de estas. Existen diferentes tipos de descrip-
tores que varían según su complejidad; entre estos se pueden encontrar histogramas de
color o intensidad, descriptores LBP, HOG, etc.

En la Figura 5 se muestran tres diferentes señas tomadas aleatoriamente del conjunto

de datos, sobre las cuales serán aplicados los descriptores propuestos en este trabajo
de grado para evidenciar cómo se comporta cada uno sobre una misma imagen.

13
Figura 5: Imágenes tomadas para ejemplo.

Fuente: El autor.

1.3.1. Local Binary Patterns (LBP)

LBP es un descriptor de textura invariante a la iluminación que se construye a partir de

un histograma de patrones que se calculan sobre una región por los niveles de grises
relativos de los pixeles vecinos (Heikkilä et al., 2009).

Para realizar el cálculo del descriptor LBP inicialmente se divide la imagen en celdas;
se compara cada pixel de cada celda con sus vecinos, los cuales se determinan a partir
de un radio que puede ir desde 1 hasta n ∈ N+ con n < [Link] (ej. si el radio es
1 toma los 8 pixeles contiguos al pixel actual); si el pixel central es mayor al vecino se
toma un valor de 0 para la posición del vecino, de lo contrario se toma un valor 1, lo
anterior genera un byte que se suele representar en base decimal, el cual reemplaza al
valor del pixel central; finalmente, se normaliza el histograma resultante de cada celda y
se concatenan sucesivamente para formar el vector descriptor. La Figura 6 muestra un
ejemplo del cálculo del descripto LBP para una posición, tomando un radio R = 1.

14
Figura 6: Ejemplo de cálculo de descriptor LBP.

Fuente: El autor.

(255 ∗ 0) + (128 ∗ 1) + (64 ∗ 0) + (32 ∗ 1) + (16 ∗ 1) + (8 ∗ 0) + (4 ∗ 0) + (2 ∗ 1) = 178

obteniendo un valor de 178 para la posición X.

En términos generales, el operador LBP se describe con la Ecuación 3.


N −1


 1, x≥0
X 
LBPR,N (x, y) = s(ni − nc )2i , s(x) = (3)

i=0 

 0, otherwise

Donde nc corresponde al valor del pixel central y ni corresponde al nivel de gris de los
pixeles del vecindario en el radio R.

El descriptor LBP en su versión original no es invariante a la rotación, por lo que una

leve inclinación del objeto en la imagen puede provocar que el histograma resultante sea
completamente diferente al original; para hacer el descriptor LBP invariante a la rotación
se puede emplear la variación U-LBP (Uniform Local Binary Pattern), cuyo patron “U"
hace referencia al número de transiciones de 0 a 1 y viceversa, de manera que el LBP
es considerado uniforme si tiene máximo dos patrones uniformes. En la Figura 7 se
muestran cinco ejemplos de patrones uniformes que corresponden a características en
la imagen.

15
Figura 7: Patrones LBP uniformes en una imagen.

Fuente: Pietikäinen et al. (2011)

De forma general, la Ecuación 4 indica el número de patrones uniformes que se pueden

obtener con P vecinos; por ejemplo, para un vecindario de 8 puntos se obtienen 59 patro-
nes uniformes, lo que genera una reducción dimensional del 76,95 % (de 256 patrones
para el LBP original a 59 para el U-LBP).

P (P − 1) + 3 (4)

Debido a lo anterior, para este descriptor se decidió utilizar la variación U-LBP, ya que
el LBP original introduce muchas dimensiones al vector descriptor y las características
más importantes de la imagen están localizadas en los contornos y las esquinas, entre
otras que son correctamente localizadas con la variación U-LBP; de acuerdo con eso, se
utilizó un radio R = 8 y P = 24 puntos. En la Figura 8 se muestra el resultado de aplicar
el algoritmo U-LBP sobre las tres señas de muestra de la Figura 5.

Figura 8: Ejemplo de características LBP.

Fuente: El autor.

16
1.3.2. Histograma de Orientación de Gradientes (HOG)

En visión por computador, un gradiente indica el cambio de dirección en la intensidad de

una imagen y se define mediante 2 valores: dirección del cambio de intensidad (desde
0 hacia 255) y magnitud del cambio de dirección. A continuación se describe la forma
más elemental del cálculo del gradiente: en primer lugar se calculan las diferencias en
los ejes de coordenadas comparando el valor de intensidad de un pixel contra el de sus
vecinos, de manera que las diferencias en los ejes se calculan empleando la Ecuación 5
donde I es el mapa de intensidad.

dx = I(x + 1, y) − I(x − 1, y)
(5)
dy = I(x, y + 1) − I(x, y − 1)

En segundo lugar se determina el ángulo del gradiente de acuerdo con las diferencias
empleando la Ecuación 6.

 
−1 dy
θ(x, y) = tan (6)
dx

Finalmente, se calcula la magnitud empleando la Ecuación 7.

p
g(x, y) = dx2 + dy 2 (7)

A partir del cálculo del gradiente es posible definir un descriptor que pueda brindar in-
formación global de la imagen, conocido como histograma de orientación de gradientes
(HOG por sus siglas en inglés), para lo cual hay que dividir la imagen en un número fijo de
celdas y para cada celda se obtiene un histograma de las orientaciones de los gradientes
y finalmente todos los histogramas se combinan para formar el descriptor (López P. et al.,
2015).

Para el descriptor HOG se seleccionó una configuración de bloques de 16x16 px, tamaño
de celdas de 8x8 px y 9 bins. En la Figura 9 se muestra el resultado de aplicar el des-
criptor HOG sobre las imágenes de la Figura 5. Se puede identificar que cada seña tiene

17
una orientación de gradientes diferente y se evidencia particularmente en el contorno de
la mano y los bordes de los dedos.

Figura 9: Ejemplo de características HOG.

Fuente: El autor.

1.3.3. Firma del contorno

La firma de un contorno es una representación unidimensional del contorno, que con-

siste en un vector donde cada elemento se compone de la distancia desde el centroide
del objeto hasta el contorno y el ángulo que forma con respecto al eje horizontal. Para
calcular la firma de un contorno es necesario extraer el contorno del objeto, para ello se
puede realizar una binarización de la imagen y posteriormente una extracción del con-
torno. Para facilitar el cálculo del centroide de un objeto se hace uso de los momentos
de la imagen. Los momentos de orden p + q de una imagen I(x, y) se describen por la
Ecuación 8.

N X
X M
Mp,q = xp y q I(x, y) (8)
x=1 y=1

En particular se sabe que M0,0 es el área A del objeto (reemplazando p y q por cero en
la Ecuación 8), con ello se calcula el centroide con las formulas de la Ecuación 9.

18
 N P
P M
xI(x, y)
x=1 y=1 M1,0
x̄ = =
A M0,0
(9)
N P
P M
yI(x, y)
x=1 y=1 M0,1
ȳ = =
A M0,0

Finalmente, a cada punto del contorno se le resta el valor del centroide encontrado y se
pasa de coordenadas cartesianas a coordenadas polares tomando como (0, 0) el punto
del centroide. En la Figura 10 se muestra un ejemplo del descriptor obtenido para las
señas de la Figura 5.

Figura 10: Ejemplo de características de Firma Contorno.

Fuente: El autor.

1.3.4. Trayectorias

Una seña dinámica puede ser descrita por diferentes características tales como la tra-
yectoria, la velocidad, la aceleración, la orientación y combinaciones entre las anteriores
(Meng et al., 2014); en este trabajo se tomó la trayectoria como descriptor de las se-
ñas dinámicas y se eliminaron las componentes de velocidad y aceleración mediante un
proceso de remuestreo para mejorar la similitud entre una seña y otra.

Una trayectoria se compone de un conjunto de puntos C ordenados en el espacio con

coordenadas, en este caso, X, Y y Z; la cantidad de puntos de una trayectoria depende

19
del intervalo de tiempo en que es capturada, del sensor empleado, la velocidad con la
que se mueve el objeto y la cantidad de operaciones realizadas durante el tiempo de
captura. Para este trabajo, las trayectorias se capturaron durante un intervalo de tiempo
de 4 segundos para cada muestra.

Debido a que la longitud de una trayectoria puede variar, para hacer dos trayectorias
directamente comparables se realiza un procedimiento de remuestreo de los puntos ori-
ginales en N puntos equidistantes; si bien el remuestreo no es la única técnica, ha de-
mostrado tener buenos resultados sobre trayectorias (Wobbrock et al., 2007). El número
de puntos N más adecuado depende del tipo de trayectoria que se esté trabajando, y si
bien no existe una formula para definir la cantidad más adecuada, se tiene como regla
general que una cantidad N de puntos muy baja puede generar perdida de precisión a
la hora de comparar dos trayectorias, mientras que una cantidad N de puntos muy alta
le agrega mayor dimensionalidad al vector, lo cual no necesariamente genera una ma-
yor precisión pero si suma tiempo de procesamiento al generar un vector más largo. La
longitud máxima de las trayectorias capturadas en este trabajo fue de 156 puntos, por
lo que se probaron diferentes combinaciones de ese valor hacia abajo en potencias con
base dos, encontrando que el valor más adecuado es de 64 puntos.

Para realizar el proceso de remuestreo inicialmente se calcula la longitud M de los puntos

de la trayectoria original y se divide la cantidad de puntos por N − 1, obteniendo el
incremento I (ver Ecuación 10).
M
I= (10)
N −1

Conociendo el incremento I se itera la trayectoria original con saltos de I y se va agre-

gando cada elemento a un nuevo vector, como se observa en el Algoritmo 1.

Una vez remuestreada la trayectoria se calcula su centro y se traslada al origen del plano
coordenado X-Y , esto se hace con el fin de normalizar el vector y hacerlo invariante
a traslaciones en el espacio, de manera que cada seña pueda ser reconocida por el
clasificador independientemente del lugar donde esté ubicada la persona que la ejecuta.

Finalmente, para hacer más robusta la descripción se calcula un descriptor sobre la

20
 M = length(trajectory);
I = M / (N-1);
i = 0;
for j in 0:I:m-1 do
reshaped[i] = trajectory[j];
i++;
end

Algoritmo 1: Proceso de remuestreo sobre la trayectoria.

trayectoria que relaciona cada punto N con el punto N +1 como se observa en el ejemplo
de la Figura 11, calculando la relación angular entre ambos siendo X el eje principal (ver
Ecuación 11).  
yt−+1 − yt
θt = arctan , t = 1, 2, ..., T − 1 (11)
xt+1 − xt

Figura 11: Ejemplo de descriptor de trayectoria.

Fuente: El autor.

21
 2. DETECCIÓN Y SEGUIMIENTO

2.1. Adquisición de la imagen

Las cámaras convencionales permiten retratar el mundo desde una perspectiva bidimen-
sional, pero para un correcto análisis del entorno es necesario capturar la imagen por
medio de una representación tridimensional. La terminología en sensores ópticos hoy en
día permite el análisis tridimensional del entorno por medio de sensores de tipo RGB-D.
Ahora bien, la forma en que es almacenada la información de este tipo de sensores es
por medio de nubes de puntos; una nube de puntos es un arreglo de datos sobre un
sistema coordenado X, Y y Z (Kadambi et al., 2014). Para generar la nube de puntos es
necesario que el sensor óptico empleado cuente con dos elementos principales: sensor
de profundidad y cámara RGB; la cámara permitirá captar características esenciales en
los elementos de la escena mientras que el sensor de profundidad permitirá definir la
ubicación en el espacio de dichos elementos. Además de contar con el sensor RGB-D,
es necesario realizar una calibración debido a que los dos sensores ofrecen resoluciones
diferentes y asimismo se encuentran separados físicamente uno del otro, lo que genera
traslación de una imagen a otra (ver Figura 12).

Figura 12: Superposición de imágenes del sensor de profundidad y el sensor RGB sin
calibración, el borde azul representa el contorno de la mano en el mapa de profundidad.

Fuente: El autor.

22
El método más común para hallar los parámetros es el modelo de pinhole, donde la
escena se forma proyectando los puntos 3D en un plano empleando transformaciones
geométricas; la forma general de este modelo se describe por la Ecuación 12.

 
     X
u f 0 cx r r r t  
   x   11 12 13 1   Y


 v  =  0 fy cy  r21 r22 r23 t2    (12)
    
     Z 
w 0 0 1 r31 r32 r33 t3  
1

El driver de la librería libfreenect incorpora un método que se encarga de realizar el re-

gistro basado en los parámetros que trae incorporados el sensor Kinect de fabrica, lo que
resume la Ecuación 12 en la Ecuación 13; gracias a eso se puede asumir por simplicidad
que ambos sensores cuentan con los mismos parámetros.

    
u fx 0 cx X
    
 v  =  0 fy cy   Y  (13)
    
    
w 0 0 1 Z

En la Ecuación 13 las coordenadas u, v y w corresponden a las coordenadas en la

imagen dadas en pixeles; X, Y y Z corresponden a las coordenadas espaciales en milí-
metros (ver Ecuación 14); fx y fy son las distancias focales expresadas en pixeles; cx y
cy son las coordenadas del centro de la imagen en pixeles. Como se observa en la Ecua-
ción 13 w = Z, esto es porque el sensor fue configurado desde el driver para devolver la
profundidad en milímetros.

w=Z ⇒ Z=w

Z(u − cx )
u = fx X + Cx Z ⇒ X = (14)
fx

Z(v − cy )
v = fy Y + Cy Z ⇒ Y =
fy

23
2.2. Pre-procesamiento y detección de la mano

A continuación, en la Figura 13 se muestra un diagrama que describe las etapas de pre-

procesamiento y detección de la mano.

Figura 13: Diagrama de descripción de las etapas de pre-procesamiento y detección de

la mano.

Fuente: El autor.

La rutina de la Figura 13 ocurre únicamente previo a la detección de la mano, una vez

la mano ha sido detectada se procede a correr la rutina de seguimiento o tracking hasta
que se detenga el programa.

La rutina de pre-procesamiento inicia adquiriendo tanto la imagen RGB como el mapa

de profundidad; gracias a que el driver empleado entrega las dos imágenes alineadas,

24
el tratamiento se realiza como si se tratara de una única nube de puntos en el espacio.
Inicialmente se toma el punto más cercano al dispositivo de captura, el sensor de profun-
didad tiene un rango de operación de 0, 7 a 4, 0 metros, de modo que la distancia mínima
del sensor a la mano debe ser de 0, 7 metros para lograr un resultado correcto; luego de
obtener el punto más cercano se extraen los elementos que estén 80 milímetros hacia
atrás en el eje Z de ese punto.

Con la imagen segmentada mediante el proceso descrito anteriormente se emplea un

clasificador Haar Cascade pre-entrenado para identificar la mano en la escena; el clasi-
ficador es capaz de detectar las posiciones mostradas en la Figura 14. Para clasificar la
imagen primero es necesario realizar un proceso de binarización donde el fondo debe
quedar en color negro y el blob a analizar de color blanco.

Figura 14: Posiciones de la mano detectadas por el clasificador Haar Cascade pre-
entrenado.

Fuente: Imagen tomada de Freepik.

Como el clasificador Haar Cascade es capaz de detectar la mano en 5 diferentes posicio-

nes, es susceptible de generar falsos positivos, debido al efecto de motion blur y la auto
oclusión de la mano; para prevenir la propagación de errores se realiza una validación de
la mano detectada, donde sólo se admite como entrada la palma completamente abierta.

El proceso de validación consiste en hallar la envolvente convexa, también conocida

como convex-hull, sobre la mano (línea verde en la Figura 15) con lo que se obtienen
los puntos de los dedos que corresponden a los puntos de inflexión de la envolvente
(puntos rojos en la Figura 15). La librería OpenCV permite encontrar los defectos de la
envolvente convexa, que son los puntos más alejados de contorno (puntos amarillos en

25
la Figura 15), con los cuales se puede calcular el ángulo de apertura que hay entre un
dedo y otro. Sólo los defectos que se encuentran en medio de dos dedos deben ser
tomados como válidos y para que un defecto sea tomado como el punto de unión entre
dos dedos, el ángulo que debe haber entre ambos no debe ser mayor a 90 grados (para
que la mano sea validada debe tener entre 3 y 4 defectos).

Figura 15: Validación de la mano detectada por el clasificador Haar Cascade.

Fuente: El autor. Imagen tomada de Freepik.

2.3. Seguimiento o tracking

Con la detección de la mano se obtiene la región de interés (ROI, por sus siglas en
inglés) que indica su ubicación en el plano X − Y , cuyo centro se utiliza como punto
de partida para hacer el seguimiento de la mano; el proceso de seguimiento tiene como
objetivo segmentar activamente la mano del resto de la escena sin necesidad de realizar
el proceso de reconocimiento por cada frame.

Se evaluaron dos métodos de segmentación de la mano, uno basado en la segmentación

del color de la piel y otro basado en un algoritmo de Region Growing, los cuales reciben
como entrada el ROI entregado por la etapa de validación.

El procedimiento de segmentación por color de piel consta de 3 etapas: obtención del

modelo de color, extracción del fondo y segmentación de la piel dentro de la escena.
Para obtener el modelo de color de la mano se toma el blob dentro del ROI y se hace

26
un procedimiento de inpaint, con lo que se obtiene una nueva imagen cuyos pixeles se
corresponden con el color de la piel; el procedimiento de inpaint permite corregir marcas
o imperfecciones en una imagen con base en los pixeles vecinos de las mismas, dichas
imperfecciones para el objeto de este trabajo se toman como el fondo de la imagen, con lo
cual se logra que los pixeles del fondo sean reemplazados por los pixeles obtenidos como
color de piel. Para realizar la extracción del fondo se retiran todos los elementos que se
encuentren a más de 1, 5m del sensor y finalmente para extraer la piel de la escena se
realiza una operación de backprojection entre el histograma de la imagen que contiene
el modelo de color y la imagen de la escena; el backprojection compara los histogramas
de dos imágenes (una imagen base y otra de muestra) y extrae los pixeles de la imagen
de muestra que se asemejen a los de la imagen base, lo anterior se puede entender
como un procedimiento de filtrado o umbralización adaptativo basado en histogramas.
Todo el procedimiento anterior se realiza empleando el espacio de color YCrCb ya que
ha demostrado tener un mejor resultado en segmentación de piel (Khamar et al., 2015).
En la Figura 16 se observa el resultado de realizar la segmentación basada en el color
de piel.

Figura 16: Segmentación por color de piel.

Fuente: El autor.

27
Por otro lado, Region Growing es un método utilizado en visión por computador para
segmentar elementos de forma local partiendo de un punto semilla y propagándose por
una región homogénea o con características similares (Puneet Kumar and Seba, 2013).
El algoritmo desarrollado para este trabajo parte del punto semilla y toma en cuenta los
puntos superior, inferior y laterales como se observa en el ejemplo de la Figura 17, donde
el cuadro verde corresponde al punto semilla y los cuadros azules corresponden a los
vecinos tomados en cuenta; su funcionamiento se puede asemejar al de un algoritmo
convencional de búsqueda, donde se tiene una lista de candidatos y se evalúa cada uno
para determinar si pertenece o no a la región que se quiere delimitar; el criterio para
definir si el candidato corresponde a la región es que se encuentre dentro de la ventana
del ROI de la mano y que el nivel de profundidad se encuentre dentro del umbral, que
para este caso es de 20 milímetros y corresponde a la distancia máxima que puede
haber entre los extremos de la mano en perspectiva.

Figura 17: Ilustración de los vecinos que son seleccionados por cada pixel.

Fuente: El autor.

A continuación, en el Algoritmo 2 se muestra un pseudocódigo donde se describe el

funcionamiento del algoritmo de Region Growing desarrollado.

Debido a que el algoritmo consiste en una serie de operaciones cíclicas anidadas, sobre
una imagen de 640 x 480 pixeles toma un tiempo de ejecución variable del orden de
cientos de milisegundos y una carga computacional alta debido a que el script de Python
es interpretado. Para solucionar el problema y mejorar el rendimiento del algoritmo se
hace uso de Cython, un compilador optimizado para lenguaje de programación Python,
Cython (el cual es un lenguaje extendido) y C, que al ser ejecutado retorna un módulo

28
 Input: threshold, depthMap, window
seed = [Link];
meanDepth = depthMap[seed.x, seed.y];
queue = [Link](1, [Link]*[Link]);
while length(queue) != 0 do
item = getFirstElementInTheQueue(queue);
dropFirstElementInTheQueue(queue);
neighbors = getNeighbors(item);
for neighbor in neighbors do
if isMember(neighbor, meanDepth) then
[Link](neighbor);
end
end
end
Output: region

Algoritmo 2: Pseudocódigo del algoritmo Region growing.

compilado que puede ser usado tanto desde lenguaje C/C++ como Python. Luego de
realizar la optimización del algoritmo escrito en su gran mayoría en lenguaje Cython se
obtuvo que el tiempo de ejecución descendió al orden de cientos de nanosegundos, así
como también la carga computacional.

De acuerdo con los resultados obtenidos, se decidió utilizar el algoritmo de Region Gro-
wing, ya que si bien el método de segmentación por piel arroja buenos resultados en
terminos de extracción de las zonas que contienen piel, deja pasar regiones que no
corresponden a piel y asimismo devuelve regiones correspondientes a los brazos y el
rostro, lo que hace necesario adicionar una sub-etapa más de segmentación, mientras
que el algoritmo de Region Growing permite obtener directamente la region segmentada
de la escena y es invariante a la iluminación al trabajar únicamente sobre el mapa de
profundidad.

Por último, sobre la región segmentada se realiza el seguimiento con el algoritmo de

meanshift ofrecido en la librería de OpenCV, el cual recibe como argumento el ROI y
devuelve la predicción de la siguiente posición de la mano.

29
 3. RESULTADOS DE CLASIFICACIÓN

3.1. Métricas empleadas

Luego de extraer las características y entrenar el modelo de machine learning es nece-

sario evaluar el rendimiento del clasificador para determinar la viabilidad del mismo; una
de las métricas más usadas a la hora de evaluar un algoritmo de clasificación es la Matriz
de Confusión (de ahora en adelante MC). La MC por sí sola no da información relevante
acerca del rendimiento del clasificador, pero a partir de ella se extraen otras métricas que
dan información veraz del mismo.

La MC consta de cuatro partes fundamentales como se muestra en la Figura 18, donde

en las columnas se ubican las clases ya establecidas y en las filas las clases de prueba.

Figura 18: Representación genérica de la matriz de confusión.

Fuente: El autor.

Verdaderos positivos (TP por sus siglas en inglés): es el número de clasifica-

ciones verdaderas correctas.

Verdaderos negativos (TN por sus siglas en inglés): es el número de clasifica-

ciones falsas correctas.

Falsos positivos (FP por sus siglas en inglés): es el número de clasificaciones

verdaderas incorrectas.

30
 Falsos negativos (FN por sus siglas en inglés): es el número de clasificaciones
falsas incorrectas.

A partir de las cuatro partes fundamentales de la matriz de confusión es posible extraer

la exactitud, la precisión, la sensibilidad, entre otras métricas importantes.

3.1.1. Exactitud o accuracy

Evalúa el número total de clasificaciones correctas frente al total de muestras clasifica-

das, esto en la matriz de confusión se describe en la Ecuación 15. La exactitud toma
valores de cero a uno (o cero a cien si se representa como porcentaje) siendo cero una
exactitud muy baja y uno una exactitud muy alta.

TP + TN
Accuracy = (15)
TP + FP + FN + TN

La exactitud únicamente debe ser utilizada cuando el número de muestras tanto de entre-
namiento como de prueba es similar para cada clase, de lo contrario la métrica siempre
tendrá un sesgo hacia la clase que tenga mayor número de muestras.

3.1.2. Precisión

Evalúa el número de clasificaciones correctas para cada clase de prueba; es decir, cuán-
tas clasificaciones verdaderas son realmente verdaderas para cada clase, esto en la MC
se describe en la Ecuación 16. La precisión al igual que la exactitud, toma valores de
cero a uno (o cero a cien si se representa como porcentaje) siendo cero una precisión
muy baja y uno una precisión muy alta.

TP
P recision = (16)
TP + FP

31
3.1.3. Sensibilidad o Recall

Indica qué número de muestras que corresponden a una clase fueron clasificadas dentro
de ella para cada muestra evaluada; es decir, cuántas clasificaciones que debían ser ver-
daderas fueron clasificadas como verdaderas, esto en la MC se describe en la Ecuación
17. La sensibilidad también toma valores de cero a uno (o cero a cien si se representa
como porcentaje) siendo cero una sensibilidad muy baja y uno una sensibilidad muy alta.

TP
Recall = (17)
TP + FN

A primera vista la precisión y la sensibilidad parecen ser iguales, pero la diferencia radica
en que la precisión tiene en cuenta los falsos positivos mientras que la sensibilidad tiene
en cuenta los falsos negativos.

3.1.4. F1 -Score

Para conocer el rendimiento general del modelo habitualmente se calcula la relación en-
tre las medidas de precisión y sensibilidad mediante una media harmonica, este indicador
es conocido como F1 -Score y es calculado mediante la Ecuación 18

P recision · Recall
F1 Score = 2 · (18)
P recision + Recall

3.2. Clasificación de señas estáticas

En el Apéndice A se muestran las matrices de confusión para las señas estáticas. Para
cada matriz de confusión se analizaron las cuatro métricas mencionadas en la sección
anterior, determinando mediante la precisión qué descriptor es el más adecuado y, me-
diante la exactitud y la métrica F1 -Score qué clasificador es el más adecuado.

En la Figura 19 se observan las tablas de precisión extraídas de las matrices de con-

fusión del Apéndice A para cada seña versus los tres descriptores empleados por cada

32
clasificador y en la Figura 20 se observan gráficamente los datos de las tablas de la Fi-
gura 19.

Figura 19: Tablas de precisión de señas estáticas.

(a) Precisión Naive Bayes (b) Precisión SVM

(c) Precisión ANN (d) Precisión KNN

Fuente: El autor.

Para el clasificador de Naive Bayes se obtiene una alta precisión con el descriptor U-LBP
sobre los otros dos descriptores (ver Figura 20); sin embargo, los valores obtenidos no
superan el umbral de 0,86 como se observa en su respectiva tabla en la Figura 19. Por
otro lado, para los clasificadores SVM, ANN y KNN se obtienen resultados superiores
tanto con el descriptor HOG como con el descriptor U-LBP, como se puede observar en
las líneas de color azul de las gráficas de la Figura 20. Descartando el descriptor de
Firma del Contorno por sus bajos resultados y asimismo el clasificador de Naive Bayes
que igualmente presenta una precisión más baja que los demás clasificadores, se tiene
que para el clasificador SVM la precisión promedio del descriptor HOG es de 0, 97 y
la del descriptor U-LBP es de 0,91; para el clasificador ANN la precisión promedio del

33
Figura 20: Gráficas de precisión de señas estáticas.

(a) Gráfica precisión Naive Bayes (b) Gráfica precisión SVM

(c) Gráfica precisión ANN (d) Gráfica precisión KNN

Fuente: El autor.

descriptor HOG es de 0, 90 y la del descriptor U-LBP es de 0, 83; para el clasificador KNN

la precisión promedio del descriptor HOG es de 0, 94 y la del descriptor U-LBP es de
0, 88.

Por otro lado, en la Figura 21 se muestra la tabla de los resultados de exactitud calculados
con las matrices de confusión del Apéndice A de cada descriptor contra cada clasificador.

Figura 21: Exactitud de clasificación de señas estáticas.

Fuente: El autor.

En la tabla de la Figura 21 se observa nuevamente que el rendimiento tanto del clasifica-

dor Naive Bayes como del descriptor de Firma del Contorno es considerablemente bajo

34
con respecto a los demás datos. Omitiendo los datos anteriores se tiene que la exactitud
más baja es de 0, 8389 para el descriptor U-LBP con el clasificador ANN y la exactitud
más alta es de 0, 9806 para el descriptor HOG con el clasificador SVM.

Finalmente, se calcula la métrica F1 -Score mediante la Ecuación 18 empleando las ma-

trices de confusión del Apéndice A y se extrae el promedio para cada clasificador, obte-
niendo como resultado las gráficas de la Figura 22.

Figura 22: Métricas F1 -Score promedio para cada descriptor.

Fuente: El autor.

Se observa que para el descriptor HOG el resultado más alto se obtiene con el clasifica-
dor SVM con un puntaje de 0, 97 y el resultado más bajo se obtiene con el clasificador
Naive Bayes con un puntaje de 0, 48; para el descriptor U-LBP el resultado más alto tam-
bién se obtiene con el clasificador SVM con un puntaje de 0, 91 y el resultado más bajo
igualmente con el clasificador Nave Bayes con un puntaje de 0, 75; finalmente, para el
descriptor Firma del Contorno el resultado más alto se obtiene con el clasificador KNN
con un puntaje de 0, 32 y el resultado más bajo se obtiene con el clasificador Naive Bayes
con un puntaje de 0, 08.

Debido a que la métrica F1 -Score permite conocer la exactitud obtenida de la clasifica-

ción sobre un conjunto de prueba teniendo en cuenta la precisión y la sensibilidad, de
la Figura 22 se observa que el clasificador SVM logra clasificar correctamente un mayor

35
número de muestras con respecto a los demás clasificadores y además se observa que
el descriptor HOG junto con el clasificador SVM permite una mejor clasificación de las
muestras de prueba.

3.3. Clasificación de señas dinámicas

En el Apéndice B se encuentran las matrices de confusión de los resultados de clasifi-

cación para las señas dinámicas. Para el análisis de las señas dinámicas se tuvo en en
cuenta la precisión de las señas, la exactitud y la métrica F1 -Score para cada clasificador.

En la Figura 23 se observa la tabla de precisión extraída de las matrices de confusión

del Apéndice B.

Figura 23: Tabla de precisión de señas dinámicas

Fuente: El autor.

En la Figura 24 se muestran gráficamente los resultados para la tabla de la Figura 23. De

igual forma, en la Figura 24 se observa que los cuatro clasificadores presentan resultados
similares salvo la seña de "diferente"; sin embargo, calculando la precisión promedio para
cada clasificador se obtiene para el clasificador Random Forest 0, 805, para el clasificador
SVM 0, 940, para el clasificador KNN 0, 880 y para el clasificador Naive Bayes 0, 885 de
precisión. Como resultado se evidencia que tanto en la precisión promedio como en la
línea color naranja en la Figura 24 el clasificador SVM tiene una precisión más alta sobre
los otros tres clasificadores.

36
Figura 24: Tabla de precisión de señas dinámicas

Fuente: El autor.

Por otro lado, en la Figura 25 se muestra la tabla para la métrica F1 -Score obtenida de
las matrices de confusión del Apéndice B y en la Figura 26 se muestra una gráfica con
los resultados promedio obtenidos para cada clasificador.

Figura 25: Tabla de resultados de la métrica F1 -Score de señas dinámicas

Fuente: El autor.

De la gráfica de la Figura 26 se observa que el clasificador SVM tiene el mayor resultado

para la métrica F1 -Score con 0,939 frente a los demás clasificadores cuyos resultados
son 0, 794, 0, 879 y 0, 879 para los clasificadores Random Forest, KNN y Naive Bayes
respectivamente.

Finalmente, en la Figura 27 se muestra la tabla de resultados de exactitud para cada

clasificador.

37
Figura 26: Gráfica de resultados promedio de la métrica F1 -Score para señas dinámicas

Fuente: El autor.

Figura 27: Tabla de resultados de exactitud para señas dinámicas.

Fuente: El autor.

Al igual que para el caso de las señas estáticas se obtiene que el clasificador SVM
tiene una mayor exactitud de clasificación con un puntaje de 0, 9400 frente a los demás
clasificadores que tienen una exactitud de 0, 8050, 0, 8800 y 0, 8850 para Random Forest,
KNN y Naive Bayes respectivamente; de manera que se selecciona el clasificador SVM.

38
 4. DESARROLLO DE LA APLICACIÓN

La interfaz gráfica de la aplicación fue desarrollada empleando el framework Qt con el

wrapper PyQt que permite usar el framework con Python. En la Figura 28 se muestran
las tres vistas principales de la aplicación.

Figura 28: Vistas de la aplicación desarrollada.

(a) Vista principal (b) Vista para señas estáticas

(c) Vista para señas dinámicas

Fuente: El autor.

Inicialmente se presenta al usuario una vista de bienvenida y se le da a elegir la opción

de practicar señas estáticas o dinámicas. El layout de las vistas de práctica se compone
de dos secciones principales, como se observa en la Figura 29; en la sección del lado
izquierdo se encuentran los botones de iniciar/detener el programa y un cuadro con un
fondo por defecto donde se muestra lo que el sensor está capturando cuando se oprime
el botón de iniciar; en la sección del lado derecho se encuentra un selector para que el

39
usuario elija la seña que desea practicar, un recuadro donde se muestra el ejemplo de la
seña que el usuario debe ejecutar (que es un video para el caso de las señas dinámicas
y una fotografía para el caso de las estáticas) y las instrucciones de ejecución.

Figura 29: Distribución de la vista de práctica.

Fuente: El autor.

Si bien la aplicación está escrita en Python, los tiempos de ejecución son cortos debido
a que gran parte de los componentes están hechos con Cython o C/C++ y se comunican
con Python a través de wrappers y módulos compilados, lo que se traduce en un ren-
dimiento similar al de un programa compilado, con una penalización del 3 % al 10 % en
tiempo de ejecución y uso de recursos durante los procedimientos de mayor demanda
computacional; lo anterior permite no solo proporcionarle al usuario una mejor experien-
cia durante el uso de la aplicación, sino también que la aplicación pueda ser utilizada en
equipos con menores prestaciones de hardware siempre y cuando cuenten con todas las
dependencias de software necesarias.

En la Figura 30 se observa una tabla con el tiempo de ejecución promedio de los prin-
cipales componentes de la aplicación; los valores presentados pueden variar según la
cantidad de puntos que haya en las imágenes analizadas entre el 10 % y 15 % del valor

40
presentado hacia arriba o hacia abajo. En el cálculo del tiempo de clasificación tanto de
las señas estáticas como las dinámicas se tuvo en cuenta la extracción de descriptores,
la normalización de los vectores, la reducción dimensional con PCA y la clasificación.

Figura 30: Tiempo promedio de ejecución de cada componente de la aplicación

Fuente: El autor.

De acuerdo con los datos de la tabla de la Figura 30, el tiempo de ejecución de la apli-
cación durante la práctica de señas estáticas es de aproximadamente 233, 7315 ms y
durante la práctica de las señas dinámicas es de 375,1995 ms, lo anterior sin tener en
cuenta el tiempo que el usuario tarda en ejecutar la seña ni el tiempo de arranque de la
aplicación que pueden variar entre diferentes personas y equipos respectivamente.

Como se observa, las etapas más críticas son las de búsqueda y validación de la mano,
con una duración de 188, 0412 ms y la clasificación de las señas dinámicas con una du-
ración de 186, 7470 ms; lo anterior puede ser optimizado empleando un clasificador más
robusto que se encargue de detectar y validar la mano en una sola operación, aunque
eso puede suponer un mayor costo computacional y optimizando la extracción del des-
criptor de las señas dinámicas. Sin embargo, con los valores obtenidos se garantiza que
el usuario puede obtener una respuesta casi inmediata durante el uso de los diferentes
componentes de la aplicación.

41
4.1. Resultados de encuestas

Para evaluar la aplicación desde la perspectiva de la experiencia de usuario, se selec-

cionaron diez voluntarios que utilizaron la aplicación y posteriormente respondieron la
encuesta del Apéndice C que permite conocer información principalmente los tiempos
de ejecución, la precisión de clasificación y el diseño de la interfaz desde la perspectiva
del usuario.

Cada pregunta de la encuesta tiene tres posibles respuestas categóricas: Malo, Regular
y Bueno; luego de obtener las respuestas de los usuarios se extrajo el porcentaje para
cada tipo respuesta por pregunta y se representó en una gráfica para analizar las dife-
rentes variables. En la Figura 31 se muestran los resultados obtenidos.

Figura 31: Resultados de las encuestas.

Fuente: El autor.

En cuanto al tiempo que toman los dos procesos más críticos en términos computaciona-
les, de la gráfica de la Figura 31 se observa que el 60 % de los encuestados consideran
que la aplicación tiene un buen tiempo de arranque mientras que el 40 % restante con-
sidera que tiene un tiempo de arranque regular; por otro lado, el 80 % considera que el
tiempo de reconocimiento es bueno mientras que el 20 % considera que es regular. De
los resultados anteriores se observa que un gran porcentaje de los encuestados conside-

42
ra que la aplicación tiene un buen tiempo de arranque y de reconocimiento de las señas;
es importante tener en cuenta que algunos voluntarios experimentaron el tiempo de car-
ga inicial de la aplicación que toma más tiempo en comparación con los demás inicios,
principalmente por el tiempo que tarda en cargar los modelos que deben ser leídos de
archivos de texto plano y cargados a la RAM al inicio de la aplicación.

En cuanto al diseño de la interfaz y la usabilidad de la aplicación, 90 % de los encuestados

consideran que la navegación buena mientras que el 10 % considera que es regular; 80 %
considera que la forma en que se presentan los ejemplos de las señas es buena y 20 %
que es regular; 10 % considera que el diseño de la aplicación (en términos gráficos) es
buena, 80 % que es regular y 10 % que es malo. De los resultados anteriores se observa
que la aplicación es intuitiva para los usuarios, los ejemplos son mostrados de forma
correcta pero debe ser mejorado el aspecto gráfico de la misma.

En cuanto a la precisión de clasificación, 40 % considera que la precisión de clasificación

de señas estáticas es buena, 50 % que es regular y 10 % que es mala; por otro lado,
80 % considera que la precisión de clasificación de señas dinámicas es buena y 20 % que
es regular. De los resultados anteriores se observa que las señas estáticas tienen más
tendencia a fallar frente a las señas dinámicas, debido principalmente a que el descriptor
empleado para las señas estáticas es dependiente de la iluminación, de manera que la
oscuridad y la sobre-exposición pueden alterar los resultados obtenidos.

Por último, 80 % de los encuestados considera que la cantidad de señas disponibles es

regular y el 20 % que es mala; y el 70 % considera que es una aplicación adecuada para
aprender de forma rápida y efectiva mientras que el 30 % considera que es regular. De los
resultados anteriores se observa que es recomendable ampliar la base de datos de las
señas disponibles con el fin de brindar un abanico de posibilidades mayor a los usuarios,
pero sin embargo la metodología para enseñarles es adecuada y les permite percibir la
aplicación como una buena plataforma de aprendizaje.

43
 5. CONCLUSIONES

Se desarrolló una aplicación para el apoyo de la enseñanza del Lenguaje de Señas

Colombiano, tanto para señas estáticas como para señas dinámicas, haciendo especial
énfasis en el análisis de los algoritmos de machine learning, las técnicas de análisis de
datos y las técnicas de análisis de imágenes mediante algoritmos de visión por compu-
tador, lo que permite que la aplicación sea fácilmente adaptable a otros lenguajes de
señas, siempre y cuando se cuente con un conjunto de datos de las señas de interés.
La aplicación desarrollada fue escrita en Python y hace uso de módulos optimizados con
Cython, lo que permite que pueda ser usada en tiempo real sin comprometer la experien-
cia de usuario y previniendo un alto impacto en el consumo de recursos computacionales.

En cuanto a la segmentación de la mano se evaluaron dos técnicas, una basada en

segmentación por color de piel y otra basada en segmentación de regiones mediante un
algoritmo de Region Growing; se observó que el algoritmo de segmentación basado en
el color de piel es altamente dependiente de la iluminación (aunque se empleó el espacio
de color YCrCb que permite prescindir de la iluminación y tener en cuenta únicamente las
componentes de crominancia) y deja pasar regiones que no corresponden con la mano,
lo que hace necesario introducir una sub-etapa de segmentación adicional; por otro lado,
el algoritmo de Region Growing tiene un rendimiento superior ya que permite segmentar
regiones locales y no es dependiente de la iluminación al trabajar sobre el mapa de
profundidad, por lo que se decidió emplear el algoritmo de Region Growing, que aunque
implica un mayor costo computacional (que se disminuye realizando la optimización del
código con Cython) ofrece mejores resultados.

Para el análisis de clasificación de las señas estáticas se analizaron los descriptores

HOG, U-LBP y Contour Signature junto con los clasificadores SVM, ANN, KNN y Naive
Bayes, obteniendo los más altos resultados de precisión con el descriptor HOG y la
mayor exactitud con el par HOG-SVM con un puntaje de 0, 9806 junto con un valor F1 -
Score promedio más alto igualmente con el par HOG-SVM de 0, 9798; por otro lado, para
las señas dinámicas, se desarrolló un descriptor basado en la trayectoria junto con los
clasificadores SVM, Random Forest, KNN y Naive Bayes, obteniendo la exactitud más

44
alta con el clasificador SVM con un puntaje de 0, 9400 junto con el valor de F1 -Score más
alto para el mismo clasificador con un puntaje de 0, 9390. De acuerdo con lo anterior,
para la clasificación de las señas estáticas se eligió el clasificador HOG junto con el
clasificador SVM y para las señas dinámicas se empleó el descriptor propuesto basado
en la trayectoria junto con el clasificador SVM.

Por último, de acuerdo con las encuestas realizadas a los voluntarios, se comprobó que
la aplicación tiene un tiempo de respuesta bastante bueno tanto en el arranque con un
60 % de aceptación como en el reconocimiento de las señas con un 80 % de aceptación, la
precisión de las señas dinámicas tiene muy buenos resultados con un 80 % de aceptación
pero para las señas estáticas se presentan fallas debido principalmente a los cambios
fuertes de iluminación, que la aplicación es intuitiva y fácil de manejar pero sin embargo
es importante mejorar el diseño gráfico y que la aplicación diseñada representa una
buena herramienta para el aprendizaje.

5.1. TRABAJO FUTURO

El rendimiento de la aplicación en términos de la efectividad de clasificación fue medido

con un conjunto de datos relativamente grande (3.600 muestras de señas estáticas y
1.800 muestras de señas dinámicas), aunque a nivel individual la cantidad de muestras
por cada seña puede aumentarse en tamaño y diversidad con el objetivo de mejorar el
rendimiento del sistema de clasificación en general; asimismo, con los algoritmos de ma-
chine learning convencionales se tiene un límite de rendimiento máximo dada su cons-
trucción, por lo que eventualmente el crecimiento del conjunto de datos podría generar
mejoras insignificantes en el sistema, de manera que podrían emplearse algoritmos más
complejos basados en el estado del arte de los algoritmos de aprendizaje automático
(Deep Learning), sacrificando el costo computacional.

En cuanto a los descriptores de las señas estáticas, es necesario tener en cuenta que
si bien el HOG demostró entregar mejores resultados con respecto a los demás descrip-
tores, no es invariante a la iluminación, por lo que en condiciones de iluminación preca-
rias puede generar la propagación de falsos positivos y falsos negativos en el sistema
y también que el sensor Microsoft Kinect no puede ser usado en exteriores puesto que

45
entornos con abundante luz natural pueden causar sobre-exposición de las imágenes
RGB y generar ruido en el mapa de profundidad; de modo que emplear un sensor más
robusto y proponer un descriptor basado únicamente en información tridimensional (co-
mo descriptores sobre la nube de puntos de la mano) podría mejorar considerablemente
el rendimiento de la aplicación en cualquier entorno, aunque igualmente se sacrificaría
costo computacional.

Finalmente, de acuerdo con la retroalimentación de los voluntarios, es recomendable

modificar la interfaz de usuario de la aplicación, haciéndola ver más moderna y adaptable
a diferentes resoluciones de pantalla.

46
Referencias

Abadi, M., Agarwal, A., Barham, P., Brevdo, E., Chen, Z., Citro, C., Corrado, G. S., Davis,
A., Dean, J., Devin, M., Ghemawat, S., Goodfellow, I., Harp, A., Irving, G., Isard, M., Jia,
Y., Jozefowicz, R., Kaiser, L., Kudlur, M., Levenberg, J., Mané, D., Monga, R., Moore,
S., Murray, D., Olah, C., Schuster, M., Shlens, J., Steiner, B., Sutskever, I., Talwar, K.,
Tucker, P., Vanhoucke, V., Vasudevan, V., Viégas, F., Vinyals, O., Warden, P., Watten-
berg, M., Wicke, M., Yu, Y., and Zheng, X. (2015). TensorFlow: Large-scale machine
learning on heterogeneous systems.

Behnel, S., Bradshaw, R., Citro, C., Dalcin, L., Seljebotn, D. S., and Smith, K. (2011).
Cython: The best of both worlds. Computing in Science and Engineering, 13(31–39).

Bradski, G. (2000). The opencv library. Dr. Dobb’s Journal of Software Tools.

Chana, C. and Jakkree, S. (2016). Hand gesture recognition for thai sign language in
complex background using fusion of depth and color video. University of Technology
Thanyaburi, Department of Electronics and Telecommunication Engineering.

Cruz, M. (2008). Gramática de la lengua de señas mexicana.

Cuenca, J. S. (2008). Reconocimiento de objetos por descriptores de forma. Universitat

de Barcelona, Facultat de Matemàtiques, Barcelona.

de la Escalera, A. (2001). Visión por Computador. Fundamentos y métodos. Prentice

Hall.

de la Escalera, A., Armingol, J. M., García, F., Gómez, D. M., and Al-Kaff, A. H. (2016).
Introducción a la visión por computador: desarrollo de aplicaciones con opencv.

Girod, B. (2013). Digital image processing.

Heikkilä, M., Pietikäinen, M., and Schmid, C. (2009). Description of interest regions with
local binary patterns. Pattern Recognition, 42(3):425 – 436.

Insor (2018). ¿qué es la lengua de señas?. Tomado de:

[Link]

47
Kadambi, A., Bhandari, A., and Raskar, R. (2014). 3d depth cameras in vision: Benefits
and limitations of the hardware.

Khamar, S., Ganesan, P., Kanlist, V., Sathish, B. S., and Merlin, J. (2015). Comparative
study of skin color detection and segmentation in hsv and ycbcr color space.

Londoño, R. S. (2015). Aplicativo para apoyar el proceso de aprendizaje del lenguaje de

señas hacia un oyente mediante microsoft kinect.

López P., A., Valveny, E., and Vanrell, M. (2015). Detección de objetos.

Meng, H., Furao, S., and Jinxi, Z. (2014). Hidden markov models based dynamic hand
gesture recognition with incremental learning method.

Molinero D., G. (2010). Segmentación de imágenes en color basada en el crecimiento

de regiones.

Muñoz P., J. (2009). Procesameinto de imágenes.

Oliphant, T. (2006). A guide to numpy.

Otto Traian, S. C. (2014). Human-machine interface, tomado de:

[Link]

Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., Blondel,
M., Prettenhofer, P., Weiss, R., Dubourg, V., Vanderplas, J., Passos, A., Cournapeau,
D., Brucher, M., Perrot, M., and Duchesnay, E. (2011). Scikit-learn: Machine learning
in python. Journal of Machine Learning Research, 12:2825–2830.

PÉREZ, F. P. (2012). Reconocimiento de imágenes del lenguaje de señas mexicano.

INSTITUTO POLITÉCNICO NACIONAL, CENTRO DE INVESTIGACIÓN EN COMPU-
TACIÓN.

Pietikäinen, M., Hadid, A., Zhao, G., and Ahonen, T. (2011). Computer Vision Using Local
Binary Patterns. Springer Science and Business Media.

Plaza, J. A. (2015). Intérprete de lenguaje de signos para la comunicación de perso-

nas con discapacidad auditiva empleando el procesamiento de imágenes. Revista de
investigación - Universidad del Quindío.

48
POUDEL, R. P. (2014). 3d hand tracking. Bournemouth University.

Puneet Kumar, J. and Seba, S. (2013). An adaptative single seed based region growing
algorithm for color image segmentation.

RIVERA, S. C., ÁLVAREZ, D. J., and RODRIGUEZ, R. J. (2013). Identificación de la

punta de los dedos de la mano en un plano 2d basado en kinect.

Rodríguez, C. P., Pineda, J. A., and Sánchez, D. F. (2013). Software que captura, por
medio de kinect, los datos de las señas manuales y los traduce a texto.

Sánchez, R. A. and Hurtado, J. I. (2015). Sistema intérprete del lengaje de señas colom-
biano (lsc) usando el sensor kinect.

Tovar, L. A. (2015). La importancia del estudio de las lenguas de señas.

Vargas, L., Barba, L., and Mattos, L. (2010). Sistema de identificación de lenguaje de
señas usando redes neuronales artificiales.

Vogler, C. and Metaxas, D. (2001). A framework for recognizing the simultaneous aspects
of american sign language. University of Pennsylvania, Department of Computer and
Information Science.

Wobbrock, J. O., Wilson, A. D., and Li, Y. (2007). Gestures without libraries, toolkits or
training: A $1 recognizer for user interface prototypes.

Yamashita, T. and Watasue, T. (2014). Hand posture recognition based on bottom-up

structured deep convolutional neural network with curriculum learning.

49
 APÉNDICES

A. Matrices de confusión de señas estáticas

(a) HOG (b) U-LBP

(c) SIGNATURE

Figura 32: Matrices de confusión para el clasificador de Naive bayes.

(a) HOG (b) U-LBP

(c) SIGNATURE

Figura 33: Matrices de confusión para el clasificador de SVM.

50
 (a) HOG (b) U-LBP

(c) SIGNATURE

Figura 34: Matrices de confusión para el clasificador de ANN.

(a) HOG (b) U-LBP

(c) SIGNATURE

Figura 35: Matrices de confusión para el clasificador de KNN.

51
B. Matrices de confusión de señas dinámicas

Figura 36: Matriz de confusión para el clasificador de Naive bayes.

Figura 37: Matriz de confusión para el clasificador de KNN.

Figura 38: Matriz de confusión para el clasificador de Random Forest.

Figura 39: Matriz de confusión para el clasificador de SVM.

52
C. Formato de encuesta

Encuesta de experiencia con la aplicación

A continuación encontrará una encuesta de nueve (9) preguntas que resumen su experiencia con la aplicación en
terminos de efectividad y velocidad de la aplicación desarrollada.
Cada pregunta cuenta con tres posibles respuestas: Malo, Regular y Bueno. Por favor responda las preguntas de
acuerdo con su experiencia con el uso de la aplicación

Puntaje
No. Pregunta
Malo Regular Bueno
Cómo considera el tiempo de arranque de la aplicación
1

Cómo considera los tiempos de reconocimiento de las

2
señas
Considera que la interfáz de usuario es facil de usar y de
3
navegar
Cómo considera que es la precisión de reconocimiento
4
de señas estáticas
Cómo considera que es la precisión de reconocimiento
5
de señas dinámicas
Cómo considera la forma en que se presentan los
6
ejemplos para señas estáticas y dinámicas
Cómo considera el diseño de la interfaz de usuario
7

Cómo considera la cantidad de señas disponibles

8

Considera que el aplicativo permite aprender de forma

9
rápida y efectiva

53