PROTOTIPO GUANTE TRANSDUCTOR DE SEÑAS A VOZ:
IMPLEMENTACIÓN DEL PROCESAMIENTO DIGITAL DE SEÑALES
PARA LA MEJORA DE LA COMUNICACIÓN DE PERSONAS CON
DISCAPACIDAD AUDITIVA EN LA UNIVERSIDAD DEL MAGDALENA.
Autores:
Ana Karina Andrade
Jhon Hernández
Jesús Meriño
María Pinzón
Ramón Calderón
SANTA MARTA
UNIVERSIDAD DEL MAGDALENA
FACULTAD DE INGENIERÍA
PROGRAMA DE INGENIERÍA ELECTRÓNICA
TEORIA Y FILOSOFÍA DEL CONOCIMIENTO
2019
GUANTE TRANSDUCTOR DE SEÑAS A VOZ: IMPLEMENTACIÓN DEL
PROCESAMIENTO DIGITAL DE SEÑALES PARA LA MEJORA DE LA
COMUNICACIÓN DE PERSONAS CON DISCAPACIDAD AUDITIVA EN
LA UNIVERSIDAD DEL MAGDALENA.
Autores:
Ana Karina Andrade
Jhon Hernández
Jesús Meriño
María Pinzón
Ramón Calderón
PROPUESTA DE INVESTIGACIÓN
PROFESOR:
Eimar Alfonso Pérez Bolaños
SANTA MARTA
UNIVERSIDAD DEL MAGDALENA
FACULTAD DE INGENIERÍA
PROGRAMA DE INGENIERÍA ELECTRÓNICA
2019
2
CONTENIDO
INTRODUCCIÓN........................................................................................................4
PLANTEAMIENTO DEL PROBLEMA....................................................................5
JUSTIFICACIÓN.........................................................................................................6
OBJETIVOS..................................................................................................................7
OBJETIVO GENERAL.....................................................................................................7
OBJETIVOS ESPECÍFICOS...............................................................................................7
MARCO TEÓRICO.....................................................................................................8
DISCAPACIDAD...........................................................................................................13
DISCAPACIDAD AUDITIVA..........................................................................................13
LENGUAJE DE SEÑAS..................................................................................................14
PARÁMETROS FORMACIONALES DEL LENGUAJE DE SEÑAS........................................14
¿COMO FUNCIONARAN LOS GUANTES?...................................................................................15
IMAGEN PROTPTIPO DE LOS GUANTES TRASDUCTOR DE SEÑAS A VOZ……………………………….15
METODOLOGÍA.......................................................................................................16
MODALIDAD DE LA INVESTIGACIÓN..........................................................................16
INVESTIGACIÓN APLICADA.........................................................................................16
INVESTIGACIÓN BIBLIOGRÁFICA................................................................................16
INVESTIGACIÓN DE CAMPO........................................................................................17
POBLACIÓN Y MUESTRA.............................................................................................17
RECOLECCIÓN DE INFORMACIÓN...............................................................................17
PROCESAMIENTO Y ANÁLISIS DE DATOS....................................................................17
DESARROLLO DEL PROYECTO....................................................................................18
BIBLIOGRAFÍA.........................................................................................................19
3
INTRODUCCIÓN
Sin lugar a duda, la comunicación representa una de las capacidades más
importantes en los seres humanos, esta se realiza a través del lenguaje, el cual
permite comunicar pensamientos, sentimientos, ideas, compartir información e
incluso, este posibilita el aprendizaje.
En el mundo hay millones de personas que poseen alguna o varias discapacidades a
nivel comunicativo, refiriéndonos a personas con discapacidad visual, auditiva o en
función en la acción vocal. La interacción de estas personas con los demás se ve
restringida por su discapacidad, sin embargo, existen múltiples posibilidades de
comunicación y aprendizaje, como lo es la lengua de señas, el sistema braille, entre
otros.
Debido a lo anterior este grupo de investigación se puso como objetivo
diseñar un dispositivo mediante el cual las personas con discapacidad auditiva
pudieran comunicarse con más facilidad con el resto de la sociedad, por lo cual
decidimos diseñar e implementar un guante prototipo mediante los avances de la
electrónica en el campo de diseños de sistemas digitales , para implementar
soluciones a discapacidades físicas, y con ello, la inteligencia artificial, ,en este
caso, el reconocimiento de símbolos, en otras palabras, la implementación de
maching learning por medio de un lenguaje de programación que puede hacer
posible el reconocimiento de patrones para una mejor y por qué no una nueva
forma de comunicación.
PLANTEAMIENTO DEL PROBLEMA
4
¿Cómo a través del diseño de un prototipo de guantes transductores de señas
a voz en tiempo real se puede mejorar la calidad de vida de personas en
condición de discapacidad auditiva?
Decidimos darle inicio a la construcción de este prototipo porque inicialmente
Detectamos un problema que existía en la sociedad, lo cual son las barreras de
comunicación que se presentan a diario para las personas con discapacidad auditiva
, pues, aunque la lengua de señas es solo otra forma de comunicación , no es
conocida generalmente por la comunidad de oyentes asimismo, esto le presenta a
una persona con discapacidad auditiva muchos problemas a la hora de ejercer
cualquier actividad trivial como lo es ir a clases o presentarse a una entrevista de
trabajo.
mediante esta investigación identificamos a la población sorda que hacía parte de
la comunidad de la universidad del magdalena pues, estos serán nuestro foco en
este proyecto, actualmente en nuestra alma mater tiene 14 estudiantes sordos. 8
egresados con esta discapacidad, de los cuales 3 trabajan en la universidad y
aunque pueden ser considerados un porcentaje pequeño en comparación a la
totalidad de estudiantes que la institución posee, no por esto debemos ignorar las
dificultades que esta comunidad afronta, pues la realidad es que en el día a día,
cuando estos individuos pretendan entablar alguna comunicación importante con
una persona que desconozca la lengua de señas van a necesitar de un traductor, que
no es siempre algo accesible, por lo cual pretendemos independizarlos de este
factor para facilitar su comunicación con el resto del mundo.
En conclusión, lo que aspiramos a cumplir son desarrollos para renovar,
modernizar y simplificar la comunicación de las personas con discapacidad
auditiva, con la finalidad de mejorar la calidad de vida de esta comunidad.
5
JUSTIFICACIÓN
El problema es cómo podemos mejorar la calidad de vida de la comunidad de
personas con discapacidad auditiva de la universidad del Magdalena. El objetivo
general es entonces diseñar un prototipo de unos guantes transductores de señas a
voz en tiempo real que facilite la comunicación de dicha población. Para lo cual, se
utilizará la implementación de diseños de sistemas digitales e inteligencia artificial,
enfocada en el reconocimiento de símbolos, en otras palabras, la implementación
de maching learning para interpretar su modo de comunicarse y retransmitir lo al
lenguaje cotidiano.
En efecto Los guantes transductores serán una excelente opción para la
comunicación entre sordos y personas oyentes debido a la comodidad y practicidad
que ofrece. En un contexto realista y cotidiano, pues solucionaremos el hecho de
tener que depender de un traductor, lo cual simplificara su desenvoltura en varios
aspectos de su vida. También, al ser un dispositivo portable, las personas con
discapacidad auditiva encontrarán facilidad en incorporarlo en su día a día, es otra
prenda de ropa común y corriente, pero con una poderosa función.
OBJETIVOS
6
Objetivo general
Diseñar un prototipo de guantes transductores de señas a voz en tiempo real
a partir de la implementación de diseños de sistemas digitales para el
desarrollo de la comunicación de personas sordas pertenecientes a la
comunidad de la universidad del magdalena.
Objetivos específicos.
● Componer las bases lógicas del dispositivo.
● Identificar el lenguaje de señas y traducirlo al español cotidiano.
● Identificar el español cotidiano y traducirlo a la lengua de señas.
● Interpretar el lenguaje de señas por medio de sistemas digitales.
MARCO TEÓRICO
7
En función de la electrónica digital, se entiende por inteligencia artificial como “ el
campo científico de la informática que se centra en la creación de programas y
mecanismos que pueden mostrar comportamientos considerados inteligentes.(
Jerry Kaplan, 2017,P.22), es decir, diseñar sistemas que sean capaces de razonar
como el ser humano, entonces dicha disciplina se convierte en la herramienta
fundamental para diseñar dispositivos electrónicos capaces de reconocer,
manipular y vitalizar imágenes a través de un sistema informático, que es tal cual
lo que se pretende hacer en este proyecto de investigación.
De acuerdo a lo especificado anteriormente y con el fin de cumplir
objetivos propuestos en este trabajo debemos analizar los métodos, técnicas y
tecnologías que harán posible el diseño y construcción de nuestro guante
prototipo (lector autónomo de señas), el cual estamos buscamos que capture el
movimiento de los dedos de la mano de una persona sorda para luego traducir
su lenguaje de señas al alfabético, con su respectiva interpretación auditiva,
para ello se necesitara principalmente la implementación de sensores que sean
capaces de detectar dichos movimientos y responder en consecuencia ,sin
embargo existen diferentes tipos, por lo cual debemos analizar cuál de ellos
cumple con las características que satisfagan la problemática sobre la cual se
basa este trabajo, entonces de acuerdo a todo lo que hemos venido hablando
necesitamos un señor que se active con la flexión de los dedos.
En tal caso precisamos de un sensor flexible, el cual está definido como
“sensores piezoeléctricos” que tienen la particularidad de al ser flexionados
generar un cambio en la resistencia eléctrica entre sus terminales. Son
transductores pasivos, es decir necesitan alguna excitación o polarización para
poder convertir un tipo de energía en otra. En un lado del sensor se imprime
8
con una tinta de polímero que tiene partículas conductoras embebidas en él.
Cuando el sensor esta recto, las partículas de la tinta dan una resistencia de
aproximadamente 10 KΩ. Cuando el sensor este doblado lejos de la tinta, las
partículas conductoras se encuentran más separadas, aumentando la resistencia
(a alrededor de 40 KΩ ohmios cuando el sensor está doblado a 90 °).
Cuando el sensor se endereza de nuevo, la resistencia vuelve al valor original.
Mediante la medición de la resistencia, se puede determinar hasta qué punto el
sensor está siendo sometido. Este sensor cambia su resistencia dependiendo de
la cantidad de curva que experimenta. Como se dijo anteriormente su variación
en curvatura es convertida a resistencia eléctrica, cuanto más es la curva, más
es el valor de la resistencia, a continuación, se aprecia las dimensiones de este
tipo de sensor.
Es importante detallar que la variación de la resistencia de este sensor es en un
solo sentido. En la actualidad estos sensores se los encuentra en longitudes de
2.2” y 4.5” (pulgadas), ambos tienen las mismas características, solo varía en
sus distancias longitudinales.”. (sensores “s.f”)
Además de sus características de diseño este tipo sensor cuenta con ciertas
ventajas que lo hacen óptimo para la implementación en nuestro proyecto, las
cuales detallare a continuación:
9
● Flexibilidad, estos sensores son sumamente flexibles, por lo que en el
momento de mover la mano con el guante colocado, no se tendrá
ninguna dificultad en el movimiento de los dedos.
● Precio del sensor, sensores con precios bastante accesibles más aun al
comprarlos al por mayor e importarlos del extranjero (como se hizo para
esta tesis).
● Rango de voltajes, en vista de que se va a trabajar con una comunicación
USB (5V) el sensor flexible está apto para desempeñarse en un rango de
voltajes entre 5V – 12V, con esto se evita la realización de fuentes
externas para alimentación de los sensores, por tanto, con el voltaje que
se obtiene de la salida del puerto USB del computador se logra alimentar
todo el circuito incluyendo los sensores.
● Usos, la mayor utilidad que se le da a este sensor es en los guantes para
detectar el movimiento del dedo, para controlar automóviles, equipos de
gimnasio, aparatos de medición, tecnología de asistencia, entre otros.
De acuerdo con todas las características (técnicas y físicas) encontradas en este
sensor, las mismas que satisfacen muchos de los intereses solicitados, se
convierte en elemento clave para continuar con el desarrollo de esta tesis de
manera positiva.
Así también se aprecia la construcción completa de la tarjeta de adquisición de
datos, pues El guante también utiliza un Arduino, una placa que funciona como
10
intermediario para facilitar la obtención de los datos de los sensores mediante
comunicación serial. Dicha pieza va conectada al computador, el cual debe usar el
programa informático Matlab, así mismo para la tarea de la traducción se emplean
audios incorporados a dicho sistema.
De igual forma la problemática señalada en este proyecto de investigación está
centrada en la comunidad de personas con discapacidad auditiva, por lo cual
para diseñar un guante que traduzca su forma de comunicarse necesitamos
entenderla, debido a lo anterior procederemos a conceptualizar palabras claves
en este trabajo:
Discapacidad
"La discapacidad es un concepto que evoluciona y que resulta de la
interacción entre las personas con deficiencias y las barreras debidas a la actitud y
al entorno que evitan su participación plena y efectiva en la sociedad, en igualdad
de condiciones con las demás". ~(Convención de la ONU, 2016)
Discapacidad auditiva
La discapacidad auditiva se refiere a la falta o disminución en la capacidad para oír
debido a un problema en algún lugar del aparato auditivo. La pérdida de la
audición puede fluctuar desde la más superficial hasta la más profunda, a la cual
comúnmente se le llama sordera, cuya severidad, no permite a la persona percibir
los sonidos y el lenguaje hablado, incluso usando audífonos. (OMS,2011)
La pérdida de audición representa dificultad para percibir los sonidos del
ambiente, el lenguaje oral y las barreras presentes en el contexto en el que la
persona se desenvuelve. Respecto de las barreras, estas son de distinto tipo, entre
las más frecuentes se pueden encontrar:
11
- La cercanía o distancia de las fuentes auditivas: si los sonidos son débiles o
distantes, se presenta dificultad para su discriminación. (OMS,2011)
- La interferencia de sonidos de distinto tipo: cuando los lugares presentan mucho
ruido ambiental se tiene dificultad para captar los mensajes. (OMS,2011)
- Las dificultades asociadas al lenguaje oral o escrito: si una persona posee una
pérdida auditiva severa o profunda y sólo se usa el lenguaje oral como forma de
comunicación y/o no se la mira al hablar se dificulta la comprensión de lo que
ocurre en el contexto. (OMS,2011)
Lenguaje de señas
El lenguaje de señas es una lengua natural que se basa en expresiones gesto-
espaciales, movimientos corporales y de percepción visual mediante la cual las
personas con discapacidad auditiva o de lenguaje pueden establecer un canal
de comunicación y de esta forma logran relacionarse con su entorno. Al igual
que los demás sistemas de lenguaje, el de señas tiene códigos propios y
variaciones dependiendo de los alfabetos o sistemas de escritura de cada país o
comunidad. El lenguaje de señas tiene una estructura propia conformada por
seis parámetros como son: configuración, localización, movimiento,
orientación, dirección y expresión facial. Mediante estos parámetros una
persona se puede comunicar fácilmente, siempre y cuando se empleen
correctamente”. (“INSOR”,2006)
Parámetros del lenguaje de señas
Al igual que en el lenguaje oral en donde existen los fonemas que permiten
formar las palabras, en el lenguaje de señas los queiremas son las diferentes
partes que forman un signo, es decir, los parámetros formacionales. En la
12
estructura del signo gestual distinguimos seis parámetros articulatorios:
1. Forma o configuración de la mano (Queirema): mano abierta, cerrada, con
los dedos replegados o no; índice o pulgar levantados, etc. (“INSOR”,2006)
2. Lugar de articulación (Toponema): ante el cuerpo o espacio neutro, ante la
frente, las cejas, los labios, etc. (“INSOR”,2006)
3. Movimiento de la mano (Kinema): recto, circular, en arco, quebrado, etc.,
con sus componentes quinestésicos: movimiento simple o repetido, rotación
del puño o del antebrazo, etc. (“INSOR”,2006)
4. Dirección del movimiento de la mano (Kineprosema): Se aprecian 6
direcciones principales del movimiento: hacia arriba, hacia abajo, hacia la
derecha, hacia la izquierda. (“INSOR”,2006)
5. Orientación de la mano (Queirotropema): Orientación de la palma de la
mano. Independientemente de qué configuración adquiera la mano, la palma
siempre señalará una dirección u otra. (“INSOR”,2006)
6. Expresión de la cara (Prosoponema): Son todos los componentes que
acompañan al signo y en los que no se utilizan las manos, es decir los
movimientos del cuerpo, de la boca, etc. Por ejemplo, la expresión facial nos
ayuda a saber si nos quieren hacer una pregunta o es una afirmación. Esta parte
es muy importante pues si se cambia el prosoponema de un signo, se puede
interpretar otro totalmente diferente. Mediante la combinación de estos
parámetros surgen todos los signos que componen el lenguaje de señas, los
cuales permiten a las personas con discapacidad auditiva o de lenguaje
establecer un canal de comunicación para el intercambio de información.
(“INSOR”,2006)
13
¿COMO FUNCIONARAN LOS GUANTES?
El dispositivo se sirve de dos elementos: Los guantes cuyo diseño consistirá en 14
sensores flexibles incrustados en cada uno, compuesto por leds, cables, detector de
luz y un acelerómetro , de esta forma la cantidad de luz que llegue al sensor se usas
para medir la deformación a la que son sometidos por cada dedo, cuando más se
doble esta extremidad, más se reducirá el flujo de luz que llega al sensor, mientras
que el acelerómetro mide la posición de la mano, estas fuentes de datos están
enlazadas a un procesador integrado que determina la figura completa que forma la
mano, mediante un circuito que permite digitalizar las señales de estos sensores por
medio de una tarjeta de adquisición de datos, para después atreves de una
aplicación encargada de adecuar y visualizar la información, que cabe resaltar será
de uso exclusivo para el hablante, sea capaz de representar un modelo formado por
una estructura de eslabones que simulen la anatomía de la mano para traducir a
señas la voz y esta será representada en la pequeña pantalla del celular, de esta
forma el individuo sordo podría saber lo que la persona oyente le esté diciendo,
también funciono en sentido contrario, es decir el software será capaz de detectar
la lengua de signos y lo reproducirá en voz en tiempo real, todo esto mediante la
aplicación, para que el oyente pueda entender lo que la persona con discapacidad
auditiva le esté diciendo,
IMAGEN PROTOTIPO DE LOS GUANTES TRASDUCTORES DE SEÑAS
A VOZ.
14
METODOLOGÍA
Modalidad de la investigación
Debido a que el presente estudio se enfocó en el desarrollo de un sistema
electrónico para asistencia de personas con discapacidad auditiva y de
lenguaje, el Proyecto es de Investigación Aplicada y las modalidades
empleadas son:
Investigación aplicada
La investigación se desarrolló en gran parte mediante pruebas del sistema,
obteniendo diferentes datos y parámetros del funcionamiento lo que permitió
implementar el guante electrónico para traducir de lenguaje de señas a
caracteres con voz artificial y conexión inalámbrica a dispositivos móviles para
personas con discapacidad auditiva y de lenguaje en la Universidad Técnica de
Ambato.
Investigación bibliográfica
Esta modalidad fue una herramienta esencial en el proceso de investigación
pues permitió conocer, ampliar y profundizar conceptos y criterios de
diferentes autores acerca del tema de investigación, por lo cual se consultó
información referente al proyecto en repositorios, libros, documentos, paper’s
y publicaciones nacionales e internacionales con el objetivo de obtener datos
técnicos, conceptos, características y tecnologías que permitieron el desarrollo
de la investigación.
Investigación de campo
15
Esta modalidad permitió obtener información real acerca de la situación de las
personas con discapacidad auditiva en la Universidad del magdalena, por lo
que se recopilaron datos acerca del número de discapacitados, su
desenvolvimiento con el entorno y sus necesidades en el requerimiento de un
sistema de traducción de lenguaje de señas.
Población y muestra
Por las características de la investigación no se requiere población y muestra,
debido a que el proyecto es netamente investigativo.
Recolección de información
La recolección de información fue un factor clave en el desarrollo de la
investigación debido a que de esto depende la veracidad del proyecto. La
obtención de información requerida para la implementación del sistema se la
realizó a través de libros, paper’s, tesis de grado y páginas web, con el objetivo
de garantizar la legitimidad de los resultados.
Procesamiento y análisis de datos
Una vez obtenidos los datos basados en la investigación en libros e internet se
procedió al análisis de los mismos, con el fin de obtener una idea más clara del
estado en el que se encuentra el tema de investigación. Para el análisis se puso
énfasis en los datos recopilados más importantes los cuales aportaron
considerablemente al desarrollo del proyecto.
Una vez interpretados, se procedió a diseñar el guante electrónico para traducir
de lenguaje de señas a caracteres con voz artificial y conexión inalámbrica a
16
dispositivos móviles para personas con discapacidad auditiva y de lenguaje en
la Universidad del magdalena.
Desarrollo del proyecto
El proyecto se desarrolló acorde a las siguientes actividades:
1. Recopilación de información acerca del lenguaje de señas y los métodos
para su traducción.
2. Análisis de los sistemas electrónicos para asistencia de personas con
discapacidad auditiva
3. Estudio de las alternativas de hardware libre para el desarrollo del guante
electrónico.
4. Análisis del funcionamiento de sensores flexibles.
5. Desarrollo del prototipo
6. Interpretación del lenguaje de señas mediante el guante electrónico
7. Adquisición de cada una de las señales provenientes del guante electrónico.
8. Desarrollo de la programación para el procesamiento de las señales y su
traducción a caracteres y voz artificial.
9. Desarrollo de la aplicación para dispositivos móviles.
10. Pruebas de funcionamiento y obtención de parámetros del sistema
11. Elaboración del reporte con los datos obtenidos
12. Análisis de resultados y redacción de conclusiones
13. Elaboración del informe final
BIBLIOGRAFÍA
17
Kaplan, j.s (2017) inteligencia artificial: todo lo que necesitas saber. Madrid,
España: TEEL
Organizaciones de las naciones unidas (2016). Convención sobre los derechos de
las personas con discapacidad. Recuperado de https://www.un.org/
Sensores (s.f) recuperado de http://www.isa.cie.uva.es/
Organización mundial de la salud (2011). Informe mundial sobre la discapacidad.
Recuperado de https://www.minsalud.gov.co/
Institución nacional para sordos (2006). Diccionario básico de la lengua de señas
colombiano. Recuperado de https://www.ucn.edu.co/
Ballesta, j.l (2015) DISEÑO E IMPLEMENTACIÓN DE SISTEMA DE INTERPRETACIÓN Y
TRADUCCIÓN DE GESTOS ASOCIADOS A PREGUNTAS, NECESIDADES Y SALUDOS
BÁSICOS DEL LENGUAJE DE SEÑAS COLOMBIANO. (tesis de pregrado). universidad de
córdoba, montería Colombia.
18
19
.
20
