La subdirectora del Instituto Universitario de Investigación Informática, Esther MartÃnez, y el estudiante de doctorado en la UA Francisco Morillas, diseñadores de la primera aplicación capaz de reconocer e interpretar en tiempo real el alfabeto de la lengua de Signos Española, un avance que contribuye a romper las barreras comunicativas entre sordos y oyentes en situaciones tan cotidianas como irGarantizar el derecho a la inclusión es vital en todos los colectivos de la sociedad, al igual que la capacidad para entender y que nos entiendan, con independencia de tener o no una discapacidad.
La robótica asistencial se está convirtiendo en un soporte con un amplio potencial para ayudar a las personas sordas a poder desenvolverse en los retos de la comunicación.
Un avance en ese terreno lo constituye, ahora, la primera aplicación capaz de reconocer e interpretar en tiempo real el alfabeto de la Lengua de Signos Española, diseñada recientemente, sin subvención pública alguna, por dos investigadores del Grupo de Robótica y Visión Tridimensional (RoViT) de la Universidad de Alicante (UA).
La profesora Ester MartÃnez y el estudiante de doctorado Francisco Morillas se enfrascaron en esta iniciativa sin conocer, en un principio, la Lengua de Signos y han logrado materializar una aplicación que, según fuentes de la UA, contribuye a romper las barreras comunicativas entre sordos y oyentes en situaciones tan cotidianas como ir a la consulta médica o comer en un restaurante.
Gracias al uso de diferentes técnicas de visión por computador y de aprendizaje profundo (deep learning), Ester MartÃnez, que trabaja en robótica asistencial, y Francisco Morillas han desarrollado esta herramienta de bajo coste, bautizada con el nombre 'Sign4all', con el fin de poder ofrecer asistencia a las personas sordas cuando no puedan ir acompañadas de un intérprete.
En declaraciones a EFE, MartÃnez ha explicado que este proyecto se inició hace dos años, coincidiendo con el trabajo de fin de grado de Francisco Morillas, que ahora está haciendo el doctorado, y surgió después de que en 2018 diseñaran una aplicación para monitorizar y realizar ejercicio fÃsico con gente mayor y una interfaz para que estas personas pudieran interactuar con la misma.
Desarrollando esa interfaz se preguntaron "qué pasa si la persona a la que está intentando monitorizar el robot tiene algún tipo de discapacidad visual o auditiva", ha revelado MartÃnez.
Fuentes de la UA han detallado cómo funciona esta herramienta: 'Sign4all', tras capturar a la persona y extraer el detalle del esqueleto de los brazos y manos, codifica con color azul la parte izquierda del cuerpo y en rojo la parte derecha, manteniendo en todo momento el anonimato del usuario.
A partir de este momento, la aplicación posee un cualidad bidireccional, que la convierte en innovadora a nivel internacional, ya que traduce el signo realizado por la persona sorda en tiempo real y, en sentido opuesto, es capaz de signar, mediante un avatar virtual, palabras en español tecleadas por la persona oyente.
"La idea es que todo este proceso se pueda hacer descargando una aplicación con la propia cámara del móvil o una tablet para que pueda emplearse en cualquier lugar y de manera sencilla", ha detallado MartÃnez, quien ha explicado que, después de muchas pruebas, 'Sign4all' logra interpretar y reconocer el alfabeto de la Lengua de Signos Española (LSE) con una precisión del 80 %.
Aunque este resultado se corresponde con el alfabeto dactilológico (cada signo representa una letra), "estamos trabajando en una versión con un vocabulario especÃfico perteneciente al campo de las tareas cotidianas donde interpretar frases completas", ha anunciado.
El equipo de trabajo de la UA lleva meses "entrenando" este nuevo sistema introduciendo cada vez más signos. En este sentido, se ha sellado una colaboración con el Grupo de Investigación de Lengua Española y Lenguas Signadas (GRILES) de la Universidad de Vigo con amplia experiencia en el estudio de esta lengua y su uso en diferentes territorios.
La aplicación que han creado para los sordos permite por ahora reconocer el alfabeto de la lengua de signos y signarlo, pero los dos investigadores de la UA disponen ya de un nuevo corpus de datos de vocabulario de alimentación y añadirán, con unas pruebas que están haciendo sus colegas de la Universidad de Vigo, expresiones de interacción social.
"En estos momentos, lo único que está finalizado y completado es lo concerniente al abecedario, aunque estamos intentando ampliarlo para que realmente la aplicación sea útil y llegue a la mayor cantidad de gente posible", ha dicho MartÃnez.
Hasta la fecha, este proyecto no ha recibido ninguna subvención pública, salvo la concesión de una beca de investigación para que Francisco Morillas haga el doctorado en esta lÃnea.
