Interpretar el lenguaje de signos
Publicado por
Allan Ramirez
La lengua de signos española se compone de cientos de signos. Ahora, los investigadores Sergio Escalera, Radeva Petia y Vitria Jordi, de la CVC-UAB, seleccionaron más de veinte de estos signos para desarrollar un nuevo sistema de interpretación visual que permite a las personas sordas llevar a cabo consultas en el lenguaje que utilizan habitualmente.
Los signos pueden variar ligeramente en función de cada usuario. Los investigadores del proyecto tuvieron esto en cuenta durante los ensayos, realizándolos con diferentes personas para ayudar al sistema a "familiarizarse" con esta variabilidad. Los signos reconocidos por el sistema se programaron para que las personas sordas pudieran mantener una conversación básica, incluyendo el pedir ayuda o instrucciones.
El hardware incluye una cámara de video que registra las secuencias de imágenes cuando detecta la presencia de un usuario que desea realizar una consulta. Un sistema de aprendizaje automático y visión por ordenador detecta los movimientos de la cara, las manos y los brazos, así como cualquier desplazamiento de pantalla y los incorpora a un sistema de clasificación que identifica cada movimiento con la palabra asociada con el signo.
Uno de los aspectos que vale la pena destacar es la capacidad para adaptar el sistema a cualquier otro lenguaje de signos, dado que la metodología utilizada es de carácter general. Bastaría con reprogramar el sistema con los signos utilizados en ese idioma específico. La cantidad de signos que el sistema puede reconocer también es escalable, aunque los investigadores admiten que los nuevos datos incrementarán las dificultades para diferenciarlos.
El sistema se presentó, recientemente, como prototipo de la fase final de un proyecto europeo y los investigadores ya están trabajando en nuevas fases del proyecto, como el uso de dos cámaras con el objetivo de reconocer signos aún más complejos y complementar la información con las características faciales.
Los signos pueden variar ligeramente en función de cada usuario. Los investigadores del proyecto tuvieron esto en cuenta durante los ensayos, realizándolos con diferentes personas para ayudar al sistema a "familiarizarse" con esta variabilidad. Los signos reconocidos por el sistema se programaron para que las personas sordas pudieran mantener una conversación básica, incluyendo el pedir ayuda o instrucciones.
El hardware incluye una cámara de video que registra las secuencias de imágenes cuando detecta la presencia de un usuario que desea realizar una consulta. Un sistema de aprendizaje automático y visión por ordenador detecta los movimientos de la cara, las manos y los brazos, así como cualquier desplazamiento de pantalla y los incorpora a un sistema de clasificación que identifica cada movimiento con la palabra asociada con el signo.
Uno de los aspectos que vale la pena destacar es la capacidad para adaptar el sistema a cualquier otro lenguaje de signos, dado que la metodología utilizada es de carácter general. Bastaría con reprogramar el sistema con los signos utilizados en ese idioma específico. La cantidad de signos que el sistema puede reconocer también es escalable, aunque los investigadores admiten que los nuevos datos incrementarán las dificultades para diferenciarlos.
El sistema se presentó, recientemente, como prototipo de la fase final de un proyecto europeo y los investigadores ya están trabajando en nuevas fases del proyecto, como el uso de dos cámaras con el objetivo de reconocer signos aún más complejos y complementar la información con las características faciales.
Suscribirse a:
Enviar comentarios (Atom)
Publicar un comentario