Tutor 1
Rodríguez Garavito, César Hernán
Resumen
El reconocimiento de gestos con las manos es un área de investigación que ha capturado la atención de muchos investigadores para el desarrollo de aplicaciones de interacción Humano-Máquina (HCI, por sus siglas en inglés), entre las que se pueden encontrar realidad virtual, realidad aumentada, juegos, aplicaciones educativas, entre otras. En el presente proyecto de investigación se desarrolló un sistema para el apoyo de la enseñanza del lenguaje de señas a través de una aplicación HCI que emplea visión por computador; el sistema propuesto le indica al usuario a través de una imagen o un videoclip, qué seña debe ejecutar y de qué manera debe hacerlo, posteriormente le permite ejecutar la seña mientras la captura con un dispositivo Microsoft Kinect para luego, haciendo uso de procesamiento de imágenes digitales y algoritmos de inteligencia artificial, determinar si el usuario ha ejecutado la seña de manera correcta. La aplicación desarrollada es capaz de clasificar un conjunto de siete señas estáticas, con un total de 3.600 muestras y cuatro señas dinámicas, con un total de 1.800 muestras; para el análisis de las señas estáticas se tuvieron en cuenta tres descriptores: HOG, U-LBP y Firma del contorno, junto con cuatro clasificadores: Naive Bayes, SVM, ANN y KNN, obteniendo que el mejor descriptor es HOG, con una precisión promedio de clasificación de 0, 9795 con el clasificador SVM y asimismo que el mejor clasificador es SVM con una exactitud de clasificación de 0, 9800 y un resultado de F1-Score de 0, 9798 junto con el descriptor HOG. Por otro lado, para las señas dinámicas se tuvo en cuenta un descriptor basado en la trayectoria junto con cuatro clasificadores: Random Forest, SVM, KNN y Naive Bayes, obteniendo que el mejor clasificador es el SVM con una exactitud de clasificación de 0, 9400, una precisión promedio de 0, 9400 y un resultado de F1-Score de 0, 9390. El desarrollo de la aplicación así como las pruebas, se realizaron en un computador con procesador Intel Core i5 de 2,5 GHz con TurboBoost 3,1GHz y 8GB de memoria RAM.
Palabras clave
Visión por computador, Seguimiento de la mano, Microsoft Kinect, Machine learning, Interfaz humano-maquina, Realidad virtual en educación, Tecnología educativa, Lenguaje por señas
Tipo de documento
Trabajo de grado - Pregrado
Licencia Creative Commons
This work is licensed under a Creative Commons Attribution-Noncommercial-No Derivative Works 4.0 License.
Fecha de elaboración
2018
Programa académico
Ingeniería en Automatización
Facultad
Facultad de Ingeniería
Citación recomendada
Triviño López, I. C. (2018). Sistema para el aprendizaje del lenguaje de señas colombiano usando visión por computador. Retrieved from https://ciencia.lasalle.edu.co/ing_automatizacion/159
Publisher
Universidad de La Salle. Facultad de Ingeniería. Ingeniería en Automatización