Files

Download

Download Full Text (1.9 MB)

Tutor 1

Rodríguez Garavito, Cesar Hernán

Resumen

El reconocimiento de gestos con las manos es un área de investigación que ha capturado la atención de muchos investigadores para el desarrollo de aplicaciones de interacción Humano-Máquina (HCI, por sus siglas en inglés), entre las que se pueden encontrar realidad virtual, realidad aumentada, juegos, aplicaciones educativas, entre otras. En el presente proyecto de investigación se desarrolló un sistema para el apoyo de la enseñanza del lenguaje de señas a través de una aplicación HCI que emplea visión por computador; el sistema propuesto le indica al usuario a través de una imagen o un videoclip, qué seña debe ejecutar y de qué manera debe hacerlo, posteriormente le permite ejecutar la seña mientras la captura con un dispositivo Microsoft Kinect para luego, haciendo uso de procesamiento de imágenes digitales y algoritmos de inteligencia artificial, determinar si el usuario ha ejecutado la seña de manera correcta. La aplicación desarrollada es capaz de clasificar un conjunto de siete señas estáticas, con un total de 3.600 muestras y cuatro señas dinámicas, con un total de 1.800 muestras; para el análisis de las señas estáticas se tuvieron en cuenta tres descriptores: HOG, U-LBP y Firma del contorno, junto con cuatro clasificadores: Naive Bayes, SVM, ANN y KNN, obteniendo que el mejor descriptor es HOG, con una precisión promedio de clasificación de 0, 9795 con el clasificador SVM y asimismo que el mejor clasificador es SVM con una exactitud de clasificación de 0, 9800 y un resultado de F1-Score de 0, 9798 junto con el descriptor HOG. Por otro lado, para las señas dinámicas se tuvo en cuenta un descriptor basado en la trayectoria junto con cuatro clasificadores: Random Forest, SVM, KNN y Naive Bayes, obteniendo que el mejor clasificador es el SVM con una exactitud de clasificación de 0, 9400, una precisión promedio de 0, 9400 y un resultado de F1-Score de 0, 9390. El desarrollo de la aplicación así como las pruebas, se realizaron en un computador con procesador Intel Core i5 de 2,5 GHz con TurboBoost 3,1GHz y 8GB de memoria RAM

Palabras clave

Visión por computador, Seguimiento de la mano, Microsoft Kinect, Machine learning, Interfaz Humano-Maquina, Realidad virtual en educación, Tecnología educativa, Lenguaje por señas, Virtual reality in education, Educational technology, Sign language

Tipo de documento

Trabajo de grado - Pregrado

Licencia Creative Commons

Creative Commons Attribution-No Derivative Works 4.0 License
This work is licensed under a Creative Commons Attribution-No Derivative Works 4.0 License.

Fecha de elaboración

1-1-2018

Programa académico

Ingeniería en Automatización

Facultad

Facultad de Ingeniería

Publisher

Universidad de La Salle. Facultad de Ingeniería. Ingeniería en Automatización

Compartir

COinS