RECONOCIMIENTO DE GESTOS CENTRADO EN USUARIO CON DISCAPACIDAD MOTRIZ
CABEZAS MONDRAGON HOLMAN SNEYDER
Trabajo de grado presentado como requisito para optar al título de: Ingeniero Multimedia
Director: Wilson Sarmiento
UNIVERSIDAD MILITAR NUEVA GRANADA FACULTAD DE INGENIERIA PROGRAMA MULTIMEDIA
BOGOTÁ, 04 DE FEBRERO DE 2019
Reconocimiento de gestos centrado en usuario
con discapacidad motriz
Holman Sneyder Cabezas Estudiante de Ingeniería en Multimedia, auxiliar de Investigación, grupo de Investigación en Multimedia,
Universidad Militar Nueva Granada, Bogotá-Colombia, [email protected]
Juan Sebastián Vargas Molano Ingeniero en Multimedia, joven investigador, grupo de Investigación en Multimedia, Universidad Militar
Nueva Granada, Bogotá, Colombia, [email protected]
Wilson Sarmiento Doctor en Ciencias de la Electrónica, profesor Grupo de Investigación en Multimedia, Universidad Militar
Nueva Granada, Bogotá, Colombia, [email protected]
Abstract— This paper show preliminary results of a work in progress which aims to
analyze EMG signals of the right superior limb of a person with partial paralysis, to detect
gestures that allow interaction with video games. This work includes a validation of a
commercial device to capture EMG signals. The evaluation involves eight predesigned
gesture executed by a control subject. A set of basic features was calculated and classified
using an SVM. The 10-fold crossvalidation show results promising when the device is placed
in the forearm.
Resumen— Este documento muestra los resultados preliminares de un trabajo en
progreso que tiene como objetivo analizar las señales de EMG de la extremidad superior
derecha de una persona con parálisis parcial, para detectar gestos que permitan la interacción
con videojuegos. Este trabajo incluye una validación de un dispositivo comercial para
capturar señales de EMG. La evaluación involucra ocho gestos prediseñados ejecutados por
un sujeto de control. Se calculó un conjunto de características básicas y se clasificó utilizando
un SVM. La validación cruzada de 10 veces muestra resultados prometedores cuando el
dispositivo se coloca en el antebrazo.
Index Terms—EMG signals, disability, gesture recognition
Palabras claves—señales EMG, discapacidad, reconocimiento de gestos
I. INTRODUCCION
La integración de personas en situación de discapacidad con diferentes entornos
requiere una planificación y diseño de entornos construidos, elementos que son realmente
complejos de abarcar para cualquier tipo de discapacidad, debido que no todas las personas
cuentan con el mismo rango de limitación en sus funciones. El asunto se complejiza,
empiezan a aparecer una cantidad de elementos que se deben concebir, analizar, conceptuar,
concretar para después formalizar. El presente documento, propone y evalúa un diseño de
gestos centrado en una persona con traumatismo vertebro medular o una lesión medular
vascular, tumoral cuyo nivel es igual o superior a C8, en donde se presenta un déficit sensitivo
motor completo en más de tres segmentos medulares y por debajo del nivel de la lesión
cervical. Lo que le permite al sujeto solamente tener movimiento en los miembros superiores
de manera parcial. A causa de esto sujetos con este tipo de lesiones no cuentan con
dispositivos comerciales que le permitan manipular cualquier tipo de entorno, sin embargo
trabajos anteriores han mostrado que es posible extraer información de las extremidades
superiores con la intención de hacer reconocimiento de gestos.
II. ANTECEDENTES
Las señales de electromiografía de superficie (EMG) del brazo/antebrazo contienen
información relevante sobre la actividad eléctrica producida por el proceso neuromuscular,
durante la contracción o relajación, y por lo tanto es posible extraer algunas características
útiles para identificar los movimientos producidos, en función de la actividad eléctrica
medida [5]. Lo anterior ha permitido el diseño de sistemas de reconocimiento de gestos
usando EMG, para fines de interacción con dispositivos tecnológicos. Es el caso de la
propuesta de Oskoei y Huosheng, que mostraron que es posible la identificación de cinco
movimientos de la mano con un rango de exactitud entre el 94 % a 99 % [7].
Trabajos similares proponen por ejemplo, la detección de la muñeca y movimientos
del dedo anular, con una precisión del 87,3 % [4]; o el reconocimiento de ocho gestos de la
mano, con una exactitud entre 96,9 % y 99, 65 % [6]. Incluso hay trabajos que presentan la
manipulación de prótesis para personas con amputaciones de miembros superiores [1].
Aunque estos estudios han mostrado buenos resultados, ninguno ha considerado un
acercamiento en procesos de integración social. Este artıculo presenta resultados a partir del
análisis de un sistema de gestos centrado en una persona con parálisis parcial de las
extremidades superiores, para detectar gestos que permitan interacción con un entorno,
disminuyendo el aislamiento social por la imposibilidad de uso de esta tecnología. Los gestos
realizados implican la activación de ciertos grupos musculares, los cuales pueden brindarnos
información relevante, una vez los gestos son definidos, a partir de sensores del brazalete
Myo gesture, el cual se compone de 8 canales de EMG con 16 electrodos, un acelerómetro y
un giroscopio se recopilada la información. Dicha información es enviada a partir de
Bluetooth de forma inalámbrica a la computadora, donde se procesa para dar un conjunto de
datos correspondientes a cada gesto. El conjunto de datos es inicialmente expuesto a
extracción de características estadísticas y frecuenciales, para posteriormente ser evaluadas
en el clasificador.
III. METODOLOGÍA
La metodología propuesta para la realización de este trabajo está compuesta por el diseño de
gestos, captura de información y extracción de características relevantes para la evaluación
y análisis:
III-A. DISEÑO DE GESTOS
En este trabajo se propone un sistema de gestos que permite a un usuario en situación de
discapacidad motriz manipular un entorno a partir de los miembros superiores. Para definir
los gestos en el sistema de interacción lo que se busca es hacer el sistema de la forma más
natural posible con el fin de reducir la carga cognitiva que representa, sin embargo en este
caso particularmente no fue posible realizar cualquier tipo de movimiento, debido a la fatiga
muscular que representaba para el sujeto de prueba, por lo que se tuvo en cuenta movimientos
que podría realizar sin mayor esfuerzo y forma prolongada. Se logró definir el tipo de
movimiento en donde el usuario expresa total comodidad para trabajar durante jornadas
extensas, en un estudio realizado previamente [2] se compararon 4 movimientos para brazo
y antebrazo en dos sujetos, uno en condición de discapacidad y el sujeto control sin limitación
en sus movimientos, se logró comprobar que la actividad eléctrica del musculo sigue estando
presente y el brazo recibe las fibras nerviosas que estimulan la contracción [3]. Proceso que
permite llevar registro de la actividad eléctrica generada por el sistema nervioso en los
músculos. En [2] se logró identificar computacionalmente los movimientos de forma similar
para el antebrazo en ambos sujetos. A partir de esto se definieron los gestos que el sujeto con
trauma raquimedular consideraba naturales y que tenían mayor participación del antebrazo.
Sin embargo por la cantidad de movimientos que requiere la interacción con un entorno 3d y
las limitadas funciones que puede realizar el sujeto con las extremidades superiores se hace
compleja la tarea de definir los gestos.
En la figura 1 se puede observar los gestos definidos para movimientos de navegación y
dirección del sistema en los que se tienen en cuenta los movimientos de dirección lateral
derecho, dirección lateral izquierdo, caminar y retroceder permitiendo al usuario poder
desplazarse sin tener control alguno de la cámara u horizonte, en la definición de los
movimientos se tienen en cuenta ocho tipos de movimientos para antebrazo donde tres
movimientos parten del hombro.
III -B. CONFIGURACION EXPERIMENTAL
La electromiografía es el proceso de determinar la diferencia de potencial eléctrico
del grupo muscular definido [8]. En este caso el dispositivo empleado para la captura de los
potenciales bioeléctricos es una banda para brazo llamada Myo Gesture. Los ocho canales
del brazalete myo se alinean automáticamente en el grupo de músculos. Por esto es
importante ubicar la banda en el mismo grupo de músculos para cada experimentación, esto
para evitar la discrepancia en las señales obtenidas. Los potenciales de EMG, aceleraciones
y los datos del giroscopio obtenidos contienen información irrelevante para la clasificación
de gestos diseñados, es importante extraer información relevante para mejorar la precisión
del algoritmo de clasificación. La remoción de la componente DC se utiliza como técnica de
pre-procesamiento para mejorar la calidad de las señales obtenidas.
Figura 1. Proceso Experimental
La extracción de características es el proceso de mejora del conjunto de datos. Esto
se hace generalmente por recorrer partes de los datos obtenidos que dan una alta significación
del gesto en particular. Esta técnica mejora la clasificación de los diferentes gestos, para cada
gesto propuesto se realizó cuatro series para un total de 32 tomas de datos en donde cada
gesto presenta las siguientes características:
Frecuencia de muestreo: 200Hz.
Tiempo de captura: 2 a 4 segundos.
Características extraídas: 14
Aceleración[X,Y,Z], Giroscopio[roll, pitch, yaw], EMG[s1,s2,s3,s4,s5,s6,s7,s8]
Para cada una de las 14 señales capturadas con el dispositivo se hizo un procesado de datos
con una ventana de 2 segundos de duración y 1 segundo translación. De tal forma que para
una señal de n segundos el número de ventanas obtenidas estará dada por:
𝑛
2+ (
𝑛
2− 1)
Un método de extracción de características importante son los momentos estadísticos que
representan medidas de tendencia central, para este caso en particular se hace uso de:
Media.
Varianza.
Entropía.
Kurtosis.
De forma paralela se extraen los datos de las siete frecuencias más Altas para cada señal, para
un total de 11 características por ventana.
[𝑀𝑒𝑑𝑖, 𝑉𝑎𝑟𝑖𝑎𝑛𝑧𝑎, 𝑒𝑛𝑡𝑟𝑜𝑝𝑖𝑎, 𝐾𝑢𝑟𝑡𝑜𝑠𝑖𝑠, 𝑓1, 𝑓2, 𝑓3, 𝑓4, 𝑓5, 𝑓6, 𝑓7]
El tamaño total de características extraídas se hace a partir de procesamiento en matlab,
donde se extraen once características por ventana, para cada características que provee el
brazalete Myo (14). Para un total de 154 características por ventana.
𝐷𝑖𝑚𝑒𝑛𝑠𝑖𝑜𝑛 = 11 ∗ 14 = 154
En el aprendizaje automático, para capturar indicadores útiles y obtener un resultado más
preciso, al principio tendemos a agregar tantas características como sea posible. Sin embargo,
después de cierto punto, el rendimiento del modelo disminuirá con el número creciente de
elementos. Lo cual implica hacer una reducción al conjunto de datos para aumentar la eficacia
del clasificador. La reducción de la dimensionalidad es el proceso de reducir la
dimensionalidad del espacio de la característica con consideración al obtener un conjunto de
características principales.
Para la extracción de características más relevantes en el proceso de clasificación se hace uso
de el algoritmo “GreedyStepwise” el cual realiza una búsqueda codiciosa hacia adelante o
hacia atrás a través del espacio de los subconjuntos de atributos y se detiene cuando la adición
o eliminación de cualquier atributo restante produce una disminución en la evaluación. A
partir del análisis de selección de atributos se escogen los valores que aportan más de 70%
en la clasificación, obteniendo que los datos del acelerómetro y los sensores 7 y 8 (Ver figura
2) son los que aportan mayor información para el clasificador, reduciendo la dimensionalidad
de los datos a 17 variables.
Una vez definido el conjunto de datos que entrenara el clasificador SVM, se prueban
diferentes kernels como parámetros del clasificador para conocer el que tiene mejor
comportamiento para los tipos de datos enviados; los kernels analizados para el clasificador
de SVM son:
Polikernel
Polikernel normalizado
PUK
RBFKernel
La selección de estos kernels se hace a partir de la herramienta weka, que es un software
libre para el aprendizaje automático y la minería de datos escrito en Java. Para el
entrenamiento del SVM se realizó una evaluación del clasificador usando un esquema
10-fold cross-validation. Los datos obtenidos se pueden observar en la Seccion IV.
Resultados y discusión.
IV. RESULTADOS Y DISCUSIÓN
Los datos obtenidos son representados a partir de una matriz de confusión, que es una
herramienta que permite la visualización del desempeño de un algoritmo, en este caso
pretende evaluar un clasificador de SVM con los diferentes Kernels ( Figura 2 ).
Figura 2. Clasificación SVM por diferentes kernels
V. CONCLUSIONES
El dispositivo probado mostro un rendimiento adecuado para el sistema que se quiere
desarrollar, considerando que se usaron gestos no diseñados para la persona con
discapacidad. Es necesario evaluar técnicas más completas de análisis de senales, como las
propuestas en [1], y protocolos m ˜ as robustos ´ de captura y evaluacion. ´ Este proyecto ha
sido posible por el apoyo de la Vicerrector´ıa de Investigaciones de la Universidad Militar
Nueva Granada, codigo de proyecto INV-ING-2375.
VI. REFERENCIAS
[1] M. N. E. K. L. G. N. J. A. Rubiano, J. L. Ramirez and O. Polit. Elbow flexion and extension identification
using surface electromyography signals. European Signal Processing Conference, pages 644–648, 2015.
[2] H. Cabezas and A. bedoya F. W. Sarmiento. Validacion de la captura y ´ procesamiento de senales emg en
una persona con discapacidad motriz. ˜ En impresion 2018. ´
[3] P. B. M. C. G. G. G. D. F. Ulloa, N. Sreenivasan and U. Gunawardana. Cost effective electro — Resistive
band based myo activated prosthetic upper limb for amputees in the developing world, Sydney, Australia.
Annalen der Physik, pages 250–253, 2017.
[4] D. K. G. R. Naik and Jayadeva. Twin SVM for gesture classification using the surface electromyo-gram .
IEEE Transactions on Information Technology, 14(2):301–308, 2010.
[5] M. S. H. M. B. I. Reaz and F. Mohd-Yasin. Techniques of EMG signal analysis: detection, pro-cessing.
Procedures Online, 8(1):11–35, 2016.
[6] Y. C. N. Wang and X. Zhang. he recognition of multi-finger prehensile postures using LDA. 8(6):706–712,
2013.
[7] M. Oskoei and H. Huosheng. Support vector machine-based classification scheme for myoelectric control
applied to upper limb . IEEE Transactions on Biomedical Engineering, 55(8):1956–1965, 2008.
[8] D. S. T. D. M. T. Scott Saponas and R. Balakrishnan. Demonstrating the feasibility of using forearm
electromyography for muscle-computer interfaces. En impresion 2008. ´
Top Related