RECONOCIMIENTO DE GESTOS CENTRADO EN USUARIO CON DISCAPACIDAD MOTRIZ

CABEZAS MONDRAGON HOLMAN SNEYDER

Trabajo de grado presentado como requisito para optar al título de: Ingeniero Multimedia

Director: Wilson Sarmiento

UNIVERSIDAD MILITAR NUEVA GRANADA FACULTAD DE INGENIERIA PROGRAMA MULTIMEDIA

BOGOTÁ, 04 DE FEBRERO DE 2019

Reconocimiento de gestos centrado en usuario

con discapacidad motriz

Holman Sneyder Cabezas Estudiante de Ingeniería en Multimedia, auxiliar de Investigación, grupo de Investigación en Multimedia,

Universidad Militar Nueva Granada, Bogotá-Colombia, u1201569@unimilitar.edu.co

Juan Sebastián Vargas Molano Ingeniero en Multimedia, joven investigador, grupo de Investigación en Multimedia, Universidad Militar

Nueva Granada, Bogotá, Colombia, U1201559@unimilitar.edu.co

Wilson Sarmiento Doctor en Ciencias de la Electrónica, profesor Grupo de Investigación en Multimedia, Universidad Militar

Nueva Granada, Bogotá, Colombia, wilson.sarmiento@unimilitar.edu.co

Abstract— This paper show preliminary results of a work in progress which aims to

analyze EMG signals of the right superior limb of a person with partial paralysis, to detect

gestures that allow interaction with video games. This work includes a validation of a

commercial device to capture EMG signals. The evaluation involves eight predesigned

gesture executed by a control subject. A set of basic features was calculated and classified

using an SVM. The 10-fold crossvalidation show results promising when the device is placed

in the forearm.

Resumen— Este documento muestra los resultados preliminares de un trabajo en

progreso que tiene como objetivo analizar las señales de EMG de la extremidad superior

derecha de una persona con parálisis parcial, para detectar gestos que permitan la interacción

con videojuegos. Este trabajo incluye una validación de un dispositivo comercial para

capturar señales de EMG. La evaluación involucra ocho gestos prediseñados ejecutados por

un sujeto de control. Se calculó un conjunto de características básicas y se clasificó utilizando

un SVM. La validación cruzada de 10 veces muestra resultados prometedores cuando el

dispositivo se coloca en el antebrazo.

Index Terms—EMG signals, disability, gesture recognition

Palabras claves—señales EMG, discapacidad, reconocimiento de gestos

I. INTRODUCCION

La integración de personas en situación de discapacidad con diferentes entornos

requiere una planificación y diseño de entornos construidos, elementos que son realmente

complejos de abarcar para cualquier tipo de discapacidad, debido que no todas las personas

cuentan con el mismo rango de limitación en sus funciones. El asunto se complejiza,

empiezan a aparecer una cantidad de elementos que se deben concebir, analizar, conceptuar,

concretar para después formalizar. El presente documento, propone y evalúa un diseño de

gestos centrado en una persona con traumatismo vertebro medular o una lesión medular

vascular, tumoral cuyo nivel es igual o superior a C8, en donde se presenta un déficit sensitivo

motor completo en más de tres segmentos medulares y por debajo del nivel de la lesión

cervical. Lo que le permite al sujeto solamente tener movimiento en los miembros superiores

de manera parcial. A causa de esto sujetos con este tipo de lesiones no cuentan con

dispositivos comerciales que le permitan manipular cualquier tipo de entorno, sin embargo

trabajos anteriores han mostrado que es posible extraer información de las extremidades

superiores con la intención de hacer reconocimiento de gestos.

II. ANTECEDENTES

Las señales de electromiografía de superficie (EMG) del brazo/antebrazo contienen

información relevante sobre la actividad eléctrica producida por el proceso neuromuscular,

durante la contracción o relajación, y por lo tanto es posible extraer algunas características

útiles para identificar los movimientos producidos, en función de la actividad eléctrica

medida [5]. Lo anterior ha permitido el diseño de sistemas de reconocimiento de gestos

usando EMG, para fines de interacción con dispositivos tecnológicos. Es el caso de la

propuesta de Oskoei y Huosheng, que mostraron que es posible la identificación de cinco

movimientos de la mano con un rango de exactitud entre el 94 % a 99 % [7].

Trabajos similares proponen por ejemplo, la detección de la muñeca y movimientos

del dedo anular, con una precisión del 87,3 % [4]; o el reconocimiento de ocho gestos de la

mano, con una exactitud entre 96,9 % y 99, 65 % [6]. Incluso hay trabajos que presentan la

manipulación de prótesis para personas con amputaciones de miembros superiores [1].

Aunque estos estudios han mostrado buenos resultados, ninguno ha considerado un

acercamiento en procesos de integración social. Este artıculo presenta resultados a partir del

análisis de un sistema de gestos centrado en una persona con parálisis parcial de las

extremidades superiores, para detectar gestos que permitan interacción con un entorno,

disminuyendo el aislamiento social por la imposibilidad de uso de esta tecnología. Los gestos

realizados implican la activación de ciertos grupos musculares, los cuales pueden brindarnos

información relevante, una vez los gestos son definidos, a partir de sensores del brazalete

Myo gesture, el cual se compone de 8 canales de EMG con 16 electrodos, un acelerómetro y

un giroscopio se recopilada la información. Dicha información es enviada a partir de

Bluetooth de forma inalámbrica a la computadora, donde se procesa para dar un conjunto de

datos correspondientes a cada gesto. El conjunto de datos es inicialmente expuesto a

extracción de características estadísticas y frecuenciales, para posteriormente ser evaluadas

en el clasificador.

III. METODOLOGÍA

La metodología propuesta para la realización de este trabajo está compuesta por el diseño de

gestos, captura de información y extracción de características relevantes para la evaluación

y análisis:

III-A. DISEÑO DE GESTOS

En este trabajo se propone un sistema de gestos que permite a un usuario en situación de

discapacidad motriz manipular un entorno a partir de los miembros superiores. Para definir

los gestos en el sistema de interacción lo que se busca es hacer el sistema de la forma más

natural posible con el fin de reducir la carga cognitiva que representa, sin embargo en este

caso particularmente no fue posible realizar cualquier tipo de movimiento, debido a la fatiga

muscular que representaba para el sujeto de prueba, por lo que se tuvo en cuenta movimientos

que podría realizar sin mayor esfuerzo y forma prolongada. Se logró definir el tipo de

movimiento en donde el usuario expresa total comodidad para trabajar durante jornadas

extensas, en un estudio realizado previamente [2] se compararon 4 movimientos para brazo

y antebrazo en dos sujetos, uno en condición de discapacidad y el sujeto control sin limitación

en sus movimientos, se logró comprobar que la actividad eléctrica del musculo sigue estando

presente y el brazo recibe las fibras nerviosas que estimulan la contracción [3]. Proceso que

permite llevar registro de la actividad eléctrica generada por el sistema nervioso en los

músculos. En [2] se logró identificar computacionalmente los movimientos de forma similar

para el antebrazo en ambos sujetos. A partir de esto se definieron los gestos que el sujeto con

trauma raquimedular consideraba naturales y que tenían mayor participación del antebrazo.

Sin embargo por la cantidad de movimientos que requiere la interacción con un entorno 3d y

las limitadas funciones que puede realizar el sujeto con las extremidades superiores se hace

compleja la tarea de definir los gestos.

En la figura 1 se puede observar los gestos definidos para movimientos de navegación y

dirección del sistema en los que se tienen en cuenta los movimientos de dirección lateral

derecho, dirección lateral izquierdo, caminar y retroceder permitiendo al usuario poder

desplazarse sin tener control alguno de la cámara u horizonte, en la definición de los

movimientos se tienen en cuenta ocho tipos de movimientos para antebrazo donde tres

movimientos parten del hombro.

III -B. CONFIGURACION EXPERIMENTAL

La electromiografía es el proceso de determinar la diferencia de potencial eléctrico

del grupo muscular definido [8]. En este caso el dispositivo empleado para la captura de los

potenciales bioeléctricos es una banda para brazo llamada Myo Gesture. Los ocho canales

del brazalete myo se alinean automáticamente en el grupo de músculos. Por esto es

importante ubicar la banda en el mismo grupo de músculos para cada experimentación, esto

para evitar la discrepancia en las señales obtenidas. Los potenciales de EMG, aceleraciones

y los datos del giroscopio obtenidos contienen información irrelevante para la clasificación

de gestos diseñados, es importante extraer información relevante para mejorar la precisión

del algoritmo de clasificación. La remoción de la componente DC se utiliza como técnica de

pre-procesamiento para mejorar la calidad de las señales obtenidas.

Figura 1. Proceso Experimental

La extracción de características es el proceso de mejora del conjunto de datos. Esto

se hace generalmente por recorrer partes de los datos obtenidos que dan una alta significación

del gesto en particular. Esta técnica mejora la clasificación de los diferentes gestos, para cada

gesto propuesto se realizó cuatro series para un total de 32 tomas de datos en donde cada

gesto presenta las siguientes características:

Frecuencia de muestreo: 200Hz.

Tiempo de captura: 2 a 4 segundos.

Características extraídas: 14

Aceleración[X,Y,Z], Giroscopio[roll, pitch, yaw], EMG[s1,s2,s3,s4,s5,s6,s7,s8]

Para cada una de las 14 señales capturadas con el dispositivo se hizo un procesado de datos

con una ventana de 2 segundos de duración y 1 segundo translación. De tal forma que para

una señal de n segundos el número de ventanas obtenidas estará dada por:

𝑛

2+ (

𝑛

2− 1)

Un método de extracción de características importante son los momentos estadísticos que

representan medidas de tendencia central, para este caso en particular se hace uso de:

Media.

Varianza.

Entropía.

Kurtosis.

De forma paralela se extraen los datos de las siete frecuencias más Altas para cada señal, para

un total de 11 características por ventana.

[𝑀𝑒𝑑𝑖, 𝑉𝑎𝑟𝑖𝑎𝑛𝑧𝑎, 𝑒𝑛𝑡𝑟𝑜𝑝𝑖𝑎, 𝐾𝑢𝑟𝑡𝑜𝑠𝑖𝑠, 𝑓1, 𝑓2, 𝑓3, 𝑓4, 𝑓5, 𝑓6, 𝑓7]

El tamaño total de características extraídas se hace a partir de procesamiento en matlab,

donde se extraen once características por ventana, para cada características que provee el

brazalete Myo (14). Para un total de 154 características por ventana.

𝐷𝑖𝑚𝑒𝑛𝑠𝑖𝑜𝑛 = 11 ∗ 14 = 154

En el aprendizaje automático, para capturar indicadores útiles y obtener un resultado más

preciso, al principio tendemos a agregar tantas características como sea posible. Sin embargo,

después de cierto punto, el rendimiento del modelo disminuirá con el número creciente de

elementos. Lo cual implica hacer una reducción al conjunto de datos para aumentar la eficacia

del clasificador. La reducción de la dimensionalidad es el proceso de reducir la

dimensionalidad del espacio de la característica con consideración al obtener un conjunto de

características principales.

Para la extracción de características más relevantes en el proceso de clasificación se hace uso

de el algoritmo “GreedyStepwise” el cual realiza una búsqueda codiciosa hacia adelante o

hacia atrás a través del espacio de los subconjuntos de atributos y se detiene cuando la adición

o eliminación de cualquier atributo restante produce una disminución en la evaluación. A

partir del análisis de selección de atributos se escogen los valores que aportan más de 70%

en la clasificación, obteniendo que los datos del acelerómetro y los sensores 7 y 8 (Ver figura

2) son los que aportan mayor información para el clasificador, reduciendo la dimensionalidad

de los datos a 17 variables.

Una vez definido el conjunto de datos que entrenara el clasificador SVM, se prueban

diferentes kernels como parámetros del clasificador para conocer el que tiene mejor

comportamiento para los tipos de datos enviados; los kernels analizados para el clasificador

de SVM son:

Polikernel

Polikernel normalizado

PUK

RBFKernel

La selección de estos kernels se hace a partir de la herramienta weka, que es un software

libre para el aprendizaje automático y la minería de datos escrito en Java. Para el

entrenamiento del SVM se realizó una evaluación del clasificador usando un esquema

10-fold cross-validation. Los datos obtenidos se pueden observar en la Seccion IV.

Resultados y discusión.

IV. RESULTADOS Y DISCUSIÓN

Los datos obtenidos son representados a partir de una matriz de confusión, que es una

herramienta que permite la visualización del desempeño de un algoritmo, en este caso

pretende evaluar un clasificador de SVM con los diferentes Kernels ( Figura 2 ).

Figura 2. Clasificación SVM por diferentes kernels

V. CONCLUSIONES

El dispositivo probado mostro un rendimiento adecuado para el sistema que se quiere

desarrollar, considerando que se usaron gestos no diseñados para la persona con

discapacidad. Es necesario evaluar técnicas más completas de análisis de senales, como las

propuestas en [1], y protocolos m ˜ as robustos ´ de captura y evaluacion. ´ Este proyecto ha

sido posible por el apoyo de la Vicerrector´ıa de Investigaciones de la Universidad Militar

Nueva Granada, codigo de proyecto INV-ING-2375.

VI. REFERENCIAS

[1] M. N. E. K. L. G. N. J. A. Rubiano, J. L. Ramirez and O. Polit. Elbow flexion and extension identification

using surface electromyography signals. European Signal Processing Conference, pages 644–648, 2015.

[2] H. Cabezas and A. bedoya F. W. Sarmiento. Validacion de la captura y ´ procesamiento de senales emg en

una persona con discapacidad motriz. ˜ En impresion 2018. ´

[3] P. B. M. C. G. G. G. D. F. Ulloa, N. Sreenivasan and U. Gunawardana. Cost effective electro — Resistive

band based myo activated prosthetic upper limb for amputees in the developing world, Sydney, Australia.

Annalen der Physik, pages 250–253, 2017.

[4] D. K. G. R. Naik and Jayadeva. Twin SVM for gesture classification using the surface electromyo-gram .

IEEE Transactions on Information Technology, 14(2):301–308, 2010.

[5] M. S. H. M. B. I. Reaz and F. Mohd-Yasin. Techniques of EMG signal analysis: detection, pro-cessing.

Procedures Online, 8(1):11–35, 2016.

[6] Y. C. N. Wang and X. Zhang. he recognition of multi-finger prehensile postures using LDA. 8(6):706–712,

2013.

[7] M. Oskoei and H. Huosheng. Support vector machine-based classification scheme for myoelectric control

applied to upper limb . IEEE Transactions on Biomedical Engineering, 55(8):1956–1965, 2008.

[8] D. S. T. D. M. T. Scott Saponas and R. Balakrishnan. Demonstrating the feasibility of using forearm

electromyography for muscle-computer interfaces. En impresion 2008. ´