Cómputo Consciente del Contexto: Cognición Aumentada mediante BCI
Dr. Gabriel González SernaGrupo CARS Sistemas Distribuidos
@gabogs10
Agenda
Actividad DuraciónCENIDET 5Líneas de Investigación 5Cómputo Consciente del Contexto 15Cognición Aumentada 15Evaluación Centrada en el Usuario 15Conclusiones 5
Agenda
Actividad DuraciónCENIDET 5Líneas de Investigación 5Cómputo Consciente del Contexto 15Cognición Aumentada 15Evaluación Centrada en el Usuario 15Conclusiones 5
CENIDETCEntroNacional deInvestigaciónDEsarrolloTecnológico
El CENIDET ofrece Maestrías y Doctorados para profesionistas interesados en prepararse para la investigación aplicada y el desarrollo tecnológico. En estos programas el estudiante adquiere conocimientos y competencias para integrarse a: Industria de base tecnológica Instituciones de investigación o desarrollo tecnológico y
Escuelas para la formación de ingenieros
cenidetOferta Académica
En cenidet se ofrecen tres programas de posgrado (todos con beca CONACyT): Maestría y doctorado en ingeniería electrónica
Electrónica de potencia Control automático
Maestría y doctorado en ingeniería mecánica Sistemas térmicos Diseño mecánico
Maestría y doctorado en ciencias de la computación
Sistemas Distribuidos (grupo CARS) Ingeniería de software Inteligencia Artificial
Agenda
Actividad DuraciónCENIDET 5Líneas de Investigación 5Cómputo Consciente del Contexto 15Cognición Aumentada 15Evaluación Centrada en el Usuario 15Conclusiones 5
Líneas de Investigación
Tecnologías de la Web Semántica1. Procesamiento de lenguaje natural
(PLN)2. Sistemas Basados en Conocimiento3. Modelado Semántico
Tecnologías Context-Awarness1. Cómputo conscientes del contexto
(CAC)2. Interacción Humano-Computadora
(HCI)3. Evaluación Centrada en el Usuario
(UCE)i. Evaluación heurísticaii. Experiencia del usuario (UX)iii. Cognición aumentada
Agenda
Actividad DuraciónCENIDET 2Líneas de Investigación 5Cómputo Consciente del Contexto 15Cognición Aumentada 15Evaluación Centrada en el Usuario 15Conclusiones 5
CCCCómputo
Consciente del
Contexto
En un ambiente de cómputo consciente del contexto la computadora es capaz de identificar el entorno del usuario para
ofrecerle servicios de apoyo en la realización de sus actividades.
Contexto
Material
Simbólico
CCCCómputo
Consciente del
Contexto
Un CCC debe caracterizar las siguientes dimensiones del contexto: Patrones de comportamiento (¿Por qué?), Descubrimiento de intenciones (¿Para qué?), Capacidades del Usuario (¿Cómo presentar la
información?) Capacidades del dispositivo (¿Qué puede hacer?)
HCIHumanComputerInteraction
Es un área de estudio que trata sobre la investigación, diseño y desarrollo de nuevas tecnologías para ayudar a mejorar la interacción entre el humano y las computadora
Ambient ComputingLa nube extiende NUI a través
de varios dispositivos
¿Qué es
HCI?
Natural User Interface (NUI)El software interpreta el
comportamiento humano
La Informática se convierte en parte de la vida cotidiana
Redes, nube, siempre conectado
Emula la comunicación
humanaMultisensores,
contextualización, anticipación, intuición,
aprendizaje
Human -Computer Interface (HCI)
Los sensores detectan el comportamiento humano
Detecta y procesa el comportamiento
humanoVisión, sonido, señal
biométrica, ambiente.
¿Qué es un
HCI?
Cómputo ambiental- NUI se convierte en parte de la vida cotidiana
Relaciones• Reglas• Event-triggers
Perfil del usuario• Reglas
Contexto • Datos• Experiencia
Acciones implícitas• Predicción de comportamiento
Cómputo Consiente del Contexto
Device-to-Device
Evolución de las tecnologías
HCIHumanComputerInteraction
CLICommand
Line Interface(Texto)
GUIGraphical
User Interface(Gráficos)
NUINatural
User Interface(Objetos)
OUIOrgnic User
Interface(Biométrico
s)
¿Qué es
HCI?
Dispositivos de interfaz humana y software
Detectar y tratar el comportamiento humano
¿Qué tecnologías HCI utiliza el CCC?
¿Qué tecnologías HCI utiliza el CCC?
Agenda
Actividad DuraciónCENIDET 2Líneas de Investigación 5Cómputo Consciente del Contexto 15Cognición Aumentada 15Evaluación Centrada en el Usuario 15Conclusiones 5
Cognición Aumentada
Cognición aumentada (AugCog) es un campo de investigación en la frontera entre la Interacción Humano-Computadora, la psicología, la ergonomía y la neurociencia, que tiene como objetivo la creación de nuevas modelos de Interacciones Humano-Computadora.
¿Qué estamos desarrollando?
Cognición Aumentada
Identificación de estados cognitivos. Evaluación de estados cognitivos en el desarrollo de actividades
Concentración Estados no aptos para realizar la actividad
Evaluación de estados cognitivos aplicados
Evaluación Centrada en el Usuario (UCE) Experiencia del Usuario (UX)
Identificación de estados de ánimo Emociones, satisfacción, disgusto, alegría, enojo
Proceso de comunicación Generador automático de oraciones mediante
EEG y EMG
Contexto introspectivo
Lecturas Biométricas
Electrocardiograma ECG.
Electromiografía. EMG
Electroencefalograma. EEG
Electroculograma. EOG
EEG
EEG (Electroencefalograma) es un medidor
neurofisiológico de la actividad
eléctrica del cerebro por medio de electrodos colocados en la superficie de la cabeza
También conocido como brainwaves o impulsos eléctricos cerebrales.
Ubicación de los electrodos10-20
Ubicación de los electródos10-20
BCIInterfaz Cerebro Computadora
Mindwave Mobile
Electrodos: 1 2 mental states (based on 4 brainwaves), eyeblinks
21 March 2011 Neurosky .NET,Android,iPhone,Arduino
Necomimi
Electrodos: 11 mental state July 2012Neuroware
Mindset
Electrodos: 12 mental states (based on 4 brainwaves), eyeblinks
1 December 2011Neurosky
Mindball
Electrodos: 11 mental state21 December 2009Mattel (Neurosky partner)
Star wars force trainer
Electrodos: 11 mental state21 June 2009Uncle Milton (Neurosky partner)
XWave Sport
Electrodos:18 EEG bands5 January 2011XWave
MyndPlay
Electrodos:18 EEG bands1 December 2011MyndPlay
Neural Impulse Actuator
Electrodos:32 brainwaves (Alpha & Beta), facial muscle and eye movements
May 2008OCZ TechnologyPython
Emotiv EPOC
Electrodos:144 mental states (based on brainwaves), 13 conscious thoughts, facial expressions, head movements (sensed by 2 gyros)
21 December 2009Emotiv SystemsC#,C++,Java,Matlab,Python
NeuroSky MindWave
Peso ligero
Comunicación vía wireless
8 horas de batería AAA
Incluye un CD extra con 10 aplicaciones de neurociencia
Compatible con Mac OS X, Windows XP, Windows Vista, Windows 7
Emparejamiento del equipo inalámbrico automático
Una sola pila AAA
$79.99 dólares = $1048.16 pesos
http://store.neurosky.com/products/mindwave-1
Mindo-4S Jellyfish
Cuenta con sensores secos. Utiliza una banda a base de silicio. Mide la actividad cerebral en la zona frontal.
Inalámbrico
Cuenta con 4 sensores EEG
Compatible con Tablet y PC a través de bluetooth
Batería recargable con duración de hasta 10 horas continuas
http://mindo.com.tw/en/goods.php?act=view&no=4
B-Alert 24 Channel Wireless EEG
20 canales EEG de grado médico, además de 4 canales auxiliares de ECG, EMG, o EOG (24 canales en total)
Mide la concentración, distracción, somnolencia y estrés
Comunicación bluetooth de hasta 20 metros
8 horas de duración de la batería recargable
Cuenta con acelerómetro
Acceso en tiempo real de los datos sin procesar
SDK compatible con Matlab, EEGLab, BCI2000, qEEG, entre otros.
Windows únicamente
Dry EEG Headband
http://www.cognionics.com/index.php/products/dry-eeg-headband
Compatible con plataforma Mac OS X y Windows
Conexión bluetooth
Monitoreo en tiempo real de señales EEG
Guarda EEG en formatos estándar para la importación en MATLAB y otros paquetes de análisis
Herramientas basadas en GUI así como una API fácil de usar para el acceso de datos en bruto directamente a los auriculares.
Dry EEG Cap
http://www.cognionics.com/index.php/products/dry-eeg-headband
Esta diadema contiene electrodos secos y un peso de 250gr; cuenta con 16 electrodos. No requiere gel o sustancias para hidratar los electrodos.
Emotiv
Expresiones faciales.Métricas de rendimiento y Estados Emocionales.
Comandos Mental.
EmotivEPOCEEG
¿Qué estamos desarrollando?
Caracterización de estados mentales
Las frecuencias del cerebro están vinculadas a acciones y a diferentes etapas de conciencia. Estas frecuencias son denominadas comúnmente Ritmos Cerebrales.
Ondas beta: Asociadas con la concentración.
Ondas gamma:. Asociadas con la atención, la percepción, y la cognición
Ondas alfa: Se asocian con la relajación y desconexión.
Ondas theta: Asociadas con la inspiración creativa,
alucinaciones….(drogas).
Ondas delta: Se presentan cuando estamos durmiendo…
¿Qué estamos desarrollando?
Caracterización de estados mentales
¿Qué estamos desarrollando?
Caracterización de estados mentales
El objetivo de nuestra línea de investigación es modelar, diseñar y evaluar métodos de HCI aplicados en sistemas de CCC para personas con capacidades diferentes, mediante interfaces multimodales y dispositivos multisensoriales que complementen las capacidades de una persona, con o sin discapacidad.
¿Qué estamos desarrollando?
Caracterización de estados mentales
Los sistemas de CCC cuenta con servicios para explotar la información contextual que permita explotar información mediante máquinas de inferencia para mostrarle al usuario la información que sea de su interés de acuerdo al perfil ¿Quién? (Who?) ¿Dónde? (Where?) ¿Cuándo? (When?) ¿Qué? (What?)
Patrones de comportamiento (¿Por qué?), Descubrimiento de intenciones (¿Para qué?),Capacidades del Usuario (¿Cómo presentar la
información?)Capacidades del dispositivo (¿Qué puede hacer?)
En el perfil de usuario no se consideran las discapacidades que permitan al sistema de CCC adaptarse a las necesidades del usuario y complementar sus capacidades sensoriales.
¿Qué estamos desarrollando?
Cognición Aumentada
• Identificación de emociones• Generador de oraciones (PLN)• Interacción Humano-
Computadora• Control de Dispositivos
¿Qué estamos desarrollando?
Caracterización de estados mentales
Relajación
¿Qué tecnologías se
utilizan?
Cognición Aumentada
Orientación
EEG
EMG
ADQUISICIÓN DE SEÑALES
Señales en bruto
001010100101010101
Señales digitalizadas
PROCESAMIENTO DE SEÑALES
Extracción de características
Algoritmo de traducción
PROCESAMIENTO DE COMANDOS
Funciones predefinidas
SINTETIZACIÓN DE VOZ
¿Qué tecnologías se
utilizan?
Cognición Aumentada
Dominio Futbol
ID Frase
1 ¡Gooooool!
2 Buen juego
3 ¡Eso es falta!
. …..
. ….
. ….
n Buena jugada
Pensamientos
EmocionesGestos
ID Frase
1 ¡Gooooool!
2 Buen juego
3 ¡Eso es falta!
. …..
. ….
. ….
n Buena jugada
Falta! =
Cognición Aumentada
Tema 1 Tema 2
Tema 3 Tema 4
Tema 5 Tema 6
Tema 7 Tema 8
1. Entrar al sistema
2. Verificar hora
3. Selección de temas según el contexto de la hora
Estado 1
Estado 2
Estado 3
Estado 4
Estado cognitivo del usuario
Bolsa de palabras general
Bolsa de palabras
Bolsa de palabras
Bolsa de palabras
Bolsa de palabras
Método de escritura Texto en pantalla
4. Palabras comunes en cualquier contexto
5. ¿Cuál es el estado emocional del usuario?
6. Selección de palabras según su estado emocional
8. Retroalimentación del estado cognitivo del usuario
7. Método para la selección de las palabras para generar una frase
9. Expresar el mensaje de diferentes medios.
Técnicas de Escritura
Agenda
Actividad DuraciónCENIDET 2Líneas de Investigación 5Cómputo Consciente del Contexto 15Cognición Aumentada 15Evaluación Centrada en el Usuario 15Conclusiones 5
USER EXPERIENCE
Transparencia
Escrutabilidad
Eficiencia
Persuasión
Confianza
Satisfacción
Eficacia
Investigaciones recientes sobre técnicas de explicación en los SR, muestran que las explicaciones aportan diferentes beneficios y objetivos a un SR.
Evaluación Centrada en el Usuario
Perfil Integral de Usuario (PIU)
A partir de los datos almacenados en el PIU se refleja, entre otras, la conexión:
Estilo de personalidad - Estado cognitivo - Respuestas neurofisiológica - Género - Coeficiente Intelectual - Edad
Aplicación del protocolo
inicial
Monitoreo de la actividad
cerebral del usuario
Aplicación de entrevistas
Aplicación de cuestionarios
Análisis observacional
Análisis de los datos
Poblado del Perfil Integral de Usuario
Metodología para el poblado del PIU
Perfil Integral de Usuario (PIU)
Metodología para el poblado del PIU
Aplicación del
protocolo inicial
Monitoreo de la actividad
cerebral del usuario
Aplicación de entrevistas
Aplicación de cuestionarios
Análisis observacional
Análisis de los datos
Poblado del Perfil Integral de Usuario
•Fase 1: Medición durante un estado cognitivo neutral•Fase 2: Medición durante un estado cognitivo motivado•Fase 3: Medición la generación de estrés cognitivo•Fase 4: Medición durante una fase de recuperación post-estrés
Evaluación Centrada en el Usuario
Evaluación Centrada en el Usuario (UCE)
ECU
Agenda
Actividad DuraciónCENIDET 2Líneas de Investigación 5Cómputo Consciente del Contexto 15Cognición Aumentada 15Evaluación Centrada en el Usuario 15Conclusiones 5
Concl
usi
on
es
Los sistemas conscientes del contexto formarán parte de los servicios de soporte para la toma de decisiones.
La incorporación de servicios de apoyo y guía marcan la tendencia en TICs.
El mercado de TICs está demandando profesionistas con competencias para diseñar e implementar sistemas de información que incorporen tecnologías móviles y HCI.
De acuerdo a la vigilancia tecnológica las áreas de oportunidad para los próximos 10 años son:
LBS Realidad aumentada UCE/UX BCI
Gracias por su atención
Información de contacto:Dr. Gabriel González SernaE-mail: [email protected]. ofic.: 3627770 ext. 311Twitter: gabogs10Home page: http://www.cenidet.edu.mx/subaca/web-dcc/Staff/sds/serna.htmlMis presentaciones: http://www.slideshare.net/GabrielSerna
Top Related