Cómputo Consciente del Contexto: Cognición Aumentada mediante Interfaz Cerebro-Computadora

Cómputo Consciente del
Contexto: Cognición
Aumentada mediante BCI
Dr. Gabriel González Serna
Grupo CARS Sistemas Distribuidos
gabriel@cenidet.edu.mx
@gabogs10

Agenda
Actividad Duración
CENIDET 5
Líneas de Investigación 5
Cómputo Consciente del Contexto 15
Cognición Aumentada 15
Evaluación Centrada en el Usuario 15
Conclusiones 5

CENIDET
CEntro
Nacional de
Investigación
DEsarrollo
Tecnológico
 El CENIDET ofrece Maestrías y
Doctorados para profesionistas
interesados en prepararse para la
investigación aplicada y el
desarrollo tecnológico. En estos
programas el estudiante adquiere
conocimientos y competencias para
integrarse a:
 Industria de base tecnológica
 Instituciones de investigación o
desarrollo tecnológico y
 Escuelas para la formación de ingenieros

cenidet
Oferta
Académica
En cenidet se ofrecen tres programas de posgrado (todos con
becaCONACyT):
 Maestría y doctorado en ingeniería electrónica
 Electrónica de potencia
 Control automático
 Maestría y doctorado en ingeniería mecánica
 Sistemas térmicos
 Diseño mecánico
 Maestría y doctorado en ciencias de la computación
 Sistemas Distribuidos (grupo CARS)
 Ingeniería de software
 Inteligencia Artificial

Líneas de
Investigación
Tecnologías de laWeb Semántica
1. Procesamiento de lenguaje natural (PLN)
2. Sistemas Basados en Conocimiento
3. Modelado Semántico
Tecnologías Context-Awarness
1. Cómputo conscientes del contexto (CAC)
2. Interacción Humano-Computadora (HCI)
3. Evaluación Centrada en el Usuario (UCE)
i. Evaluación heurística
ii. Experiencia del usuario (UX)
iii. Cognición aumentada

Agenda
Actividad Duración
CENIDET 2
Líneas de Investigación 5
Cómputo Consciente del Contexto 15
Cognición Aumentada 15
Evaluación Centrada en el Usuario 15
Conclusiones 5

CCC
Cómputo
Consciente
del
Contexto
En un ambiente de cómputo consciente
del contexto la computadora es capaz de
identificar el entorno del usuario para
ofrecerle servicios de apoyo en la
realización de sus actividades.
Contexto
Material
Simbólico

CCC
Cómputo
Consciente
del
Contexto
 Un CCC debe caracterizar las siguientes
dimensiones del contexto:
 Patrones de comportamiento (¿Por qué?),
 Descubrimiento de intenciones (¿Para qué?),
 Capacidades del Usuario (¿Cómo presentar la información?)
 Capacidades del dispositivo (¿Qué puede hacer?)

HCI
Human
Computer
Interaction
Es un área de estudio que trata sobre
la investigación, diseño y desarrollo
de nuevas tecnologías para ayudar a
mejorar la interacción entre el
humano y las computadora

Ambient Computing
La nube extiende NUI a través de
varios dispositivos
¿Qué es
HCI?
Natural User Interface (NUI)
El software interpreta el comportamiento
humano
La Informática se convierte
en parte de la vida
cotidiana
Redes, nube, siempre conectado
Emula la comunicación
humana
Multisensores, contextualización,
anticipación, intuición, aprendizaje
Human -Computer Interface (HCI)
Los sensores detectan el
comportamiento humano
Detecta y procesa el
comportamiento humano
Visión, sonido, señal
biométrica, ambiente.

¿Qué es un
HCI?
Cómputo ambiental- NUI se convierte en parte de la
vida cotidiana
Cómputo Consiente del Contexto
Relaciones
• Reglas
• Event-triggers Perfil del
usuario
• Reglas
Contexto
• Datos
• Experiencia
Acciones implícitas
• Predicción de
comportamiento
Device-to-Device

Evolución
de las
tecnologías
HCI
Human
Computer
Interaction
CLI
Command
Line Interface
(Texto)
GUI
Graphical
User Interface
(Gráficos)
NUI
Natural User
Interface
(Objetos)
OUI
Orgnic User
Interface
(Biométricos)

¿Qué es
HCI?
Dispositivos de interfaz humana y software
Detectar y tratar el comportamiento humano

¿Qué
tecnologías
HCI utiliza el
CCC?

Cognición
Aumentada
Cognición aumentada (AugCog) es
un campo de investigación en la frontera entre
la Interacción Humano-Computadora, la
psicología, la ergonomía y la neurociencia, que
tiene como objetivo la creación de nuevas
modelos de Interacciones Humano-
Computadora.

¿Qué
estamos
desarrollando?
Cognición
Aumentada
 Identificación de estados cognitivos.
 Evaluación de estados cognitivos en el desarrollo
de actividades
 Concentración
 Estados no aptos para realizar la actividad
 Evaluación de estados cognitivos aplicados
 Evaluación Centrada en el Usuario (UCE)
 Experiencia del Usuario (UX)
 Identificación de estados de ánimo
 Emociones, satisfacción, disgusto, alegría, enojo
 Proceso de comunicación
 Generador automático de oraciones mediante EEG y EMG
 Contexto introspectivo

Lecturas
Biométricas
 Electrocardiograma
 ECG.
 Electromiografía.
 EMG
 Electroencefalograma.
 EEG
 Electroculograma.
 EOG

EEG
EEG (Electroencefalograma) es un medidor
neurofisiológico de la actividad eléctrica del
cerebro por medio de electrodos colocados en la
superficie de la cabeza
 También conocido como brainwaves o impulsos
eléctricos cerebrales.

Ubicación de
los electrodos
10-20

Ubicación de
los electródos
10-20

BCI
Interfaz
Cerebro
Computadora

Mindwave
Mobile
 Electrodos: 1
 2 mental states (based on 4 brainwaves), eyeblinks
 21 March 2011
 Neurosky
 .NET,Android,iPhone,Arduino

Necomimi
 Electrodos: 1
 1 mental state
 July 2012
 Neuroware

Mindset
 Electrodos: 1
 2 mental states (based on 4 brainwaves), eyeblinks
 1 December 2011
 Neurosky

Mindball
 Electrodos: 1
 1 mental state
 21 December 2009
 Mattel (Neurosky partner)

Starwars
force trainer
 Electrodos: 1
 1 mental state
 21 June 2009
 Uncle Milton (Neurosky partner)

XWave
Sport
Electrodos:1
8 EEG bands
 5 January 2011
XWave

MyndPlay
Electrodos:1
8 EEG bands
 1 December 2011
MyndPlay

Neural
Impulse
Actuator
 Electrodos:3
 2 brainwaves (Alpha & Beta), facial muscle and eye
movements
 May 2008
 OCZ Technology
 Python

Emotiv
EPOC
 Electrodos:14
 4 mental states (based on brainwaves), 13
conscious thoughts, facial expressions, head
movements (sensed by 2 gyros)
 21 December 2009
Emotiv Systems
 C#,C++,Java,Matlab,Python

NeuroSky
MindWave
 Peso ligero
 Comunicación vía wireless
 8 horas de batería AAA
 Incluye un CD extra con 10 aplicaciones de neurociencia
 Compatible con Mac OS X, Windows XP, Windows Vista, Windows 7
 Emparejamiento del equipo inalámbrico automático
 Una sola pila AAA
 $79.99 dólares = $1048.16 pesos
http://store.neurosky.com/products/mindwave-1

Mindo-4S
Jellyfish
 Cuenta con sensores secos. Utiliza una banda a base de silicio.
Mide la actividad cerebral en la zona frontal.
 Inalámbrico
 Cuenta con 4 sensores EEG
 Compatible con Tablet y PC a través de bluetooth
 Batería recargable con duración de hasta 10 horas continuas
http://mindo.com.tw/en/goods.php?act=view&no=4

B-Alert 24
Channel
Wireless
EEG
 20 canales EEG de grado médico, además de 4 canales auxiliares de
ECG, EMG, o EOG (24 canales en total)
 Mide la concentración, distracción, somnolencia y estrés
 Comunicación bluetooth de hasta 20 metros
 8 horas de duración de la batería recargable
 Cuenta con acelerómetro
 Acceso en tiempo real de los datos sin procesar
 SDK compatible con Matlab, EEGLab, BCI2000, qEEG, entre otros.
 Windows únicamente

Dry EEG
Headband
 Compatible con plataforma Mac OS X y Windows
 Conexión bluetooth
 Monitoreo en tiempo real de señales EEG
 Guarda EEG en formatos estándar para la importación en MATLAB y
otros paquetes de análisis
 Herramientas basadas en GUI así como una API fácil de usar para el
acceso de datos en bruto directamente a los auriculares.
http://www.cognionics.com/index.php/products/dry-eeg-headband

Dry EEG
Cap
 Esta diadema contiene electrodos secos y un peso de 250gr; cuenta
con 16 electrodos. No requiere gel o sustancias para hidratar los
electrodos.
http://www.cognionics.com/index.php/products/dry-eeg-headband

Emotiv
 Expresiones faciales.
 Métricas de rendimiento y Estados Emocionales.
 Comandos Mental.

¿Qué estamos
desarrollando?
Caracterización
de estados
mentales
Las frecuencias del cerebro están vinculadas a
acciones y a diferentes etapas de conciencia.
Estas frecuencias son denominadas
comúnmente Ritmos Cerebrales.

 Ondas beta:Asociadas con la concentración.
 Ondas gamma:. Asociadas con la atención, la percepción, y la cognición
 Ondas alfa: Se asocian con la relajación y desconexión.
 Ondas theta: Asociadas con la inspiración creativa,
alucinaciones….(drogas).
 Ondas delta: Se presentan cuando estamos durmiendo…
¿Qué estamos
desarrollando?
Caracterización
de estados
mentales

¿Qué estamos
desarrollando?
Caracterización
de estados
mentales
 El objetivo de nuestra línea de investigación es
modelar, diseñar y evaluar métodos de HCI
aplicados en sistemas de CCC para personas con
capacidades diferentes, mediante interfaces
multimodales y dispositivos multisensoriales que
complementen las capacidades de una persona, con
o sin discapacidad.

¿Qué estamos
desarrollando?
Caracterización
de estados
mentales
 Los sistemas de CCC cuenta con servicios para
explotar la información contextual que permita
explotar información mediante máquinas de
inferencia para mostrarle al usuario la información
que sea de su interés de acuerdo al perfil
 ¿Quién? (Who?)
 ¿Dónde? (Where?)
 ¿Cuándo? (When?)
 ¿Qué? (What?)
En el perfil de usuario no se
consideran las discapacidades que
permitan al sistema de CCC
adaptarse a las necesidades del
usuario y complementar sus
capacidades sensoriales.
Patrones de comportamiento (¿Por qué?),
Descubrimiento de intenciones (¿Para qué?),
Capacidades del Usuario (¿Cómo presentar la información?)
Capacidades del dispositivo (¿Qué puede hacer?)

¿Qué
estamos
desarrollando?
Cognición
Aumentada
• Identificación de emociones
• Generador de oraciones (PLN)
• Interacción Humano-Computadora
• Control de Dispositivos

¿Qué estamos
desarrollando?
Caracterización
de estados
mentales Relajación

¿Qué
tecnologías se
utilizan?
Cognición
Aumentada
Orientación
EEG
EMG
ADQUISICIÓN DE
SEÑALES
Señales en bruto
001010100101010101
Señales digitalizadas
PROCESAMIENTO DE SEÑALES
Extracción de características
Algoritmo de traducción
Funciones predefinidas
PROCESAMIENTO DE COMANDOS
SINTETIZACIÓN DE VOZ

¿Qué
tecnologías se
utilizan?
Cognición
Aumentada
Dominio
Futbol
ID Frase
1 ¡Gooooool!
2 Buen juego
3 ¡Eso es falta!
. …..
. ….
. ….
n Buena jugada
Pensamientos
Emociones
Gestos
ID Frase
1 ¡Gooooool!
2 Buen juego
3 ¡Eso es falta!
. …..
. ….
. ….
n Buena jugada
Falta! =

Cognición
Aumentada
Tema 1 Tema 2
Tema 3 Tema 4
Tema 5 Tema 6
Tema 7 Tema 8
1. Entrar al sistema
2. Verificar hora
3. Selección de temas según
el contexto de la hora
Bolsa de
palabras general
Estado 1
Estado 3
Estado 2
Estado 4
Estado cognitivo
del usuario
Bolsa de
palabras
Bolsa de
palabras
Bolsa de
palabras
Bolsa de
palabras
Método de escritura
Texto en
pantalla
4. Palabras comunes en
cualquier contexto
5. ¿Cuál es el estado
emocional del usuario?
6. Selección de
palabras según su
estado emocional
8. Retroalimentación
del estado cognitivo
del usuario
7. Método para la
selección de las palabras
para generar una frase
9. Expresar el mensaje de
diferentes medios.

 Investigaciones recientes sobre técnicas de explicación en los
SR, muestran que las explicaciones aportan diferentes
beneficios y objetivos a un SR.
USER
EXPERIENCE
Transparencia
Escrutabilidad
Eficiencia
Persuasión
Confianza
Satisfacción
Eficacia
Evaluación
Centrada en el
Usuario

Perfil
Integral de
Usuario (PIU)
 A partir de los datos almacenados en el PIU se refleja, entre
otras, la conexión:
 Estilo de personalidad - Estado cognitivo - Respuestas
neurofisiológica - Género - Coeficiente Intelectual - Edad
Aplicación del
protocolo inicial
Monitoreo de la
actividad cerebral
del usuario
Aplicación de
entrevistas
Aplicación de
cuestionarios
Análisis
observacional
Análisis de los
datos
Poblado del Perfil
Integral de Usuario

Metodología
para el
poblado del
PIU
Perfil Integral de Usuario (PIU)

Metodología
para el
poblado del
PIU
Aplicación del
protocolo
inicial
Monitoreo de la
actividad cerebral
del usuario
Aplicación de
entrevistas
Aplicación de
cuestionarios
Análisis
observacional
Análisis de los
datos
Poblado del Perfil
Integral de Usuario
•Fase 1: Medición durante un estado cognitivo neutral
•Fase 2: Medición durante un estado cognitivo motivado
•Fase 3: Medición la generación de estrés cognitivo
•Fase 4: Medición durante una fase de recuperación post-estrés

Evaluación
Centrada en
el Usuario
 Evaluación Centrada en el Usuario (UCE)
ECU

Conclusiones
 Los sistemas conscientes del contexto formarán parte
de los servicios de soporte para latoma de decisiones.
 La incorporación de servicios de apoyo y guía marcan la
tendencia en TICs.
 El mercado de TICs está demandando profesionistas con
competencias para diseñar e implementar sistemas de
información que incorporen tecnologías móviles y HCI.
 De acuerdo a la vigilancia tecnológica las áreas
de oportunidad para los próximos 10 años son:
 LBS
 Realidad aumentada
 UCE/UX
 BCI

Gracias
por su
atención
Información de contacto:
Dr. Gabriel González Serna
E-mail: gabriel@cenidet.edu.mx
Tel. ofic.: 3627770 ext. 311
Twitter: gabogs10
Home page:
http://www.cenidet.edu.mx/subaca/web-dcc/Staff/sds/serna.html
Mis presentaciones: http://www.slideshare.net/GabrielSerna

Cómputo Consciente del Contexto: Cognición Aumentada mediante Interfaz Cerebro-Computadora

Recommended

Recommended

More Related Content

Similar to Cómputo Consciente del Contexto: Cognición Aumentada mediante Interfaz Cerebro-Computadora

Similar to Cómputo Consciente del Contexto: Cognición Aumentada mediante Interfaz Cerebro-Computadora (20)

More from Gabriel Gonzalez Serna

More from Gabriel Gonzalez Serna (20)

Cómputo Consciente del Contexto: Cognición Aumentada mediante Interfaz Cerebro-Computadora