Servicios Móviles Sensibles al Contexto

Servicios Móviles Sensibles al Contexto

Universidad de Deusto. . . . . . . . .

Iñaki Vázquez / Diego López de Ipiña{ivazquez, dipina}@eside.deusto.es

Facultad de IngenieríaUniversidad de Deusto

Iñaki VazquezDiego López de Ipiña


Universidad de DeustoUniversidad de Deusto. . . . . . . . .

MovilForum 2003


Contenidos

• Computación Ubicua y Sensible• La siguiente revolución: 4G• EMI2: concepto y arquitectura• MobileEye: concepto y arquitectura• Conclusiones




MovilForum 2003


Computación Ubicua

• Paradigma de computación inventado por Mark Weiser en Xerox PARC

• Ubiquituos Computing: – Pretende aumentar los entornos en que vivimos

(casa, oficina) y los objetos en ellos contenidos (puerta, cuadro, pizarra) con servicios computacionales

– Estos servicios son ofrecidos por dispositivos computacionales integrados de manera transparente con nuestro entorno (Invisible Computer)

– A menudo no requieren la interacción explícita del usuario, sino implícita a través de contexto (existe inteligencia ambiental)




MovilForum 2003


Computación Sensible

• Sentient Computing disciplina de software que hace posible la Computación Ubicua:– Dispositivos computacionales integrados en

nuestro entorno que nos proporcionan servicios son aumentados con capacidades sensoriales:

• Pueden ver o oir (sentir) quién o qué se encuentra a nuestro alrededor, qué actividad están realizando, dónde se encuentran y cuándo algo está ocurriendo

– Infraestructuras de computación sensibles al contexto proveen de manera proactiva servicios al usuario que responden a su situación contextual.




MovilForum 2003


Objetivos de Computación Sensible

• Construir Espacios Sensibles e Inteligentes (Sentient Spaces) = entornos computacionales que sienten y reaccionan.

• Reducir la separación (gap) en la interacción entre el usuario y el ordenador usando contexto (adios ratón y teclado)

• Materializar concepto de Ubiquitous Computing




MovilForum 2003


Funcionamiento Sentient Computing

• Sentient Computing = ordenadores + sensores + reglas:– Sensores distribuidos capturan contexto, e.g.

temperatura, identidad, localización, etc– Sistemas de reglas modelan cómo los

ordenadores reaccionan a los estímulos provistos por sensores

– 3 fases: (1) captura de contexto, (2) interpretación de contexto y (3) ejecución de acciones




MovilForum 2003


La siguiente revolución (I)

• En el mundo de la telefonía móvil se han vivido sucesivas revoluciones.

• Actualmente se está llegando a la tercera generación (3G) dónde la diferencia radica en:– Mayor ancho de banda– Terminales multimedia– Contenidos multimedia– Plataforma de computación total




MovilForum 2003


La siguiente revolución (II)

• La pregunta es: ¿en qué consistirá la 4ª generación?– ¿Mayor ancho de banda?– ¿Mayor interactividad?– …

• Para nosotros 4G = inteligencia ambiental / móvil:– El terminal conoce al usuario: es su mayordomo, su

asistente personal– El terminal facilita al usuario sus tareas en base a ese

conocimiento– El terminal facilita la interacción del usuario con el

entorno, hasta el punto de operar sin participación del usuario




MovilForum 2003


Características (I)

• Un sistema que permita alcanzar nuestra definición de 4G debe:– Percibir el entorno: terminal móvil con

sensores, puertos bluetooth e infrared, cámara (reconocimiento por visión), ...




MovilForum 2003


Características (II)

– Almacenar todas las interacciones del usuario (llega al garaje, abre la puerta, llama al ascensor, entra en casa, …)

– Extraer patrones de comportamiento a partir de dichos datos, en base a:• Tiempo (horarios y fechas)• Lugar• Dispositivos vecinos• Correlaciones de tareas (anteriores)




MovilForum 2003


Características (III)

– Aplicar este conocimiento según los patrones extraídos:

• abrir la puerta del garaje cuando se aproxima (tiempo, lugar y dispositivo próximo)

• llamar al ascensor después• …

• El terminal móvil está siempre con el usuario: es el elemento ideal para habilitar estos servicios

• El móvil se convierte en una herramienta vital para Computación Sensible




MovilForum 2003


Arquitectura EMI2 (I)

• EMI2: Environment-Mobile Intelligent Interaction• Es una arquitectura que permite avanzar hacia

el concepto de inteligencia ambiental/computación sensible, utilizando el terminal móvil como catalizador

• Características:– Almacena todas las interacciones del usuario para

extraer los patrones de comportamiento– El almacén puede ser local o remoto– Utiliza mecanismos de localización (GPS, bluetooth,

reconocimiento de patrones (código barras))– Utiliza mecanismos de descubrimiento del entorno

(bluetooth, infrared, cámara)– Basado en tecnologías web: servicios web y XML




MovilForum 2003


Arquitectura EMI2 (II)

• Elementos:– EMIBehaviourRepository: almacén

de datos de interacción– EMIDevice: dispositivo del entorno– EMIProxy: representante del usuario

(terminal móvil), sondea la presencia de EMIDevices




MovilForum 2003


Arquitectura EMI2 (III)

EMIProxy &

EMIBehaviourRepositoryEMIBehaviourRepository

EMIDevice

EMIDevice

EMIDevice

Bluetooth, WiFi, Ethernet

Bluetooth, Camera




MovilForum 2003


EMIBehaviourRepository

• El EMIBehaviourRepository puede estar repartido entre:– EMIProxy– EMIDevice– una entidad independiente

• Ya que todos ellos pueden guardar partes de la pauta de comportamiento del usuario y elaborar su propio perfil.

• Esto significa que el terminal móvil puede guardar datos sobre cómo el usuario usa una puerta, pero también la puerta puede guardar datos sobre el usuario




MovilForum 2003


Mensajes EMI2

• EMI2 hace uso de mensajes XML.• Ejemplo de mensaje de presencia de

EMIDevice:

<?xml version="1.0" encoding="UTF-8"?><emi2>

<presence id="puerta.entrada.bilbao.acme.es" type="home/door"><access via="bluetooth/serial" uri="puerta.entrada.bilbao.acme.es"/><access via="http" uri="http://emi2a.deusto.es/profiles/entrada"/><access via="http" uri="http://emi2b.deusto.es/profiles/entrada"/><name>Puerta de entrada</name><description>Puerta de entrada del Edificio ACME</description>

</presence></emi2>




MovilForum 2003


Escenario posible a través EMI2

1. Usuario llega a entrada trabajo, móvil (EMIProxy) detecta mecanismo validación puerta (EMIDevice) y se lo muestra al usuario.

2. Usuario selecciona operación ‘validación de acceso’, introduce PIN y puerta se abre

3. Usuario llega a oficina, sistema control temperatura detecta su presencia y se configura con los parámetros utilizados por usuario la última vez.

4. Usuario se acerca a máquina café, que le identifica y sugiere tipo de bebida que suele tomar a esa hora. El usuario acepta y la bebida es servida.

5. Usuario coge libro de biblioteca empresa y apunta móvil a código de barras en libro, BD biblioteca es actualizada indicando quién tiene el libro ahora.




MovilForum 2003


MobileEye (I)

• Primera aplicación prototipo para evaluar concepto de EMI2:– Usa una combinación de códigos de barras 2-D y

móviles con cámara, para que éstos reconozcan los objetos de su entorno:

• Añade “capacidad de visión” al teléfono móvil

– Objetos del entorno son aumentados con representantes software (proxies) en la forma de servicios web:

• Puerta asociada con PuertaWebService• Cuadro con CuadroWebService




MovilForum 2003


MobileEye (II)Still Life: Vase with Fifteen SunflowersOil on canvas100.5 x 76.5 cm.Arles: January, 1889Tokyo: Sompo Japan Museum of Art




MovilForum 2003


MobileEye (III)• Como consecuencia del reconocimiento de una

objeto en entorno, el móvil presenta información/interfaz a través del cual usuario puede operar con servicio web de objeto etiquetado

– Facilita la interacción a través del móvil con nuestro entorno

• Componentes EMI2 de Inteligencia Artificial (EMIBehaviourRepository) no usado. MobileEye usa una simplificación de la arquitectura de EMI2

– Supone interacción siempre explícita del usuario con las entidades aumentadas




MovilForum 2003


MobileEye (IV) <?xml version="1.0"?>

<mobileeye> <state code="200"/> <code>61002</code> <descShort>Mobility</descShort> <descLong>Book about Mobile Agents</descLong> <url>http://www.deusto.es/library?book=123</url> </mobileeye>

MobileEye Server

captured image

Parsed image response in XML

Code Web Service




MovilForum 2003


Códigos de barras para MobileEye

• TRIP: 2-D barcode con código ternario

• Ojo de buey fácilmente identificable:

– no varía con respecto a: rotación perspectiva

– alto contraste

• 2 anillos de codificación de 16 bit :

– 1 sector de sincronización– 2 para comprobar error de paridad – 313 = 1584323 códigos válidos

* 10 2011221210001

TRIPcode with ID 1160407

1

2 0

sync sector

even-parity sectors




MovilForum 2003


Image processing en MobileEye

Stage 0: Grab Frame Stage 1: Binarization Stage 2: Binary Edge Detection

Stage 3: Edge Following & Filtering Stages 4-7: Ellipse Fitting, Ellipse Concentricity Test, Code Deciphering and POSE_FROM_TRIPTAG method

Ellipse params: x (335.432), y (416.361) pixel coords a (8.9977), b (7.47734) pixel coords (15.91) degrees

Bull’s-eye radius: 0120 (15 mm)TRIPcode: 002200000 (1,944)

Translation Vector (meters): (Tx=0.0329608, Ty=0.043217, Tz=3.06935)

Target Plane Orientation angles (degrees): (=-7.9175, =-32.1995, =-8.45592)

d2Target: 3.06983 meters




MovilForum 2003


Funcionamiento de MobileEye (I)

• Dos modos de funcionamiento:– A través de aplicación standalone

(basada en J2ME)– Usando capacidades estándar de un

teléfono multimedia (MMS, Wap Push y páginas WML)




MovilForum 2003


Funcionamiento de MobileEye (II)

• Opción 1: MIDlet que lleva a cabo las siguientes funciones:– Captura imágenes y las envía a petición del

usuario a servidor MobileEye– Servidor MobileEye procesa la imagen y envía

como respuesta un fichero XML con información sobre objeto reconocido y url apuntando a servicio web que lo representa.

– MIDlet MobileEye visualiza la respuesta y/o interfaz del servicio web del objeto etiquetado

– Requiere teléfono móvil que soporte J2ME MMAPI (actualmente Nokia 3650 y Nokia 6600)




MovilForum 2003


Funcionamiento de MobileEye (III)

• Opción 2: Usuario simplemente utiliza capacidades ya disponibles en móvil:– Envía MMS con imagen de objeto etiquetado a la

dirección [email protected]– Servidor MobileEye comprueba la recepción de esos

mensajes en servidor mail y extrae de ellos la imagen– Servidor MobileEye procesa la imagen y envía

respuesta:• Si se ha reconocido código, se envía un Wap Push al móvil

del usuario con url apuntando a descripción e interfaz WAP del servicio web del objeto etiquetado

• Si no se ha reconocido código, se envía un SMS indicando al usuario que reenvíe otra imagen más cercana (más pixels) del código de barras del objeto.

– Disponible para un gran abanico de teléfonos móviles de última generación




MovilForum 2003


StreamEye

• Supervisión remota– “Muestra la imagen capturada por un

móvil apuntando a tu niño” en una página web

• http://172.16.107.72/mobileeyewatch




MovilForum 2003


Conclusiones

• EMI2 es un modelo de arquitectura que permite crear entornos inteligentes

• El objetivo es diseñar un sistema personal 4G que habilite un nuevo mundo de servicios móviles sensibles al contexto

• La aplicación MobileEye añade a un móvil con cámara capacidad visual y demuestra cómo el móvil puede usarse como intermediario con nuestro entorno




MovilForum 2003


Ejemplos códigos de barras

Servicios Móviles Sensibles al Contexto

Documents

Transcript of Servicios Móviles Sensibles al Contexto