Realidad Aumentada Modulo 2. Dispositivos de entrada y salida
-
Upload
maria-jose-abasolo-guerrero -
Category
Documents
-
view
613 -
download
4
Transcript of Realidad Aumentada Modulo 2. Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
REALIDAD AUMENTADA
Profesora:
María José AbásoloUniversidad Nacional de La Plata
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
MÓDULO 1 Introducción a Realidad Aumentada (RA) MÓDULO 2Dispositivos de entrada y salida MÓDULO 3Fundamentos teóricos MÓDULO 4Librerías y authoring de RA
Contenidos
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
M2- Dispositivos de entrada y salida
Características de un sistema de RA Dispositivos de entrada
Captura Tracking Interacción
Dispositivos de salida Visuales Auditivas Táctiles
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
M2- Dispositivos de entrada y salida
Características de un sistema de RA Dispositivos de entrada Dispositivos de salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Cómo es una aplicación de RA
TRACKINGCAPTURA
GENERADOR INFORMACION AGREGADA
Posición y orientación Video o visión directadel mundo real
Imagen real + objetos virtuales registrados
Proyección dela escena virtual (gráficos 3d)
VISUALIZADOR+ sonidos+ respuestastáctiles
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Cómo es una aplicación de RA Capturar la escena real Conocer posición y dirección de visión usuario: tracking Aumentar la escena real Interacción user-sistema
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Necesidades de RA
Dispositivos de entrada Dispositivos de salida Aplicación en tiempo real
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Necesidades de RA
Dispositivos de entrada Capturar la realidad Conocer posición-seguimiento (tracking) Interactuar con el sistema (comandos de entrada)
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Necesidades de RA
Dispositivos de salida Visualizador (display) que integre realidad –
virtualidad Otras salidas no visuales: sonidos y estímulos
táctiles
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Necesidades de RA
Aplicación en tiempo real Integrar realidad y virtualidad Interactividad (mediante nuevas metáforas de
interacción)
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
M2- Dispositivos de entrada y salida
Dispositivos de entrada Captura Tracking Interacción
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de entradaCaptura de la realidad
M2- Dispositivos de entrada y salida
La captura de la realidad es la obtención de un video en tiempo real desde el punto de vista de un usuario Un video es una secuencia de imágenes I1, I2, …, In
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de entradaCaptura de la realidad
M2- Dispositivos de entrada y salida
La velocidad de captura depende del hard y soft utilizado
25 a 30 imágenes por segundo es la cantidad de imágenes que tenemos que visualizar en una pantalla para percibir continuidad en la secuencia de objetos en movimiento
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de entradaCaptura de la realidad
M2- Dispositivos de entrada y salida
El video capturado puede necesitarse para: Visualizar un nuevo video “aumentado”
video capturado + imágenes sintéticas video capturado
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de entradaCaptura de la realidad
M2- Dispositivos de entrada y salida
El video capturado puede necesitarse para: Visualizar un nuevo video “aumentado”
Si el dispositivo de visualización es “transparente” no se requiere hacer un “video aumentado” ya que el usuario visualiza la realidad directa y por lo tanto no sería necesaria la captura de video para este propósito
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de entradaCaptura de la realidad
M2- Dispositivos de entrada y salida
El video capturado puede necesitarse también para: Realizar el tracking videométrico
Esto significa analizar cada imagen del video en busca de características que ayuden a establecer la posición y orientación del usuario en el mundo real en cada instante
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de entradaCaptura de la realidad
M2- Dispositivos de entrada y salida
La captura de la realidad se realiza por medio de una cámara Puede estar integrada al dispositivo de
visualización Puede ser una cámara independiente del
dispositivo de visualización
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de entradaCaptura de la realidad
M2- Dispositivos de entrada y salida
Dispositivos de captura de la realidad Cámara web conectada a PC Cámara incorporada a casco-gafas “HMD” Cámara integrada en dispositivo “hand
held” Ninguno (si no se necesita el video ni para
hacer video aumentado ni para realizar tracking)
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de entradaCaptura de la realidad
M2- Dispositivos de entrada y salida
Dispositivos de captura de la realidad Cámara web conectada a PC
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de entradaCaptura de la realidad
M2- Dispositivos de entrada y salida
Dispositivos de captura de la realidad Cámara incorporada a casco-gafas “HMD”
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de entradaCaptura de la realidad
M2- Dispositivos de entrada y salida
Dispositivos de captura de la realidad Cámara integrada en dispositivo “hand
held”
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de entradaCaptura de la realidad
M2- Dispositivos de entrada y salida
Según los dispositivos usados la cámara puede Estar fija, capturando una escena en
movimiento. Por ejemplo: aplicaciones de escritorio en las que movemos un marcador
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de entradaCaptura de la realidad
M2- Dispositivos de entrada y salida
Según los dispositivos usados la cámara puede Ser una cámara móvil
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
M2- Dispositivos de entrada y salida
Dispositivos de entrada Captura Tracking Interacción
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de entradaTracking
M2- Dispositivos de entrada y salida
El movimiento de un usuario u objeto se describe mediante 6 parámetros o grados de libertad (Degree Of Freedom o DOF) 3 grados dan la posición (x,y,z) en un sistema de
coordenadas de referencia 3 grados dan la rotación (Rx,Ry,Rz) con
respecto a los 3 ejes principales X,Y,Z de un sistema de referencia
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de entradaTracking
M2- Dispositivos de entrada y salida
Según la aplicación, el tracking puede realizarse de: la cabeza los ojos la mano y de los dedos un objeto
Nota: no nos estamos refiriendo a tracking aplicaciones de RA exclusivamente sino también a RV e interfaces avanzadas
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking de la cabeza Puede necesitarse conocer solamente
su posición o también su orientación Utilizado en aplicaciones de RV y
algunas de RA
Dispositivos de entradaTracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking de ojos El “eye tracking” o seguimiento del ojo nos
permite saber dónde dirige su mirada una persona y la altura de los ojos
Utilizado como interfaz de usuario, por ejemplo para personas con movilidad reducida
Dispositivos de entradaTracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking de la mano y dedos Necesario para proporcionar al usuario
un mecanismo de interacción con el mundo
Ayuda a la comunicación entre varios participantes
Se usa en RV y en algunas aplicaciones de RA
Dispositivos de entradaTracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking de la mano y dedos DataGlove: utiliza un sensor de posición.
Tiene sensores para detectar la flexión de los dedos (5° de resolución)
Dispositivos de entradaTracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking de objetos Hay objetos que pueden servir como
indicación de la posición del usuario Utilizar un dispositivo puntero 3D indica donde puede estar la mano Girar un volante indica la posición de las manos Pulsar un pedal indica donde esta el pié
Dispositivos de entradaTracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking de objetos Otros objetos necesitan un tracking
independiente del usuarioPor ejemplo, una aplicación de RA de entrenamiento médico que utiliza un bisturí
Dispositivos de entradaTracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking de objetos Objetos que se utilizan como interfaz de
usuario
Dispositivos de entradaTracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
El tracking nos provee posición y orientación relativa a un cierto sistema de coordenadas Por ejemplo: en una aplicación de RA con
marcadores, cual es la posición y orientación de un cierto marcador en relación a la cámara que captura la escena
Por ejemplo: en un video de vigilancia, cual es la posición relativa de una cierta persona en relación a su posición anterior
Dispositivos de entradaTracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
En algunas aplicaciones de RA denominadas gravimétricas (Gravimetric AR) es necesario conocer la posición y orientación global (latitud, longitud, altitud y orientación con respecto al Norte)
Dispositivos de entradaTracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Gravimetric AR Madden, L. (2011) Professional Augmented Reality Browsers
for Smartphones. Programming for junaio, Layar and Wikitude. John Wiley & Sons, ISBN 978-1-119-99281-3.
Se denomina a las aplicaciones de RA basadas en la localización del usuario a través del GPS y otros sensores del teléfono móvil: se conoce la posición del usuario y en que dirección apunta con su dispositivo de captura/visualización
La aplicación puede visualizar información relevante a la posición mostrando que hay alrededor dependiendo de los intereses del perfil
Dispositivos de entradaTracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de entradaTracking
M2- Dispositivos de entrada y salida
El tracking puede realizarse de muchas maneras: Tracking basado en dispositivos Tracking basado en video o videométrico Tracking híbrido: combinación de ambos
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
El tracking puede realizarse de muchas maneras Tracking basado en dispositivos Tracking basado en video o videométrico Tracking híbrido: combinación de ambos
Dispositivos de entradaTracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de tracking Electromagnético Mecánico Óptico Ultrasónico Neuromuscular Inercial GPS
Dispositivos de entradaTracking | Dispositivos de tracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking Electromagnético
Dispositivos de entradaTracking | Dispositivos de tracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking Electromagnético Denominado Inside-out, pues los sensores están
en el cuerpo (inside) y recolectan datos de fuentes externas (out)
Los sensores del cuerpo se mueven en un campo elecromagnético exterior
Utilizado en algunas aplicaciones de realidad virtual de ambiente controlado
Dispositivos de entradaTracking | Dispositivos de tracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking Electromagnético Relación entre un gran transmisor y un
pequeño receptor No se necesita una línea de visión directa Múltiples receptores permiten el seguimiento
de diferentes articulaciones Normalmente funciona con cables Los metales pueden crear interferencias El espacio de trabajo es reducido
Dispositivos de entradaTracking | Dispositivos de tracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking Mecánico
Dispositivos de entradaTracking | Dispositivos de tracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking Mecánico Denominado Inside-in, ya que tanto los sensores
como las fuentes están localizados en el cuerpo
Trajes electromecánicos: los sensores son potenciómetros y las fuentes son las articulaciones reales del cuerpo que presionan sobre ellos
Utilizado en algunas aplicaciones de realidad virtual de ambiente controlado
Dispositivos de entradaTracking | Dispositivos de tracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de tracking Mecánico
Muy rápido Muy preciso Muy incomodo para el usuario Movimientos muy limitados Se puede integrar la respuesta de fuerzas
(force-feedback)
Dispositivos de entradaTracking | Dispositivos de tracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de tracking Óptico
Dispositivos de entradaTracking | Dispositivos de tracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de tracking Óptico
Dispositivos de entradaTracking | Dispositivos de tracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de tracking Óptico
Outside-in: sensores externos (outside) para recolectar datos de fuentes localizadas en el cuerpo (in)
Sistemas basados en cámaras: las cámaras son los sensores que capturan los marcadores reflectivos que actuan como fuentes
Utilizados para captura de movimiento para realizar animaciones
Dispositivos de entradaTracking | Dispositivos de tracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de tracking Óptico
Utiliza cámaras de video u otros sensores de luz para determinar la posición del usuario
No necesita cables Con varias cámaras se puede obtener la
posición 3D Necesita visión directa y buena iluminación
Dispositivos de entradaTracking | Dispositivos de tracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de tracking Ultrasónico
Utiliza sonidos de alta frecuencia A través de fuentes localizadas en el sujeto en
movimiento y receptores localizados en el ambiente se puede estimar la posición del sujeto midiendo el tiempo de retardo del sonido recibido en los diferentes receptores
No es bueno en ambientes ruidosos Se usa en interiores
Dispositivos de entradaTracking | Dispositivos de tracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de tracking Neuromuscular
Dispositivos de entradaTracking | Dispositivos de tracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de tracking Neuromuscular
Miden el movimiento de partes del cuerpo relativo a otras partes del cuerpo
No han sido muy explotados en el campo de la RV
Dispositivos de entradaTracking | Dispositivos de tracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de tracking Inercial
Utiliza instrumentos que pueden detectar y medir cambios de fuerzas giroscópicas (aceleración e inclinación)
Acelerómetros y giroscopios permiten conocer aceleración y velocidad de rotación, a partir de las cuales puede conocerse los 6 grados de libertad de la pose.
Dispositivos de entradaTracking | Dispositivos de tracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de tracking Inercial
Las ventajas de este tipo de dispositivos radica en su rapidez y su buena respuesta a cambios bruscos.
No precisan punto de referencia Su principal desventaja suele ser que pierden precisión
a lo largo del tiempo y por esto cada cierto tiempo deben recalibrase
Funcionan bien combinados con otros sistemas (tracking híbrido)
Dispositivos de entradaTracking | Dispositivos de tracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de tracking Inercial
Los cascos de RV (HMD) suelen incorporar sensores inerciales para el tracking de la cabeza
Algunos modelos de teléfonos móviles de última generación poseen integrados acelerómetros y giroscopios con tecnología MEMS (MicroElectroMechanical Systems)
Son muy utlizados en aplicaciones de RA
Dispositivos de entradaTracking | Dispositivos de tracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de tracking GPS (Global Positional System)
Un sistema GPS o Sistema de Posicionamiento Global está compuesto por un lado por una red de 30 satélites NAVSTAR y por otro lado por unos receptores GPS. La red de satélites es propiedad del Gobierno de los Estados Unidos de América y está gestionado por su Departamento de Defensa (DoD).
Brinda la latitud, longitud y altura en el sistema de coordenadas global (planeta) que puede usarse para consultar un Sistema de Información Geográfica (SIG)
Brinda los 3 grados de libertad de la posición del usuario
Dispositivos de entradaTracking | Dispositivos de tracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de tracking GPS (Global Positional System)
Para mejorar la exactitud del valor que brinda puede usarse lo que se denomina DGPS o GPS diferencial, donde se usa la ubicación exacta ya calibrada de una estación base la cual computa y transmite el error introducido el cual es utilizado por los receptores GPS para corregir su posición Error estación base = posición calibrada - posición recibida
por GPS
Dispositivos de entradaTracking | Dispositivos de tracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de tracking GPS (Global Positional System)
El A-GPS (Assisted GPS) o GPS asistido es un sistema de posicionamiento por satélite que al iniciarse recoge las coordenadas de las antenas para teléfonos móviles y así ubica los satélites de posicionamiento global de una forma más rápida y eficiente
Fue desarrollado para mejorar el funcionamiento del sistema y se suele usar en dispositivos móviles
Dispositivos de entradaTracking | Dispositivos de tracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de tracking GPS (Global Positional System)
Para obtener los 6 DOF se necesita conocer, además de los datos de posición de GPS, los 3 grados de libertad de la orientación del usuario El GPS se debe combinar con otro dispositivo como por
ejemplo una brújula
Dispositivos de entradaTracking | Dispositivos de tracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de tracking Brújula digital
Al igual que una brújula convencional brinda la orientación en un sistema global
Las brújulas que se encuentran en los teléfonos móviles son denominadas brújulas de estado sólido, generalmente construidas mediante sensores de campo magnético que envían señales a un microprocesador.
La ventaja con respecto al uso de sensores inerciales es que brindan un resultado con error constante, el cual puede precalibrarse durante la instalación del sistema.
Dispositivos de entradaTracking | Dispositivos de tracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
El tracking puede realizarse de muchas maneras Tracking basado en dispositivos Tracking basado en video Tracking híbrido: combinación de ambos
Dispositivos de entradaTracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking videométrico Una cámara captura video de la escena
real Se analiza el video cuadro a cuadro por
medio de algoritmos de visión por computadora para localizar características (elementos de referencia en el mundo real) que ayuden a deducir el cambio de posición y orientación de la cámara en cada instante
Dispositivos de entradaTracking | Tracking videométrico
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
El tracking videométrico puede hacerse: Tracking de marcadores Tracking de una imagen Tracking sin conocer la escena real
Dispositivos de entradaTracking | Tracking videométrico
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Dispositivos de entradaTracking | Tracking videométrico
M2- Dispositivos de entrada y salida
Tracking videométrico puede hacerse: Tracking de marcadores Tracking de una imagen Tracking sin conocer la escena real
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking de marcadores
Dispositivos de entradaTracking | Tracking videométrico
M2- Dispositivos de entrada y salida
http://www.youtube.com/watch?v=HgrJ3gwwP94video
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking de marcadores Un marcador, denominado en inglés “fiducial
marker”, es una imagen 2D impresa con un formato específico conocido por la aplicación de tracking
Hay diferentes formatos de marcadores creados por diferentes aplicaciones y para diferentes propósitos
Las aplicaciones de realidad aumentada basada en marcadores son las más populares
Dispositivos de entradaTracking | Tracking videométrico
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking de marcadores El algoritmo de detección de marcador busca en
cada imagen del video los puntos pertenecientes al marcador
A partir de la obtención de los puntos 2D del marcador en la imagen dado que se conoce cómo es el marcador en la realidad se puede estimar su posición y orientación en el espacio en relación a la cámara
Con esta información pueden superponerse objetos virtuales “registrados”
Dispositivos de entradaTracking | Tracking videométrico
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking de marcadores Marcadores de tipo “template”
Dispositivos de entradaTracking | Tracking videométrico
M2- Dispositivos de entrada y salida
Marcador de tipo “template”
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking de marcadores Marcadores de tipo “template”
Son muy conocidos dado que son los utilizados por la librería ARToolkit
El formato es un cuadrado negro y dentro un cuadrado blanco que tiene dentro una imagen asimétrica en negro.
Es posible crear nuevos marcadores respetando este formato y entrenando previamente a la aplicación para incorporar el marcador a la base de datos de marcadores conocidos.
Dispositivos de entradaTracking | Tracking videométrico
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking de marcadores Marcadores de tipo “ID-marker”
Dispositivos de entradaTracking | Tracking videométrico
M2- Dispositivos de entrada y salida
Marcador de tipo “ID-marker”
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking de marcadores Marcadores de tipo “ID-marker”
Codifican un número de 9-bits (hasta 512 diferentes) en un patrón de 6 x 6, repitiendo los 9 bits 4 veces completando los 36 bits.
Una variante de estos marcadores son los denominados BCH (Bose, Ray-Chaudhuri, Hocquenghem), los cuales son más robustos ya que usa un algoritmo avanzado de chequeos de redundancia cíclica (CRC). Se incrementa el número de marcadores disponibles a un total de 4096.
Este tipo de marcadores o una variante de los mismos son los utilizados por librerías sucesoras de ARToolkit como ARTag y ARToolkitPlus.
Dispositivos de entradaTracking | Tracking videométrico
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking de marcadores Marcadores de tipo “DataMatrix” y “QRCode”
Dispositivos de entradaTracking | Tracking videométrico
M2- Dispositivos de entrada y salida
Marcador de tipo “DataMatrix” Marcador de tipo “QRCode”
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking de marcadores Marcadores de tipo “DataMatrix” y “QRCode”
No fueron diseñados específicamente para realidad aumentada. Su uso principal se asocia a los hipervínculos
Codifican una serie de caracteres ASCII Uno de los usos más comunes es la codificación de una
URL de forma que una aplicación al leerlos y decodificarlos pueda derivar al sitio web codificado
Por ejemplo: puedes encontrar en los comercios un poster de la AFIP con estos marcadores para derivar a su sitio web
Dispositivos de entradaTracking | Tracking videométrico
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking de marcadores Marcadores de tipo “DataMatrix” y “QRCode”
Mientras que los DataMatrix pueden almancenar hasta 2335 caracteres, los QRCode almacenan 4296 caracteres. QRCode incluye además símbolos japoneses.
Existen algunas aplicaciones de realidad aumentada que utilizan dichos códigos no solo con el propósito mencionado sino como marcadores para tracking. En particular, ARToolkitPlus reconoce DataMatrix.
Dispositivos de entradaTracking | Tracking videométrico
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking de marcadores Ventajas de tracking de marcadores:
Robusta Computacionalmente eficiente
Desventajas de tracking de marcadores: Los marcadores son visibles para los usuarios
interfiriendo con la escena real
Dispositivos de entradaTracking | Tracking videométrico
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking videométrico puede hacerse: Tracking de marcadores Tracking de una imagen Tracking sin conocer la escena real
Dispositivos de entradaTracking | Tracking videométrico
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking de una imagen
Dispositivos de entradaTracking | Tracking videométrico
M2- Dispositivos de entrada y salida
http://www.youtube.com/watch?v=UTPZDrq4hWgvideo
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking de una imagen A veces no se puede o no se desea poner
marcadores en una escena y en cambio utilizar una imagen con el mismo propósito
Para cada objeto en una imagen hay muchas características o puntos de interés del objeto que pueden extraerse para proveer una descripción del mismo
En ese caso se pueden realizar el seguimiento de características naturales presentes en la imagen de la escena como son bordes, esquinas y texturas
Dispositivos de entradaTracking | Tracking videométrico
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking videométrico puede hacerse: Tracking de marcadores Tracking de una imagen Tracking sin conocer la escena real
Dispositivos de entradaTracking | Tracking videométrico
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking sin conocimiento de la escena
Dispositivos de entradaTracking | Tracking videométrico
M2- Dispositivos de entrada y salida
http://www.youtube.com/watch?v=pBI5HwitBX4video
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking sin conocimiento de la escena Tanto los algoritmos de tracking de marcadores
como de imágenes implican conocer cómo es el marcador o la imagen respectivamente
Existen algoritmos utilizados en robótica que permiten realizar un tracking de un objeto sin tener conocimiento del mismo SLAM (Simultaneous Localization and Mapping)
Dispositivos de entradaTracking | Tracking videométrico
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
El tracking puede realizarse de muchas maneras Tracking basado en dispositivos Tracking basado en video Tracking híbrido: combinación de ambos
Dispositivos de entradaTracking
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking híbrido Tanto el tracking basado en dispositivos físicos como
el tracking videométrico tienen sus ventajas y desventajas El tracking basado en visión es lento y por ende falla en
movimientos rápidos. Su ventaja es su estabilidad a largo plazo
El tracking inercial es rápido pero puede tener acumulación de errores a largo plazo
Para aprovechar las ventajas de ambos algunas técnicas combinan la salida de dispositivos físicos y el análisis de video
Dispositivos de entradaTracking | Tracking híbrido
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Tracking híbrido Los sensores (inerciales, giroscopios, GPS) permiten
predecir la posición de la cámara y la misma puede refinarse utilizando técnicas de visión
Efectivo para aplicaciones que requieren estimar la posición de una cámara en movimiento con respecto a una escena estática, pero no se aplica al tracking de objetos en movimiento con una cámara estática
Dispositivos de entradaTracking | Tracking híbrido
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
M2- Dispositivos de entrada y salida
Dispositivos de entrada Captura Tracking Interacción: Comandos de Entrada
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
El usuario transmite sus deseos al sistema mediante comandos de entrada
Para comandos de entrada se pueden utilizar Controles físicos Control del habla Control por gestos
Dispositivos de entradaComandos de entrada
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Controles físicos Entradas físicas directas en el sistema Pantalla táctil, puntero, mouse, botones,
interruptores, potenciómetros En RV se utilizan
Props Plataformas
Dispositivos de entradaComandos de entrada
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Controles físicos Props
Dispositivos de entradaComandos de entrada
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Controles físicos Props
Son objetos físicos utilizados para representar algún objeto dentro del mundo virtual
Al ser reales, permiten al usuario una manipulación fácil del objeto
Hacen el mundo virtual un poco más real
Dispositivos de entradaComandos de entrada
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Control del habla Es un método natural de comunicar la
información No es adecuado si se necesita una respuesta
inmediata Es adecuado si se tiene las manos ocupadas Depende del usuario
Dispositivos de entradaComandos de entrada
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Control por gestos Es un método natural de comunicar la
información en el que se basan nuevas metáforas de interacción Gestos con manos y dedos Dirección de la mirada
Requiere de técnicas de visión por computador o el uso de dispositivos especiales para el tracking de manos y dedos o cabeza
Dispositivos de entradaComandos de entrada
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Control por gestos
Dispositivos de entradaComandos de entrada
M2- Dispositivos de entrada y salida
‘Multimodal interaction with a wearable augmented reality system’ Kölsch M. et al. IEEE Computer Graphics and Applications 26(3): 62-71, 2006
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
M2- Dispositivos de entrada y salida
Necesidades de un sistema de RA Dispositivos de entrada Dispositivos de salida
Visuales Auditivas Táctiles
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Los dispositivos de visualización se dividen Estacionarios o estáticos Móviles oclusivos Móviles no oclusivos
Dispositivos de salidaSalidas visuales
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Los dispositivos de visualización se dividen Estacionarios o estáticos
Monitor Proyector (Caves, WorkBench, ICON, RA espacial)
Móviles oclusivos Móviles no oclusivos
Dispositivos de salidaSalidas visuales
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Los dispositivos de visualización se dividen Estacionarios o estáticos
Monitor Proyector (Caves, WorkBench, ICON, RA espacial)
Móviles oclusivos HMD (Head-Mounted Display) o cascos de RV Gafas de RA de “video see through”
Móviles no oclusivos
Dispositivos de salidaSalidas visuales
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Los dispositivos de visualización se dividen Estacionarios o estáticos
Monitor Proyector (Caves, WorkBench, ICON, RA espacial)
Móviles oclusivos HMD (Head-Mounted Display) o cascos de RV Gafas de RA de “video see through”
Móviles no oclusivos Gafas de RA “optical see-through” Dispositivos “hand-held” (tablet, teléfonos celulares)
Dispositivos de salidaSalidas visuales
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Los dispositivos de visualización se diferencian según las siguientes propiedades: Resolución, color, contraste, brillo Número de canales Distancia focal Campo de visión y campo de mirada Opacidad Posición de la cabeza Latencia y velocidad de refresco
Dispositivos de salidaSalidas visuales
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Los dispositivos de visualización también se diferencian según las siguientes cualidades logísticas: Movilidad del usuario Interfaz con el tracking Requisitos del entorno Portabilidad Seguridad Coste
Dispositivos de salidaSalidas visuales
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Uso del monitor en RA
Dispositivos de salidaSalidas visuales
M2- Dispositivos de entrada y salida
cámara
monitor
usuario
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Esquema del uso del monitor en RA
Dispositivos de salidaSalidas visuales
M2- Dispositivos de entrada y salida
El dispositivo de tracking no se usa si el tracking es videométrico
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Uso de dispositivos “hand-held” en RA
Dispositivos de salidaSalidas visuales
M2- Dispositivos de entrada y salida
Cámara integradaSensores de trackingintegrados
pantalla
Usuario sostiene eldispositivo
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
El esquema de uso de dispositivos “hand-held” en RA es similar al del monitor
Dispositivos de salidaSalidas visuales
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Uso de gafas de gafas “optical see-through” en RA
Dispositivos de salidaSalidas visuales
M2- Dispositivos de entrada y salida
No hay cámara si tracking no es basado en videoPuede integrar dispositivode tracking
Gafas transparentes
Usuario sepone las gafas
Monitor paraescena virtualque se combinaópticamente con la escena real visualizada por transparencia de las gafas
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Esquema del uso de gafas “optical see-through” en RA
Dispositivos de salidaSalidas visuales
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Uso de gafas “video see-through” en RA
Dispositivos de salidaSalidas visuales
M2- Dispositivos de entrada y salida
Cámara y dispositivo de tracking
HMD oclusivo
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Esquema del uso de gafas “video see-through” en RA
Dispositivos de salidaSalidas visuales
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Gafas “video see-through” VS “optical see-through” en RA1) Simplicidad (optical+) Los sistemas ópticos tienen solo un "stream" de video para
tratar: los gráficos sintéticos. El mundo real se ve directamente a través de los combinadores ópticos.
Los sistemas de video blending deben tratar con dos streams de video separados para el mundo real y el virtual. Ambos streams tienen retrasos del orden de las décimas de milisegundos, y deben ser adecuadamente sincronizados para evitar la distorción temporal
Dispositivos de salidaSalidas visuales
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Gafas “video see-through” VS “optical see-through” en RA2) Resolución (optical+) El video blending limita la resolución de lo que el usuario ve,
tanto real como virtual, a la resolución del dispositivo display. Los sistemas ópticos también muestran los gráficos con la
resolución del dispositivo display, pero el usuario ve la realidad sin degradar.
Dispositivos de salidaSalidas visuales
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Gafas “video see-through” VS “optical see-through” en RA3) Seguridad (optical+) Los Video see-through HMDs son en esencia closed-view
HMDs modificados (los usados en RV que solo muestran mundo virtual). Si se corta la corriente el usuario estará “ciego” y esta es una cuestión concerniente a la seguridad en algunas aplicaciones.
En contraste, cuando la corriente se corta en un sistema optical seethrough HMD, el usuario tiene la vista del mundo real.
Dispositivos de salidaSalidas visuales
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Gafas “video see-through” VS “optical see-through” en RA4) Desplazamiento de los ojos (optical+) Con video see-through, la vista del mundo real se obtiene
mediante video camaras. Video see-through puede evitar el problema de la separación de los ojos mediante el uso de espejos para imitar lo que verían los ojos. Sin embargo, esto le agrega complejidad al diseño del sistema HMD.
El desplazamiento de ojos no suele ser un problema en los sistemas ópticos. Usando el centro de rotación de los ojos como el punto de vista en el modelo del mundo virtual debería eliminar la necesidad del tracking exacto de los ojos.
Dispositivos de salidaSalidas visuales
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Gafas “video see-through” VS “optical see-through” en RA5) Flexibilidad en la composición (Video+) Un problema básico de los sistemas ópticos es que los
objetos virtuales no “tapan” completamente los objetos reales, por la forma en que funcionan los combinadores ópticos que permiten luz del mundo real y del virtual. Hacer un sistema óptico que selectivamente “apague” la luz del mundo real aumenta la complejidad del diseño. Los objetos virtuales aparecen semitransparentes y esto puede dañar la ilusión de realidad si se requiere.
En contrastes, el video see-through es más flexible en cómo mezcla el mundo real y el virtual, ya que ambos están disponibles en forma digital. Se puede componer pixel a pixel tomando o bien el mundo real o el virtual, o mezclándolos si se quiere sensación de transparencia
Dispositivos de salidaSalidas visuales
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Gafas “video see-through” VS “optical see-through” en RA6) Campo de visión (Video+) En un sistema de video blending, las imágenes digitales
capturadas puede procesarse para compensar la distorsión que ocasiona la cámara.
Sin embargo, es más complicado construir displays con técnicas ópticas que tengan un amplio campo de visión. Cualquier distorsión debe corregirse ópticamente en lugar de digitalmente. Esto agrega complejidad a la óptica y las hace caras y le agrega peso al HMD.
Dispositivos de salidaSalidas visuales
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Gafas “video see-through” VS “optical see-through” en RA7) Retrasos entre la vista real y virtual (video+) Los sistemas ópticos ofrecen una vista instantánea del mundo
real pero una vista retrasada del mundo virtual, y esta incoherencia tempotal puede causar problemas.
Con los sistemas de video es posible retrasar el video del mundo real para coincidir con el retraso del stream del mundo virtual.
Dispositivos de salidaSalidas visuales
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Gafas “video see-through” VS “optical see-through” en RA8) Estrategias para el registro del mundo virtual (video+) En los sistemas ópticos, la única información acerca de la
ubicación de la cabeza del usuario viene del dispositivo de tracking de cabeza.
En los sistemas de video blending, se tiene otra fuente de información: la imagen digitalizada del mundo real, con lo cual pueden usarse técnicas de visión para el registro de imágenes que no estaría disponible en los sistemas ópticos.
Dispositivos de salidaSalidas visuales
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
M2- Dispositivos de entrada y salida
Necesidades de un sistema de RA Dispositivos de entrada Dispositivos de salida
Visuales Auditivas Táctiles
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Las salidas auditivas pueden clasificarse en Estacionarios o estáticos
parlantes Móviles con la cabeza
auriculares
Dispositivos de salidaSalidas auditivas
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Las salidas auditivas pueden distinguirse por las siguientes propiedades Número de canales Entorno de sonido Localización Oclusión Amplificación
Dispositivos de salidaSalidas auditivas
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Las salidas auditivas también pueden distinguirse por las siguientes cualidades logísticas Contaminación por ruido Movilidad del usuario Requisitos del entorno Portabilidad Seguridad Coste
Dispositivos de salidaSalidas auditivas
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Parlantes VS auriculares Las ventajas de los parlantes
Trabajan bien con los visualizadores estacionarios
No requieren el procesado del sonido para crear sonidos referenciados al mundo (estables en el mundo virtual)
Permiten más movilidad al usuario (cables)
Dispositivos de salidaSalidas auditivas
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Parlantes VS auriculares Las ventajas de los auriculares
Trabajan bien con los visualizadores dinámicos La implementación de sonidos referenciados a
la cabeza es más fácil de implementar Es más sencillo eliminar los ruidos de la
habitación Son más portables Privados
Dispositivos de salidaSalidas auditivas
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
M2- Dispositivos de entrada y salida
Necesidades de un sistema de RA Dispositivos de entrada Dispositivos de salida
Visuales Auditivas Táctiles
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Las salidas táctiles pueden clasificarse en: Percepción kinestética (propriocéptica) Percepción táctil
Dispositivos de salidaSalidas táctiles
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Las salidas táctiles pueden clasificarse en:
Dispositivos de salidaSalidas táctiles
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Las salidas táctiles pueden distinguirse según sus propiedades: Pistas kinestéticas Fidelidad Pistas táctiles Latencia Contacto Resolución Grados de libertad Refresco Forma Tamaño
Dispositivos de salidaSalidas táctiles
M2- Dispositivos de entrada y salida
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
Las salidas táctiles pueden además distinguirse según sus cualidades logísticas: Movilidad del usuario Requisitos del entorno Portabilidad Seguridad Coste
Dispositivos de salidaSalidas táctiles
M2- Dispositivos de entrada y salida