J .M. García Sagredo Servicio de Genética Médica, Hospital ...
Inmersión en entornos virtuales mediante Realidad Aumentada (Begoña Sagredo)
-
Upload
cristina-urdiales -
Category
Engineering
-
view
148 -
download
2
description
Transcript of Inmersión en entornos virtuales mediante Realidad Aumentada (Begoña Sagredo)
Presentación PFC
Inmersión en Entornos Virtuales mediante
Realidad Aumentada
Mª Begoña Sagredo Sánchez
Universidad de Málaga
Introducción
• Comunicaciones por vídeo limitadas por el estrecho ancho de banda para la transmisión de imágenes
• Compresión de las secuencias de vídeo como solución más viable
• Estándares MPEG de 2ª generación son los más usados MPEG-4 emplea compresión orientada a objetos
• Separación de fotogramas en objetos procesado independiente y adaptación el ancho de banda disponible
Introducción• Técnica habitual en entornos
reales división de imágenes en objetos de interés y fondo
• Sustracción de fondo Extracción de objetos por comparación con un fondo conocido de referencia
– Usuario situado en un espacio específico– Fondo plano homogéneo de color chillón– No es posible interactuar con los elementos virtuales
Introducción
• Otras técnicas emplean como fondo de referencia una imagen previa del mismo sin objetos de interés únicamente válida para cámaras fijas
• En este proyecto se realiza una sustracción de fondo para cámaras móviles mediante técnicas de Realidad Aumentada (RA)– El fondo de referencia para la extracción de objetos se
obtiene de un modelo virtual en 3D del entorno de trabajo debidamente alineado con éste
– Para recomponer el fotograma se emplea un fondo sustituto del original obtenido de un segundo modelo virtual en 3D, también alineado con el entorno real
Indice
• 1. Modelos virtuales
• 2. Alineación de modelos con el entorno real
• 3. Sustracción dinámica de fondo
• 4. Experimentos y resultados
• 5. Conclusiones y trabajo futuro
Indice
• 1. Modelos virtuales
• 2. Alineación de modelos con el entorno real
• 3. Sustracción dinámica de fondo
• 4. Experimentos y resultados
• 5. Conclusiones y trabajo futuro
1. Modelos virtuales
• 3D Studio Max – Modelado de objetos en 3D y creación de
materiales a partir de imágenes en formato ‘.bmp’
• OPenGL– Librería gráfica para la creación y
configuración de ventanas de visualización donde se pueden representar fácil y rápidamente los objetos en 3D
1. Modelos virtuales
• Dos modelos virtuales:– Modelo del entorno de trabajo actúa como fondo de
referencia para la extracción de objetos inicial• Se modelan las paredes y mobiliario significativo a base de cajas
de medidas variadas que los simulan
1. Modelos virtuales
Puerta CorchoParedesPizarra
ArmariosSuelo
1. Modelos virtuales
• Dos modelos virtuales:– Modelo del entorno de trabajo actúa como fondo de
referencia para la extracción de objetos inicial• Se modelan las paredes y mobiliario significativo a base de cajas
de medidas variadas que los simulan
1. Modelos virtuales• Dos modelos virtuales:
– Modelo del entorno de trabajo actúa como fondo de referencia para la extracción de objetos inicial
• Se modelan las paredes y mobiliario significativo a base de cajas de medidas variadas que los simulan
• Diseño de materiales a partir de fotografías de los objetos reales que se quieren modelar
1. Modelos virtuales
1. Modelos virtuales
Perspectiva final del diseño
1. Modelos virtuales• Dos modelos virtuales:
– Modelo del entorno de trabajo actúa como fondo de referencia para la extracción de objetos inicial
• Se modelan las paredes y mobiliario significativo a base de cajas de medidas variadas que los simulan
• Diseño de materiales a partir de fotografías de los objetos reales que se quieren modelar
1. Modelos virtuales
• Dos modelos virtuales:– Modelo del entorno de trabajo actúa como fondo de
referencia para la extracción de objetos inicial• Se modelan las paredes y mobiliario significativo a base de
cajas de medidas variadas que los simulan• Diseño de materiales a partir de fotografías de los objetos
reales que se quieren modelar
– Modelo virtual sustituto fuente para el fondo sustituto en la composición del fotograma final
1. Modelos virtuales
• Dos modelos virtuales:– Modelo del entorno de trabajo actúa como fondo de
referencia para la extracción de objetos inicial• Se modelan las paredes y mobiliario significativo a base de
cajas de medidas variadas que los simulan• Diseño de materiales a partir de fotografías de los objetos
reales que se quieren modelar
– Modelo virtual sustituto fuente para el fondo sustituto en la composición del fotograma final
• Estructura similar al modelo del entorno real
1. Modelos virtuales
• Dos modelos virtuales:– Modelo del entorno de trabajo actúa como fondo de
referencia para la extracción de objetos inicial• Se modelan las paredes y mobiliario significativo a base de
cajas de medidas variadas que los simulan• Diseño de materiales a partir de fotografías de los objetos
reales que se quieren modelar
– Modelo virtual sustituto fuente para el fondo sustituto en la composición del fotograma final
• Estructura similar al modelo del entorno real• Materiales a partir de fotografías de las fachadas de la Plaza
1. Modelos virtuales• Materiales para la Plaza
Calle Mercaderes Calle Teniente Rey
Calle San Ignacio
1. Modelos virtuales
Perspectiva final del diseño
Indice
• 1. Modelos virtuales
• 2. Alineación de modelos con el entorno real
• 3. Sustracción dinámica de fondo
• 4. Experimentos y resultados
• 5. Conclusiones y trabajo futuro
2. Alineación de modelos con el entorno real
• Es necesario conocer la posición y orientación de la cámara en el entorno real para obtener la vista adecuada del modelo virtual
• La existencia de referencias físicas en el entorno permitiría determinar dónde se encuentra la cámara en todo momento
• Técnicas de visión por computador hacen posible la detección y reconocimiento de marcas físicas artificiales ARToolkit
2. Alineación de modelos con el entorno real
• ARToolkit– Librería de distribución libre que calcula en tiempo real la
posición-orientación de la cámara respecto de una serie de marcas para las que ha sido entrenado y sobre las que sitúa objetos virtuales
• Longitud conocida del lado
• Orientación del patrón
Posición de la
cámara
2. Alineación de modelos con el entorno real
• Permite posicionamiento con una única marca
• Permite posicionamiento múltiple con varias marcas
• Cámara limitada al espacio físico de las marcas
Cambiar por un video
2. Alineación de modelos con el entorno real
• Posicionamiento único con varias marcas– Emplea varias marcas con
una posición fija en un sistema de coordenadas definido
– Determina la posición respecto de un único punto del sistema de coordenadas
2. Alineación de modelos con el entorno real
• Posicionamiento único con varias marcas– Emplea varias marcas con
una posición fija en un sistema de coordenadas definido
– Determina la posición respecto de un único punto del sistema de coordenadas
• Es independiente de la marca detectada
• Permite mayor libertad de movimientos
2. Alineación de modelos con el entorno real
• Sistema de marcas distribuidas por el entorno
X
Y
Z
2. Alineación de modelos con el entorno real
• Diseño en 3D de un armario de cristaleras verde
X
Y
Z
2. Alineación de modelos con el entorno real
• Proceso de superposición final
Indice
• 1. Modelos virtuales
• 2. Alineación de modelos con el entorno real
• 3. Sustracción dinámica de fondo
• 4. Experimentos y resultados
• 5. Conclusiones y trabajo futuro
3. Sustracción dinámica de fondo
• Segmentación o división de imágenes en ‘objetos’ o regiones de interés y en ‘fondo’ o regiones carentes de ella– Funcionamiento en entornos reales robusto a
cambios de intensidad, luces y sombras– Funcionamiento en tiempo real rápido– Compromiso resultados-tiempo empleado
• ‘Segmentación en color por sustracción de fondo’
3. Sustracción dinámica de fondo
• Comparación píxel a píxel entre fondo e imagen a procesar, empleando como criterio el color– Distancia de color entre cada par de píxeles y se
determina según un umbral determinado si:• Píxeles iguales fondo
• Píxeles diferentes objeto potencial
3. Sustracción dinámica de fondo
Fondo de referencia
Imagen a procesar
Algoritmo de comparación
3. Sustracción dinámica de fondo
• Inconvenientes– Introduce ruido: grupos de píxeles aislados y erróneos– Los resultados dependen de los umbrales considerados,
y estos de la situación del entorno en el instante de captura de la imagen
• Comparación píxel a píxel entre fondo e imagen a procesar, empleando como criterio el color– Distancia de color entre cada par de píxeles y se
determina según unos umbrales determinados que:• Píxeles iguales fondo
• Píxeles diferentes objeto potencial
3. Sustracción dinámica de fondo• Se aplica a continuación un algoritmo para la
detección de objetos Algoritmo de detección de objetos por mezclado con conectividad– Agrupación en regiones de píxeles adyacentes distintos
del fondo– Filtrado de clases
Área mínima elimina regiones cuyo área no supere un valor mínimo eliminación de ruido
– Dilatación de regiones finales para eliminar huecos
3. Sustracción dinámica de fondo
Fondo de referencia
Imagen a procesar
Algoritmo de comparación
Algoritmo de detección de
objetos
Criterios de área mínima
3. Sustracción dinámica de fondo
• Problemas añadidos fondo de referencia procedente de un modelo virtual– Errores de comparación debido a que la
superficie de los objetos modelados no es exactamente igual a los reales
– Errores de comparación debido a la incorrecta alineación de los mundos real y virtual
• Extracción de regiones que objetivamente no tienen sentido
3. Sustracción dinámica de fondoError debido al modelado de la
textura
Error debido al desalineamiento
3. Sustracción dinámica de fondo
• Filtrado de regiones más restrictivo bounding box o caja que contiene la región– Relación de aspecto evitamos regiones
alargadas– Relación área efectiva-área de bounding box
evitamos regiones poco ocupadas por los píxeles de la imagen
3. Sustracción dinámica de fondo
Región alargada
Regiones poco ocupadas
3. Sustracción dinámica de fondo• Composición final del fotograma
Fondos sustitutos Fotograma compuesto
Imagen procedente de la sustracción
Indice
• 1. Modelos virtuales
• 2. Alineación de modelos con el entorno real
• 3. Sustracción dinámica de fondo
• 4. Experimentos y resultados
• 5. Conclusiones y trabajo futuro
4. Experimentos y resultados
Proyección del modelo de la
Plaza
Salida de vídeo
compuesto
Imagen real procedente la
cámara
Proyección del modelo del
entorno real
4. Experimentos y resultados• Ventajas
– Medios técnicos necesarios muy básicos: PC y cámara de vídeo
– Funcionamiento global del sistema en tiempo real
• La simplicidad de la técnica empleada para el posicionamiento
• Rapidez y facilidad para representar los objetos virtuales
4. Experimentos y resultados
• Inconvenientes– Alineación de mundos comprometida: oscilaciones
del modelo y errores de posicionamiento• Marcas lejanas y oblicuas al eje de la cámara
• Presencia de ruido en imágenes
– Errores en la extracción final de objetos• Cambios acentuados en las condiciones del entorno
• Modelado demasiado básico del entorno de trabajo
4. Experimentos y resultados• Errores no eliminados
4. Experimentos y resultados
Indice
• 1. Modelos virtuales
• 2. Alineación de modelos con el entorno real
• 3. Sustracción dinámica de fondo
• 4. Experimentos y resultados
• 5. Conclusiones y trabajo futuro
5. Conclusiones y trabajo futuro
• Posicionamiento– Búsqueda y reconocimiento de marcas ha
permitido la localización en un entorno conocido empleando sólo una cámara
– El sistema de marcas proporciona libertad de movimientos y posicionamiento con gran rapidez
– Precisa al menos de una marca visible– Muy sensible al ruido, tanto más cuanto mayor es
la distancia a la marca detectada
5. Conclusiones y trabajo futuro
• Diseño y visualización de modelos virtuales– OpenGL vs. Motores gráficos
• OpenGL permite representar objetos en 3D con escasos recursos del sistema, de forma rápida y sencilla
• La adaptación de los modelos y las texturas es menos laboriosa
• Permite visualizar simultáneamente los modelos en ventanas independientes verificación de mundos real y virtual alineados
5. Conclusiones y trabajo futuro
• Extracción de objetos y composición de fotogramas– Extracción de objetos
• Muy dependiente de cómo se ha diseñado el modelo del entorno y de los resultados del posicionamiento propagación de errores
• Principal causa de limitación de velocidad global
– Composición de fotogramas finales fácil y sencilla
5. Conclusiones y trabajo futuro
• Varias líneas de estudio interesantes– Mejora en el posicionamiento errores en función de
la distancia• Empleo de marcas a medio camino búsqueda en la base de
datos de marcas conocidas• Sistemas externos de apoyo: sonar, dispositivo tracker...
complejidad
– Mejora en el diseño de modelos falta de realismo• Modelado y carga de efectos de luces, sombras y brillos en
función de las condiciones del entorno
– Posibilidad de incorporar los resultados a tecnologías basadas en MPEG-4