03/07/2008

1

Miguel Angel Patriciompatrici@inf uc3m esmpatrici@inf.uc3m.es

http://www.giaa.inf.uc3m.es

El contexto: “Inteligencia ambiental”.Motivación: Evolución en los sistemas de ot ac ó o uc ó e os s ste as demonitorizaciónRedes de sensores visuales (Visual Sensor network):◦ Gestión de sensores. Sistemas Multiagente.◦ Capacidad de razonamiento.

UIMP. Julio 2008

03/07/2008

2

Concepto que redefine la experienciainteractiva entre el hombre y las

ámáquinas.

Integración del mundo digital con el mundo físico de los objetos

Los objetos y el entorno observan las

UIMP. Julio 2008

Los objetos y el entorno observan las acciones del usuario y le presentan la información y servicios que necesita.

Comportamiento de un usuario.

Anticiparse a las intenciones.

Información relevante.

Interfaces proactivos sin ser “pesados/odiosos”

UIMP. Julio 2008

Integrar de forma natural.

03/07/2008

3

Ejemplo de concepto: “Entornos inteligentes”◦ La casa aprende patrones de

comportamiento de sus habitantes con el objeto de optimizar el uso de la energía.◦ La casa aprende que los

Sábados sueles levantarte más tarde

UIMP. Julio 2008

tarde.◦ La casa adapta las preferencias

de cada uno de sus habitantes.

AmI http://awarehome.imtc.gatech.edu/

Inteligencia distribuida

Reconocimiento

Interfaces de usuario

“Smart floor”

Inteligencia perceptual

Cámaras, óf

Modelo de comunicaciones

Internas,

UIMP. Julio 2008

de actividades “Smart Shirt” micrófonos externas

03/07/2008

4

“La clave de la inteligencia perceptual es hacer a las máquinas conscientes de sumáquinas conscientes de su entorno […] La meta no es hacer ordenadores que sean ubicuos y relacionados en red […] sino que trabajamos para hacer sistemas con capacidades perceptuales “Inanimate things are

UIMP. Julio 2008

p p pfiables y capaces de aprender respuestas simples.”

Pentland, A. 2000. “Perceptual user interfaces: perceptual intelligence”. Commun. ACM 43, 3 (Mar. 2000), 35-44.

Inanimate things are coming to life”.

Agente Software: "Un agente es un sistema informático situado en un entorno del cual percibe y que es capaz de realizar acciones de forma autónoma para conseguir susrealizar acciones de forma autónoma para conseguir sus objetivos de diseño". Es decir: percibe, decide y actúa.

Wooldridge, M. “Agent Based Software Engineering”. IEEE Proc. on Software Engineering, 144 (1), 26-37, 1997.

UIMP. Julio 2008

03/07/2008

5

Definición (Carlo S. Regazzoni): ◦ Por sistema de monitorización podemos entender

como el conjunto de herramientas tecnológicas que facilitan a un operador humano las labores de monitorización.

UIMP. Julio 2008

Con la tecnología actual es "barato" desplegar cámaras de video-vigilancia.Mantenimiento por parte de operadoresMantenimiento por parte de operadores humanos:◦ Es costoso.◦ Limitado:

Un operador humano es capaz de mantener la atención hasta en 4 monitores a la vez.La atención con garantías por un humano no supera los

UIMP. Julio 2008

La atención con garantías por un humano no supera los 20 minutos de continuidad.

03/07/2008

6

En transporte: ◦ Aeropuertos, fronteras, ferrocarriles,

metropolitanos, y autopistas.En lugares públicos:◦ Bancos, supermercados, hogares,

almacenes, parkings, etc. Otros:◦ Turismo fines militares

UIMP. Julio 2008

Turismo, fines militares, …

Monitorización de vehículos: ◦ Detección de atascos, maniobras peligrosas, …gAnálisis de comportamientos durante un largo periodo de tiempo:◦ Ej: Anotar trayectorias más utilizadas para proponer

cambios de infraestructurasReconocer patrones de actividad de personas o vehículos

UIMP. Julio 2008

o vehículos.Análisis de actividades deportivas (entrenadores, cazatalentos,…).

03/07/2008

7

Cámaras analógicas de circuito cerrado de televisión (CCTV) junto con grabadoras de vídeo analógicas.Monitorizadas completamente por operadores humanos.

UIMP. Julio 2008

MultiplexadorMonitor Analógico Vídeo grabadoranalógico

(Fuente: Axis)

Switchs

UIMP. Julio 2008

Nivelsensorial

NivelProceso local

Nivelde red

AlmacenamientoNivel

de operador

03/07/2008

8

La información visual (imágenes) es transmitida continuamente, a través de un circuito cerrado de televisión (CCTV) analógico.La información visual (imágenes) es presentada a los operadores a través de l itlos monitores.La información visual (imágenes) es procesada exclusivamente por un operador humano.El operador humano gestiona las grabaciones de las imágenes en un grabador analógico.La gran mayoría de estos sistemas se centran en la vigilancia de interioresde los edificios.

PROS CONTRAS

UIMP. Julio 2008

• Bajo coste.• Facilidad de uso.

• Alta probabilidad de pérdida en la detección de eventos, debido a la atención humana.• La transmisión analógica limita su utilización sólo para interiores.

Se van sustituyendo elementos analógicos por digitales.Detección automática de eventos basada en la detección del movimento.

TCP/IP

Multiplexador

Alarma E/S Monitor

UIMP. Julio 2008

Cámaras

DVR

(Fuente: Axis)

(Fuente: Mobotix)

03/07/2008

9

IEEE 802.11 HUBWAN/LAN

Cable modem

VDSL modem

WAN/LAN

¡Alarma!

UIMP. Julio 2008

Nivelsensorial

NivelProceso local

Nivelde red

Nivelde operador

La información visual (imágenes) es transmitida desde el área a vigilar a un centro de control remoto:

M di t i t ló i ◦ Mediante sistemas analógicos; o◦ Formato digital mediante redes cableadas y/o inalámbricas.La información es procesada en el centro de control remoto (filtrado, reconocimiento y clasificación).Se utilizan sencillos métodos de indexación temporal.

• Primeros resultados de PROS

• Necesidad ancho de banda por CONTRAS

UIMP. Julio 2008

análisis: detección de movimiento .• Herramientas HW/SW de procesamiento de imágenes a bajo coste.

el aumento de cámaras que utilizan el mismo medio de acceso.• Proceso centralizado.

03/07/2008

10

Solución digital: cámaras, vídeo-grabadores.Cooperación multicámara.pAlgoritmos de más alto nivel: seguimiento, análisis de comportamiento, gestión de eventos, etc.

UIMP. Julio 2008

(Fuente: MIT CSAIL)

IEEE 802.11 HUBWAN/LAN

¡Alarma!

Cable modem

VDSL modem

¡Alarma!

UIMP. Julio 2008

Nivelsensorial

NivelProceso local

Nivelde red

Nivelde operador

Procesamientoimágenes

03/07/2008

11

Motivación:◦ Sistema de monitorización donde cada cámara obtiene

información dentro de su campo de visión (FoV)información dentro de su campo de visión (FoV).◦ El objetivo es cubrir un amplio lugar geográfico con un

solo sistema.◦ Es posible que existan cientos de cámaras que

colaboren de forma conjunta en la vigilancia.◦ Dificultad de monitorizar y procesar en tiempo real por

un operador una cantidad tan grande de información

UIMP. Julio 2008

visual.

M. A. Patricio, J. Carbó, O. Pérez, J. García, and J. M. Molina, “Multi-Agent Framework in Visual Sensor Networks,” EURASIP Journal onAdvances in Signal Processing, vol. 2007

Ventajas:◦ Una mayor cobertura geográfica.

Red ndancia ante fallos◦ Redundancia ante fallos.◦ Robustez en la información. Disminución de la

incertidumbre.

UIMP. Julio 2008

03/07/2008

12

Problema I "gestión de sensores visuales":◦ Problemas relacionados con:

Alineamiento temporal. SistemaSistemaAlineamiento temporal.Alineamiento espacial.Coordinación de actividades.…

◦ Arquitectura: ¿centralizada / distribuida?

Sistema multi-agente

Sistema multi-agente

UIMP. Julio 2008

Problema II "aumentar capacidad interpretativa": ◦ Sensorial: Incorporación nuevos sensores (rayos-x, omni-

cámaras infrarrojos ) cámaras, infrarrojos, …) ◦ Representación multi-modal (color, texturas, …)◦ Capacidad de razonamiento (ej. Contexto)

UIMP. Julio 2008

03/07/2008

13

Entorno no determinista: En cada instante de tiempo existen varias formas posibles en las cuales el entorno que percibe un agente puede evolucionar.entorno que percibe un agente puede evolucionar.Sistema no determinista: En cada instante de tiempo existen varias acciones que el sistema puede realizar.Una sola acción de percepción no es suficiente para determinar el estado del entorno de forma completa.En cada instante de tiempo potencialmente existen di ti t bj ti li

UIMP. Julio 2008

distintos objetivos a realizar.Las mejores acciones para conseguir los objetivos dependen del estado del entorno (contexto) y son independientes del estado interno del sistema.

UIMP. Julio 2008

03/07/2008

14

El modelo o arquitectura BDI (Belief-Desire-Intentions) de agentes utiliza nociones mentales como: Deseos Creencias e intencionescomo: Deseos, Creencias e intenciones.Cada agente BDI posee:◦ Creencias: Acerca de si mismo y de su entorno.◦ Deseos: Son los estados que quiere alcanzar en cada

momento.◦ Intenciones (Planes): Son los planes que se adoptan en cada

instante para alcanzar los deseos.

UIMP. Julio 2008

M.E. Bratman. “Intentions, Plans and Practical Reasoning.” Harvard University Press, Cambridge, Massachusetts, 1987.

Deseos

<goals>

<achievegoal name="surveillance">

<parameter name="object" class="Target" direction="in">

Creencias

<beliefs>

<beliefset name="owncapabilities" class="Capability">

<fact>new Capability ("Tracking");

Intenciones

<plan name="MakeCoalition">

<parameter name="agent" class="Agent"/>

<parameter name="target" l "T t"/>

g

</achievegoal>

</goals>

p y ( g );</fact>

<fact>new Capability ("Recognition"); </fact>

</beliefset>

<beliefset name="environment" class="Target">

<fact>new Target ("ID001"); </fact>

</beliefset>

<beliefset name="neigborhood" class="Neighbor">

UIMP. Julio 2008

class="Target"/>

<parameter name="capability" class="Capability"/>

<body>new MakeCoalitionPlan () </body>

</plan>

g

<fact>new Neighbor("aid001", "Tracking");</fact>

<fact>new Neighbor("aid002", "Recording", area_j);</fact>

</beliefset>

</beliefs>

03/07/2008

15

Problemas:• Alineamiento temporal• Alineamiento espacial (calibración)

UIMP. Julio 2008

Detecciones de los tres agentes

Agente1Agente1

Agente2

UIMP. Julio 2008

Agente3

03/07/2008

16

Seguimiento de los tres agentes

Agente1Agente1

Agente2

UIMP. Julio 2008

Agente3

El problema del aliniamiento espacio-temporal

UIMP. Julio 2008

03/07/2008

17

Agente 2Agente 1

ImágenesImágenes

Red LOCALIZACIÓNDETECCIONDE ROSTRO

RedRed

UIMP. Julio 2008

Agente 3Imágenes RECONOCIMIENTO

La utilización de diferentes tecnologías nos presenta el reto de la fusión de sensores hetereogeneos.

Cam: Vídeo cámaraBS: Punto de acceso WIFI

• Las cámaras calibradas dan la posición.• Mediante triangulación identificamos el

UIMP. Julio 2008

identificamos el individuo.

03/07/2008

18

Maleta/Equipaje abandonado.

UIMP. Julio 2008

Seguimiento de objetos de interés.

UIMP. Julio 2008

03/07/2008

19

Abandono de paquetes.

UIMP. Julio 2008

Identificación/verificación de personas.

UIMP. Julio 2008

03/07/2008

20

Análisis de ocupación.

UIMP. Julio 2008

Aparcar en áreas no permitidas.

UIMP. Julio 2008

03/07/2008

21

Definición de bordes/líneas de seguridad.

UIMP. Julio 2008

Detección de graffitis y carteles.

UIMP. Julio 2008

03/07/2008

22

La incorporación de otros sensores específicos aumenta la id d d l i t ticapacidad del sistema perceptivo.

UIMP. Julio 2008

Infrarrojos omnicamaras

Rayos X

Objetivos: ◦ Aumentar la capacidad semántica en el análisis de imágenes.◦ Permitir el análisis de escenas complejas.◦ Diferentes niveles de abstracción aumentan la capacidad de

proceso de información.

situacionesInformación procesada por unidad de tiempo y espacio

UIMP. Julio 20081995 2000 2005 2010 2020

señal

características

eventos

03/07/2008

23

Otros modelos no basados en la lógica matemática.

Ejemplo: Viola-Jones

UIMP. Julio 2008

Paul Viola and Michael J. Jones, “Rapid Object Detection Using a Boosted Cascade of Simple Features”, IEEE CVPR, 2001

Característcas básica.

UIMP. Julio 2008

03/07/2008

24

UIMP. Julio 2008

Mejores prestaciones, pero ti lno tiempo real.

UIMP. Julio 2008

03/07/2008

25

Incluyendo información de contexto.

UIMP. Julio 2008

UIMP. Julio 2008

03/07/2008

26

Información de contexto

UIMP. Julio 2008

UIMP. Julio 2008

03/07/2008

27

UIMP. Julio 2008

¡MUCHAS GRACIAS!mpatrici@inf.uc3m.es

Grupo de Inteligencia Artificial Aplicada

UIMP. Julio 2008