Construcción en línea e incremental de Diccionarios Visuales
-
Upload
cristobal-ariel-rojas-araya -
Category
Documents
-
view
287 -
download
1
description
Transcript of Construcción en línea e incremental de Diccionarios Visuales
![Page 1: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/1.jpg)
CONSTRUCCIÓN EN
LÍNEA E INCREMENTAL
DE DICCIONARIOS
VISUALES
Cristóbal Rojas
Profesor Guía: Álvaro Soto
26 de octubre de 2012
![Page 2: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/2.jpg)
Motivación
• Visión por computador, clasificación
• Escenas y objetos en imágenes
• Técnicas usadas
![Page 3: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/3.jpg)
Diccionario Visual
• Visión por Computador
![Page 4: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/4.jpg)
BoW (Bag of Word)
• Usado en Text Mining
• Queremos clasificar textos (según sus temas)
• Uso de Bag of Word (BoW)
![Page 5: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/5.jpg)
Bag of Word
• Usando BoW para clasificar
![Page 6: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/6.jpg)
Bag of Word
• Diccionario y representación usando BoW
![Page 7: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/7.jpg)
Bag of Word
• ¿Basta solo con la representación BoW?
• Necesitamos un algoritmo de clasificación
![Page 8: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/8.jpg)
ML (Machine Learning)
![Page 9: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/9.jpg)
Diccionario Visual
• Palabras Visuales
• BoW
![Page 10: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/10.jpg)
Palabras Visuales
![Page 11: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/11.jpg)
Palabras Visuales
![Page 12: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/12.jpg)
BoW
![Page 13: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/13.jpg)
BoW
![Page 14: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/14.jpg)
Diccionario Visual
• ¿Cómo formamos el BoW?
• Matching de puntos de interés
![Page 15: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/15.jpg)
Matching de puntos de interés
• Actualmente es tratado como un problema de
clasificación de múltiples clases.
• Lepetit et al. (2005)
![Page 16: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/16.jpg)
Randomized Tree for Real –Time
Keypoint Recognition
• Matching de puntos de interés, problema de clasificación
• Usa Random Forest
![Page 17: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/17.jpg)
Randomized Tree for Real –Time
Keypoint Recognition
• Set de entrenamiento
![Page 18: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/18.jpg)
Randomized Tree for Real –Time
Keypoint Recognition
![Page 19: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/19.jpg)
Pregunta de Investigación
• ¿Podemos construir un algoritmo de matching de puntos
de interés que funcione en línea?
![Page 20: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/20.jpg)
Propuesta
• ¿Podemos crear un diccionario visual que se pueda
actualizar en línea?
• ¿Qué necesitamos para permitir que esto ocurra?
![Page 21: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/21.jpg)
Propuesta
• Buscamos Clasificador de múltiples clases que funcione
en línea
• ECOC
![Page 22: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/22.jpg)
ECOC (Error Correcting Output Codes)
• Clasificador de múltiples clases.
• Separa el problema en muchas clasificaciones binarias.
• Un código ternario a cada clase
• Codificación, Decodificación, Matriz de códigos.
![Page 23: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/23.jpg)
Matriz con Códigos
• Columnas como particiones y tantas filas como clases,
esta formada por 0, 1 y -1
![Page 24: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/24.jpg)
Codificación
• Etapa que genera los códigos de cada clase.
• Existen diversas formas de realizar esta tarea
![Page 25: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/25.jpg)
ECOC: Decodificación
• Etapa de inferencia
• Distintos métodos
![Page 26: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/26.jpg)
ECOC online
• Podemos incluir clases al clasificador sin necesidad de
reentrenar todo el clasificador
![Page 27: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/27.jpg)
ECOC online
![Page 28: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/28.jpg)
Propuesta
• Construir sistema de Matching de puntos clave usando un
clasificador ECOC
![Page 29: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/29.jpg)
Set de entrenamiento
• Datos de lugares del DCC
• Usando SIFT para encontrar puntos de interés
![Page 30: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/30.jpg)
Set de entrenamiento
• Crear Set de clases de los puntos de interés usando
homografías
![Page 31: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/31.jpg)
Codificación
• One vs One
![Page 32: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/32.jpg)
Decodificación
• Weighted decoding
![Page 33: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/33.jpg)
Limitaciones
• Complejidad (tiempo-espacio)
![Page 34: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/34.jpg)
Pasos a seguir
• Terminar de formular un clasificador que puede agregar
puntos de interés de manera online
• Construir el algoritmo que permita verificar si un punto es
nuevo o no
![Page 35: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/35.jpg)
CONSTRUCCIÓN EN
LÍNEA E INCREMENTAL
DE DICCIONARIOS
VISUALES
Cristóbal Rojas
Profesor Guía: Álvaro Soto
26 de octubre de 2012
![Page 36: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.fdocuments.co/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/36.jpg)