Sistema inteligente de Reconocimiento de Anuncios de Televisión
-
Upload
jose-ramon-cerquides-bueno -
Category
Engineering
-
view
167 -
download
4
Transcript of Sistema inteligente de Reconocimiento de Anuncios de Televisión
![Page 1: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/1.jpg)
Sistema Inteligente de
Reconocimiento de Anuncios
de Televisión
Autor: José Javier Alcántara Armenteros
Tutor: José Ramón Cerquides Bueno
Trabajo Fin de Grado
Grado en Ingeniería de las Tecnologías de Telecomunicación
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
![Page 2: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/2.jpg)
Sistema Inteligente de Reconocimiento de Anuncios
de Televisión
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
• Introducción
• Video Fingerprinting
• Descripción del sistema
• Implementación
• Pruebas y conclusiones
![Page 3: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/3.jpg)
Introducción
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
• Reconocer anuncios durante una emisión de
televisión en tiempo real ingestada como streaming
• Programa en lenguaje C sira-tv
• Informe: momento de emisión y duración del anuncio
• ¿Qué aplicaciones puede tener?
Verificación del cumplimiento de acuerdos entre
anunciantes y cadenas
Explotación de este medio de cara a las nuevas tecnologías
e Internet
Estudio de la competencia y mercado
Objetivo
![Page 4: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/4.jpg)
Sistema Inteligente de Reconocimiento de Anuncios
de Televisión
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
• Introducción
• Video Fingerprinting
• Descripción del sistema
• Implementación
• Pruebas y conclusiones
![Page 5: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/5.jpg)
Video Fingerprinting
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
¿En qué consiste?
• Fingerprint huella digital identificativa
• Sistema basado en Video Fingerprinting:
Extracción de huella: características perceptuales
Estrategia de base de datos: búsqueda y comparación
• Propiedades deseadas:
- Robustez
- Discriminabilidad
- Sencillez
- Precisión
- Eficiencia
- Granularidad
- Escalabilidad
- Versatilidad
- Seguridad
![Page 6: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/6.jpg)
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Sistema completo
• Incluye además:
Detección previa del anuncio en el streaming
Autoaprendizaje de nuevos anuncios
![Page 7: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/7.jpg)
Sistema Inteligente de Reconocimiento de Anuncios
de Televisión
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
• Introducción
• Video Fingerprinting
• Descripción del sistema
• Implementación
• Pruebas y conclusiones
![Page 8: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/8.jpg)
Descripción del sistema
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Detección de anuncios
• Entre 5 y 12 frames monocromáticos negros introducen cada
segmento de vídeo en la señal de TV posible anuncio
• Frame monocromático negro si:
Al menos el 92% de sus píxeles son negros
Un píxel es negro si su valor es como máximo 18 de 256 niveles
![Page 9: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/9.jpg)
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Extracción de huella
• A partir del primer frame no negro con baja resolución
(32x32 píxeles) del posible anuncio:
1) Obtención del plano de luminancia
2) Transformada Discreta del Coseno 2-D
3) Reordenanción en un vector de 1024 elementos
4) Codificación binaria:
- Elementos ≥ ‘0’ ‘1’
- Elementos < ‘0’ ‘0’
![Page 10: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/10.jpg)
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Estrategia de bases de datos
• Antes de la monitorización: se generan las huellas de la base
de datos de vídeos o se cargan en memoria si ya existen
• Tras detección y cálculo de huella: recorremos la base de
datos comparando la huella calculada con todas las demás
• Criterio de igualdad distancia hamming
1) Operación XOR entre las dos huellas
2) Suma de bits: valor comprendido entre 0 y 1024
![Page 11: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/11.jpg)
Estrategia de bases de datos
• Resultado de la comparación:
distancia hamming < 18% vídeo candidato
• Una vez se ha buscado en toda la base datos puede haber:
Un solo candidato anuncio encontrado
Varios o ningún candidato segundo criterio:
• Se extrae una segunda huella a partir del frame un
segundo después del primer frame no negro
• Se vuelve a buscar en la base de datos:
Uno/varios candidatos anuncio encontrado
Ningún candidato anuncio no
encontrado
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
![Page 12: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/12.jpg)
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Almacenamiento y autoaprendizaje
• Cuando nos encontramos ante un anuncio no encontrado lo
clasificaremos según la duración del segmento de vídeo:
Anuncio desconocido duración mayor a 30 s
Programación en otro caso
• En ambos casos se escribe en disco el segmento de vídeo
para posterior detección humana. Podremos:
Detectar errores
Actualizar la base de datos: autoaprendizaje
• También se podrán escribir en disco los frames que
originan las huellas así como las huellas mismas como
imágenes binarias
![Page 13: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/13.jpg)
Sistema Inteligente de Reconocimiento de Anuncios
de Televisión
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
• Introducción
• Video Fingerprinting
• Descripción del sistema
• Implementación
• Pruebas y conclusiones
![Page 14: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/14.jpg)
Implementación
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Entorno de trabajo
• Sistema Operativo
• Plataforma de desarrollo
• Pruebas
• Herramienta principal
![Page 15: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/15.jpg)
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Parámetros de entrada y salida
• Parámetros de entrada obligatorios:
channel texto indentificativo del canal de TV
id identificador abreviado
source ruta/URL del flujo de entrada
dirbbdd rutas a las bases de datos
format formatos de vídeo a cargar
• Parámetros de entrada adicionales:
help permite mostrar ayuda de uso
spotlenght duración para considerar anuncios
output ruta de fichero para generar informe
saveframes permite volcar frames a disco
savefingerprints permite guardar imágenes binarias
• Informes de salida:
Estado de la monitorización
Resultado de la ejecución
![Page 16: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/16.jpg)
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Gestión de procesos y memoria
• Hilos
• Buffers
![Page 17: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/17.jpg)
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Módulos funcionales
![Page 18: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/18.jpg)
Sistema Inteligente de Reconocimiento de Anuncios
de Televisión
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
• Introducción
• Video Fingerprinting
• Descripción del sistema
• Implementación
• Pruebas y conclusiones
![Page 19: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/19.jpg)
Pruebas y conclusiones
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Pruebas más importantes
• Ingesta de streaming
• Huellas
• Detección de anuncios
• Comparación de huellas
• Codificación de segmentos
• Memoria
Decodificación
Microcortes
Entorno local
Implementación
Almacenamiento
Sincronización
Formatos
Umbrales de negro
Vídeos corruptos
Hilos
Buffers
Testeo
![Page 20: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/20.jpg)
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
• Estructura de directorios necesaria:
• Emitimos streaming de TV localmente con VLC Media Player y
monitorizamos
Demostración de funcionamiento
![Page 21: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/21.jpg)
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Demostración de funcionamiento
![Page 22: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/22.jpg)
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Detección humana
• Análisis posterior de segmentos y frames volcados a disco
• Necesario debido a la posibilidad de:
Sobresegmentación de programación
Anuncios desconocidos con duración mayor a 30 s
Anuncios conflictivos:
diferencias
significativas
![Page 23: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/23.jpg)
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Futuras implementaciones
• En desarrollo:
Ingesta de varios streamings en paralelo
Información de salida subida a bases
de datos en la nube en tiempo real
• Se estudian posibilidades como:
Codificar marcas de tiempo en el canal de subtítulos
Combinación de Sistemas de Audio y Video
Fingerprinting
![Page 24: Sistema inteligente de Reconocimiento de Anuncios de Televisión](https://reader030.fdocuments.co/reader030/viewer/2022020314/58eddd321a28abc1508b45dd/html5/thumbnails/24.jpg)
Sistema Inteligente de Reconocimiento de Anuncios
de Televisión
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
PREGUNTAS