Visió per Computador · Visió per computador ^The science and engineering discipline concerned...
Transcript of Visió per Computador · Visió per computador ^The science and engineering discipline concerned...
Visió per Computadorpresentació
Felipe LumbrerasDept. Ciències de la Computació / Centre de Visió per Computador
Universitat Autònoma de Barcelonawww.cvc.uab.es/shared/teach/a102784/
102784 Visió per computador (Grau Enginyeria Informàtica)
104346 Processament de Senyal, Imatge i Vídeo (Grau Enginyeria de Dades)
Assignatura d’introducció al processament d’imatges i a la visió per computador
www.cvc.uab.es/shared/teach/a102784/
caronte.uab.cat/course/view.php?id=82
Visió per computador
“The science and engineering discipline concerned with making inferences about the external world, given one or more of its images”.
font: curs J. Malik
“The goal of computer vision is to extract useful information from images. This has proved a surprisingly challenging task; it has occupied thousands of intelligent and creative minds over the last four decades, and despite this we are still far from being able to build a general-purpose ‘seeing machine’”
font: Simon J.D. Prince book
font: wikimedia commonsAndrej Karpathy blog: http://karpathy.github.io/2012/10/22/state-of-computer-vision/
Sistema d'il·luminació Escena
Òptica,filtres,
extensorsCàmera
Digitalització, processament i
anàlisi
Hardware i software
Visualització
Captació
Elements implicats(sistema d’inspecció)
Bibliografia
• David A. Forsyth and Jean Ponce, Computer Vision: A Modern Approach (2nd Edition), Prentice Hall 2011.
• Richard Szeliski, Computer Vision: Algorithms and Applications, Springer (Texts in computer Science) 2011. (http://szeliski.org/Book/).
• Rafael C. Gonzalez and Richard E. Woods, Digital Image Processing (3rd Edition), Prentice Hall 2007.
• Simon J.D. Prince, Computer Vision: Models, Learning, and Inference, Cambridge University Press, 2012. (http://www.computervisionmodels.com/)
• Joan Serrat, Llibre d’apunts de Processament d’imatges, 2006. (llibre)
Disciplines relacionades
• Processament del senyal (Signal Processing ): adequació i tractament de diferent tipus de senyals.
• Processament d’Imatges (Image Processing ): imatges, transformacions d’imatges en imatges.
• Reconeixement de Patrons (Pattern Recognition): Reconeixement i classificació d’objectes mitjançant imatges.
• Fotogrametria (Photogrametry): obtenció de mesures sense contacte.
• Visió industrial (Machine Vision): control de processos industrials a partir d’imatges.
• ...
Àrees
• Document Analysis• Biometrics• Surveillance• Medical Imaging• Automotive Safety• 3D Reconstruction• Quality Control• ...
www.cs.ubc.ca/~lowe/vision.htmlwww.cvc.uab.es/?page_id=72
Aplicacions/tècniques
• OCR (optical character recognition)
• Signature authentication• Fingerprint identification• Face detection/recognition• Object recognition• Stereo Vision• Panoramas• Multiple View Stereo• SLAM (simultaneous localization
and mapping)• Word spotting• Shape form shading• Shape from silhouette
• Shape from texture• Color naming• Recoloring• Lane departure warning• Pedestrian detection• Inpainting• Video segmentation• Optical Flow• Super-Resolution• Video stabilization• High Dynamic Range• Compression• Slit camera• …
Història
0,4M (2015), 0,7M (2017) hores de vídeo pujats a YouTube al dia
70M (2016), 95M (2017) fotos publicades a Instagram al dia
...
ImageNet: 14M imatges(https://en.wikipedia.org/wiki/List_of_datasets_for_machine_learning_research)
font: CVPR’12 FREAK: Fast Retina KeypointAlexandre Alahi, Raphael Ortiz, Pierre Vandergheynst
font: szeliski.org/Book/
1999 2008 2011 2012
Eines
• Acadèmia– Python– MatLab (Octave)– OpenCV– Deep Learning: TensorFlow (Keras), PyTorch
• Indústria– Python: TensorFlow (Keras), PyTorch– C++ : Caffe– OpenCV– MatLab– LabView– Programes i llibreries específiques
Difusió• Conferències
– ICCV (International Conference on Computer Vision)– ECCV (European Conference on Computer Vision)– CVPR (Int. Conf. on Computer Vision and Pattern Recognition)– ICPR (International Conference on Pattern Recognition)– ...
• Revistes– IEEE Transactions on Pattern Analysis and Machine Intelligence
(PAMI)– Computer Vision and Image Understanding (CVIU)– International Journal of Computer Vision (IJCV)– Pattern Recognition (PR)– ...
• Repositoris:– Arxiv: arxiv.org, (CS) www.arxiv-sanity.com
Àrees relacionades
• Mates (moltes), Física
• Intel·ligència Artificial
• Aprenentatge (Machine Learning)
• Gràfics per Computador
Geometria
Anàlisi
Imatges
Síntesi
Kinectfusion (Siggraph2011): www.youtube.com/watch?v=quGhaggn3cQFace2Face (CVPR2016): www.youtube.com/watch?v=ohmajJTcpNkPose estimation (CVPR2017): www.youtube.com/watch?v=pW6nZXeWlGM
Per ampliar coneixementsUAB• MOOC:
– Detección de objetos: www.coursera.org/learn/deteccion-objetos– Clasificación de imágenes: ¿cómo reconocer el contenido de una imagen?:
www.coursera.org/learn/clasificacion-imagenes
• Treballs Final de Grau • Pràctiques en Empresa• Màsters: pagines.uab.cat/mcv• Doctorats
Altres llocs• MOOC:
– Image and video processing: From Mars to Hollywood with a stop at the hospital. (https://www.coursera.org/course/images)
– Fundamentos del Procesamiento de Vídeo e Imagen Digital. (https://www.coursera.org/course/digital)
– Introducción a la visión por computador: desarrollo de aplicaciones con OpenCV. (https://www.edx.org/course/introduccion-la-vision-por-computador-uc3mx-isa-1x)
– Computational Photography.(https://eu.udacity.com/course/computational-photography--ud955)
– Machine Learning. (https://es.coursera.org/learn/machine-learning)
• Teoria– dimarts 10:30-12:30h, Q1-1007
• Problemes– G1: dijous 11:30-12:30h, Q2-1003
– G2: dijous 12:30-13:30h, Q4-1005
• Pràctiques– dimarts 8:30-10:30h, Lab integrat 1
– dimarts 12:30-14:30h, Lab integrat 2
– dimarts 15:00-17:00h, Lab integrat 1
laboratori tancat, Torn A (assistència obligatòria)
setmana
TEORIA PROBLEMES PRÀCTIQUESdimarts 10:30-12:30 h dijous 11:30-12:30 h, Q2-1003 Torn A (assistència obligatòria)Q1-1007 dijous 12:30-13:30 h, Q4-1005 dimarts 8:30-10:30 h, Lab int. 1
dimarts 12:30-14:30 h, Lab int. 2dimarts 15:00-17:00 h, Lab int. 1
10/02/2020 PresentacióIntroducció a les eines: MatLab, Python
Lab0 (treball individual)
17/02/2020 Formació de la imatge Formació
24/02/2020 Processament d'imatges ProcessatLab1 Lab0 correcció
02/03/2020 Filtrat lineal I Filtrat lineal I
09/03/2020 Filtrat lineal II Filtrat lineal II Lab2Lab1 correcció
16/03/2020 Filtrat no lineal Filtrat no lineal
23/03/2020 Transf. Geomètriques Transf. GeomètriquesLab3Lab2 correcció
30/03/2020 Repàs/Dubtes (*) Correcció Bloc 106/04/2020 FESTA FESTA
13/04/2020 Avaluació 1r bloc Correcció examenProj1Lab3 correcció
20/04/2020 Aplicacions MEMEnginy 27/04/2020 Característiques Característiques 04/05/2020 Segmentació Segmentació Proj211/05/2020 Classificació Classificació
18/05/2020 Deep learningProj3Presentació
25/05/2020 Repàs/Dubtes (*) Correcció Bloc 2
Horari i Calendari
Teoria/Problemes
• Exàmens (teoria, problemes)Prova1_2013 (sol), Prova2_2013 (sol), Prova1_2014 (sol), Prova2_2014 (sol),Prova1_2015 (sol), Prova2_2015 (sol),Prova1_2016 (sol), Prova2_2016 (sol),Prova1_2017 (sol), Prova2_2017 (sol).
• Problemes
Lliurament/Correcció de problemes (individual, presencial):
Bloc1 (dijous 2/4/20),
Bloc2 (dijous 28/5/20)
Pràctiques
• Assistència obligatòriadimarts 8:30-10:30h, Lab integrat 1 dimarts 10:30-12:30h, Lab integrat 2 dimarts 15:00-17:00h, Lab integrat 1
• Grups de 2 alumnes• Dividit en 4 labs i un projecte (3 labs)
Lab 0: individual, no presencial, introducció a les eines, correcció presencial (al Lab 1).Lab 1,2,3: en grup, laboratori tancatProjecte 1,2,3: projecte únic, proposat pel grup, laboratori tancat
Obertura de grups de pràctiques: Caronte (us avisaré pel fòrum)
Pràctiques
• Lab 0: introducció, eines, processament
• Lab 1: eliminació del fons, filtratge
• Lab 2: filtratge, correlació
• Lab 3: geometria, homografies
• Proj 1: definició, objectius, introducció
• Proj 2: seguiment, dubtes
• Proj 3: presentació pública
• codi
• codi
• codi
• codi
• document
• codi
• codi, doc, presentació
Avaluació
Nota Teoria = 0.5*Teoria Prova 1 + 0.5*Teoria Prova 2
Nota Problemes = 0.5*Problemes Prova 1 + 0.5*Problemes Prova 2
Nota de Pràctiques = 0.15*Lab1 + 0.2*Lab2 + 0.25*Lab3 + 0.4*Projecte
NOTA FINAL = 0.3*Nota Teoria + 0.3*Nota Problemes + 0.4*Nota Pràctiques + Notes extres (teo, pro, pra)
No hi ha notes mínimes a cap de les avaluacions.
A l'examen final es podran recuperar per separat les parts: Teoria Prova 1, Teoria Prova 2, Problemes Prova 1, Problemes Part 2. No baixa nota, ens quedem amb la millor de les diferents parts.
Avaluació
Nota Final
112%
Nota Teoria 30%Teoria prova 1 15% 15%
Teoria prova 2 15% 15%
Nota Problemes
30%Problemes prova 1 15% 15%
Problemes prova 2 15% 15%
Nota Pràctiques
40%
Lab1 6% 6%
Lab2 8% 8%
Lab3 10% 10%
Proj 16%
Proj. sessió 1 2%
Proj. sessió 2 4%
Proj. sessió 3 4%
Proj. presentació 2%
Proj. aval. classe 2%
Aval. intragrup 2% 2%
Notes extres
12%
Article 1 2% 2%
Article 2 2% 2%
Prob. Bloc 1 2% 2%
Prob. Bloc 2 2% 2%
Lab0 2% 2%
Lab4 2% 2%
Professor
• Felipe Lumbreras Ruiz
teoria/problemes/pràctiques
[email protected], [email protected]
Consultes: dijous de 9:30 a 11:30 (QC-1048)
contacteu per email abans de venir
www.cvc.uab.es/shared/teach/a102784/
caronte.uab.cat/course/view.php?id=82