Post on 27-Jun-2015
20391: Visió per ComputadorApunts de l’assignatura
Jordi Vitrià 20391: Visió per Computador 1
Classe 9
Reconeixement d’Objectes (I)
20391: Visió per ComputadorApunts de l’assignatura
Quin és el problema?
Problema: Equivalència entre estímuls.
Jordi Vitrià 20391: Visió per Computador 4
1 objecte ↔ ∞ imatgesCauses: escala, orientació, etc. Cal trobar característiques
invariants!
20391: Visió per ComputadorApunts de l’assignatura
Quin és el problema?
Problema: Equivalència entre estímuls (il·luminació).
Jordi Vitrià 20391: Visió per Computador 5
20391: Visió per ComputadorApunts de l’assignatura
Quin és el problema?
Problema: Equivalència entre estímuls (il·luminació).
Jordi Vitrià 20391: Visió per Computador 6
20391: Visió per ComputadorApunts de l’assignatura
Quin és el problema?
Problema: Equivalència entre estímuls.
En alguns casos podem trobar mecanismes simples de reconeixement associats a característiques més o menys simples de les imatges i que constitueixen senyals no ambigus
Jordi Vitrià 20391: Visió per Computador 7
imatges i que constitueixen senyals no ambigus de la presència de l’objecte.
Però en la majoria dels casos no hi ha una altre camí que l’aprenentatge de descripcions complexes.
20391: Visió per ComputadorApunts de l’assignatura
Quin és el problema?
Problema: Equivalència entre estímuls.
“The Cubist are destined... To give back
to painting its true aim, which is to
reproduce... objects as they are.
Lighting must be eliminated because ... it
Jordi Vitrià 20391: Visió per Computador 8
Lighting must be eliminated because ... it
is the sign of a particular instant... As
well, perspective must be eliminated
because ... it is accidental a think like
lighting”
J.Rivière. Present tendencies in painting. Revue d’Europe et Amérique, Paris, March 1912.
20391: Visió per ComputadorApunts de l’assignatura
Quin és el problema?
Diferència entre classificar i identificar .
Jordi Vitrià 20391: Visió per Computador 9
20391: Visió per ComputadorApunts de l’assignatura
Quin és el problema?
Perquè és útil el reconeixement de classes?
Reconeixement de nous objectes dins d’una classe: • Podem inferir les propietats (usos, perills, …) de coses que no hem vist mai! (Imaginem el primer europeu que va veure un tigre!); • Restringeix el nombre de models per identificar (indexació);• Permet l'ús d’informació específica de la classe per identificar
Jordi Vitrià 20391: Visió per Computador 10
• Permet l'ús d’informació específica de la classe per identificar (p.e. neutralitzar expressions facials);• Fa possible la generalització des d’informació molt parcial (p.e. La Mona Lisa!).
20391: Visió per ComputadorApunts de l’assignatura
Quin és el problema?
(Alguns) Mètodes:
Classificació de les característiques de la imatge.
Ajust de Models geomètrics a la imatge.
Jordi Vitrià 20391: Visió per Computador 11
Aparença o reconeixement basat en vistes.
20391: Visió per ComputadorApunts de l’assignatura
Mètodes
Classificació de les característiques de la imatge.
Objectiu: Definir un espai de característiques de la imatge que permeti representar els objectes a partir del seu aspecte (o d’un conjunt de característiques locals) en la imatge.
Jordi Vitrià 20391: Visió per Computador 12
locals) en la imatge.
Hi ha 3 parts:
• Definició d’una representació adequada. Normalment intentarem reduir la dimensió de les dades de forma que es conservin les invariancies i s’eliminin les altres dimensions.
• Aprenentatge, a partir d’un conjunt d’exemples.
• Reconeixement, a partir del model après.
20391: Visió per ComputadorApunts de l’assignatura
Mètodes
Classificació de les característiques de la imatge.
Jordi Vitrià 20391: Visió per Computador 13
20391: Visió per ComputadorApunts de l’assignatura
Mètodes
Classificació de les característiques de la imatge.
Jordi Vitrià 20391: Visió per Computador 14
Classificació entre túbul i interstici en una biòpsia renal a partir de característiques texturals.
20391: Visió per ComputadorApunts de l’assignatura
Mètodes
Classificació de les característiques de la imatge.
Usarem com a operacions bàsiques la dilatació ( ) i erosió ( ) morfològiques amb elements estructurants que són cercles de radi k:
)(kBε )(kB∂
)(kB
Jordi Vitrià 20391: Visió per Computador 15
La seva combinació crea una nova operació: l’apertura .
))(()( )()( IkBI kBkB εδ=o
)(kB
20391: Visió per ComputadorApunts de l’assignatura
Mètodes
Classificació de les característiques de la imatge.
Efecte de l’apertura en una imatge:
Jordi Vitrià 20391: Visió per Computador 16
20391: Visió per ComputadorApunts de l’assignatura
Mètodes
Classificació de les característiques de la imatge.
Llavors definim per a cada punt (x,y) de la imatge el següent vector:
{}))(())1((
,)),2(())1((),(
nBIvolnBIvol
BIvolBIvolyxG
oo
Koo
−−−=
Jordi Vitrià 20391: Visió per Computador 17
On
Aquest vector, que anomenem GRANULOMETRIA (o la seva derivada!) representa el comportament de l’entorn de cada punt respecte a l’operació apertura, iés un bón descripció de textura!
∑∈
−−=)(),(
)','()),((nByx
yyxxIyxIvol
}))(())1(( nBIvolnBIvol oo −−
20391: Visió per ComputadorApunts de l’assignatura
Mètodes
Classificació de les característiques de la imatge.
Jordi Vitrià 20391: Visió per Computador 18
20391: Visió per ComputadorApunts de l’assignatura
Mètodes
Classificació de les característiques de la imatge.
Resultat de classificar la granulometria de cada punt amb una xarxa neural.
Jordi Vitrià 20391: Visió per Computador 19
20391: Visió per ComputadorApunts de l’assignatura
Mètodes
Classificació de les característiques de la imatge: SEEMORE.
Jordi Vitrià 20391: Visió per Computador 20
20391: Visió per ComputadorApunts de l’assignatura
Mètodes
Classificació de les característiques de la imatge: SEEMORE.
Jordi Vitrià 20391: Visió per Computador 21
20391: Visió per ComputadorApunts de l’assignatura
Mètodes
Classificació de les característiques de la imatge: SEEMORE.
Jordi Vitrià 20391: Visió per Computador 22
20391: Visió per ComputadorApunts de l’assignatura
Mètodes
Ajust de Models Rígids.
Disposem d’una mostra de l’objecte, en forma de de corba o de model de “filferro” + les transformacions que són
Jordi Vitrià 20391: Visió per Computador 23
+ les transformacions que són admissibles.
20391: Visió per ComputadorApunts de l’assignatura
Mètodes
Ajust de Models Rígids.
Correspondència : Donada una imatge, hi ha molts llocs i moltes maneres per a provar de fer correspondre l’objecte!
Representació : Com representem internament els
Jordi Vitrià 20391: Visió per Computador 24
Representació : Com representem internament els objectes per a que el procés de correspondència sigui eficient? Un model per a tot? Un model per a cada vista?...
Semblança : Com decideixo que he trobat una correspondència?
20391: Visió per ComputadorApunts de l’assignatura
Mètodes
Ajust de Models Rígids: Reconeixement per alineació.
Es basa en buscar la correspondència entre una vista 2D d’un objecte rígid i un model 3D. L’objecte vist pot tenir una posició 3D, orientació i escala arbitràries, i
Jordi Vitrià 20391: Visió per Computador 25
tenir una posició 3D, orientació i escala arbitràries, i pot estar semiocult.
Dividim el problema en dos parts:• Aliniació• Transformació i comparació.
20391: Visió per ComputadorApunts de l’assignatura
Mètodes
Ajust de Models Rígids: Reconeixement per alineació.
Alineació del model amb la imatge a partir d’un conjunt reduït de punts del model i de la imatge.
Si assumim que l’objecte es pot representar bé amb una “projecció ortogonal+escala”, llavors es pot
Jordi Vitrià 20391: Visió per Computador 26
una “projecció ortogonal+escala”, llavors es pot demostrar que:
“..donats tres punts del model sobre un pla paral·lel al pla imatge i tres punts a la imatge, hi ha una única transformació que posa en correspondència els punts del model i els de la imatge”.
20391: Visió per ComputadorApunts de l’assignatura
Mètodes
Ajust de Models Rígids: Reconeixement per alineació.
Jordi Vitrià 20391: Visió per Computador 27
Imatge model i punts característics
Punts característics detectats en una escena.Hi ha forces correspondències possibles!
Resultats amb un nivell de semblança suficient.
20391: Visió per ComputadorApunts de l’assignatura
Mètodes
Ajust de Models Rígids: Reconeixement per alineació.
Jordi Vitrià 20391: Visió per Computador 28
20391: Visió per ComputadorApunts de l’assignatura
Mètodes
Ajust de Models Rígids: Reconeixement per alineació.
Però, com comparem?Hi ha diverses solucions: funció distància entre característiques binàries .
A cada punt de la imatge li assignem un valor
Jordi Vitrià 20391: Visió per Computador 29
A cada punt de la imatge li assignem un valor equivalent a la distància que hi ha entre aquest punt i la característica més propera.
Quan projectem les característiques del model, sumem els valors de la funció distància del píxels sobre els que han caigut les característiques. Com menor sigui el valor, més correspondència!
20391: Visió per ComputadorApunts de l’assignatura
Mètodes
Un cas interessant: detecció de cares .
Detection i tracking
Alineament i
Processament de cares:
Jordi Vitrià 20391: Visió per Computador 30
Alineament i normalització.
Representació i modelat d’identitats.
20391: Visió per ComputadorApunts de l’assignatura
Mètodesde
tecc
ió d
e ca
res
.
Jordi Vitrià 20391: Visió per Computador 31
Calculem mesures locals a la imatge
Classificador Cara/No cara
La imatge es divideix en un gran conjunt de finestres (solapades). Cada finestra és classificada com a “cara” o “no cara”, basant-se en un conjunt de mesures locals.
Un
cas
inte
ress
ant:
dete
cció
de
care
s
20391: Visió per ComputadorApunts de l’assignatura
Mètodes
dete
cció
de
care
s.
Par
tim d
’un
GR
AN
con
junt
d’e
xem
ples
Jordi Vitrià 20391: Visió per Computador 32
Un
cas
inte
ress
ant:
dete
cció
de
care
s
Par
tim d
’un
GR
AN
con
junt
d’e
xem
ples
i c
ontr
aexe
mpl
es.
20391: Visió per ComputadorApunts de l’assignatura
Mètodes
Un cas interessant: detecció de cares .
Estratègia:
Preprocessament & Normalització de mida
Jordi Vitrià 20391: Visió per Computador 33
Finestra analitzada
Finestra normalitzada
Comparació
Classificador Cara/No Cara
Canonical Face Pattern Model