VXC: Computer Vision Presentation
55
Introducción Modelización geométrica La restricción epipolar y la matriz esencial El algoritmo de los ocho puntos Bibliografía Fundamentos Matemáticos de la Visión por Computador Gema R. Quintana Portilla Trabajo dirigido en “Estadística y Computación” Julio de 2007 Gema R. Quintana Portilla Fundamentos Matemáticos de la Visión por Computador
-
Upload
gema-r-quintana -
Category
Education
-
view
475 -
download
0
description
Presentation of my work in Computer Vision
Transcript of VXC: Computer Vision Presentation
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Fundamentos Matemaacuteticos de la Visioacuten porComputador
Gema R Quintana Portilla
Trabajo dirigido en ldquoEstadiacutestica y ComputacioacutenrdquoJulio de 2007
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Visioacuten por Computador
Estudia la interpretacioacuten de escenas a partir de proyecciones2D mediante sensores sin contacto conectados a un sistemainformaacutetico
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Campos relacionados
Graacuteficos por ordenadorProceso inversoCada vez maacutes relacionados
Reconocimiento de patrones (RP)Clasificacioacuten de datos numeacutericos y simboacutelicosPartes de RP en procesos de visioacutenInterpretacioacuten de escenas
Inteligencia artificialPercepcioacuten conocimientorazonamiento y accioacutenParte del proceso de percepcioacuten
PsicofiacutesicaRelacioacuten con la visioacuten humana
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Aplicaciones
AgriculturaGuiado de vehiacuteculosAutomatizacioacuten de tareas
Regulacioacuten de vehiacuteculos y traacuteficoVehiacuteculos autoacutenomosEstudio de trayectoriasPrevencioacuten de accidentes
Inspeccioacuten visual en industriaAzulejosAgroalimentariaElectroacutenica
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Aplicaciones
Ciencias biomeacutedicasContenido y reconocimiento de polen en aire para anaacutelisisde contaminacioacutenAyuda a enfermos ratoacuten facial etc
ReconstruccioacutenModelos 3DVisioacuten esteacutereoSecuencias de imaacutegenes
Seguridad y control de personasReconocimiento de carasRecuento de personasSeguimiento e identificacioacuten de comportamientosReconocimiento de caracteres
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Visioacuten Humana vs Visioacuten Artificial
OjoProyeccioacuten sobre la retinaFotorreceptores conos y bastonesTransmisioacuten a traveacutes del nervio oacuteptico
CaacutemaraProyeccioacuten sobre el sensor (CCD )Elementos fotosensibles fotodiodosTransmisioacuten a traveacutes de sentildeal de viacutedeo
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Visioacuten Humana vs Visioacuten Artificial
Visioacuten humanaMejor reconocimiento de objetosMejor adaptacioacuten a situaciones imprevistasMejor en tareas de alto nivel de procesado de la imagen
Visioacuten por ComputadorMejor midiendo magnitudes fiacutesicasMejor para la realizacioacuten de tareas rutinariasMejor en tareas de bajo nivel de procesado de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Objetivo
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
DefinicioacutenUna imagen es una funcioacuten I definida en una regioacutencompacta Ω de una superficie tomando valores en R+ Esdecir es un array dos-dimensional de brillo
I Ω sube R2 rarr R+
(x y) 7rarr I(x y)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Lente delgada
Ecuacioacuten fundamental de lalente delgada
1Z
+1z
=1f
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
La imagen del punto X viene dada por
x = fX
Z y = f
Y
Z
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagenDescribiremos el proceso de formacioacuten de la imagen como unaserie de transformaciones coordenadas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Consideremos un punto p con coordenadasX0 = [X0 Y0 Z0]T isin R3 relativas a WSus coordenadas X = [XY Z]T con respecto a C vienendadas por una transformacioacuten lineal g = (R T ) isin SE(3) deX0
X = RX0 + T isin R3
X se proyecta en el plano imagen en el punto
x =[xy
]=f
Z
[XY
]
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Homogeneizando coordenadas
Z
xy1
=
f 0 0 00 f 0 00 0 1 0
XYZ1
Representaremos la coordenada Z de p con λ isin R+
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
La matriz anterior la podemos expresar como producto de dosmatrices f 0 0 0
0 f 0 00 0 1 0
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
Las llamaremos
Kf =
f 0 00 f 00 0 1
isin R3times3 Π0 =
1 0 0 00 1 0 00 0 1 0
isin R3times4
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Visioacuten por Computador
Estudia la interpretacioacuten de escenas a partir de proyecciones2D mediante sensores sin contacto conectados a un sistemainformaacutetico
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Campos relacionados
Graacuteficos por ordenadorProceso inversoCada vez maacutes relacionados
Reconocimiento de patrones (RP)Clasificacioacuten de datos numeacutericos y simboacutelicosPartes de RP en procesos de visioacutenInterpretacioacuten de escenas
Inteligencia artificialPercepcioacuten conocimientorazonamiento y accioacutenParte del proceso de percepcioacuten
PsicofiacutesicaRelacioacuten con la visioacuten humana
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Aplicaciones
AgriculturaGuiado de vehiacuteculosAutomatizacioacuten de tareas
Regulacioacuten de vehiacuteculos y traacuteficoVehiacuteculos autoacutenomosEstudio de trayectoriasPrevencioacuten de accidentes
Inspeccioacuten visual en industriaAzulejosAgroalimentariaElectroacutenica
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Aplicaciones
Ciencias biomeacutedicasContenido y reconocimiento de polen en aire para anaacutelisisde contaminacioacutenAyuda a enfermos ratoacuten facial etc
ReconstruccioacutenModelos 3DVisioacuten esteacutereoSecuencias de imaacutegenes
Seguridad y control de personasReconocimiento de carasRecuento de personasSeguimiento e identificacioacuten de comportamientosReconocimiento de caracteres
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Visioacuten Humana vs Visioacuten Artificial
OjoProyeccioacuten sobre la retinaFotorreceptores conos y bastonesTransmisioacuten a traveacutes del nervio oacuteptico
CaacutemaraProyeccioacuten sobre el sensor (CCD )Elementos fotosensibles fotodiodosTransmisioacuten a traveacutes de sentildeal de viacutedeo
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Visioacuten Humana vs Visioacuten Artificial
Visioacuten humanaMejor reconocimiento de objetosMejor adaptacioacuten a situaciones imprevistasMejor en tareas de alto nivel de procesado de la imagen
Visioacuten por ComputadorMejor midiendo magnitudes fiacutesicasMejor para la realizacioacuten de tareas rutinariasMejor en tareas de bajo nivel de procesado de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Objetivo
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
DefinicioacutenUna imagen es una funcioacuten I definida en una regioacutencompacta Ω de una superficie tomando valores en R+ Esdecir es un array dos-dimensional de brillo
I Ω sube R2 rarr R+
(x y) 7rarr I(x y)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Lente delgada
Ecuacioacuten fundamental de lalente delgada
1Z
+1z
=1f
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
La imagen del punto X viene dada por
x = fX
Z y = f
Y
Z
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagenDescribiremos el proceso de formacioacuten de la imagen como unaserie de transformaciones coordenadas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Consideremos un punto p con coordenadasX0 = [X0 Y0 Z0]T isin R3 relativas a WSus coordenadas X = [XY Z]T con respecto a C vienendadas por una transformacioacuten lineal g = (R T ) isin SE(3) deX0
X = RX0 + T isin R3
X se proyecta en el plano imagen en el punto
x =[xy
]=f
Z
[XY
]
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Homogeneizando coordenadas
Z
xy1
=
f 0 0 00 f 0 00 0 1 0
XYZ1
Representaremos la coordenada Z de p con λ isin R+
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
La matriz anterior la podemos expresar como producto de dosmatrices f 0 0 0
0 f 0 00 0 1 0
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
Las llamaremos
Kf =
f 0 00 f 00 0 1
isin R3times3 Π0 =
1 0 0 00 1 0 00 0 1 0
isin R3times4
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Visioacuten por Computador
Estudia la interpretacioacuten de escenas a partir de proyecciones2D mediante sensores sin contacto conectados a un sistemainformaacutetico
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Campos relacionados
Graacuteficos por ordenadorProceso inversoCada vez maacutes relacionados
Reconocimiento de patrones (RP)Clasificacioacuten de datos numeacutericos y simboacutelicosPartes de RP en procesos de visioacutenInterpretacioacuten de escenas
Inteligencia artificialPercepcioacuten conocimientorazonamiento y accioacutenParte del proceso de percepcioacuten
PsicofiacutesicaRelacioacuten con la visioacuten humana
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Aplicaciones
AgriculturaGuiado de vehiacuteculosAutomatizacioacuten de tareas
Regulacioacuten de vehiacuteculos y traacuteficoVehiacuteculos autoacutenomosEstudio de trayectoriasPrevencioacuten de accidentes
Inspeccioacuten visual en industriaAzulejosAgroalimentariaElectroacutenica
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Aplicaciones
Ciencias biomeacutedicasContenido y reconocimiento de polen en aire para anaacutelisisde contaminacioacutenAyuda a enfermos ratoacuten facial etc
ReconstruccioacutenModelos 3DVisioacuten esteacutereoSecuencias de imaacutegenes
Seguridad y control de personasReconocimiento de carasRecuento de personasSeguimiento e identificacioacuten de comportamientosReconocimiento de caracteres
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Visioacuten Humana vs Visioacuten Artificial
OjoProyeccioacuten sobre la retinaFotorreceptores conos y bastonesTransmisioacuten a traveacutes del nervio oacuteptico
CaacutemaraProyeccioacuten sobre el sensor (CCD )Elementos fotosensibles fotodiodosTransmisioacuten a traveacutes de sentildeal de viacutedeo
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Visioacuten Humana vs Visioacuten Artificial
Visioacuten humanaMejor reconocimiento de objetosMejor adaptacioacuten a situaciones imprevistasMejor en tareas de alto nivel de procesado de la imagen
Visioacuten por ComputadorMejor midiendo magnitudes fiacutesicasMejor para la realizacioacuten de tareas rutinariasMejor en tareas de bajo nivel de procesado de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Objetivo
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
DefinicioacutenUna imagen es una funcioacuten I definida en una regioacutencompacta Ω de una superficie tomando valores en R+ Esdecir es un array dos-dimensional de brillo
I Ω sube R2 rarr R+
(x y) 7rarr I(x y)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Lente delgada
Ecuacioacuten fundamental de lalente delgada
1Z
+1z
=1f
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
La imagen del punto X viene dada por
x = fX
Z y = f
Y
Z
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagenDescribiremos el proceso de formacioacuten de la imagen como unaserie de transformaciones coordenadas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Consideremos un punto p con coordenadasX0 = [X0 Y0 Z0]T isin R3 relativas a WSus coordenadas X = [XY Z]T con respecto a C vienendadas por una transformacioacuten lineal g = (R T ) isin SE(3) deX0
X = RX0 + T isin R3
X se proyecta en el plano imagen en el punto
x =[xy
]=f
Z
[XY
]
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Homogeneizando coordenadas
Z
xy1
=
f 0 0 00 f 0 00 0 1 0
XYZ1
Representaremos la coordenada Z de p con λ isin R+
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
La matriz anterior la podemos expresar como producto de dosmatrices f 0 0 0
0 f 0 00 0 1 0
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
Las llamaremos
Kf =
f 0 00 f 00 0 1
isin R3times3 Π0 =
1 0 0 00 1 0 00 0 1 0
isin R3times4
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Visioacuten por Computador
Estudia la interpretacioacuten de escenas a partir de proyecciones2D mediante sensores sin contacto conectados a un sistemainformaacutetico
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Campos relacionados
Graacuteficos por ordenadorProceso inversoCada vez maacutes relacionados
Reconocimiento de patrones (RP)Clasificacioacuten de datos numeacutericos y simboacutelicosPartes de RP en procesos de visioacutenInterpretacioacuten de escenas
Inteligencia artificialPercepcioacuten conocimientorazonamiento y accioacutenParte del proceso de percepcioacuten
PsicofiacutesicaRelacioacuten con la visioacuten humana
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Aplicaciones
AgriculturaGuiado de vehiacuteculosAutomatizacioacuten de tareas
Regulacioacuten de vehiacuteculos y traacuteficoVehiacuteculos autoacutenomosEstudio de trayectoriasPrevencioacuten de accidentes
Inspeccioacuten visual en industriaAzulejosAgroalimentariaElectroacutenica
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Aplicaciones
Ciencias biomeacutedicasContenido y reconocimiento de polen en aire para anaacutelisisde contaminacioacutenAyuda a enfermos ratoacuten facial etc
ReconstruccioacutenModelos 3DVisioacuten esteacutereoSecuencias de imaacutegenes
Seguridad y control de personasReconocimiento de carasRecuento de personasSeguimiento e identificacioacuten de comportamientosReconocimiento de caracteres
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Visioacuten Humana vs Visioacuten Artificial
OjoProyeccioacuten sobre la retinaFotorreceptores conos y bastonesTransmisioacuten a traveacutes del nervio oacuteptico
CaacutemaraProyeccioacuten sobre el sensor (CCD )Elementos fotosensibles fotodiodosTransmisioacuten a traveacutes de sentildeal de viacutedeo
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Visioacuten Humana vs Visioacuten Artificial
Visioacuten humanaMejor reconocimiento de objetosMejor adaptacioacuten a situaciones imprevistasMejor en tareas de alto nivel de procesado de la imagen
Visioacuten por ComputadorMejor midiendo magnitudes fiacutesicasMejor para la realizacioacuten de tareas rutinariasMejor en tareas de bajo nivel de procesado de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Objetivo
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
DefinicioacutenUna imagen es una funcioacuten I definida en una regioacutencompacta Ω de una superficie tomando valores en R+ Esdecir es un array dos-dimensional de brillo
I Ω sube R2 rarr R+
(x y) 7rarr I(x y)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Lente delgada
Ecuacioacuten fundamental de lalente delgada
1Z
+1z
=1f
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
La imagen del punto X viene dada por
x = fX
Z y = f
Y
Z
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagenDescribiremos el proceso de formacioacuten de la imagen como unaserie de transformaciones coordenadas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Consideremos un punto p con coordenadasX0 = [X0 Y0 Z0]T isin R3 relativas a WSus coordenadas X = [XY Z]T con respecto a C vienendadas por una transformacioacuten lineal g = (R T ) isin SE(3) deX0
X = RX0 + T isin R3
X se proyecta en el plano imagen en el punto
x =[xy
]=f
Z
[XY
]
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Homogeneizando coordenadas
Z
xy1
=
f 0 0 00 f 0 00 0 1 0
XYZ1
Representaremos la coordenada Z de p con λ isin R+
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
La matriz anterior la podemos expresar como producto de dosmatrices f 0 0 0
0 f 0 00 0 1 0
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
Las llamaremos
Kf =
f 0 00 f 00 0 1
isin R3times3 Π0 =
1 0 0 00 1 0 00 0 1 0
isin R3times4
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Campos relacionados
Graacuteficos por ordenadorProceso inversoCada vez maacutes relacionados
Reconocimiento de patrones (RP)Clasificacioacuten de datos numeacutericos y simboacutelicosPartes de RP en procesos de visioacutenInterpretacioacuten de escenas
Inteligencia artificialPercepcioacuten conocimientorazonamiento y accioacutenParte del proceso de percepcioacuten
PsicofiacutesicaRelacioacuten con la visioacuten humana
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Aplicaciones
AgriculturaGuiado de vehiacuteculosAutomatizacioacuten de tareas
Regulacioacuten de vehiacuteculos y traacuteficoVehiacuteculos autoacutenomosEstudio de trayectoriasPrevencioacuten de accidentes
Inspeccioacuten visual en industriaAzulejosAgroalimentariaElectroacutenica
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Aplicaciones
Ciencias biomeacutedicasContenido y reconocimiento de polen en aire para anaacutelisisde contaminacioacutenAyuda a enfermos ratoacuten facial etc
ReconstruccioacutenModelos 3DVisioacuten esteacutereoSecuencias de imaacutegenes
Seguridad y control de personasReconocimiento de carasRecuento de personasSeguimiento e identificacioacuten de comportamientosReconocimiento de caracteres
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Visioacuten Humana vs Visioacuten Artificial
OjoProyeccioacuten sobre la retinaFotorreceptores conos y bastonesTransmisioacuten a traveacutes del nervio oacuteptico
CaacutemaraProyeccioacuten sobre el sensor (CCD )Elementos fotosensibles fotodiodosTransmisioacuten a traveacutes de sentildeal de viacutedeo
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Visioacuten Humana vs Visioacuten Artificial
Visioacuten humanaMejor reconocimiento de objetosMejor adaptacioacuten a situaciones imprevistasMejor en tareas de alto nivel de procesado de la imagen
Visioacuten por ComputadorMejor midiendo magnitudes fiacutesicasMejor para la realizacioacuten de tareas rutinariasMejor en tareas de bajo nivel de procesado de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Objetivo
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
DefinicioacutenUna imagen es una funcioacuten I definida en una regioacutencompacta Ω de una superficie tomando valores en R+ Esdecir es un array dos-dimensional de brillo
I Ω sube R2 rarr R+
(x y) 7rarr I(x y)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Lente delgada
Ecuacioacuten fundamental de lalente delgada
1Z
+1z
=1f
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
La imagen del punto X viene dada por
x = fX
Z y = f
Y
Z
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagenDescribiremos el proceso de formacioacuten de la imagen como unaserie de transformaciones coordenadas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Consideremos un punto p con coordenadasX0 = [X0 Y0 Z0]T isin R3 relativas a WSus coordenadas X = [XY Z]T con respecto a C vienendadas por una transformacioacuten lineal g = (R T ) isin SE(3) deX0
X = RX0 + T isin R3
X se proyecta en el plano imagen en el punto
x =[xy
]=f
Z
[XY
]
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Homogeneizando coordenadas
Z
xy1
=
f 0 0 00 f 0 00 0 1 0
XYZ1
Representaremos la coordenada Z de p con λ isin R+
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
La matriz anterior la podemos expresar como producto de dosmatrices f 0 0 0
0 f 0 00 0 1 0
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
Las llamaremos
Kf =
f 0 00 f 00 0 1
isin R3times3 Π0 =
1 0 0 00 1 0 00 0 1 0
isin R3times4
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Aplicaciones
AgriculturaGuiado de vehiacuteculosAutomatizacioacuten de tareas
Regulacioacuten de vehiacuteculos y traacuteficoVehiacuteculos autoacutenomosEstudio de trayectoriasPrevencioacuten de accidentes
Inspeccioacuten visual en industriaAzulejosAgroalimentariaElectroacutenica
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Aplicaciones
Ciencias biomeacutedicasContenido y reconocimiento de polen en aire para anaacutelisisde contaminacioacutenAyuda a enfermos ratoacuten facial etc
ReconstruccioacutenModelos 3DVisioacuten esteacutereoSecuencias de imaacutegenes
Seguridad y control de personasReconocimiento de carasRecuento de personasSeguimiento e identificacioacuten de comportamientosReconocimiento de caracteres
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Visioacuten Humana vs Visioacuten Artificial
OjoProyeccioacuten sobre la retinaFotorreceptores conos y bastonesTransmisioacuten a traveacutes del nervio oacuteptico
CaacutemaraProyeccioacuten sobre el sensor (CCD )Elementos fotosensibles fotodiodosTransmisioacuten a traveacutes de sentildeal de viacutedeo
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Visioacuten Humana vs Visioacuten Artificial
Visioacuten humanaMejor reconocimiento de objetosMejor adaptacioacuten a situaciones imprevistasMejor en tareas de alto nivel de procesado de la imagen
Visioacuten por ComputadorMejor midiendo magnitudes fiacutesicasMejor para la realizacioacuten de tareas rutinariasMejor en tareas de bajo nivel de procesado de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Objetivo
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
DefinicioacutenUna imagen es una funcioacuten I definida en una regioacutencompacta Ω de una superficie tomando valores en R+ Esdecir es un array dos-dimensional de brillo
I Ω sube R2 rarr R+
(x y) 7rarr I(x y)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Lente delgada
Ecuacioacuten fundamental de lalente delgada
1Z
+1z
=1f
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
La imagen del punto X viene dada por
x = fX
Z y = f
Y
Z
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagenDescribiremos el proceso de formacioacuten de la imagen como unaserie de transformaciones coordenadas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Consideremos un punto p con coordenadasX0 = [X0 Y0 Z0]T isin R3 relativas a WSus coordenadas X = [XY Z]T con respecto a C vienendadas por una transformacioacuten lineal g = (R T ) isin SE(3) deX0
X = RX0 + T isin R3
X se proyecta en el plano imagen en el punto
x =[xy
]=f
Z
[XY
]
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Homogeneizando coordenadas
Z
xy1
=
f 0 0 00 f 0 00 0 1 0
XYZ1
Representaremos la coordenada Z de p con λ isin R+
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
La matriz anterior la podemos expresar como producto de dosmatrices f 0 0 0
0 f 0 00 0 1 0
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
Las llamaremos
Kf =
f 0 00 f 00 0 1
isin R3times3 Π0 =
1 0 0 00 1 0 00 0 1 0
isin R3times4
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Aplicaciones
Ciencias biomeacutedicasContenido y reconocimiento de polen en aire para anaacutelisisde contaminacioacutenAyuda a enfermos ratoacuten facial etc
ReconstruccioacutenModelos 3DVisioacuten esteacutereoSecuencias de imaacutegenes
Seguridad y control de personasReconocimiento de carasRecuento de personasSeguimiento e identificacioacuten de comportamientosReconocimiento de caracteres
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Visioacuten Humana vs Visioacuten Artificial
OjoProyeccioacuten sobre la retinaFotorreceptores conos y bastonesTransmisioacuten a traveacutes del nervio oacuteptico
CaacutemaraProyeccioacuten sobre el sensor (CCD )Elementos fotosensibles fotodiodosTransmisioacuten a traveacutes de sentildeal de viacutedeo
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Visioacuten Humana vs Visioacuten Artificial
Visioacuten humanaMejor reconocimiento de objetosMejor adaptacioacuten a situaciones imprevistasMejor en tareas de alto nivel de procesado de la imagen
Visioacuten por ComputadorMejor midiendo magnitudes fiacutesicasMejor para la realizacioacuten de tareas rutinariasMejor en tareas de bajo nivel de procesado de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Objetivo
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
DefinicioacutenUna imagen es una funcioacuten I definida en una regioacutencompacta Ω de una superficie tomando valores en R+ Esdecir es un array dos-dimensional de brillo
I Ω sube R2 rarr R+
(x y) 7rarr I(x y)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Lente delgada
Ecuacioacuten fundamental de lalente delgada
1Z
+1z
=1f
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
La imagen del punto X viene dada por
x = fX
Z y = f
Y
Z
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagenDescribiremos el proceso de formacioacuten de la imagen como unaserie de transformaciones coordenadas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Consideremos un punto p con coordenadasX0 = [X0 Y0 Z0]T isin R3 relativas a WSus coordenadas X = [XY Z]T con respecto a C vienendadas por una transformacioacuten lineal g = (R T ) isin SE(3) deX0
X = RX0 + T isin R3
X se proyecta en el plano imagen en el punto
x =[xy
]=f
Z
[XY
]
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Homogeneizando coordenadas
Z
xy1
=
f 0 0 00 f 0 00 0 1 0
XYZ1
Representaremos la coordenada Z de p con λ isin R+
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
La matriz anterior la podemos expresar como producto de dosmatrices f 0 0 0
0 f 0 00 0 1 0
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
Las llamaremos
Kf =
f 0 00 f 00 0 1
isin R3times3 Π0 =
1 0 0 00 1 0 00 0 1 0
isin R3times4
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Visioacuten Humana vs Visioacuten Artificial
OjoProyeccioacuten sobre la retinaFotorreceptores conos y bastonesTransmisioacuten a traveacutes del nervio oacuteptico
CaacutemaraProyeccioacuten sobre el sensor (CCD )Elementos fotosensibles fotodiodosTransmisioacuten a traveacutes de sentildeal de viacutedeo
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Visioacuten Humana vs Visioacuten Artificial
Visioacuten humanaMejor reconocimiento de objetosMejor adaptacioacuten a situaciones imprevistasMejor en tareas de alto nivel de procesado de la imagen
Visioacuten por ComputadorMejor midiendo magnitudes fiacutesicasMejor para la realizacioacuten de tareas rutinariasMejor en tareas de bajo nivel de procesado de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Objetivo
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
DefinicioacutenUna imagen es una funcioacuten I definida en una regioacutencompacta Ω de una superficie tomando valores en R+ Esdecir es un array dos-dimensional de brillo
I Ω sube R2 rarr R+
(x y) 7rarr I(x y)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Lente delgada
Ecuacioacuten fundamental de lalente delgada
1Z
+1z
=1f
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
La imagen del punto X viene dada por
x = fX
Z y = f
Y
Z
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagenDescribiremos el proceso de formacioacuten de la imagen como unaserie de transformaciones coordenadas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Consideremos un punto p con coordenadasX0 = [X0 Y0 Z0]T isin R3 relativas a WSus coordenadas X = [XY Z]T con respecto a C vienendadas por una transformacioacuten lineal g = (R T ) isin SE(3) deX0
X = RX0 + T isin R3
X se proyecta en el plano imagen en el punto
x =[xy
]=f
Z
[XY
]
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Homogeneizando coordenadas
Z
xy1
=
f 0 0 00 f 0 00 0 1 0
XYZ1
Representaremos la coordenada Z de p con λ isin R+
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
La matriz anterior la podemos expresar como producto de dosmatrices f 0 0 0
0 f 0 00 0 1 0
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
Las llamaremos
Kf =
f 0 00 f 00 0 1
isin R3times3 Π0 =
1 0 0 00 1 0 00 0 1 0
isin R3times4
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Visioacuten Humana vs Visioacuten Artificial
Visioacuten humanaMejor reconocimiento de objetosMejor adaptacioacuten a situaciones imprevistasMejor en tareas de alto nivel de procesado de la imagen
Visioacuten por ComputadorMejor midiendo magnitudes fiacutesicasMejor para la realizacioacuten de tareas rutinariasMejor en tareas de bajo nivel de procesado de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Objetivo
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
DefinicioacutenUna imagen es una funcioacuten I definida en una regioacutencompacta Ω de una superficie tomando valores en R+ Esdecir es un array dos-dimensional de brillo
I Ω sube R2 rarr R+
(x y) 7rarr I(x y)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Lente delgada
Ecuacioacuten fundamental de lalente delgada
1Z
+1z
=1f
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
La imagen del punto X viene dada por
x = fX
Z y = f
Y
Z
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagenDescribiremos el proceso de formacioacuten de la imagen como unaserie de transformaciones coordenadas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Consideremos un punto p con coordenadasX0 = [X0 Y0 Z0]T isin R3 relativas a WSus coordenadas X = [XY Z]T con respecto a C vienendadas por una transformacioacuten lineal g = (R T ) isin SE(3) deX0
X = RX0 + T isin R3
X se proyecta en el plano imagen en el punto
x =[xy
]=f
Z
[XY
]
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Homogeneizando coordenadas
Z
xy1
=
f 0 0 00 f 0 00 0 1 0
XYZ1
Representaremos la coordenada Z de p con λ isin R+
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
La matriz anterior la podemos expresar como producto de dosmatrices f 0 0 0
0 f 0 00 0 1 0
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
Las llamaremos
Kf =
f 0 00 f 00 0 1
isin R3times3 Π0 =
1 0 0 00 1 0 00 0 1 0
isin R3times4
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Objetivo
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
DefinicioacutenUna imagen es una funcioacuten I definida en una regioacutencompacta Ω de una superficie tomando valores en R+ Esdecir es un array dos-dimensional de brillo
I Ω sube R2 rarr R+
(x y) 7rarr I(x y)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Lente delgada
Ecuacioacuten fundamental de lalente delgada
1Z
+1z
=1f
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
La imagen del punto X viene dada por
x = fX
Z y = f
Y
Z
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagenDescribiremos el proceso de formacioacuten de la imagen como unaserie de transformaciones coordenadas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Consideremos un punto p con coordenadasX0 = [X0 Y0 Z0]T isin R3 relativas a WSus coordenadas X = [XY Z]T con respecto a C vienendadas por una transformacioacuten lineal g = (R T ) isin SE(3) deX0
X = RX0 + T isin R3
X se proyecta en el plano imagen en el punto
x =[xy
]=f
Z
[XY
]
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Homogeneizando coordenadas
Z
xy1
=
f 0 0 00 f 0 00 0 1 0
XYZ1
Representaremos la coordenada Z de p con λ isin R+
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
La matriz anterior la podemos expresar como producto de dosmatrices f 0 0 0
0 f 0 00 0 1 0
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
Las llamaremos
Kf =
f 0 00 f 00 0 1
isin R3times3 Π0 =
1 0 0 00 1 0 00 0 1 0
isin R3times4
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
DefinicioacutenUna imagen es una funcioacuten I definida en una regioacutencompacta Ω de una superficie tomando valores en R+ Esdecir es un array dos-dimensional de brillo
I Ω sube R2 rarr R+
(x y) 7rarr I(x y)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Lente delgada
Ecuacioacuten fundamental de lalente delgada
1Z
+1z
=1f
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
La imagen del punto X viene dada por
x = fX
Z y = f
Y
Z
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagenDescribiremos el proceso de formacioacuten de la imagen como unaserie de transformaciones coordenadas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Consideremos un punto p con coordenadasX0 = [X0 Y0 Z0]T isin R3 relativas a WSus coordenadas X = [XY Z]T con respecto a C vienendadas por una transformacioacuten lineal g = (R T ) isin SE(3) deX0
X = RX0 + T isin R3
X se proyecta en el plano imagen en el punto
x =[xy
]=f
Z
[XY
]
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Homogeneizando coordenadas
Z
xy1
=
f 0 0 00 f 0 00 0 1 0
XYZ1
Representaremos la coordenada Z de p con λ isin R+
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
La matriz anterior la podemos expresar como producto de dosmatrices f 0 0 0
0 f 0 00 0 1 0
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
Las llamaremos
Kf =
f 0 00 f 00 0 1
isin R3times3 Π0 =
1 0 0 00 1 0 00 0 1 0
isin R3times4
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
DefinicioacutenUna imagen es una funcioacuten I definida en una regioacutencompacta Ω de una superficie tomando valores en R+ Esdecir es un array dos-dimensional de brillo
I Ω sube R2 rarr R+
(x y) 7rarr I(x y)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Lente delgada
Ecuacioacuten fundamental de lalente delgada
1Z
+1z
=1f
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
La imagen del punto X viene dada por
x = fX
Z y = f
Y
Z
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagenDescribiremos el proceso de formacioacuten de la imagen como unaserie de transformaciones coordenadas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Consideremos un punto p con coordenadasX0 = [X0 Y0 Z0]T isin R3 relativas a WSus coordenadas X = [XY Z]T con respecto a C vienendadas por una transformacioacuten lineal g = (R T ) isin SE(3) deX0
X = RX0 + T isin R3
X se proyecta en el plano imagen en el punto
x =[xy
]=f
Z
[XY
]
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Homogeneizando coordenadas
Z
xy1
=
f 0 0 00 f 0 00 0 1 0
XYZ1
Representaremos la coordenada Z de p con λ isin R+
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
La matriz anterior la podemos expresar como producto de dosmatrices f 0 0 0
0 f 0 00 0 1 0
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
Las llamaremos
Kf =
f 0 00 f 00 0 1
isin R3times3 Π0 =
1 0 0 00 1 0 00 0 1 0
isin R3times4
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Representaciones de una imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Lente delgada
Ecuacioacuten fundamental de lalente delgada
1Z
+1z
=1f
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
La imagen del punto X viene dada por
x = fX
Z y = f
Y
Z
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagenDescribiremos el proceso de formacioacuten de la imagen como unaserie de transformaciones coordenadas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Consideremos un punto p con coordenadasX0 = [X0 Y0 Z0]T isin R3 relativas a WSus coordenadas X = [XY Z]T con respecto a C vienendadas por una transformacioacuten lineal g = (R T ) isin SE(3) deX0
X = RX0 + T isin R3
X se proyecta en el plano imagen en el punto
x =[xy
]=f
Z
[XY
]
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Homogeneizando coordenadas
Z
xy1
=
f 0 0 00 f 0 00 0 1 0
XYZ1
Representaremos la coordenada Z de p con λ isin R+
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
La matriz anterior la podemos expresar como producto de dosmatrices f 0 0 0
0 f 0 00 0 1 0
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
Las llamaremos
Kf =
f 0 00 f 00 0 1
isin R3times3 Π0 =
1 0 0 00 1 0 00 0 1 0
isin R3times4
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Lente delgada
Ecuacioacuten fundamental de lalente delgada
1Z
+1z
=1f
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
La imagen del punto X viene dada por
x = fX
Z y = f
Y
Z
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagenDescribiremos el proceso de formacioacuten de la imagen como unaserie de transformaciones coordenadas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Consideremos un punto p con coordenadasX0 = [X0 Y0 Z0]T isin R3 relativas a WSus coordenadas X = [XY Z]T con respecto a C vienendadas por una transformacioacuten lineal g = (R T ) isin SE(3) deX0
X = RX0 + T isin R3
X se proyecta en el plano imagen en el punto
x =[xy
]=f
Z
[XY
]
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Homogeneizando coordenadas
Z
xy1
=
f 0 0 00 f 0 00 0 1 0
XYZ1
Representaremos la coordenada Z de p con λ isin R+
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
La matriz anterior la podemos expresar como producto de dosmatrices f 0 0 0
0 f 0 00 0 1 0
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
Las llamaremos
Kf =
f 0 00 f 00 0 1
isin R3times3 Π0 =
1 0 0 00 1 0 00 0 1 0
isin R3times4
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
La imagen del punto X viene dada por
x = fX
Z y = f
Y
Z
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagenDescribiremos el proceso de formacioacuten de la imagen como unaserie de transformaciones coordenadas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Consideremos un punto p con coordenadasX0 = [X0 Y0 Z0]T isin R3 relativas a WSus coordenadas X = [XY Z]T con respecto a C vienendadas por una transformacioacuten lineal g = (R T ) isin SE(3) deX0
X = RX0 + T isin R3
X se proyecta en el plano imagen en el punto
x =[xy
]=f
Z
[XY
]
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Homogeneizando coordenadas
Z
xy1
=
f 0 0 00 f 0 00 0 1 0
XYZ1
Representaremos la coordenada Z de p con λ isin R+
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
La matriz anterior la podemos expresar como producto de dosmatrices f 0 0 0
0 f 0 00 0 1 0
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
Las llamaremos
Kf =
f 0 00 f 00 0 1
isin R3times3 Π0 =
1 0 0 00 1 0 00 0 1 0
isin R3times4
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
La imagen del punto X viene dada por
x = fX
Z y = f
Y
Z
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagenDescribiremos el proceso de formacioacuten de la imagen como unaserie de transformaciones coordenadas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Consideremos un punto p con coordenadasX0 = [X0 Y0 Z0]T isin R3 relativas a WSus coordenadas X = [XY Z]T con respecto a C vienendadas por una transformacioacuten lineal g = (R T ) isin SE(3) deX0
X = RX0 + T isin R3
X se proyecta en el plano imagen en el punto
x =[xy
]=f
Z
[XY
]
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Homogeneizando coordenadas
Z
xy1
=
f 0 0 00 f 0 00 0 1 0
XYZ1
Representaremos la coordenada Z de p con λ isin R+
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
La matriz anterior la podemos expresar como producto de dosmatrices f 0 0 0
0 f 0 00 0 1 0
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
Las llamaremos
Kf =
f 0 00 f 00 0 1
isin R3times3 Π0 =
1 0 0 00 1 0 00 0 1 0
isin R3times4
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagen
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagenDescribiremos el proceso de formacioacuten de la imagen como unaserie de transformaciones coordenadas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Consideremos un punto p con coordenadasX0 = [X0 Y0 Z0]T isin R3 relativas a WSus coordenadas X = [XY Z]T con respecto a C vienendadas por una transformacioacuten lineal g = (R T ) isin SE(3) deX0
X = RX0 + T isin R3
X se proyecta en el plano imagen en el punto
x =[xy
]=f
Z
[XY
]
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Homogeneizando coordenadas
Z
xy1
=
f 0 0 00 f 0 00 0 1 0
XYZ1
Representaremos la coordenada Z de p con λ isin R+
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
La matriz anterior la podemos expresar como producto de dosmatrices f 0 0 0
0 f 0 00 0 1 0
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
Las llamaremos
Kf =
f 0 00 f 00 0 1
isin R3times3 Π0 =
1 0 0 00 1 0 00 0 1 0
isin R3times4
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Objetivo
Necesitamos un modelo matemaacutetico que tenga en cuenta trestipos de transformaciones
1 transformaciones coordenadas entre el sistema dereferencia de la caacutemara (C) y el del mundo (W)
2 paso de coordenadas 3-D a coordenadas 2-D3 transformacioacuten coordenada entre las posibles elecciones
del sistema de referencia de la imagenDescribiremos el proceso de formacioacuten de la imagen como unaserie de transformaciones coordenadas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Consideremos un punto p con coordenadasX0 = [X0 Y0 Z0]T isin R3 relativas a WSus coordenadas X = [XY Z]T con respecto a C vienendadas por una transformacioacuten lineal g = (R T ) isin SE(3) deX0
X = RX0 + T isin R3
X se proyecta en el plano imagen en el punto
x =[xy
]=f
Z
[XY
]
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Homogeneizando coordenadas
Z
xy1
=
f 0 0 00 f 0 00 0 1 0
XYZ1
Representaremos la coordenada Z de p con λ isin R+
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
La matriz anterior la podemos expresar como producto de dosmatrices f 0 0 0
0 f 0 00 0 1 0
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
Las llamaremos
Kf =
f 0 00 f 00 0 1
isin R3times3 Π0 =
1 0 0 00 1 0 00 0 1 0
isin R3times4
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Consideremos un punto p con coordenadasX0 = [X0 Y0 Z0]T isin R3 relativas a WSus coordenadas X = [XY Z]T con respecto a C vienendadas por una transformacioacuten lineal g = (R T ) isin SE(3) deX0
X = RX0 + T isin R3
X se proyecta en el plano imagen en el punto
x =[xy
]=f
Z
[XY
]
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Homogeneizando coordenadas
Z
xy1
=
f 0 0 00 f 0 00 0 1 0
XYZ1
Representaremos la coordenada Z de p con λ isin R+
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
La matriz anterior la podemos expresar como producto de dosmatrices f 0 0 0
0 f 0 00 0 1 0
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
Las llamaremos
Kf =
f 0 00 f 00 0 1
isin R3times3 Π0 =
1 0 0 00 1 0 00 0 1 0
isin R3times4
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinhole
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Homogeneizando coordenadas
Z
xy1
=
f 0 0 00 f 0 00 0 1 0
XYZ1
Representaremos la coordenada Z de p con λ isin R+
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
La matriz anterior la podemos expresar como producto de dosmatrices f 0 0 0
0 f 0 00 0 1 0
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
Las llamaremos
Kf =
f 0 00 f 00 0 1
isin R3times3 Π0 =
1 0 0 00 1 0 00 0 1 0
isin R3times4
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Homogeneizando coordenadas
Z
xy1
=
f 0 0 00 f 0 00 0 1 0
XYZ1
Representaremos la coordenada Z de p con λ isin R+
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
La matriz anterior la podemos expresar como producto de dosmatrices f 0 0 0
0 f 0 00 0 1 0
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
Las llamaremos
Kf =
f 0 00 f 00 0 1
isin R3times3 Π0 =
1 0 0 00 1 0 00 0 1 0
isin R3times4
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
La matriz anterior la podemos expresar como producto de dosmatrices f 0 0 0
0 f 0 00 0 1 0
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
Las llamaremos
Kf =
f 0 00 f 00 0 1
isin R3times3 Π0 =
1 0 0 00 1 0 00 0 1 0
isin R3times4
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Caacutemara pinholeHomogeneizando
Resumiendo todo una caacutemara pinhole se modeliza
λ
xy1
=
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
NotaLos paraacutemetros anteriores son conocidos como paraacutemetrosextriacutensecos de la caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
Combinando el modelo de proyeccioacuten con el escalado y latraslacioacuten
λ
xprime
yprime
1
=
sx sθ ox0 sy oy0 0 1
f 0 00 f 00 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Dicho de otro modo
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
De coordenadas 3-D a piacutexeles
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Paraacutemetros intriacutensecos de una caacutemara
DefinicioacutenLa matriz K se denomina matriz de calibracioacuten
Si conocemos K las cordenadas calibradas x se obtienen apartir de las coordenadas en piacutexeles xprime invirtiendo la matriz K
λx = λKminus1xprime = Π0X =
1 0 0 00 1 0 00 0 1 0
XYZ1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
λxprime = KΠ0X =
fsx fsθ ox0 fsy oy0 0 1
1 0 0 00 1 0 00 0 1 0
[ R T0 1
]X0
Y0
Z0
1
iquestY si hay distorsioacuten
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Modelo geomeacutetrico
Modelo del proceso de formacioacuten de la imagen
iquestY si hay distorsioacuten
Habriacutea que corregirlaSupondremos la distorsioacuten corregida y las vistascalibradas
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Hipoacutetesis
Disponemos de dos imaacutegenes de la misma escenatomadas desde dos puntos de vista distintossuponemos las vistas calibradas (la matriz de calibracioacutenK es la identidad)
λx = Π0X donde Π0 = [I 0]
la escena es estaacuteticaconocemos las correspondencias entre los puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Restriccioacuten epipolar
Teorema (Restriccioacuten epipolar)
Sean x1x2 los dos proyectados del mismo punto p obtenidos apartir de dos posiciones de la caacutemara relacionadas por latransformacioacuten g = (R T ) donde R isin SO(3) y T isin R3Entonces
〈x2 T timesRx1〉 = 0 es decir xT2 TRx1 = 0
DefinicioacutenSe llama matriz esencial y se denota E la matriz
E = TR
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Definiciones
DefinicioacutenSe denomina espacio esencial el conjunto de las matricesesenciales E = TR|R isin SO(3) T isin R3
Teorema (Descomposicioacuten en valores singulares (SVD))
Sea A isin Rmtimesn con rango p Supongamos m ge n EntoncesexistU isin Rmtimesp con columnas ortonormalesexistV isin Rntimesp con columnas ortonormalesexistΣ isin RptimespΣ = diagσ1 σ2 σp matriz diagonal conσ1 ge σ2 ge ge σp
tales que A = UΣV T
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caracterizacioacuten de matriz esencial
Teorema (Caracterizacioacuten de matriz esencial)
Una matriz no nula E isin R3times3 es una matriz esencial si y soacutelo siE tiene una descomposicioacuten en valores singulares E = UΣTcon
Σ = diagσ σ 0
para σ isin R+ y U V isin SO(3)
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Propiedades de la matriz esencial
Caacutelculo de la posicioacuten a partir de E
Teorema (Caacutelculo de la posicioacuten a partir de la matriz esencial)
Existen exactamente dos posiciones relativas (R T ) conR isin SO(3) y T isin R3 correspondientes a una matriz esencial nonula E isin E
Si E = UΣV es la factorizacioacuten SVD de E con U V isin SO(3)las soluciones vienen dadas por
(T1 R1) = (URZ(+π2 )ΣUT URTZ(+π
2 )V T )(T2 R2) = (URZ(minusπ
2 )ΣUT URTZ(minusπ2 )V T )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Iacutendice
1 Introduccioacuten
2 Modelizacioacuten geomeacutetricaModelo geomeacutetrico del proceso de formacioacuten de laimagen
3 La restriccioacuten epipolar y la matriz esencialPropiedades de la matriz esencial
4 El algoritmo lineal de los ocho puntos
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Problema
Sabemos los puntos en correspondencia verifican larestriccioacuten epipolarObjetivo determinar la posicioacuten relativa de las caacutemarasdadas dos imaacutegenes de una misma escena
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Solucioacuten
Calcular E a partir de suficientes correspondencias entrepuntosObtener R y T a partir de E
iquestHemos acabado NoLa matriz asiacute obtenida puede no ser una matriz esencialNecesitamos tomar la matriz de E maacutes proacutexima a ella
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
Definicioacuten
Sean x1 = [x1 y1 z1]T y x2 = [x2 y2 z2]T vectores en R3 Sedefine el producto de Kronecker como
x1otimesx2 = [x1x2 x1y2 x1z2 y1x2 y1y2 y1z2 z1x2 z1y2 z1z2]T isin R9
Notacioacuten a = x1 otimes x2
Podemos reescribir xT2Ex1 = 0 como aTES = 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
DefinicioacutenDado un conjunto de pares de puntos de la imagen encorrespondencia (xj1x
j2) j = 1 2 n se define la matriz
X isin Rntimes9 asociada X = [a1a2 an]T donde la j-eacutesima filaaj es el producto de Kronecker del par (xj1x
j2)
Si los datos no presentan ruido XES = 0 A partir de estoobtenemos ES E es una matriz homogeacutenea necesitamos ocho pares depuntos en correspondencia
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Justificacioacuten teoacuterica
iquestLo anterior es suficiente NoEl rango de X es menor que ocho hay menos de ochopuntos en posicioacuten generalES tiene que satisfacer que su forma matricial E sea unamatriz esencial Solucioacuten
Calcular el nuacutecleo de X obteniendo F que probablementeno pertenezca a E Proyectarla sobre la variedad de las matrices esenciales
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Proyeccioacuten sobre E
Teorema (Proyeccioacuten sobre E)
Dada una matriz real F isin R3times3 con SVDF = Udiagλ1 λ2 λ3V T cumpliendoU V isin SO(3) λ1 ge λ2 ge λ3 se tiene que lamatriz esencial E isin E que minimiza el errorE minus F2f viene dada porE = Udiagσ σ 0V T con σ = λ1+λ2
2
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Posibles soluciones
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos I
Dado un cojunto de correspondencias entre las dos imaacutegenes(xixj) j = 1 2 n (n ge 8) el algoritmo devuelve(R T ) isin SE(3) tales que
xjT2 TRxj1 = 0 j = 1 2 n
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos II
1 Caacutelculo de una aproximacioacuten de la matriz esencialConstruir X = [a1a2 an]T isin Rntimes9 a partir de lascorrespondencias xj1 y xj2 como se hizo en el teorema 41
aj = xj1 otimes xj2 isin R9
Encontrar el vector ES isin R9 de norma 1 tal que XES seminimimice como sigue calcular la SVD de X = UXΣXV T
Xy definir ES la novena columna de VX Calcular la matrizasociada a ES E (Esta matriz en general noperteneceraacute a E )
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos III
2 Proyeccioacuten sobre E Descomponer la matriz E calculada a partir de los datosen valores singulares
E = Udiagσ1 σ2 σ3V T
donde σ1 ge σ2 ge σ3 ge 0 y U V isin SO(3) En general comoE puede no ser una matriz esencial σ1 6= σ2 y σ3 6= 0Pero su proyeccioacuten sobre E (normalizada) es de la formaUΣV T con Σ = diag1 1 0
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
El algoritmo lineal de los ocho puntos IV
3 Recuperacioacuten de la posicioacuten relativaA partir de la SVD de la proyeccioacuten calculamos R y Tcomo sigue
R = URTZ(plusmnπ2
)V T T = URZ(plusmnπ2
)ΣUT
donde RTZ(plusmnπ2 ) =
0 plusmn1 0∓1 0 00 0 1
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea I
Luis BaumelaCurso de doctorado ldquoVisioacuten por ComputadorrdquoUniversidad Politeacutecnica de Madrid 2004
Departamento de Electroacutenica de la Universidad de AlcalaacuteCurso de doctorado ldquoProcesamiento digital de imaacutegenesAplicaciones en roboacuteticardquoCurso 2005-2006
R I Hartley A ZissermanMultiple View Geometry in Computer VisionCambrdige University Press 2004
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea II
Y Ma S Soatto J Koseckaacute S Shankar SastryAn Invitation to 3-D VisionSpringer-Verlag N Y 2004
Domingo MeryAsignatura ldquoVisioacuten por ComputadorrdquoUniversidad Catoacutelica de Chile 2004
J M Sanchiz F PlaCurso de doctorado Fundamentos de Visioacuten porComputadorUniversitat Jaume I 2006
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
IntroduccioacutenModelizacioacuten geomeacutetrica
La restriccioacuten epipolar y la matriz esencialEl algoritmo de los ocho puntos
Bibliografiacutea
Bibliografiacutea III
Alberto RuizApuntes de sistemas de percepcioacuten y Visioacuten porComputadorUniversidad de Murcia 2004
BN ShapukovGrupos y aacutelgebras de Lie en ejercicios y problemasURSS Moscuacute 2001
Gema R Quintana Portilla Fundamentos Matemaacuteticos de la Visioacuten por Computador
- Introduccioacuten
- Modelizacioacuten geomeacutetrica
-
- Modelo geomeacutetrico del proceso de formacioacuten de la imagen
-
- La restriccioacuten epipolar y la matriz esencial
-
- Propiedades de la matriz esencial
-
- El algoritmo lineal de los ocho puntos
- Bibliografiacutea
-
