Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 1 Manuel Mazo Quintas Daniel Pizarro Pérez...

Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 1

Manuel Mazo QuintasDaniel Pizarro Pérez

Departamento de Electrónica. Universidad de Alcalá.Email:[email protected]

VISIÓN POR COMPUTADOR


ContenidoContenido

Extracción (Detección) de bordes.

Detección de esquinas.

Extracción (Detección) de bordesExtracción (Detección) de bordes


Detección de bordesDetección de bordes

¿Qué es un borde? “Él estaba sentado en el borde de su asiento.” “Ella pinta con bordes muy pronunciados” “Yo siempre corro por fuera de los bordes de la carretera” “Ella estuvo parada al borde del rio” “Los negativos de fotografías deberían cogerse únicamente por los

bordes” “Ellos corren al borde de sus posibilidades”

La definición de borde no es clara.

En visión por computador, los bordes son frecuentemente relacionados con discontinuidades dentro de un conjunto de píxeles.


Detección de bordesDetección de bordes DiscontinuidadesDiscontinuidades

A

C

B

D

• A: Discontinuidad de profundidad: cambios abruptos de profundidad en la escena

• B: Discontinuidades normales de superficies: cambios en la orientación de la superficie

• C: Disconinuidades de iluminación: sombras, cambios de luz.

• D: Discontinuidades de reflectancia: propias de las superficies, marcas huellas


Detección de bordesDetección de bordesObjetivoObjetivo

Idear algoritmos para la extracción de bordes (edges) significativos de una imagen.

Lo que se quiere decir con significantes no está claro. En parte definido por el contexto en el que se están aplicando

los detectores de bordes.


Detección de bordesDetección de bordesBordes locales (“Edgels”)Bordes locales (“Edgels”)

Un borde local (o edgel) es un cambio rápido en una imagen dentro de un área pequeña. Por tanto los “edgels” deberán detectarse en un entorno local.

Edgels no son contornos, límites o líneas. Los “edgels” sirven de soporte para definir contornos, límites

o líneas. Contornos, límites o líneas se construyen a partir de los

“edgels”

Los “Edgels” tienen propiedades Orientación Magnitud Longitud (frecuentemente una unidad de longitud)


BordesBordes¿Cómo detectar “Edgels”?¿Cómo detectar “Edgels”?

f(u)

Línea

Nivel de gris de la línea

u

u

u

Primera derivada

f´(u)

Segunda derivada

f´´(u)

Máximo

Cruce por cero


BordesBordesEjemplosEjemplos


BordesBordesPropiedadesPropiedades

Original

Orientación

Magnitud


BordesBordesDescriptores cuantitativosDescriptores cuantitativos

Normal: Vector unitario en la dirección de máxima variación de intensidad (máximo gradiente de intensidad)

Dirección: Vector unitario perpendicular al vector normal. Posición o centro: posición de la imagen en la cual se localizan los

bordes. Longitud: relacionado con el gradiente local (cómo de rápido varía la

intensidad a través del borde en la dirección de la normal).

normalDirección


BordesBordesEfecto del ruidoEfecto del ruido

Borde ideal Borde+ruido

Aumento de ruido


BordesBordesEjemplo realEjemplo real


BordesBordesPasos a seguir en su detecciónPasos a seguir en su detección

Eliminación de ruido Suprimir todo lo que se pueda el ruido mientras se mantengan los

bordes. En ausencia de otro tipo de información, se supone que el ruido es

“blanco” con distribución gausiana. Realce de bordes

Diseñar filtros que respondan bien a los bordes. Filtros que tengan respuestas elevadas en donde existan bordes y respuesta baja en el resto.

Localización de bordes Determinar qué píxeles deberían ser descartados por representar

ruido, y cúales se deben mantener.• Bordes de ancho delgado (de un píxel de ancho): máxima

supresión• Establecer un valor mínimo para considerar un máximo local de

un filtro como un borde (umbralización)


BordesBordesMétodos de detecciónMétodos de detección

Estimación de la primera derivada Detectores de bordes tipo “gradiente”. Detectores de bordes tipo “orientación” (brújula o compás). Detectores de bordes tipo “Canny*”

Segunda derivada Laplaciana Laplaciana de la Gaussiana

Modelos parámetricos de bordes

* nombre en honor de su autor.


BordesBordesOperadores primera derivada: GradienteOperadores primera derivada: Gradiente

El gradiente de una imagen f(u,v) en un punto (u,v) se define como un vector bidimensional (vector perpendicular al borde):

G f u vG

Guf u v

vf u v

G G G G G G

u vG

G

u

v

u v u v

v

u

[ ( , )]( , )

( , )

,

( , ) tan

2 2

1

Se considera que existe borde si la magnitud

del gradiente supera un determinado umbral. !Se debe fijar un umbral T!:

v

u

f(u,v) G

f

v

θu

Interpretación

g u vsi G f u v T

si G f u v T( , )

[ ( , )

[ ( , )

2 5 5

0


BordesBordesOperadores primera derivada: GradienteOperadores primera derivada: Gradiente

Las derivadas se pueden aproximar por:

Gf u v

uf u v f u v

Gf u v

vf u v f u v

u

v

( , )( , ) ( , )

( , )( , ) ( , )

1

1

1 00 0-1

000

0

1 0

0 00

00-1

0

u

v

máscara

máscara

h11(u,v)

h21(u,v)

Gf u v

uf u v f u v f u v

f u v f u v f u v

Gf u v

vf u v f u v f u v

f u v f u v f u v

u

v

( , )[ ( , ) ( , ) ( , )]

[ ( , ) ( , ) ( , )]

( , )[ ( , ) ( , ) ( , )]

[ ( , ) ( , ) ( ,

1 1 2 1 1 1

1 1 2 1 1 1

1 1 2 1 1 1

1 1 2 1 1 1)]

0 0-1 -1-2

210

1

0 2-1 10

0-1-2

1

h12(u,v)

h22(u,v)


BordesBordesEjemplo real: gradienteEjemplo real: gradiente

g1(u,v)=f(u,v)*h21(u,v) g2(u,v)=f(u,v)*h11(u,v)f(u,v)

g(u,v)= g1(u,v)+ g2(u,v)


f(u,v)

BordesBordesEjemplo real: gradienteEjemplo real: gradiente

gm(u,v)=|G[f(u,v])|

g(u,v), con T= 30 θ(u,v)


BordesBordesOtros operadores: gradienteOtros operadores: gradiente

G Gu v

1

4

1 0 1

2 0 2

1 0 1

1

4

1 2 1

0 0 0

1 2 1

,

G Gu v

1

3

1 0 1

1 0 1

1 0 1

1

3

1 1 1

0 0 0

1 1 2 1

,

Sobel

G Gu v

0 0 1

0 1 0

0 0 0

1 0 0

0 1 0

0 0 0

,

Previtt

Roberts


BordesBordesEjemplos con máscaras de PrewittEjemplos con máscaras de Prewitt

g u vsi G f u v

si G f u v( , )

[ ( , )

[ ( , )

0 1 0

2 5 5 1 0g u v

si G f u v

si G f u v( , )

[ ( , )

[ ( , )

0 2 0

2 5 5 2 0


BordesBordesEjemplos con máscaras de PrewittEjemplos con máscaras de Prewitt


BordesBordesOperadores: TOperadores: Ttipo “orientación” tipo “orientación”

(brújula)(brújula)• Máscaras de Kirsch

SE

E

NENNW

W

SE S

Para cada píxel f(u,v): |G[f(u,v)]| =máx{k0*f(u,v), k1*f(u,v), …, k7*f(u,v) }=ki*f(u,v)

=ángulo de la dirección correspondiente a ki

k k k k

k k

O O O O

0 1 2 3

4 5

3 3 5

3 0 5

3 3 5

3 5 5

3 0 5

3 3 3

5 5 5

3 0 3

3 3 3

5 5 3

5 0 3

3 3 3

0 4 5 9 0 1 3 5

5 3 3

5 0 3

5 3 3

3

, , ,

,

3 3

5 0 3

5 5 3

3 3 3

3 0 3

5 5 5

3 3 3

3 0 5

3 5 5

1 8 0 2 2 5 2 7 0 3 1 5

6 7

, ,k k

O O O O


BordesBordes Ejemplos con Ejemplos con Máscaras de KirschMáscaras de Kirsch

|G|


BordesBordes Detectores tipo “Canny”Detectores tipo “Canny”

Se fundamenta en los operadores derivada.

Resulta especialmente interesante porque extrae bordes y cierra los contornos.

Se desglosa en tres fases:

Obtención del gradiente (|G| y ) en cada píxel. Adelgazamiento del ancho de los bordes, obtenidos con el

gradiente, hasta lograr bordes de un píxel de ancho. Histéresis de umbral al resultado de la supresión no máxima.



1. Obtención del gradiente:

1.1 Suavizar imagen original: f1(u,v) Filtro Gausiano

f2(u,v)1.2. Obtener el gradiente: Gradiente

f2(u,v)

|G|: imagen módulo Em

: imagen ángulo Ea

1. Supresión no máxima al resultado del gradiente:

2.1. Con Em y Ea como entrada generar una imagen de salida IN:

2.1.1. Para cada píxel (u,v), encontrar cuál de las direcciones

dk {0º, 45º, 90º, 135º) se parece más a al dirección Ea(u,v)

2.1.2. Si Em(u,v) es más pequeño que al menos uno de sus dos vecinos

en la dirección dk, entonces IN (u,v) =0, de otro modo IN(u,v) =Em(u,v)



IN(u,v) es una imagen con los bordes adelgazados.

Supresión no máxima (IN(u,v) Imagen binarizada con umbral T=30

para la magnitud del gradiente (Em(u,v)

La salida IN(u,v) suele contener máximos localescreados por el ruido. ¿Cómo se puede eliminar esto?.

La eliminación fijando un umbral da problemas.



1. Histéresis de umbral a la supresión no máxima:

3.1. Fijar dos umbrales T1 y T2 tales que T1<T2

3.2. Para todos los puntos de IN(u,v) y explorando en un orden fijo: 3.1.1. Localizar el siguiente punto de borde no explorado previamente,

IN(u,v), tal que IN(u,v) >T2.

3.1.2. Comenzar a partir de IN(u,v), seguir las cadenas de máximos locales conectados en ambas direcciones perpendiculares a la

normal del borde, siempre que IN>T1. Marcar todos los puntos explorados y salvar la lista de todos los puntos en el entorno conectado encontrado.3.3. La salida es un conjunto de bordes conectados de contornos de la imagen, así como la magnitud y orientación, describiendo las propiedades de los puntos de borde.

Este método elimina las uniones en Y y T de los segmentos que confluyen en un punto



=1, T2=255, T1=1

=1, T2=255, T1=220 =2, T2=128, T1=1 =1, T2=128, T1=1


BordesBordes Segunda derivada: LaplacianaSegunda derivada: Laplaciana

22

2

2

2

1 1 1 1 4

f u vf u v

u

f u v

vf u v f u v f u v f u v f u v

( , )( , ) ( , )

( , ) ( , ) ( , ) ( , ) ( , )

h

0 1 0

1 4 1

0 1 0

h

1 2 1

2 4 2

1 2 1

h

1 1 1

1 8 1

1 1 1

h

1 1 1 1 1

1 1 1 1 1

1 1 2 4 1 1

1 1 1 1 1

1 1 1 1 1

h

1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1

1 1 1 8 8 8 1 1 1

1 1 1 8 8 8 1 1 1

1 1 1 8 8 8 1 1 1

1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1

1


BordesBordes Ejemplo: LaplacianaEjemplo: Laplaciana

Máscara 5x5 Máscara 9x9


BordesBordes Laplaciana de la gausianaLaplaciana de la gausiana

24

2 2

2

2 2

2

11

2 2G u v

u v u v( , )

( )ex p

( )

G u vu v

( , ) ex p( )

1

2 22

2 2

2

OperadorSombrero Mexicano



2 = 0.5 2 = 1.0 2 = 2.0



22

2

2

2f u v G u v G u f u vvG v G v f u v

uG u( , ) * ( , ) ( ) * ( , ) * ( ) ( ) * ( , ) * ( )

2 2f u v G u v G u v f u v( , ) * ( , ) ( , ) * ( , )

h h h

h h h

h h h

N

N

N N NN

11 1 2 1

2 1 2 2 2

1 2

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

Convolución bidimensional

Cuatro convoluciones unidimensionales

Un ejemplo: máscara de 5x5

0 0 1 0 0

0 1 2 1 0

1 2 1 6 2 1

0 1 2 1 0

0 0 1 0 0



¿Cómo se generan las máscaras bidimensionales?

1. Fijar el valor de σ.2. Determinar el valor de la ecuación anterior para los diferentes

valores de (u,v): u=0, 1,2,…. y v=,0, 1, 2, …Dada la simetría sólo hay que calcular en un cuadrante.

3. Escalar los valores y redondear los valores al entero más próximo.4. Extender el ancho de la máscara de forma que contenga todos los

valores distintos de cero.5. Ajustar de forma simétrica los valores, mediante la adición o

substracción de valores pequeños hasta conseguir que todos los valores de la máscara sumen cero

24

2 2

2

2 2

2

11

2 2G u v

u v u v( , )

( )ex p

( )


BordesBordes Ejemplo: Laplaciana de la gausianaEjemplo: Laplaciana de la gausiana

Máscara 13x13



Máscara de 17x17

0 0 0 0 0 0 -1 -1 -1 -1 -1 0 0 0 0 0 0 0 0 0 0 -1 -1 -1 -1 -1 -1 -1 -1 -1 0 0 0 0

0 0 0 0 -1 -1 -1 -1 -1 -1 -1 -1 -1 0 0 0 0

0 0 -1 -1 -1 -2 -3 -3 -3 -3 -3 -2 -1 -1 -1 0 0

0 0 -1 -1 -1 -2 -3 -3 -3 -3 -3 -2 -1 -1 -1 0 0

0 0 -1 -1 -2 -3 -3 -3 -3 -3 -3 -3 -2 -1 -1 0 0

0 0 -1 -1 -2 -3 -3 -3 -3 -3 -3 -3 -2 -1 -1 0 0

0 -1 -1 -2 -3 -3 -3 -2 -3 -2 -3 -3 -3 -2 -1 -1 0 0 -1 -2 -3 -3 -3 0 2 4 2 0 -3 -3 -3 -2 -1 0

0 -1 -1 -2 -3 -3 -3 -3 -3 -3 -3 -3 -3 -2 -1 -1 0 0 -1 -2 -3 -3 -3 0 2 4 2 0 -3 -3 -3 -2 -1 0

-1 -1 -3 -3 -3 0 4 10 12 10 4 0 -3 -3 -3 -1 -1

-1 -1 -3 -3 -3 0 4 10 12 10 4 0 -3 -3 -3 -1 -1

-1 -1 -3 -3 -2 2 10 18 21 18 10 2 -2 -3 -3 -1 -1

-1 -1 -3 -3 -2 2 10 18 21 18 10 2 -2 -3 -3 -1 -1 -1 -1 -3 -3 -3 4 12 21 24 21 12 4 -3 -3 -3 -1 -1


BordesDetección en imágenes en color

Imagen

ROJO

VERDE

AZUL

Grad_R

Grad_G

Grad_B

Bord_R

Bord_G

Bord_B

Mapa deBordes

Descomposición Gradiente Detec. De Bordes Fusión de salida

Mapa deBordes

Imagen

ROJO

VERDE

AZUL

Grad_R

Grad_G

Grad_B

Gradiente

Descomposición Gradiente Grad. Multidim. Detección de bordes

• Dos alternativas frecuentes:


BordesResumen

Los operadores Prewit y Sobel por si solos se pueden aplicar a imágenes con poco ruido y bordes finos.

El operador ‘Canny’ puede afrontar imágenes con ruido y cualquier grosor de borde. (Parámetro σ)

Todos los operadores de gradiente: Histéresis de umbral al resultado de la supresión no máxima. Aportan información de la orientación del borde en la imagen.

El operador laplaciana de la gaussiana o de paso por cero, no aporta información de la dirección y no es dado a técnicas de supresión no máxima

Detección de esquinas.Detección de esquinas.


Extracción de esquinasExtracción de esquinasEsquinasEsquinas

Esquina: Región de la imagen donde existen variaciones apreciables en la intensidad de la imagen f(u,v) en ambas coordenadas ‘u’ y ‘v’.

Existen dos algoritmos muy usados como detectores de esquinas1. Operador Kanade-Lucas-Tomasi (KLT)

2. El operador Harris.

Se introduce el concepto de matriz de estructura local.

uf vf uf

u

vv

uEsquina Borde

u

vuffu

),(v

vuffv

),(


Extracción de esquinasExtracción de esquinasMatriz de Estructura LocalMatriz de Estructura Local

Se define el tensor:

Se calculan las derivadas para cada punto de la imagen en una región de vecindad D. Si es necesario se suaviza la imagen antes con un filtro gaussiano.

Las propiedades de la matriz son: Simetría: Puede ser diagonalizada mediante una matriz de paso ortogonal.

Definida o Semi-definida positiva: Ambos autovalores son positivos o cero

u

vuffu

),(C str=∑D f u2 f u f v

f v f u fv2

RRCstr

2

1

0

0'

v

vuffv

),(

0,0 21


Extracción de esquinasExtracción de esquinasMatriz de Estructura LocalMatriz de Estructura Local

La interpretación geométrica de los autovalores es: Para una imagen uniforme: La imagen de un borde produce: , donde el autovector

asociado con el autovalor positivo es la normal al borde Una esquina produce dos autovalores positivos. Cuanto mayores

sean, mayor será el contraste en la imagen producido por la esquina.

Observaciones básicas: Los autovectores expresan direcciones de borde y los autovalores

magnitud de gradiente. Se puede considerar una esquina a aquella matriz de Estructura

Local que tiene el menor autovalor suficientemente grande.

0,0 21 strC0,0 21

01

02

111 VCV str

222 VCV str 21 VVR

RRCstr

2

1

0

0'


Extracción de esquinasExtracción de esquinasAlgoritmo KLTAlgoritmo KLT

Se define un umbral para el autovalor menor y una region de vecindad D: Calcular las derivadas de la imagen para cada punto en la región de

vecindad D. Computar la matriz de Estructura en cada uno. Calcular el autovalor mas pequeño. Si es mayor que el umbral establecido añadirlo a una lista. Ordenar la lista de mayor a menor y elegido un punto, eliminar

aquellos que estan dentro de la region D de vecindad.

Observaciones básicas: El umbral para el autovalor mas pequeño debe ser elegido con

cuidado en función del histograma de autovalores. El criterio para elegir D es una relación de compromiso entre

ruido y lo juntas que pueden aparecer dos esquinas.


Extracción de esquinasExtracción de esquinasAlgoritmo HarrisAlgoritmo Harris

Es anterior a KLT y define una medida de lo bueno que es una esquina en función de la matriz de Estructura.

Una esquina es detectada si H es superior a un umbral establecido. Cuanto mayor sea ‘α' menor será H y por tanto se detectarán menos

bordes. Se utiliza también un análisis de vecindad D.

2)(),( strstr CtrazaCvuH 25.000),( vuH


Extracción de esquinasExtracción de esquinasHarris y KLTHarris y KLT

KLT Harris


Extracción de esquinasExtracción de esquinasMétodo: Kitchen y RosenfeldMétodo: Kitchen y Rosenfeld

Un método habitual es el uso de derivadas de segundo orden, para medir la razón de cambio de la dirección del gradiente (“rcdg”) con la magnitud del gradiente (“mg”).

Una esquina se declara como tal si: rcdg ≥T1 y/o mg ≥ T2. siendo T1 y T2 dos umbrales predeterminados.

Detector de esquinas de Kitchen y Rosenfeld:

Ef f f f f f f

f fTuu v vv u uv u v

u v

2 2

2 2 3 2 1

2

( ) /

ff u v

uf

f u v

vf

u

f u v

uf

v

f u v

vf

u

f u v

vu v uu vv uv

( , ),

( , ),

( , ),

( , ),

( , )



u v

0 0 0 0 0

0 1 0 1 0

0 1 0 1 0

0 1 0 1 0

0 0 0 0 0

0 0 0 0 0

0 1 1 1 0

0 0 0 0 0

0 1 1 1 0

0 0 0 0 0

,

Por tanto:

ff u v

u uf u v f

f u v

v uf u v

fu u

f u v fv v

f u v fu v

u v

uu vv uv

( , )* ( , ),

( , )* ( , )

* * ( , ) , * * ( , ) , * * f u v( , )

Donde:



Ejemplo de detección de esquinas

Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 1 Manuel Mazo Quintas Daniel Pizarro Pérez...

Documents

Transcript of Manuel Mazo,Daniel Pizarro. Departamento de Electrónica 1 Manuel Mazo Quintas Daniel Pizarro Pérez...