Uso de Coevoluci´on para Optimizaci´on Evolutiva...

Uso de Coevolucionpara Optimizacion Evolutiva Multiobjetivo

Marıa Margarita Reyes Sierra

Avance de Trabajo Doctoral

Asesor: Dr. Carlos A. Coello Coello

Reyes Sierra Marıa Margarita Seminario de Doctorado

Contenido

1. Motivacion y Objetivos

2. Definicion del Problema

3. Coevolucion

4. Trabajo Previo

5. Descripcion del Algoritmo

6. Resultados

7. Publicaciones

8. Conclusiones y Trabajo Futuro

CINVESTAV-IPN Otono 2003


1. Motivacion y Objetivos

La mayorıa de los problemas de optimizacion del mundo realtienen varias funciones objetivo, si bien estas tienden asimplificarse transformandolas (todas excepto una) enrestricciones adicionales al problema.

Una de las motivaciones principales para usar algoritmosevolutivos en la optimizacion multiobjetivo es que estospermiten la generacion de multiples solucionessimultaneamente (dado que son una tecnica poblacional).



A pesar del considerable volumen de investigacion realizada ala fecha en optimizacion evolutiva multiobjetivo, no ha sidosino hasta recientemente que se ha enfatizado la importanciade desarrollar algoritmos mas robustos y eficientescomputacionalmente.

Por otra parte, el uso de mecanismos coevolutivos enoptimizacion multiobjetivo ha sido muy limitado en laliteratura especializada.



Objetivos

1. Implementar un algoritmo coevolutivo para optimizacionmultiobjetivo en el cual el enfasis principal sera la eficienciacomputacional (medida en terminos del numero de evaluacionesde la funcion de aptitud que se realicen).

2. Estudiar el papel de los operadores geneticos en el algoritmocoevolutivo multiobjectivo antes mencionado, sobre todo en loreferente a su desempeno y sus propiedades de convergencia.

3. Adquirir conocimientos profundos sobre algunos aspectosformales relacionados con los esquemas coevolutivos.



2. Definicion del Problema

Formalmente, nos interesa resolver problemas del tipo:

minimizar [f1(~x), f2(~x), . . . , fk(~x)] (1)

sujeto a las m restricciones de desigualdad:

gi(~x) ≥ 0 i = 1, 2, . . . ,m (2)

y las p restricciones de igualdad:

hi(~x) = 0 i = 1, 2, . . . , p (3)

donde k es el numero de funciones objetivo fi : Rn → R.



Llamamos a ~x = [x1, x2, . . . , xn]T el vector de variables dedecision. Deseamos entonces determinar de entre el conjunto Fde todos los vectores que satisfacen (2) y (3), al vectorx∗1, x

∗2, . . . , x

∗n que nos proporcione los valores optimos para el

conjunto de las funciones objetivo.



Decimos que un vector de variables de decision ~x∗ ∈ F es unoptimo de Pareto si no existe otra ~x ∈ F tal que fi(~x) ≤ fi(~x∗)para toda i = 1, . . . , k y fj(~x) < fj(~x∗) para al menos una j.

Los vectores ~x∗ correspondientes a las soluciones incluidas en elconjunto de optimos de Pareto se denominan no dominados. Lagrafica de las funciones objetivo cuyos vectores estan en elconjunto de optimos de Pareto se denomina frente de Pareto.



f1

f2

a

b c

d e

domina a todos los demas

domina a y c d e

a b y dominan a

a ´

c



��

��

��

��

��

��

��

��

f1

Frente dePareto

2f

1

2x

xEspacio de las variables de decisión. Espacio de las funciones objetivo.

Individuos no dominados.

Individuos del espacio de busqueda.



3. Coevolucion

La coevolucion es un cambio en la composicion genetica de unaespecie (o grupo de especies) como respuesta a un cambiogenetico en otra. De manera mas general y estricta, lacoevolucion es un cambio evolutivo recıproco en especiesque interactuan.

El termino es usualmente atribuido a Ehrlich y Raven por susestudios sobre las mariposas y las plantas en 1964, pero enrealidad fue usado por otros investigadores antes que ellos y laidea fue presentada originalmente en el Origen de las Especies.



A B

Neutralismo 0 0 Las poblaciones A y B son independientes.

Mutualismo + + Las dos poblaciones se benefician de la

relacion.

Comensalismo + 0 Una de las especies se beneficia de la

relacion pero la otra no se beneficia

ni tampoco es perjudicada.

Competencia - - Ambas especies tienen un efecto negativo

sobre la otra dado que compiten por

los mismos recursos.

Predador-Presa + - El predador (A) se beneficia mientras

la presa (B) es afectada de manera

negativa.

Parasitismo + - El parasito (A) se beneficia mientras

el huesped (B) es afectada de

manera negativa.

El comensalismo y el mutualismo son comunmente agrupados y mejor conocidos

como simbiosis.



Dentro de la computacion evolutiva se han desarrollado algunosenfoques coevolutivos en los que generalmente se usan dos omas especies que se relacionan en alguna de las modalidadesmencionadas anteriormente, y que evolucionan de maneraindependiente a traves de un algoritmo genetico (propio), en lamayorıa de los casos.

La importancia de estos enfoques es que la aptitud de unindividuo esta en funcion de otros individuos de algunapoblacion distinta.



4. Trabajo Previo

Existen pocas aplicaciones de esquemas coevolutivos a problemasde optimizacion multiobjetivo:

Parmee y Watson [1999] plantean un enfoque colaborativo paraun problema con dos funciones objetivo en el que se proponeusar una poblacion por cada funcion objetivo.

Jiangming Mao et.al. [2001] aplicaron el algoritmo geneticosimbiotico propuesto en [Hirasawa00] a problemasmultiobjetivo. En este trabajo se usan dos factores simbioticos:θij y θml. El primero representa la relacion entre individuos yel segundo la relacion entre funciones objetivo.



Barbosa y Barreto [2001] proponen un esquema cooperativopara una aplicacion multiobjetivo en diseno de graficas. Setrata de un algoritmo genetico coevolutivo interactivo, en elque se mantienen dos poblaciones que evolucionan de maneraindependiente: una de posibles soluciones y otra de pesos.

Keerativuttitumrong et.al [2002] proponen un esquemacooperativo para optimizacion multiobjetivo. Este enfoquepropone el uso de una poblacion por cada variable de decisiondel problema. La evolucion en cada una de las poblaciones selleva a cabo mediante el algoritmo MOGA [Fonseca93].



5. Descripcion del Algoritmo

La idea principal de este algoritmo es tratar de enfocar losesfuerzos de la busqueda unicamente en zonas prometedoras delespacio total. Para poder determinar que zonas del espacio debusqueda son prometedoras, se lleva a cabo un analisis muysimple del frente de Pareto conocido.

El proceso evolutivo del algoritmo que estamos proponiendoesta dividido en 4 etapas. Estas etapas estan determinadaspor el numero de generaciones que el algoritmo debe correr:cada una consta de un cuarto del total.



1. gen = 0

2. poblaciones = 1

3. while (gen < Gmax){4. if(gen = Gmax/4 o Gmax/2 o 3 ∗Gmax/4){5. chequeo de poblaciones activas()

6. analisis de variables()

(calculo de divisiones)

7. construccion de nuevas poblaciones()

(actualizacion de poblaciones)

}8. for (i = 1; i ≤ poblaciones; i+ +)

9. if (poblacion i contribuye al frente de Pareto actual)

10. evoluciona y compite(i)

11. elitismo()

12. reasignacion de recursos()

13. gen+ +

}



En cada generacion, la evolucion de todas las poblaciones selleva a cabo de manera independiente (mediante el algoritmogenetico MOGA [Fonseca93]) y, posteriormente,

los elementos no dominados de cada subpoblacion son enviadosa la malla adaptativa (propuesta en [Knowles00]), donde“cooperan” y “compiten” al formar un solo frente de Pareto.



Analisis de Variables

Se lleva a cabo para cada una de las variables del problema.

Conviene dividir

No conviene dividir



Calculo de divisiones

if (rango <0.8∗intervalo)while (dmin <0.2∗intervalo){

divisiones+ +;intervalo =0.2∗intervalo;

}



Construccion de Poblaciones

1 1 32

variable 1 variable 2

1

1

1

1

2

3

variable 1 variable 2

Intervalo de la Intervalo de la

0 divisiones 2 divisiones

Poblacion 3

Poblacion 1

Poblacion 2

´

´

´



Reasignacion de Recursos

Para cada poblacion, se calcula el porcentaje del total deindividuos con los que cuenta y el porcentaje de puntos en elfrente de Pareto que proporciono en la generacion anterior.

Estos porcentajes se comparan y, si el porcentaje de individuoscorrespondientes en el frente es mayor que el de individuostotales, la poblacion es “premiada” con una cantidad deindividuos proporcional a la diferencia en los porcentajes. Encaso contrario, el tamano de la poblacion es disminuida.



50%

50% 20%

80% 80%

20%

Poblacion 1

Poblacion 2´

´

total de individuosporcentaje del

evolucionando de Paretoen el frente

De esta manera, entre mas individuos logre colocar unapoblacion en el frente de Pareto actual, mas oportunidadestiene de sobrevivir.



1 n. . .

. . .

Pob 1 Pob n

malla(frente de Pareto)

nuev

o ta

mañ

o de

pob

nuev

o ta

mañ

o de

pob

Espacio de busqueda´



Parametros

En general, el algoritmo disenado requiere los siguientesparametros:

1. Probabilidades de cruza (pc) y mutacion (pm).

2. Numero maximo de generaciones (Gmax).

3. Tamano de la poblacion inicial (popsizeinit) a usarse en laprimera etapa y tamano (mınimo) de la poblacion secundaria(popsizesec) a usarse en las etapas posteriores.



6. Resultados

Con la finalidad de evaluar el algoritmo propuesto, se usaron cuatrofunciones distintas reportadas en la literatura de optimizacionevolutiva multiobjetivo [Coello02], y se realizaron comparacionescon los algoritmos µ-AG [Coello01], PAES [Knowles00] y NSGAII[Deb02].



Metricas

TE: Metrica de Veldhuizen [1999] para calcular el numero demiembros del frente de Pareto conocido que no son miembrosdel verdadero frente (Tasa de Error).

TE =∑ni=1 ein

donde n es el numero de vectores en el conjunto actual devectores no dominados; ei = 0 si el vector i es miembro delconjunto de optimos de Pareto, y ei = 1 de lo contrario. Parapoder usar esta metrica fueron generados los verdaderos frentesde Pareto de cada funcion.



DG: Metrica de Veldhuizen & Lamont [1999] para distancia alverdadero frente de Pareto (Distancia Generacional).

DG =

√∑ni=1 d

2i

n

donde n es el numero de vectores no dominados encontradospor el algoritmo y di es la distancia Euclidiana entre cada unode dichos puntos y el miembro mas cercano del verdaderofrente de Pareto.



ESS: Metrica de Schott para dispersion ESS (Efficiente SetSpacing)[1995].

S =

√

√

√

√

1n− 1

n∑

i=1

(d− di)2

donde di = minj(∑mk=1 |f im − f jm|), i, j = 1, ..., n, m es el

numero de objetivos, d es el promedio de todas las di, y n es elnumero de vectores en el frente de Pareto encontrado por elalgoritmo.



C: Metrica propuesta por Zitzler en [2000] para comparar lacobertura relativa entre dos conjuntos de vectores en el espaciode las funciones (Two Set Coverage). ConsiderandoX ′, X ′′ ⊆ X, C esta definida como:

C(X ′, X ′′) =|{a′′ ∈ X ′′ : ∃a′ ∈ X ′ : a′ � a′′}|

|X ′′|



Funcion 1

Minf1(x) =

−x −5,0 ≤ x ≤ 1,0

−2 + x 1,0 ≤ x ≤ 3,0

4− x 3,0 ≤ x ≤ 4,0

−4 + x 4,0 ≤ x ≤ 10,0

Minf2(x) = (x− 5)2

−5,0 ≤ x ≤ 10,0

Los parametros que uso nuestro algoritmo fueron: popsizeinit = 20,popsizerec = 20, pc = 0,8 y pm = 1/codesize (codesize = tamanode la cadena).



Funcion 1 (500 evaluaciones)

COEV Micro-AG PAES NSGAII

mejor 0.0 0.0 0.0 0.0

mediana 0.01 0.04 0.02 0.02

TE peor 0.07 0.09 0.46 0.07

promedio 0.015 0.04 0.12 0.028

desv.est. 0.0158 0.024 0.1639 0.0183

mejor 0.0006 0.0008 0.0001 0.0006

mediana 0.0008 0.0025 0.0123 0.0009

DG peor 0.004 0.0323 0.1369 0.0096

promedio 0.0001 0.0058 0.0381 0.0019

desv.est. 0.0006 0.0074 0.0471 0.0019

mejor 0.048 0.041 0.006 0.031

mediana 0.057 0.224 0.056 0.056

ESS peor 0.136 0.549 3.669 0.146

promedio 0.066 0.239 0.429 0.061

desv.est. 0.020 0.1141 0.8178 0.0256



Funcion 1 - Valores de la metrica C

X C(X,COEV) C(X,Micro-AG) C(X,PAES) C(X,NSGAII)

COEV 0.0 0.048 0.02 0.01

Micro-AG 0.0 0.0 0.02 0.0

PAES 0.0 0.048 0.0 0.01

NSGAII 0.01 0.048 0.02 0.0



COEV Micro-AG

0

2

4

6

8

10

12

14

16

18

-1 -0.5 0 0.5 1

"coev_f1.dat"

0

2

4

6

8

10

12

14

16

18

-1 -0.5 0 0.5 1

"micro_f1.dat"

PAES NSGAII

0

2

4

6

8

10

12

14

16

18

-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1 1.2

"paes_f1.dat"

0

2

4

6

8

10

12

14

16

18

-1 -0.5 0 0.5 1

"nsgaII_f1.dat"



Funcion 2

Minf1(x1, x2) = x1

Minf2(x1, x2) =g(x2)x1

dondeg(x2) = 2,0− e−(

x2−0,20,004 )2

− 0,8e−(x2−0,6

0,4 )2

0,1 ≤ x1, x2 ≤ 1,0

Los parametros que uso nuestro algoritmo fueron:popsizeinit = 100, popsizerec = 30, pc = 0,8 y pm = 1/codesize.



Funcion 2 (9600 evaluaciones)

COEV Micro-AG PAES NSGAII

mejor 0.16 0.05 0.0 0.0

mediana 0.28 0.15 0.24 0.01

TE peor 1.0 1.0 1.0 1.0

promedio 0.40 0.19 0.44 0.243

desv.est. 0.277 0.180 0.4271 0.4251

mejor 0.01 0.0045 0.0027 0.0085

mediana 0.075 0.0349 0.0517 0.0091

DG peor 0.18 0.154 0.2257 0.2028

promedio 0.080 0.042 0.0771 0.0314

desv.est. 0.0361 0.0415 0.0717 0.0562

mejor 0.041 0.033 0.029 0.026

mediana 0.193 0.071 0.087 0.033

ESS peor 1.5 0.906 0.504 0.056

promedio 0.274 0.220 0.110 0.034

desv.est. 0.2186 0.2328 0.1065 0.0066



Funcion 2 - Valores de la metrica C

X C(X,COEV) C(X,Micro-AG) C(X,PAES) C(X,NSGAII)

COEV 0.0 0.09 0.01 0.01

Micro-AG 0.24 0.0 0.16 0.02

PAES 0.06 0.04 0.0 0.01

NSGAII 0.35 0.12 0.24 0.0



COEV Micro-AG

0

2

4

6

8

10

12

14

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

"coev_f4.dat"

0

2

4

6

8

10

12

14

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

"micro_f4.dat"

PAES NSGAII

0

2

4

6

8

10

12

14

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

"paes_f4.dat"

0

2

4

6

8

10

12

14

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

"nsgaII_f4.dat"



Version Paralela

La version secuencial del algoritmo se implemento en paralelousando un esquema maestro-esclavo y mediante dos estrategiasdistintas: Pthreads (memoria compartida) y MPI (memoriadistribuida).

Ambas versiones paralelas disminuyen el tiempo de ejecuciondel algoritmo secuencial de manera considerable, manteniendola calidad de los resultados.



En el caso de Pthreads, dado un numero fijo de threads, se hizouna reparticion dinamica del numero total de poblaciones: losthreads llevan a cabo la evolucion de la siguiente poblaciondisponible.

En el caso de MPI, dado un numero fijo de procesos esclavos,se hizo una reparticion fija del numero total de poblacionesentre el numero de procesos, de manera que a todos les tocaranel mismo numero de poblaciones.



Para todas las pruebas realizadas con las tres versiones denuestro algoritmo se usaron los parametros: pc = 0,8,pm = 1/codesize y popsizeinit = popsizesec = 20.

El numero maximo de generaciones (Gmax) se ajusto en cadacaso de manera que siempre se realizaran un promedio de40,000 evaluaciones de la funcion objetivo. Las pruebas fueronrealizadas en una maquina con 4 procesadores.



Funcion 1

Minf1(x1, x2) = x1

Minf2(x1, x2) = (1,0 + 10,0x2)

(1,0− x1

1,0 + 10,0x2

2− x1

1,0 + 10,0x2Sen(2π4x1))

0,0 ≤ x1, x2 ≤ 1,0



PAES Serial Pthreads MPI

SP=2.9541 SP=2.5185

best 0.01 0.22 0.16 0.09

median 0.06 0.40 0.36 0.39

ER worst 0.12 0.57 0.57 0.56

average 0.057 0.39 0.37 0.36

std. dev. 0.0301 0.1164 0.1215 0.1283

best 0.001030 0.000596 0.000606 0.000564

median 0.001305 0.000818 0.000807 0.000875

IGD worst 0.003224 0.003277 0.003277 0.002906

average 0.001382 0.001062 0.001061 0.001204

std. dev. 0.000409 0.000638 0.000638 0.000637



PAES Serial Version

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9

"paesf1.dat"

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9

"sec1.dat"

Pthreads Version MPI Version

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9

"pth1.dat"

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9

"mpi1.dat"



8. Publicaciones

Congreso Nacional

Marıa Margarita Reyes Sierra y Carlos A. Coello Coello.Optimizacion multiobjetivo usando un algoritmocoevolutivo, XXXVI Congreso Nacional de la SociedadMatematica Mexicana. Pachuca, Hidalgo. Octubre de 2003.Presentado y a someterse para publicacion.

Congreso Internacional

Carlos A. Coello Coello and Marıa Margarita Reyes Sierra. ACoevolutionary Multi-Objective EvolutionaryAlgorithm, Congress on Evolutionary Computation, IEEEPress, Sydney, Australia, December 2003.Aceptado para publicacion.



9. Conclusiones y Trabajo Futuro

Se diseno un algoritmo coevolutivo para optimizacion evolutivamultiobjetivo cuya idea principal es subdividir el espacio debusqueda en diferentes subregiones y detectar aquellas que seanzonas “prometedoras” para enfatizar la busqueda en ellas.

El algoritmo lleva a cabo un analisis muy sencillo para detectarque variables del problema son mas importantes y, con base enlos resultados, fracciona el espacio de busqueda.



El algoritmo propuesto fue evaluado con 4 funciones de pruebaconocidas y comparado con los algoritmos Micro-AG, NSGAIIy PAES. Los resultados obtenidos muestran que el algoritmo escompetitivo dado que su desempeno es equiparable al de losalgoritmos representativos del estado del arte.



La mayor desventaja del algoritmo propuesto es el numero depoblaciones que en determinado momento debiera manejar. Poreste motivo, se ha planteado como trabajo futuro una versionen la que no sea necesario el uso de multiples poblaciones.

Ası tambien, se planea implementar un algoritmo de clusterspara el analisis de sensibilidad de las variables del problema.Un algoritmo de este tipo proporcionarıa informacion masacertada respecto a las zonas en las cuales se debiera reforzar labusqueda.



Se trabajara el grado de elitismo manejado por el algoritmopuesto que la version actual sufre de convergencia prematuracuando existen frentes falsos de fuerte atraccion.

Finalmente, se planea incorporar un esquema de manejo derestricciones que permitan la aplicacion del algoritmo enfunciones restringidas.

El trabajo realizado se relaciona con el primer objetivo definidopreviamente de esta tesis doctoral, por lo que siguen pendienteslos objetivos 2 y 3.


Uso de Coevoluci´on para Optimizaci´on Evolutiva...

Documents

Transcript of Uso de Coevoluci´on para Optimizaci´on Evolutiva...