8/18/2019 Identificacion de Modelos Borrosos y Neuronales
1/271
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 1/44
IDENTIFICACIÓN DE MODELOS BORROSOS Y NEURONALES
Introducción Equivalencia de sistemas borrosos y neuronales
Sistemas neuroborrosos
Técnicas de identificación– Identificación y optimización
– Técnicas basadas en la derivada de la función Método del Gradiente
Métodos de Newton
Método del Gradiente Conjugado
Método de Gauss-Newton
Método de Levenberg-Marquardt
– Técnicas que no utilizan la derivada
Conclusiones
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 2/44
Equivalencia de modelos borrosos y neuronales
Conjunto borroso
Función de pertenencia gausiana (continuamente derivable)
Utilización de la función producto como operador AND y función de implicación
Borrosificador tipo singleton
Desborrosificador: media ponderada de los centros
[ ]
( ){ }
µ
µ
A( ): ,
, ( ) ,
x X
A x x x X A
→
= ∈
0 1
µ σ A
x x
x e( ) =−
−
0
2
∑∑
=
== M
l A
M
l A
l
x
xvv
l
l
1
1*
))((
))((
µ
µ
µ A x x x
x x( )
,
,=
=
≠
1
0
0
0
si
si
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
2/272
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 3/44
Equivalencia de modelos borrosos y neuronales
Formulación matemática (M reglas, n entradas)
Notas y aclaraciones– Modelo TSK f i es un aproximador universal (Wang, 1994)
– En la expresión se asume que puede haber M conjuntos borrosos por cada variable deentrada
– Cada regla puede tener un consecuente distinto
( )( )
f x y x
xi
l
A ii
n
l
M
A ii
n
l
M
il
il
( )( )
( )
r=
==
==
∏∑
∏∑
µ
µ
11
11
ε ε ∀ ∈ )()(sup )( ,0
borrososistema)(
)Rdecompacto(conjuntoen Ucontinuafuncion)( n
xg x f x f
x f
xg
iU xi
i
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 4/44
Redes con funciones radiales (Radial Basis Function Network)
Si al modelo borroso anterior
se le añade el requisito de normalidad en las funciones de las variables deentrada, se obtienen modelos idénticos
Si se normaliza la salida de una red neuronal, se obtiene un modelo idéntico alborroso
Σ
c1
x1
x2
y
c2
c4
c3
Equivalencia de modelos borrosos y neuronales
( ) f x y xi l A iin
l
M
il( ) ( )
r=
== ∏∑ µ11
( )( )
f x y x
xi
l
A ii
n
l
M
A ii
n
l
M
il
il
( )( )
( )
r=
==
==
∏∑
∏∑
µ
µ
11
11
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
3/273
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 5/44
Sistemas neuroborrosos
Cada operación de un sistema fuzzy se representa mediante una neuronaespecífica.
Ejemplo: Modelo ANFIS (Jang, 1997 – disponible en la Matlab fuzzytoolbox)– Equivalencia con modelo de TSK:
( )
( )
( )
f x
w c x
w
w c x
c x x r w x
i
l l
l
M
l
l
M l l
l
M
l l l l
n
l A ii
n
il
( ) ;
' ;( )
r
r
r
r r
= =
= + ∈ℜ=
=
=
=
=
∑
∑ ∑
∏
1
1
1
1
θ θµ
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 6/44
A1
f x x w c w c
w wi ( , )1 2
1 1 2 2
1 2
= +
+
If x1 is A1 and x2 is B1 then c1=p1 x1 + q1 x2 + r1
If x1 is A2 and x2 is B2 then c2=p2 x1 + q2 x2 + r2
B2
A2
B1
Π
Π
c1
c2
Σ
Σ
/
x1
x2
w2
w1 w1c1
w2c2f i
Sistemas neuroborrosos: ANFIS
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
4/274
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 7/44
• Fuzzy
A1 B1
A2 B2
w1
w2
z1 =p1*x+q1*y+r1
z2 =p2*x+q2*y+r2
z = w1+w2w1*z1+w2*z2
x y
• ANFIS (Adaptive Neuro-Fuzzy Inference System)
A1
A2
B1
B2
ΠΠΠΠ
ΠΠΠΠΣΣΣΣ
ΣΣΣΣ
////
x
y
w1
w2
w1*z1
w2*z2
ΣΣΣΣwi*zi
ΣΣΣΣwi
z
Sistemas neuroborrosos: ANFIS
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 8/44
• ANFIS (Adaptive Neuro-Fuzzy Inference System)
A1
A2
B1
B2
ΣΣΣΣ
ΣΣΣΣ
////
x
y
w1
w4
w1*z1
w4*z4
ΣΣΣΣwi*zi
ΣΣΣΣwi
z
ΠΠΠΠ
ΠΠΠΠ
ΠΠΠΠ
ΠΠΠΠ
• Partición espacio entradas
A1
B1
A2
B2
x
y x
y
A1 A2
B1
B2
Sistemas neuroborrosos: ANFIS de 4 reglas
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
5/275
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 9/44
Método híbrido
A1
A2
B1
B2
ΣΣΣΣ
ΣΣΣΣ
////
x
y
w1
w4
w1*z1
w4*z4
ΣΣΣΣwi*zi
ΣΣΣΣwi
z
ΠΠΠΠ
ΠΠΠΠ
ΠΠΠΠ
ΠΠΠΠ
nonlinearparameters
linearparameters
fixed
least-squares
steepest descent
fixed
forward pass backward pass
MF param.(nonlinear)
Coef. param.(linear)
Sistemas neuroborrosos: identificación ANFIS
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 10/44
Técnicas de identificación
La mayoría de las técnicas de identificación (y diseño, y control adaptativo) sontécnicas de aprendizaje supervisado que se reducen a encontrar los parámetros(óptimos) que minimizan una función de coste (usualmente cuadrática)
Sistema
Modelof(u,θ)
Minimización
+
-ym
y
e
u
Identificación
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
6/276
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 11/44
Sistema
Modelo referencia
Minimización
+
-
yr
y
e
u
Control
Controladorf(e,θ)
+
-
r
Control/adaptación
Técnicas de identificación
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 12/44
Modos de aprendizaje– Aprendizaje en modo batch: se presenta todo el conjunto de datos de
entrenamiento. Se minimiza la función de coste global J
– Aprendizaje en modo incremental: Se va presentando iterativamente cadadato y se realiza la adaptación de los parámetros
Criterios de parada– La función de coste es menor que un cierto valor ε1– El gradiente (en módulo) es menor que ε2
Equivalente a J(θk+1) – J(θk)
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
7/277
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 13/44
Técnicas de identificación: funciones de coste más utilizadas
Error cuadrático medio (mean squared error MSE)
( ) ( )( )
realelydeseadoentocomportamielentrediferenciae
deseadoentocomportamiy
parametrosdevector
aparametricfuncion),(
,11
d
2
1
r
r
r
rr
rrrrr
θ
θ
θ θ
u f
u f y M
ee M
J M
i
idi
T ∑=
−==
( ){ } M i ydi Kr
1,,u ensayodePatrón i =
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 14/44
Error absoluto medio (MAE)
Error cuadrático medio con regularización
Error cuadrático (SSE)
( ) ( )∑=
−= M
i
idi u f y M
J 1
,1
θ θ rrr
( ) ( )( ) ( )( )
datocadadenponderaciódeesCoeficientw
,,
ij
1 1
θ θ θ j jij
M
i
M
j
ii
T u f ywu f yWee J −−== ∑∑= =
( ) ( ) θ θ λ λ θ rrrrr T T
nee
M J
−+=
1
Técnicas de identificación: funciones de coste más utilizadas
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
8/27
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
9/279
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 17/44
Técnicas de identificación: ejemplo LMS
La salida del sistema es:
– vector de parámetros
– señal auxiliar o referencia almacenada
Y la señal de error:
w x xwws T k
p
r
r k r k == ∑= −1)(ˆ
]...,,[ 1 pwww =]...,,[ 1 pk k k x x x −−=
w x yws yweT
k k k k k −=−= )(ˆ)(
Una opción es calcular el error cuadrático medio (MSE):
w Rww R R
w x x E w y x E w y E
w x y E we E w
x
T T
xy y
T
k k
T
k k
T
k
T
k k k
+−=
=+−=
=−===
2
)()(2)(
)())(()(
2
22ε ε
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 18/44
Los parámetros w óptimos serán aquellos que minimicen ε:
Obteniendo:
xy xo xyo x
xyo x
o
R Rw Hopf Wiener ecuación Rw R
Rw Rwd
d
1
)(
0220
−=⇒−=
=−⇒=ε
xy x
T
xy yo x
T
o yo x
T
o xyT
o ymin R R R Rw Rw Rw Rw Rw R1
2−
−=−=+−=ε
Técnicas de identificación: ejemplo LMS
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
10/2710
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 19/44
Los problemas de minimización del MSE se pueden resolver analíticamente oplantear un problema de minimización iterativa, para el cálculo de que φ, θ. Lastécnicas a suelen ser:– GRADIENTE:
donde la iteración k es la k-1 más una corrección en la dirección del gradiente y µ es elpaso. En nuestro problema será:
– NEWTON:
por tanto:
y la iteración será:
)(2
111 −− −=−= k k k k w
d
d www
ω
ε µ δ
)( 1−−= k x xyk w R Rw µ δ
T o x
k k k
Rwd wd
d w H ww R
wd
d wg
wgw H w
2)();(2)(
)()(
211
1
1
1
1
==−==
−=
−−
−
−
−
−
ε ε
µ δ
)()()( 11
1
1
ok k wwwgw H −=−−
−
−
)( 1 ok k www −−= −δ
Técnicas de identificación: ejemplo LMS
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 20/44
Los métodos de resolución vistos (iterativos o no) requieren el MSE conocido. Portanto, se han de conocer las matrices de covarianzas de x e y, informaciónestadística no disponible en operaciones en tiempo real. La idea es reemplazar elMSE por una estimación en tiempo real:– Reemplazar E(ek2(w)) por ek2(w).
– Reemplazar E(ek2(w)) por
donde λ es el llamado factor de olvido 0< λ
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
11/2711
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 21/44
EL ALGORITMO LMS Filtros FIR.
– Tomando el primer tipo de aproximación:
– Para estimar w se hace uso del algoritmo del gradiente:
– en cada iteración se necesita xk, wk-1 y ek. Inicialmente se toma wo=0.
Filtros IIR.
⇒−=−= w x yws yweT
k k k k k )(ˆ)( )())(()(22 wewe E w k k ≅== ε ε
1ˆ
2
1
)(
2
1ˆˆˆ
−=
− −==−
k ww
k k k k
dw
wdewww µ δ
LMS oritmoa
w x ye
e xe xw
k
T
k k k
k k k k k lg
ˆ
2)(2
ˆ
1
−=
=−−=
−
µ µ
δ
T
mk k pk k
T
k
k
T
k k k k k k
x x y ycon
yee
),...,,,...,(
ˆ,ˆ
11
1
−−−−
−
−−=
−==
ψ
θ ψ ψ µ θ δ
Técnicas de identificación: ejemplo LMS
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 22/44
Si no se dispone de solución analítica: utilizar métodos iterativos– Inconvenientes:
» Mínimos locales
» Convergencia
Métodos iterativos descendentes
( ) ( ) ( )
Objetivo: generar secuencia
que cumpla
direccion de busqueda en el instante k
tamaño del salto para obtener el siguiente valor
θ θ θ θ
θ θ θ
θ θ η
η
0 1 2
0 1
1
, , , ,K K
L L
i
i
k k k k
k
k
J J J
d
d
< < < <
= ++
Técnicas de identificación: métodos iterativos
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
12/2712
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 23/44
Métodos basados en el gradiente– La dirección de búsqueda d k se obtiene a partir del gradiente de la función J(θ ) en
θ k
( ) ( ) ( ) ( ) ( )
g J J J J
n
T
θ θ ∂ θ
∂θ
∂ θ
∂θ
∂ θ
∂θ= ∇ =
1 2
, , ,K
– f(u,θ ) debe ser derivable con respecto a θ
( )
( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( ) ( ) ( )
d Gg
J J d J g d O
J J g d J g Gg J
k k
k k k k
T
k k
k k T
k k k T
k k k
= −
= + = + +
≈ + = − <
+
+
θ
θ θ η θ η θ η η
η
θ θ η θ θ η θ θ θ
;
, ,
G definida positiva
Si
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
13/2713
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 25/44
Métodos Basados en la máxima pendiente (steepest descent)
η constante: backpropagation ( )k k k g θ η θ θ −=+1
I G =
Técnicas de identificación: métodos iterativos
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 26/44
-3 -2 -1 0 1 2 3-2
-1
0
1
2eta = 0.1
-3 -2 -1 0 1 2 3-2
-1
0
1
2eta = 0.2
-3 -2 -1 0 1 2 3-2
-1
0
1
2eta = 0.3
-3 -2 -1 0 1 2 3-2
-1
0
1
2eta = 0.5
-3 -2 -1 0 1 2 3-2
-1
0
1
2eta = 0.6
-2 0 2 4
-4
-2
0
2
eta = 0.7
Técnicas de identificación: métodos iterativos
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
14/2714
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 27/44
0 100 200 3000
0.2
0.4
0.6
0.8
1
1.2
1.4
indice
E r r o r
0 0.5 1 1.50
0.5
1
1.5
2
2.5
Técnicas de identificación: métodos iterativos
Método gradiente en Sistema Fuzzy
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 28/44
Técnicas de identificación: métodos iterativos
Limitaciones del algoritmo BP– Puede converger a un mínimo local
– Convergencia lenta
– Sobreaprendizaje
– Elección del número de parámetros» Topología y estructura
de la red neuronal o del
sistema fuzzy
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
15/2715
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 29/44
Alternativas– Distancia constante: gradiente normalizado
» Acelera convergencia cuando el gradiente es pequeño
– Distancia variable: método heurístico» Acelera convergencia
Incrementar k si n iteraciones seguidas reducen J(q) Disminuir k si aparecen oscilaciones en la la secuencia de J(qk)
– Resilient B.P.– Minimizar η en la línea del gradiente
» dk y dk+1 ortogonales
( ) ( )
θ θ κ
θ θ κ
θθ
k k
k k
k
k g
g
+
+
− = =
= −
1
1
cte.
Técnicas de identificación: métodos iterativos
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 30/44
-3 -2 -1 0 1 2 3-2
-1
0
1
2kappa = 0.25
-3 -2 -1 0 1 2 3-2
-1
0
1
2kappa = 1
Técnicas de identificación: métodos iterativos
Gradiente normalizado
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
16/2716
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 31/44
Aprendizaje con ganancia adaptativa y aprendizaje híbrido
0 100 200 3000
0.2
0.4
0.6
0.8
1
1.2
1.4Variación de la función de coste
Iteraciones
E r r o r
0 100 200 3000
0.01
0.02
0.03
0.04
0.05Variación de la ganancia de aprendizaje
Iteraciones
G a n a n c i a
Técnicas de identificación: métodos iterativos
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 32/44
Minimización en la dirección del gradiente
Técnicas de identificación: métodos iterativos
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
17/2717
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 33/44
Problemas de los métodos del gradiente:– Determinación de la estructura» Redes radiales: Mínimos cuadrados ortogonales
» Sistemas Fuzzy: Técnicas de clustering
– Mejora de la velocidad de aprendizaje» Método de Newton
» Ganancia de aprendizaje adaptativa
» Método de Levenberg-Marquardt
» Gradiente conjugado
» Métodos Quasi-Newton
Técnicas de identificación: métodos iterativos
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 34/44
Método de Newton– f(u,θ ) debe ser dos veces derivable con respecto a θ
– Aproximación mediante una función cuadrática (válido si θk está cerca delmínimo)
( ) ( ) ( ) ( ) ( ) J J g H
H
f
x
f
x x
f
x x
f
x x
f
x
f
x x
f
x x
f
x x
f
x
H g
k J
T
k k
T
J k
f
n
n
n n n
k k J J
θ θ θ θ θ θ θ θ
∂
∂
∂
∂ ∂
∂
∂ ∂
∂
∂ ∂
∂
∂
∂
∂ ∂
∂
∂ ∂
∂
∂ ∂
∂
∂
θ θ η
≈ + − + − −
=
= −+−
1
22
12
2
1 2
2
12
2 1
2
2
2
2
2
2
1
2
2
2
2
1
1
L
L
M M O M
L
; = 1, G = H-1
– Inconvenientes:» Obtención de la inversa de H
» Convergencia para valores alejados del mínimo
Técnicas de identificación: métodos iterativos
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
18/2718
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 35/44
1 2 3 4 5 6 7 8 9 101
2
3
4
5
6
7
8
9
10
Técnicas de identificación: métodos iterativos
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 36/44
-3 -2 -1 0 1 2 3-3
-2
-1
0
1
2
3
L M D i rec t i o n s : L a mb d a = 1 ( b lack ) a n d L a m b d a = 1 0 (C ya n )
Steepest Descen t (Red) and Newton (b lue ) D i rect ions
Técnicas de identificación: métodos iterativos
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
19/2719
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 37/44
Longitud del paso adaptativa
– Seleccionar η que minimice J
– Método heurístico: step-halving
Modificación de Levenberg-Marquardt– Modifica la dirección: combinación gradiente y Newton
– Útil cuando H no es definida positiva
Estimación de H o H-1: aproximación iterativa
θ θ ηk k k J J H g+
−= −1
1
η ηk k + =1
1
2
( )θ θ λ λk k J J H I g+−
= − + >11
0;
( ) H M M h M g gk k k k k k k k + − + + +≈ = + − −1 1 1 1 1, ,θ θ
Técnicas de identificación: métodos iterativos
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 38/44
Método del gradiente conjugado– No necesitan el cálculo de la segunda derivada
– Basado en la iteración sobre de n direcciones de búsqueda conjugadas(independientes) con respecto a H
– Generación iterativa de las direcciones
– ‘Backpropagation’ con momento
( )d g d
g g g
g gk k k k k
k
T
k k
k
T
k
= − + = −
−
−
− −
β β11
1 1
;
( ) ( )θ θ η α θ θ θ η α
ηθ θ θ η
α
k k k k k k k k k k k
k k k
g g d
d g d
+ − −
−
= − + − = + − + −
= +
= − +
1 1 1
1
Técnicas de identificación: métodos iterativos
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
20/2720
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 39/44
Métodos secantes (Quasi-Newton)– Estimación de H o H-1: aproximación iterativa
– Método BFGS
( )k k k k k k k k gg M h M M H −−+=≈ +++−
+ 111
1
1 ,, θ θ
k k
k k k
gg H
θ θ −
−≈
+
+
1
1
k
T
k
T
k k
k
T
k
T
k k k
k
T
k
T
k k k
g
q
g
g I M
g
g I M
∆∆
∆∆+
∆∆
∆∆−
∆∆
∆∆−=+
θ
θ
θ
θ
θ
θ 1
Técnicas de identificación: métodos iterativos
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 40/44
Ventajas: minimización funciones no derivables
Inconveniente: lentitud en convergencia
Técnicas:– Búsqueda aleatoria
– Algoritmos genéticos
– Técnicas de aleación simulada (simulated annealing)
– Simplex– Programación dinámica
Normalmente no adecuadas para técnicas adaptativas
Técnicas de identificación: métodos que no requieren la derivada
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
21/2721
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 41/44
Motivación– La evolución nos ha llevado a» Vista
» Oído
» Olfato
» Gusto
» Tacto
» Aprendizaje y razonamiento
– Se puede imitar esa evolución con la rapidez de los ordenadores actuales?
Técnicas de identificación: Algoritmos Genéticos
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 42/44
Terminología:– Fitness function: función “objetivo”
– Population: población
– Encoding schemes: esquema de codificación
– Selection: selección
– Crossover: cruce
– Mutation: mutación
– Elitism: elitismo
Técnicas de identificación: Algoritmos Genéticos
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
22/2722
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 43/44
Codificación binaria
(11, 6, 9) 1011 0110 1001
Gene
Chromosome
Crossover
Mutation
1 0 0 1 1 1 1 0
1 0 1 1 0 0 1 0 1 0 1 1 1 1 1 0
1 0 0 1 0 0 1 0
Crossover point
1 0 0 1 1 1 1 0 1 0 0 1 1 0 1 0
Mutation bit
Técnicas de identificación: Algoritmos Genéticos
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 44/44
Diagrama de flujo
10010110
01100010101001001001100101111101
. . .
. . .
. . .
. . .
10010110
01100010101001001001110101111001
. . .
. . .
. . .
. . .
Selection Crossover Mutation
Currentgeneration
Nextgeneration
Elitism
Técnicas de identificación: Algoritmos Genéticos
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
23/2723
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 45/44
Ejemplo: encontrar el máximo de la función “peaks” z = f(x, y) =
= 3*(1-x)^2*exp(-(x^2) - (y+1)^2) - 10*(x/5 - x^3 - y^5)*exp(-x^2-y^2) -1/3*exp(-(x+1)^2 - y^2)
Técnicas de identificación: Algoritmos Genéticos
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 46/44
Derivadas de la función “peaks”– dz/dx = -6*(1-x)*exp(-x^2-(y+1)^2) - 6*(1-x)^2*x*exp(-x^2-(y+1)̂ 2) - 10*(1/5-3*x 2̂)*exp(-x^2-ŷ 2) +
20*(1/5*x-x^3-y^5)*x*exp(-x^2-y^2) - 1/3*(-2*x-2)*exp(-(x+1)^2-y^2)
– dz/dy = 3*(1-x)^2*(-2*y-2)*exp(-x^2-(y+1)^2) + 50*y^4*exp(-x^2-y^2) + 20*(1/5*x-x^3-ŷ 5)*y*exp(-x^2-y^2) + 2/3*y*exp(-(x+1)^2-y^2)
– d(dz/dx)/dx = 36*x*exp(-x 2̂-(y+1)^2) - 18*x̂ 2*exp(-x̂ 2-(y+1) 2̂) - 24*x̂ 3*exp(-x^2-(y+1)^2) +12*x^4*exp(-x^2-(y+1)^2) + 72*x*exp(-x^2-y^2) - 148*x^3*exp(-x^2-y^2) - 20*y^5*exp(-x^2-y^2) +40*x^5*exp(-x^2-y^2) + 40*x^2*exp(-x^2-ŷ 2)*ŷ 5 -2/3*exp(-(x+1)̂ 2-ŷ 2) - 4/3*exp(-(x+1)^2-
y^2)*x^2 -8/3*exp(-(x+1)^2-ŷ 2)*x– d(dz/dy)/dy = -6*(1-x)^2*exp(-x^2-(y+1)^2) + 3*(1-x)^2*(-2*y-2)^2*exp(-x^2-(y+1)^2) + 200*ŷ 3*exp(-x^2-y^2)-200*y^5*exp(-x^2-y^2) + 20*(1/5*x-x^3-y^5)*exp(-x^2-y^2) - 40*(1/5*x-x^3-y^5)*y^2*exp(-x^2-y^2) + 2/3*exp(-(x+1)^2-y^2)-4/3*ŷ 2*exp(-(x+1)^2-ŷ 2)
Técnicas de identificación: Algoritmos Genéticos
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
24/2724
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 47/44
Proceso de los GA
Población inicial 5ª generación 10ª generación
Técnicas de identificación: Algoritmos Genéticos
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 48/44
Perfil de funcionamiento
Técnicas de identificación: Algoritmos Genéticos
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
25/2725
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 49/44
Conclusiones: control inteligente
Control Inteligente– Utilización de tecnologías “inteligentes” como controlador no lineal:» Redes neuronales
» Sistemas Fuzzy
– Aproximadores universales: capacidad de aproximarse a una función con cualquiergrado de precisión
– Planteamiento general:» Cualquier sistema fuzzy o RNA lo representaremos mediante una función f(x) equivalente
(desarrollo formal análogo)
» Se asumen topologías y estructuras estáticas.
ε ε ∀ ∈ )()(sup )( ,0
RNAoborrososistema)(
)Rdecompacto(conjuntoen Ucontinuafuncion)( n
xg x f x f
x f
xg
iU xi
i
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 50/44
Problema de adaptación– Si dinámica no variable
» Autoajuste regulador (self-tuning)
– Dinámica variable» Modificación de los parámetros del regulador para adecuarse a los cambios del
sistema: adaptación.
– Aprendizaje
» Correlación de los cambios producidos en el sistema con otras variables: aprendizaje→ recordar parámetros y asociarlos a condiciones de funcionamiento
– Evaluación del comportamiento» Necesidad de medir las prestaciones del sistema controlado
Definición de un índice de comportamiento →función de coste = h(diferencia de la respuesta real con la deseada)
» Autoajuste/Adaptación/Aprendizaje = Buscar los parámetros del regulador queminimicen la función de coste
Conclusiones: control inteligente
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
26/2726
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 51/44
x
y
A
B C
D E
Adaptación/Aprendizaje
Conclusiones: control inteligente
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 52/44
Conclusiones: control inteligente
Sistema
Modelo referencia
Minimización
+
-
yr
y
e
u
Control
Controladorf(e,θ)
+
-
r
Control/adaptación
8/18/2019 Identificacion de Modelos Borrosos y Neuronales
27/27
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 53/44
Conclusiones: control inteligente
Controlador indirecto
SistemaControl u
yref
x
IdentificaciónDiseño
Control con modelo de referencia
SistemaControl u
y pref
x
Adaptación
Referencia ym
Curso: Control Inteligente y No Lineal. Tema 2: Identificación de Modelos Borrosos y Neuronales, por José Luis Navarro y José Luis Díez. 54/44
Leyes de adaptación con modelo de referencia– Basadas en una función de coste
» CuandoT→0: ley de adaptación
– Basadas en el método de Lyapunov» Definir la función de la señal de error
» Elegir una función de Lyapunov
» Obtener la ley de adaptación exigiendo
– Basadas en la hiperestabilidad» Definir la función de la señal de error
( ) ( ) J t T y y d e d p mt
t T
t
t T
+ = − =+ +
∫ ∫1
2
1
2
22τ τ
( ) ( ) ( ) ( )θ θ ∂
∂θθ τ
∂
∂θτt T t
J t e
yd
t
t T p
+ = − = −+
∫Γ Γ d
dt e t
y pθ ∂
∂θ= −Γ ( )
V e PeT T = + = −− ∗φ φ φ θ θΓ 1 ; vector de error en parametros
&V < 0
Conclusiones: control inteligente
Top Related