Post on 24-Jan-2016
IDENTIFICACIÓN DE SISTEMAS
El metodo de los minimos cuadrados
1
/77
Contenido
Modelado de datos
El problema del modelado de datos
Modelos lineales y modelos no lineales
Estimación de mínimos cuadrados lineal
Identificabilidad
Mínimos Cuadrados para un modelo lineal (dinamico)
Propiedades del método de los Minimos Cuadrados
Criterio de Akaike
Ejemplos
2
MODELADO DE DATOS3
/77
MODELADO DE DATOS
El modelado de datos se puede expresar de la siguiente forma:
Dadas:
Una colección finita de datos
Una forma funcional
Hallar los parametros de la funcion
que mejor representen la relacion entre los datos
(xi, yi)
y = ax+b
a, b
4
/77
MODELADO DE DATOS
Se busca minimizar unos residuos
(x1,y1)
(x2,y2)
(x3,y3)
(x4,y4)
(x5,y5)(x6,y6)
(x7,y7)
f(x) = ax+b
5
i i ik y k f x
/77
CRITERIO DE LOS MINIMOS CUADRADOS
Formulacion del ajuste por Minimos cuadrados:
(x1,y1)
(x2,y2)
(x3,y3)
(x4,y4)
(x5,y5)(x6,y6)
(x7,y7)
f(x) = ax+b
6
2
1,
N
kJ a b k
/77
CRITERIO DE LOS MINIMOS CUADRADOS
En el ejemplo, hallar el valor de los coeficientes a y b tal que se minimiza
k y k f x k
2
1,
N
kJ a b k
f x ax b
7
donde N es el numero de datos entrada-salida dado
/77
UN PROBLEMA DE OPTIMIZACION
Aproximaciones computacionales:
Algoritmos numericos generales para la minimizacion de una funcion Basados en el gradiente; algoritmos numericos
generales para hallar raices; algoritmos que aprovechan la forma de la funcion
Algoritmos con una aproximacion basada en la inteligencia artificial: algoritmos geneticos
Solucion analitica: minimos cuadrados lineal
8
EL PROBLEMA DEL MODELADO DE DATOS
9
/77
LA APROXIMACION DE FUNCIONES Una funcion puede verse como un mapeo
Ejemplo: ley fundamental de la dinámica F = ma
y g u
y = a, u = F, g(u) = u/m.
En general, y y u pueden ser vectores 10
/77
LA APROXIMACION DE FUNCIONES Al realizar la aproximacion de una funcion,
sólo están disponibles un número finito de muestras
ˆ ˆ ˆ1 , 1 , , , , ,NZ u y u k y k u N y N
¿Podemos postular la existencia de un modelo que explique los datos?
11
/77
LA APROXIMACION DE FUNCIONES En general, se asume que las muestras
disponibles son ruidosas
y k g u k v k k = 1,2,…, N
Entonces el problema de la aproximacion de funcioneses equivalente a reconstruir la hipersuperficie g(u)
a partir de los pares (u(k),y(k)).
12
/77
EL PROBLEMA DE LA APROXIMACION DE FUNCIONES Dada cierta función, , donde
y , deseamos construir una función f
tal que
:g U Y nU RY R
0 0:f U Y
g u f u e u
13
/77
EL PROBLEMA DE LA APROXIMACION DE FUNCIONES La informacion que se dispone de g son N
pares de entrada-entrada
ˆ ˆ ˆ1 , 1 , , , , ,NZ u y u k y k u N y N
normalmente se asume que los valores de salida del conjunto de muestras de entrenamiento estan adulterados por el ruido
14
/77
EJEMPLO: UNA ENTRADA, UNA SALIDA
0
2
4
6
8
10
12
14
16
0 1 2 3 4 5 6 7 8 9 10
X
Y
¿Como podemos modelar el proceso que genera estos datos? 15
/77
EJEMPLO: DOS ENTRADAS, UNA SALIDA
0 2 3,1 ,5 ,6
2 4 6TZ
16
/77
EL RETO Puede ser difícil proponer una buena función
f para ajustar el mapeo g
cuando sólo sabemos muy poco sobre la asociación entre U y Y en la forma de los pares de datos Z.
Puede ser dificil incluso saber cuando tenemos una buena aproximación
17
MODELOS LINEALES Y MODELOS NO LINEALES
18
/77
MODELOS LINEALES VS . NO LINEALES
Es comun asumir que f (u) pertenece a una familia de funciones que
comparten la misma estructura y
difieren por los valores tomados por ciertos parametros θ.
,y f u
19
/77
EL MODELO LINEAL (EN LOS PARAMETROS)
Un modelo lineal asume que la funcion es lineal respecto a los parametros θ
1 1 2 2, q qf u f u f u f u
20
Aquí, la linealidad se refiera a “con respecto a los parametros”
/77
MODELOS NO-LINEALES
En los modelos no-lineales la funcion es no-lineal respecto a los parametros θ
, expf u u
21
ESTIMACIÓN DE MÍNIMOS CUADRADOS LINEAL
22
/77
EL PROBLEMA
Dada una colección finita de observaciones
ZN = {u(0), y(0), u(1), y(1), ..., u(N), y(N)}
t t
YU
U Y
Proceso
Modelo
Regresor lineal
y g u
23
/77
EL REGRESOR LINEAL
Se asume que la relación entrada-salida puede ser descrita por una estructura de regresor lineal
f(u,θ) es denominada la funcion de ajuste. Las fi(u) son denominadas las funciones base
1 1 2 2, q qf u f u f u f u
24
/77
ALGUNAS FUNCIONES BASE
Funciones polinomiales
Funciones base Gausianas
Funciones base Sigmoidales
Fourier wavelets
( ) jjf u u
2
2exp
2j
j
uf u
1( )
1 exp( )jf ua
25
/77
LOS ERRORES COMETIDOS
Dados unos datos y el modelo lineal, deseamos calcular los “mejores” parametros.
Queremos minimizar los errores.
Cortesia de Johann Fredrich Carl Gauss (1777-1855)
error
26
/77
LOS RESIDUOS
El ajuste de minimos cuadrados halla el vector de parametros θ tal que se minimiza
ˆ ,k y k f u k
2
1
1 N
kJ k
N
residuos = errores
27
/77
NATURALEZA DE LOS RESIDUOS
Normalmente se asume que los residuos son variables aleatorias, con las siguientes caracteristicas:
Independientes
Con valor esperado es cero
Normalmente distribuidas
Tienen la misma desviacion estandard
20,N
28
/77
EL MODELO DE LOS DATOS
Considere, por ejemplo, el modelo con tres parametros:
Podemos escribir todo en forma vectorial
ˆ Ty k f u k k
1 1 2 2 3 3y k f u k f u k f u k k
29
/77
CALCULO DE LOS MEJORES ΘJ’S
Considerando N datos, en forma matricial
ˆA y
1 2 3
1 2 3
1 2 3
1 1 1
2 2 2
f u f u f u
f u f u f uA
f u N f u N f u N
1
2
3
ˆ 1
ˆ 2ˆ
ˆ
y
yy
y N
30
/77
CALCULO DE LOS MEJORES ΘJ’S
cuando N > q normalmente no es posible encontrar los θj que simultáneamente satisfacen todas las N ecuaciones, entonces
El criterio para determinar el estimado de los parametros optimos es
ˆ arg min ,q
NN
RJ Z
31
/77
CALCULO DE LOS MEJORES ΘJ’S
La Cantidad a ser minimizada es
Que expresada en forma matricial nos queda
2
1
N T
kJ k
ˆ ˆT
J y A y A
32
/77
CALCULO DE LOS MEJORES ΘJ’S
La Cantidad a ser minimizada es
igualando a cero su derivada
ˆ ˆ ˆ2T T T T TJ y y A y A A
ˆ2 2 0T TJA y A A
33
/77
LA ECUACION NORMAL
El valor minimo de J se obtiene con el vector θ que satisface la ecuacion normal
ˆT TA A A y
Ecuacion normal
34
IDENTIFICABILIDAD35
/77
EXISTENCIA DE LOS PARAMETROS
La solución única a las ecuaciones normales pueden ser obtenida siempre que la matriz (ATA) sea no singular (existencia de la inversa)
Llamado el Estimador de minimos cuadrados lineal
1ˆ ˆT TN A A A y
36
/77
EXISTENCIA DE LOS PARAMETROS
El estimador de minimos cuadrado lineal:
1ˆ ˆT TN A A A y
1 2 3
1 2 3
1 2 3
1 1 1
2 2 2
f u f u f u
f u f u f uA
f u N f u N f u N
Notese que el minimizador obtenido es influenciado por:
Las funciones de ajuste seleccionadas, y
Las señales de entrada observadas.
37
/77
IDENTIFICABILIDAD
Dadas:
Las señales de entrada observadas, y Las funciones de ajuste seleccionadas
El estimado de los parametros (del modelo) existen si la inversa de la matriz (ATA) existe
Se dice entonces que el modelo es identificable
38
/77
IDENTIFICABILIDAD
Se dice entonces que el modelo es identificable
Observe que decimos “que entonces el modelo es identificable”
La identificabilidad se refiere al modelo
Quizas el modelo con otros datos sea identificable
O quizas los mismos datos otra estructura de modelo sea identificable 39
/77
LOS PARAMETROS “VERDADEROS”
Si existen, el vector de parámetros “verdadero” describe a aquel que minimiza el error
A menudo es conveniente estudiar las propiedades de los parámetros en terminos del error
es el vector de parámetros “verdadero”.
*ˆ
*
*
40
MÍNIMOS CUADRADOS PARA UN MODELO LINEAL (DINAMICO)
41
/77
EJEMPLO: ESTRUCTURA AR
En la identificacion de sistemas usualmente se usa un modelo AR (AutoRegressive model), donde
1
aN
ii
y k y k i
y(k) es la salida del sistema en el tiempo k ≥ 0.
42
/77
EJEMPLO: ESTRUCTURA AR
Una forma util de ver el modelo AR es verlo como una manera de determinar el siguiente valor de la salida, dadas las observaciones previas
1 21 2aN ay k y k y k y k N
43
/77
EJEMPLO: ESTRUCTURA AR
En este caso el modelo AR esta definido por el modelo lineal
Ty k k
1 , , ,T
ak y k y k i y k N
44
El termino φ(t) recibe el nombre de vector de regresiony, en general, contiene la información de entradas y
salidas anteriores a t
/77
EJEMPLO: ESTRUCTURA AR
En este caso el modelo AR esta definido por el modelo lineal
Ty k k
1 , , ,T
ak y k y k i y k N
En general, el vector de regresión (regresor) se construye,, con los datos de entrada-salida pasados, hasta el instante k-1
45
/77
EJEMPLO: ESTRUCTURA ARX
Por ejemplo, en el caso de una estructura de modelo simple como el ARX de primer orden:
1 21 1 2y t ay t b u t b u t
1 2, , 1 1 2f t t ay t b u t b u t
46
/77
EJEMPLO: ESTRUCTURA ARX
En el caso de una estructura ARX la correspondencia con la formulación general seria
1 2
Ta b b 1 1 2
Tt y t u t u t
, , Tf t t t
47
El termino φ(t) recibe el nombre de vector de regresiony, en general, contiene la información de entradas y
salidas anteriores a t
/77
LA MATRIZ DE DATOS
El problema de la estimacion de parametros consiste en encontrar relaciones matemáticas entre secuencias de entrada y las secuencias de salida.
En general, los datos se tienen en forma de una matriz
NZ ,y t u t t = 1,...N
48
/77
IDENTIFICACION DE UN MODELO AR
La estimación de parámetros consiste en hallar la estima de que minimiza el criterio.
2
1,
NNN k
V Z k
nnyn T
Error de Predicción
49
/77
RELACION CON LA IDENTIFICACION
En el modelo de regresión lineal se suele incorporar un término de perturbación (n)
Ty k k v k
Para modelar la parte de la salida que no puede ser explicada por el regresor lineal
50
/77
NATURALEZA DE (N)
Si se da una caracterización estocástica para (n),
51
(n) es un proceso estocástico
/77
SOLUCION: MINIMOS CUADRADOS Asumamos que el sistema dinamico se puede
representar por el modelo lineal
52
ˆ 1 Ty t t t
es el vector de regresion t entradas y salidas retardadas
es el vector de parametros
/77
SOLUCION: MINIMOS CUADRADOS
En estas condiciones
53
11 1ˆ T T
N YN N
Se introducen los terminos N a fin de retener expresiones que sean computacionalmente
factibles para señales de entrada cuasi-estacionarias
/77
EXISTENCIA DE LA SOLUCION
54
El requisito necesario para garantizar una solución única es que la señal de excitación sea persistentemente
excitada de orden mayor que d, siendo d el numero de parametros del modelo, [Söderström89].
PROPIEDADES DEL MÉTODO DE LOS MINIMOS CUADRADOS
55
/77
UNICIDAD DE LA SOLUCION
La principal ventaja de este método es que
Si se cumplen las condiciones de identificabilidad
la obtención del mínimo global está garantizada
Y la solucion es unica
56
/77
NATURALEZA DE LOS PARAMETROS
Si se da una caracterización estocástica para (n),
57
(n) es un proceso estocástico
¡El estimador por mínimos cuadrados es una variable aleatoria!
/77
LOS PARAMETROS “VERDADEROS”
Supongamos la existencia de un juego de parametros “verdadero”
58
*Ty t t e t
donde e(t) es un ruido blanco de media cero y variancia 2
/77
PROPIEDADES DE LOS PARAMETROS ESTIMADOS
59
1. converge a cuando N tiende a infinito
2. La variable aleatoria se comporta como una distribución normal de media cero y covariancia
ˆN
*
*ˆNN
12 TPLS
/77
PROPIEDADES DEL RUIDO ESTIMADO
60
3. Un estimador de la variancia de e(t) es:
2ˆ2 NV
N d
siendo d el número de parámetros del modelo
/77
OBSERVACION
si la perturbación e(t) no es un ruido blanco y la relación señal útil/señal ruido es importante,
la convergencia a no está garantizada.
61
*
CRITERIO DE AKAIKE62
/77
CRITERIO DE AKAIKE
Una variante del método LS, conocido como Criterio de Akaike consiste en minimizar la función de pérdidas
63
1 2AICN N
dV V
N
EJEMPLOS 64
/77
EJEMPLO
Ejemplo: Supóngase el sistema
65
¿Cuál es el tipo de estructura más apropiada a elegir para identificación?
/77
ELECCION DE LA ESTRUCTURA El tipo de estructura más apropiada para
identificación debe ser del tipo “Output Error” (OE).
66
2 3
1 21 2 3
1 2 31
b q b qy t u t e t
f q f q f q
Por tanto nb = 2, nf = 3 y nk = 2.
/77
ELECCION DE LA ESTRUCTURA
El tipo de estructura más apropiada para identificación debe ser del tipo “Output Error” (OE).
67
¡ Sin embargo, en la mayoría de los casos el diseñador no dispone de la información sobre el
sistema real !
/77
ELECCION DE LA ESTRUCTURA: EJEMPLO El tipo de estructura más apropiada para
identificación debe ser del tipo “Output Error” (OE).
¡ Sin embargo, en la mayoría de los casos el diseñador no dispone de la información sobre el
sistema real !
/77
EJEMPLO
Ejemplo: Supóngase el sistema
Estimar los parámetros del modelo OE escogido Estimar un modelo ARX. Comparar resultados.
69
/7770
/7771
/7772
/77
EJERCICIO
73
Investigar las funciones mostradas del Toolbox de identificacion en matlab
ar
armax
arx
bj
oe
pem
ivar
ivx
iv4
present
/77
PROBLEMAS
Ver el documento Tema 3_problemes.pdf
De los profesores Teresa Escobet y Bernardo Morcego
de la Escola Universitària Politècnica de Manresa [Escobet et al., 2003].
74
/77
PROBLEMAS
Ver el documento Tema 3_problemes.pdf
De los profesores Teresa Escobet y Bernardo Morcego
de la Escola Universitària Politècnica de Manresa [Escobet et al., 2003].
/77
FUENTES De Nicolao G., System Identification: Problems and perspectives.
Dipartimento di Informatica e Sistemistica, Universiti di Pavia, Pavia, Italy. 1995.
Passino Kevin M., Yurkovich Stephen, Fuzzy Control. Addison Wesley Longman, Inc. 1998
Recktenwald Gerald, A Curve-Fitting Cookbook for use with the NMM Toolbox. Mechanical Engineering Department, Portland State University, Portland, Oregon. October 17, 2000.
Recktenwald G. W., Numerical Methods with MATLAB: Implementations and Applications. Prentice-Hall, Englewood Cliffs, NJ, 2000.
Ljung Lennart, Linear System Identificación as Curve Fitting. Report no.: LiTH-ISY-R-2466. Division of Automatic Control. Department of Electrical Engineering Linkopings universitet, Linkoping, Sweden. August 7, 2002.
Moler C. and Moler K., Numerical Computing with MATLAB. The MathWorks, Inc. and Stanford University. 2003.
Sanjay Lall, Modern Control 1. Lecture Notes. Standford University. Winter quarter, 02-2003 76
/77
ULTIMA DIAPOSITIVA
77