Estimación por mínimos cuadrados generalizadoscjardon.webs.uvigo.es/Transparencias/Unidad6.pdf ·...
Transcript of Estimación por mínimos cuadrados generalizadoscjardon.webs.uvigo.es/Transparencias/Unidad6.pdf ·...
Universidade
de Vigo
Modelo de regresión lineal Generalizado:
Generalización del modelo de regresión lineal
clásico
Estimación por mínimos cuadrados
generalizados
Universidade
de Vigo
Universidade
de VigoIntroducción a los estimadores MCG
Dados los fallos que ocurren en las propiedades de los
estimadores MCO, surge la conveniencia de buscar
estimadores alternativos que verifiquen mejores
propiedades que los de MCO.
Este es el caso de los estimadores de Mínimos cuadrados
generalizados (MCG).
Para construirlos basta observar una propiedad del nuevo
modelo, que depende de la descomposición de la matriz de
varianzas de las perturbaciones.
Universidade
de Vigo
Universidade
de Vigo
Descomposición de la matriz de
varianzas de las perturbaciones
La matriz de varianzas-covarianzas de las perturbaciones
viene dada por
S=s2W
Como W es definida positiva se puede descomponer
como potencia de una matriz simétrica invertible P tal
que
P’P=P2=W
Universidade
de Vigo
Universidade
de Vigo
Transformación del modelo de
regresión lineal generalizado
Consideremos la inversa de esa matriz P, denotada por P-1.
Entonces premultiplicando las ecuaciones del modelo de regresión generalizado obtenemos que
Cambiando los nombres de las variables, el modelo quedará de la siguiente forma
Por tanto, de nuevo tenemos un modelo de regresión lineal donde cambian las variables pero no los parámetros de la regresión.
Falta ver si cambia la ley de distribución de las nuevas perturbaciones.
P y P X P- - -= +1 1 1
y X* * *= +
Universidade
de Vigo
Universidade
de Vigo
La ley de distribución de las nuevas
perturbaciones
Es Normal por ser una transformación lineal de una normal.
Su esperanza es nula pues
E(u*)=P-1 E(u)=0
Su varianza vendrá dada por
Var(u*)=P-1 Var(u) P-1 = P-1s2W P-1=
=s2P-1W P-1 = s2I
Por consiguiente, las nuevas perturbaciones son esféricas, lo que significa que el nuevo modelo transformad es un modelo de regresión lineal normal donde las variables son diferentes de las originales.
Universidade
de Vigo
Universidade
de VigoConsecuencias
El modelo de regresión lineal generalizado se obtiene a
partir del modelo de regresión lineal clásico
transformando las variables por una matriz simétrica
invertible.
Por lo tanto todas las propiedades el MRLC se
verificarán una vez transformado el modelo de partida.
Los estimadores de MCG se obtendrán como los
estimadores MCO en ese modelo transformado.
Las propiedades de los estimadores MCG serán las que
tenían los estimadores MCO en el MRLN
Universidade
de Vigo
Universidade
de Vigo
Estimadores MCG en el modelo
transformado
Consideremos el modelo y X* * *= +
Donde las perturbaciones siguen leyes normales esféricas.
El estimador MCO de en ese modelo será
bMCG=(X’P-1 P-1X)-1 X’P-1 P-1y=(X’W-1X)-1 X’W-1y
bMCG=(X*’X*)-1X*’y*
Que puesto en función de las variables del modelo original será:
Universidade
de Vigo
Universidade
de VigoEstimadores de MCG en el MRLG
Generalizando la transformación al espacio residual se puede definir el estimador de la siguiente forma:
Encontrar el mínimo en de SCEG() siendo
SCEG() = u'W-1u = (Y-X)'W-1(Y-X)
Partiendo de ese modelo se obtendrían las Ecuaciones normales generalizadas
(X'W-1X) = X'W-1Y
Y, como consecuencia los estimadores
bMCG = (X'W-1X)-1 X'W-1Y
que coinciden con los obtenidos previamente.
Universidade
de Vigo
Universidade
de VigoEstimadores MV en el MRLG
La función de verosimilitud ahora será:
F(y1,…,yT/X)= (2p)-T/2|S|-1exp[-(yt-Xt)’S-1(yt-Xt)/2]
Se demuestra que al maximizar esta función en y S los
estimadores son independientes y por consiguiente se puede
maximizar en y luego en S, por consiguiente maximizar en b
coincide con maximizar el exponente o lo que es lo mismo
minimizar el termino del paréntesis que coincide con
minimizar el exponente en lo que equivale a obtener el
estimador de MCG, por lo tanto los estimadores de MV y
MCG coinciden para el parámetro .
Universidade
de Vigo
Universidade
de VigoEstimadores de MCG de la varianza
Para estimar la parte común de la matriz de varianzas
covarianzas de las perturbaciones, se haría directamente
partiendo del modelo transformado, pero teniendo en cuenta
que los residuos obtenidos ahora no coinciden con los MCO
Se e
T k
u P P u
T k
u u
T kRMCG
2
1 1 1
1 1 1=
- -=
- -=
- -
- - -*' * ' 'W
Siendo los residuos ahora calculados como
u=y-XbMCG
Universidade
de Vigo
Universidade
de VigoPropiedades de los estimadores
Dado que son una generalización de los estimadores
MCO, sus propiedades van a generalizar estas.
Para facilitar su exposición las dividiremos en tres
bloques:
Propiedades geométricas de los estimadores de los
coeficientes de regresión que se derivan directamente de
las de MCO en el modelo transformado.
Propiedades de las varianzas.
Propiedades derivadas de la normalidad.
Universidade
de Vigo
Universidade
de VigoPropiedades geométricas
1. El estimador de mínimos cuadrados generalizados es el mejor estimador lineal insesgado (ELIO). Esto nos va a permitir afirmar que los estimadores MCO no van a ser ELIO con seguridad en el MRLG.
2. Los valores estimados vienen dados por H1Y, siendo H1 la nueva matriz de proyección.
3. Por tanto los valores estimados de la Y son una combinación lineal de las propias observaciones de la variable dependiente. Esto coincide con MCO, pero ahora la matriz H es diferente.
4. Los residuos se definen como valor observado menos estimado y
vienen dados en forma matricial por M1Y, siendo M1 la nueva matriz
de proyección sobre el espacio residual.
5. Tanto H1 como M1 son matrices idempotentes y su producto es nulo.
Sin embargo no son simétricas como ocurría en el caso del MRLC.
Universidade
de Vigo
Universidade
de Vigo
Demostración de las propiedades
geométricas
Todas ellas se van a derivar de las propiedades de los estimadores
MCO en el modelo transformado.
Sus propiedades se deducen del teorema de Aitken que es la
generalización del teorema de Gauss-Markov al caso del MRLG.
En él se demuestra que los estimadores MCG son ELIO, lo que
implica que los estimadores de MCO dejan de ser los mejores,
puesto que su varianza no coincide con la de los estimadores
MCG.
Por consiguiente remitiremos a él en todos los cálculos y después
se deshará la transformación.
Universidade
de Vigo
Universidade
de VigoDemostración del Teorema de Aitken
El estimador MCG se puede escribir en el modelo
transformado como
bMCG=+(X*’X*)-1X*’u*
De ahí se deriva directamente que es insesgado y lineal pues la
transformación P-1 es lineal.
Todos los estimadores lineales e insesgados en el MRLG son
también lineales e insesgados en el modelo transformado. Esto se comprueba de modo similar a como se vio que los estimadores
MCO eran lineales e insesgados en el MRLG
Como el estimador MCG es óptimo en los ELI del modelo transformado, y todos los ELI del MRLG están en el transformado, será óptimo en el MRLG
Universidade
de Vigo
Universidade
de VigoProyecciones
Sobre el espacio de las X
Los valores estimados vienen dados por H1Y, siendo H1 la nueva matriz de
proyección. Por tanto los valores estimados de la Y son una combinación
lineal de las propias observaciones de la variable dependiente.
En el espacio residual
Los residuos se definen como valor observado menos estimado y vienen dados en
forma matricial por M1Y, siendo M1 la nueva matriz de proyección sobre el
espacio residual
( ' ) 'y Xb X X X X y H yMCG= = =- - -W W1 1 1
1
u y y y Xb
y X X X X y I H y
M y
MCG= - = - =
= - = - =
=
- - -
( ' ) ' ( )W W1 1 1
1
1
Universidade
de Vigo
Universidade
de Vigo
Propiedades de las matrices de
proyección
H1 es idempotente
Si H1 es idempotente, entonces M1 también lo es por ser su
complementaria
H1 y M1 son ortogonales
Sin embargo no son simétricas como ocurría en el caso del MRLC.
H X X X X
H X X X X X X X X
X X X X H
1
1 1 1
1
2 1 1 1 1 1 1
1 1 1
1
=
= =
= =
- - -
- - - - - -
- - -
( ' ) '
( ' ) ' ( ' ) '
( ' ) '
W W
W W W W
W W
H M H I H H H H H1 1 1 1 1 1
2
1 1 0= - = - = - =( )
Universidade
de Vigo
Universidade
de VigoPropiedades de las varianzas
1. La varianza de los estimadores depende de la inversa de la matriz
de diseño por su traspuesta ponderadas por la inversa de la
matriz de varianzas-covarianzas.
Var(bMCG)=s2(X'W-1X)-1
2. La varianza de los valores estimados depende de la parte común
de la varianza de las perturbaciones pero ya no depende
directamente de la matriz de proyecciones.
Var(YE)= s2X(X'W-1X)-1X's2H1
3. La varianza de los residuos depende directamente de la parte
común de la varianza de las perturbaciones pero no de la matriz
M1 de proyecciones sobre el espacio ortogonal a las X.
Var(u)=s2(W-X(X'W-1X)-1X') s2M1
Universidade
de Vigo
Universidade
de VigoANOVA en el MRLG
La suma ponderada por la inversa de la matriz de varianzas-
covarianzas de cuadrados de la variable dependiente se puede
descomponer en dos sumandos: la SCEG y otra cantidad que
denominaremos suma generalizada de cuadrados debida a la
regresión
SCYG = SCRegG + SCEG
siendo
SCYG=Y'W-1Y
SCEG=u'W-1u
SCRegG=YE'W-1YE
Universidade
de Vigo
Universidade
de Vigo
El coeficiente de determinación en el
MRLG
A partir de esta descomposición se puede obtener una medida de
la bondad de ajuste de la regresión, desde un punto de vista
puramente geométrico, pues
que denominaremos Coeficiente de determinación de Buse R2.
SCYG
SCEG
SCYG
gGSC
SCYG
SCEG
SCYG
gGSC-=+= 1
ReRe1
Este coeficiente -multiplicado por 100- nos da el porcentaje de variación
total de la variable Y - en el sentido de su suma de las desviaciones
respecto del origen - explicado por la regresión de la variable Y respecto de
las X, utilizando una distancia matricial generalizada
Universidade
de Vigo
Universidade
de VigoPropiedades bajo normalidad
1. Los estimadores de mínimos cuadrados generalizados siguen
una ley Normal
2. Los valores estimados de Y siguen una ley Normal
3. Los residuos de la regresión de mínimos cuadrados
ordinarios siguen una ley Normal
4. Los estimadores MCG de los coeficientes, bajo normalidad
coinciden con los estimadores MV en el MRLG, y por lo
tanto serán eficientes dentro de todos los insesgados y
suficientes.
Universidade
de Vigo
Universidade
de VigoLeyes de distribución
Por consiguiente tendríamos las siguientes leyes de
distribución:
bMCG siguen una ley N (,s2(X'W-1X)-1)
Y estimado siguen una ley Normal de parámetros
(X,s2(X(X'W-1X)-1X'))
Los residuos MCG siguen una ley normal de parámetros
(0,s2(W-X(X'W-1X)-1X'))
Universidade
de Vigo
Universidade
de VigoEjemplo
Los beneficios (después de impuestos) suelen ser una parte de las ventas, cuyo cociente nos da el margen neto de la empresa. Para calcular cual es en promedio en una serie de empresas del sector de la alimentación se tienen datos de las ventas y los beneficios durante el año 2004.
Calcular cual seria ese margen promedio estimado
Si se sabe que el tamaño de la empresa afecta generando una variabilidad mayor en las empresas grandes que en las pequeñas. El efecto del tamaño sobre la variabilidad se conoce que s del 20%. Calcular si el margen promedio seguiría siendo el mismo.
Comparar ambos estimadores, ¿Cuál seria mas eficiente?
Universidade
de Vigo
Universidade
de VigoModelo de solución
Los beneficios son una parte de las ventas, por tanto:
Beneficios=*ventas+e
Se estima por MCO.
Si la varianza depende linealmente de las ventas
Var(e )=0,2*ventas
Se estima por MCG.
Universidade
de Vigo
Universidade
de VigoCalculo por MCO
XX
3525.000
IXX
0.2836879E-03
B
0.3631206
DATA PDF CDF 1-CDF
TB 21.025 0.28555E-05 0.99998 0.15123E-04
Estimador de
MCO, nos mide el
margen neto
Universidade
de Vigo
Universidade
de Vigo
Calculo por MCG: matriz de varianzas covarianzas de
las perturbaciones
OMEGA
5 BY 5 MATRIX
6.400000 0.000000 0.000000 0.000000 0.000000
0.000000 4.800000 0.000000 0.000000 0.000000
0.000000 0.000000 6.000000 0.000000 0.000000
0.000000 0.000000 0.000000 4.000000 0.000000
0.000000 0.000000 0.000000 0.000000 5.000000
IOMEGA
5 BY 5 MATRIX
0.156250 0.000000 0.000000 0.000000 0.000000
0.000000 0.208333 0.000000 0.000000 0.000000
0.000000 0.000000 0.166666 0.000000 0.000000
0.000000 0.000000 0.000000 0.250000 0.000000
0.000000 0.000000 0.000000 0.000000 0.200000
Universidade
de Vigo
Universidade
de VigoCalculo por MCG
XOX
655.0000
IXOX
0.001526718
BG
0.3587786
DATA PDF CDF 1-CDF
TBG 8.8850 0.0001915 0.99956 0.00044329
Estimador de
MCG, nos mide el
margen neto
Universidade
de VigoComparación entre ambos
Parámetros MCO MCG
B 0.3631206 0.3587786
SB 0.01727063 0.04038048
TB 21.02532 8.884951
S2 1.051418 1.068032
Comparación de residuos
EMCO EMCG
0.3801418 0.5190840
0.2851064 0.3893130
1.106383 1.236641
-1.262411 -1.175573
-1.078014 -0.9694656
Universidade
de Vigo
Estimación MCG cuando la
varianza es desconocida
Estimadores de mínimos cuadrados generalizados factibles
Universidade
de Vigo
Universidade
de VigoEstimación MCGF
Cuando la varianza no es conocida necesitamos estimarla previamente.
En general, a este tipo de estimadores, los denominaremos de mínimos
cuadrados generalizados factible (MCGF).
El estimador tiene la forma genérica
Puesto que los escalares de la matriz de covarianzas no afectan al
estimador.
En cada caso se trata de encontrar un estimador consistente de W.
Por consiguiente el método de estimación se suele hacer en dos pasos:
1. Se estima la matriz de covarianzas W
2. Se calcula el estimador de MCGF sustituyendo el valor de W por su
estimador
1 1 1ˆ ˆ( ' ) 'MCGb X X X y- - -= W W
Universidade
de Vigo
Universidade
de VigoMétodos de estimación MCGF
Una vez obtenido el estimador de W, lo normal para calcular el estimador MCGF consiste en buscar la transformación que nos permita hacer uso de los estimadores MCO, es decir se busca una matriz P de tal forma que
W =P’P
Se toma el estimador de P y se transforma el modelo mediante esa matriz.
Se calcula el estimador MCO en el modelo transformado.
Ese suele ser el estimador MCGF en dos pasos.
Lo calcularemos para los diferentes casos, es decir autocorrelación y heterocedasticidad, peor antes veamos las propiedades genéricas de estos estimadores.
Universidade
de Vigo
Universidade
de Vigo
Propiedades de los estimadores
MCGF
Las propiedades de este tipo de estimadores dependen de las
propiedades del estimador de la varianza. Normalmente si se
consigue que este sea consistente se verifican las siguientes
propiedades:
Consistentes
Asintóticamente normales
Asintóticamente insesgados
Asintóticamente eficientes
Puesto que estos estimadores convergen asintóticamente al
estimador MCG.
Pero no verifican propiedades exactas en pequeñas muestras.
Universidade
de Vigo
Tratamiento de la autocorrelación
Estimadores MCGF: Método de Cochran-Orcutt, Prais-Wisten,
Malla
Estimadores e MV
Universidade
de Vigo
Universidade
de VigoTratamiento de la autocorrelación
Como, en general, no conocemos los parámetros que caracterizan
la matriz de varianzas-covarianzas de las perturbaciones tendremos
que estimarlos, lo que nos hará perder eficiencia en pequeñas
muestras.
Vamos a considerar diferentes casos, según estimemos por MCGF o
por MV.
Para los estimadores MCG, la idea básica consiste en buscar cual es
la matriz de transformaciones que nos transforma el modelo
generalizado en un modelo clásico. Esa transformación se conoce
con el nombre de transformación de Cochran-Orcutt.
Universidade
de Vigo
Universidade
de Vigo
Forma matricial del modelo lineal con
autocorrelación
Escribiendo en forma matricial lo anterior tendríamos que
Y=X+n; siendo n una N(0, S)
=
-
-
-
1......
............
...1
...1
1
2
1
2
n
n
n
s
Por consiguiente estaríamos en un caso particular del modelo de
regresión lineal generalizado. Sus efectos serán consecuencia de ello.
Universidade
de Vigo
Universidade
de Vigo
Estimador de MCGF bajo
autocorrelación
El estimador de MCGF tiene la forma genérica de
El único parámetro que interviene en dicha matriz es el
parámetro r, por consiguiente debemos encontrar un
estimador consistente de él.
Después debemos buscar una matriz P que permita
descomponer la matriz W en P’P.
Una forma de conseguir esa matriz consiste en hacer uso de
la transformación de Cochran-Orcutt.
1 1 1ˆ ˆ( ' ) 'MCGb X X X y- - -= W W
Universidade
de Vigo
Universidade
de Vigo
Matriz de transformación de Cochrane-
Orcutt
Si fuera conocido la matriz S-1 se comprueba que se descompone en
S-1 =s-2 G’G(1-2 )-1
Siendo G la matriz siguiente, que a su vez se puede particionar en dos
submatrices:
-
=
--
-
-
-
= *
0..01
1...
......
0..10
0..01
0...01
2
2
GG
Universidade
de Vigo
Universidade
de VigoLa submatriz de Cochrane-Orcutt
Se descompone de esa forma puesto que es interesante analizar el comportamiento de la matriz G*, que es propiamente la transformación de C-O. Dicha matriz tiene la diagonal principal todo 1. La diagonal secundaria inferior todo . El resultado de multiplicar G* por una variable cualquiera z nos daría la diferencia
entre el valor actual y el valor retardado multiplicado por .
G*z=zt-zt-1
Esto nos permite obtener una transformación directa sobre las variables originales del modelo, es decir, se le aplica a la variable dependiente a cada una de las independientes obteniendo de forma directa el modelo transformado.
Como en el cálculo de la matriz inversa de S, además de G aparecen solo escalares, al modelo obtenido mediante las transformaciones anteriores se le puede aplicar la estimación de MCO para obtener el estimador MCG correspondiente.
Universidade
de Vigo
Universidade
de Vigo
Transformación de Cochrane-Orcutt
Las transformaciones de cada variable serían en conjunto:
Para la dependiente
Para las independientes
Que se puede observar que coincide con la transformación de C-O
salvo en el primer elemento.
-=
-==
-1
*
1
2*
1* 1
tt
tt
yyy
yyGyy
t
* 2
1 1*
*
1
1j j
t t
jt jt jt
x xx Gx
x x x
-
= -=
= -
T=2,...T
T=2,...T
Universidade
de Vigo
Universidade
de VigoModelo resultante
Fruto de la transformación de C-O (sin contar la primera
observación), nos quedaría el siguiente modelo
Es decir la variable dependiente depende de las independientes, de
las independientes retardadas un periodo y de la dependiente
retardada un periodo.
Este modelo es el mismo que se obtiene directamente del modelo
de autocorrelación de orden 1, sustituyendo las perturbaciones
autocorreladas, lo que nos sirve también para comprobar la validez
de la transformación.
1 1(1 )t t t t ty x x y e- - = - + - + +
Universidade
de Vigo
Universidade
de Vigo
Procedimiento de Cochrane-Orcutt en
dos pasos
Cuando es desconocido, el problema es determinar el valor de
en la práctica. Este procedimiento consiste en dos etapas
En la primera se estima mediante MCO o un método alternativo
En la segunda etapa se estima el modelo transformado, sustituyendo
el parámetro por sus estimadores de la primera etapa.
El modelo resultante sería:
Perdiendo la primera observación
+
-
-
-
=
-
-
-- TTTTT xx
xx
yy
yy
e
e
:)1(
:
1
:
1
:
2
1
12
1
12
Universidade
de Vigo
Universidade
de Vigo
Procedimiento de Cochrane-Orcutt en
dos pasos (2)
Por tanto, se estima en la primera etapa y perdiendo la
primera observación, se hacen las transformaciones de C-O,
esto es
Una vez hecha la transformación se aplica de nuevo MCO a
la regresión de la Y transformada respecto a las X
transformadas.
1
**
1
**
ˆ
ˆ
-
*
-
*
-==
-==
ttttt
tttt
xxxxGx
yyyyGyt
Universidade
de Vigo
Universidade
de Vigo
Estimación inicial del coeficiente de
autocorrelación
La estimación del coeficiente de autocorrelación se puede hacer de diferentes formas.
Todas ellas asintóticamente equivalentes, pero con algunas diferencias en pequeñas muestras.
Van a depender de los siguientes factores: La eficiencia del estimador
La capacidad de cálculo
La robustez del modelo
Consideramos cuatro opciones:1. El coeficiente de autocorrelación simple
2. El coeficiente de autocorrelación simple corregido
3. El método de Durbin-Watson
4. La estimación conjunta
Universidade
de Vigo
Universidade
de Vigo
El coeficiente de autocorrelación
simple
Las dos primeras opciones son muy similares, puesto que se trata de estimar mediante el coeficiente de autocorrelacion muestral, puesto que es un estimador consistente. La diferencia está en el número de observaciones utilizado, pero no afecta cuando la muestra es grande.
El coeficiente de autocorrelación simple de primer orden, es decir se calcula la suma de los productos cruzados de los residuos por los residuos retardados, y se divide entre la suma de residuos al cuadrado
Se subestima en parte, al haber mas sumandos en el denominador que en el numerador
==
-=T
i
i
T
i
ii eee1
2
2
1̂
Universidade
de Vigo
Universidade
de Vigo
El coeficiente de autocorrelación simple
corregido
Para paliar el problema anterior, se hace uso del coeficiente de autocorrelación simple de primer orden, pero corrigiendo el denominador, para que tenga el mismo numero de observaciones que el numerador.
El problema que e plantea es que las correcciones podrían haberse eliminando el último residuo en vez del primero o combinando ambas. No existe una regla que nos diga que este es mejor.
Se utiliza en muestras pequeñas, pero dado que sus propiedades son asintóticas su efecto es prácticamente indiferente.
=
-
=
-=T
i
i
T
i
ii eee2
2
1
2
1̂
Universidade
de Vigo
Universidade
de VigoMétodo de Durbin-Watson
El estimador que se obtiene a partir del estadístico de Durbin-Watson, ya que vimos que éste era una aproximación de una función del coeficiente de autocorrelación simple.
Como el estimador d es un estimador consistente del calor teórico del estadístico, el estimador de r de este modo también será un estimador consistente.
Entonces el estimador, siendo d el estadístico DW, será:
r= 1- d/2
Este método es una aproximación, pero tampoco se puede demostrar que sea mas eficiente que los otros métodos
Universidade
de Vigo
Universidade
de VigoEstimación conjunta
Se estima a partir de la ecuación de regresión transformada
restringida a 1 = 2
Es el método mas eficiente pero también el que exige mas
cálculo
En la práctica solo se utiliza cuando se buscan estimadores
MV que busca la estimación de todos los parámetros
conjuntamente.
ttttt yxxy e ++-+-= -- 1121)1(
Universidade
de Vigo
Universidade
de VigoEstimación de RHO
?ols y x1 x2/resid=e predict=ye rstat dwpvalue noanova
gen1 N=$N
gen1 DW=$DW
gen1 rhodw=1-dw/2
gen1 rho1=$rho
g elag=lag(e)
g ee1=(e*elag)
g e2=e*e
stat e2/sum=se2a beg=1 end=40
stat e2/sum=se2b beg=1 end=39
stat ee1/sum=se1 beg=2 end=40
gen1 rho1a=se1/se2a
gen1 rho1b=se1/se2b
|_auto y x1 x2 / dn ml noanova iter=2
Conjunta
MAXIMUM LIKELIHOOD ESTIMATION 40 OBSERVATIONS
BY COCHRANE-ORCUTT TYPE PROCEDURE WITH CONVERGENCE = 0.00100
ITERATION RHO LOG L.F. SSE
1 0.00000 -4.43019 2.9227
2 0.65818 8.56528 1.5046
LOG L.F. = 8.56528 AT RHO = 0.65818
RHO1= 0.6563030
RHODW= 0.6690766
RHO1A= 0.6521211
RHO1B= 0.6563030
RHOCJ = 0.65818
Universidade
de Vigo
Universidade
de VigoProcedimiento de C-O iterativo
1: Se estiman los residuos, generalmente por OLS.
2: Se estima a partir de la correlación entre los residuos.
3: Se transforman los datos según C-O utilizando la matriz G* (por tanto, se elimina el primer término)
4: Se estiman por OLS los coeficientes en el modelo transformado
5: Se reestiman los residuos por OLS entre las variables
transformadas.
6: Se repiten de la Fase 2 a la 4 hasta que los residuos no presenten
autocorrelación.
La iteración mejora la eficiencia de los estimadores por lo que los
estimadores iniciales son secundarios, siempre y cuando estén
todos en un entorno cercano al óptimo.
Universidade
de VigoProblemas de óptimo de
SCE()Mínimo
global
Mínimo
parcial
0
Iniciando ahí
converge al mínimo
local parcial
Iniciando ahí
converge al mínimo
global
*
Universidade
de Vigo
Universidade
de VigoEstimación por CO para las telas|_auto y x1 x2/drop noanova
REQUIRED MEMORY IS PAR= 7 CURRENT PAR= 4000
DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS
LEAST SQUARES ESTIMATION 39 OBSERVATIONS
BY COCHRANE-ORCUTT TYPE PROCEDURE WITH CONVERGENCE = 0.00100
ITERATION RHO LOG L.F. SSE
1 0.00000 -4.81313 2.9227
2 0.65630 9.06698 1.4343
3 0.70292 9.15983 1.4275
4 0.70428 9.15991 1.4275
5 0.70433 9.15991 1.4275
LOG L.F. = 9.15991 AT RHO = 0.70433
ASYMPTOTIC ASYMPTOTIC ASYMPTOTIC
ESTIMATE VARIANCE ST.ERROR T-RATIO
RHO 0.70433 0.01292 0.11367 6.19627
R-SQUARE = 0.9832 R-SQUARE ADJUSTED = 0.9823
VARIANCE OF THE ESTIMATE-SIGMA**2 = 0.39654E-01
STANDARD ERROR OF THE ESTIMATE-SIGMA = 0.19913
SUM OF SQUARED ERRORS-SSE= 1.4275
MEAN OF DEPENDENT VARIABLE = 14.330
LOG OF THE LIKELIHOOD FUNCTION = 9.15991
VARIABLE ESTIMATED STANDARD T-RATIO PARTIAL STANDARDIZED ELASTICITY
NAME COEFFICIENT ERROR 36 DF P-VALUE CORR. COEFFICIENT AT MEANS
X1 0.50315 0.8772E-02 57.36 0.000 0.995 0.9737 0.2455
X2 0.11461 0.1126E-01 10.18 0.000 0.861 0.1737 0.0574
CONSTANT 10.032 0.1466 68.44 0.000 0.996 0.0000 0.7001
Universidade
de Vigo
Universidade
de VigoProcedimiento de Prais-Winsten
Consiste en una mejora del procedimiento anterior trabajando con la matriz G en vez de G*
Por tanto, se tiene en cuenta la primera observación
Esto mejora la eficiencia en pequeñas muestras.
En muestras grandes apenas se nota.
Universidade
de Vigo
Universidade
de VigoEstimación por PW para las telas|_sample 1 40
|_read Y X1 X2
3 VARIABLES AND 40 OBSERVATIONS STARTING AT OBS 1
|_auto y x1 x2/noanova
REQUIRED MEMORY IS PAR= 7 CURRENT PAR= 4000
DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS
LEAST SQUARES ESTIMATION 40 OBSERVATIONS
BY COCHRANE-ORCUTT TYPE PROCEDURE WITH CONVERGENCE = 0.00100
ITERATION RHO LOG L.F. SSE
1 0.00000 -4.43019 2.9227
2 0.65630 8.55719 1.5054
3 0.70231 8.67597 1.4921
4 0.70320 8.67661 1.4920
LOG L.F. = 8.67661 AT RHO = 0.70320
ASYMPTOTIC ASYMPTOTIC ASYMPTOTIC
ESTIMATE VARIANCE ST.ERROR T-RATIO
RHO 0.70320 0.01264 0.11242 6.25532
R-SQUARE = 0.9824 R-SQUARE ADJUSTED = 0.9815
VARIANCE OF THE ESTIMATE-SIGMA**2 = 0.40324E-01
STANDARD ERROR OF THE ESTIMATE-SIGMA = 0.20081
SUM OF SQUARED ERRORS-SSE= 1.4920
MEAN OF DEPENDENT VARIABLE = 14.330
LOG OF THE LIKELIHOOD FUNCTION = 8.67661
VARIABLE ESTIMATED STANDARD T-RATIO PARTIAL STANDARDIZED ELASTICITY
NAME COEFFICIENT ERROR 37 DF P-VALUE CORR. COEFFICIENT AT MEANS
X1 0.50342 0.8848E-02 56.90 0.000 0.994 0.9742 0.2456
X2 0.11307 0.1130E-01 10.01 0.000 0.855 0.1714 0.0567
CONSTANT 9.9919 0.1441 69.35 0.000 0.996 0.0000 0.6973
Universidade
de Vigo
Universidade
de VigoProcedimiento de malla
Es un procedimiento iterativo, que se puede aproximar hasta el error que se desee.
Normalmente se prefija inicialmente.
Los pasos que se dan son los siguientes1. Se va variando el valor de desde -1 a +1 con incremento de 0,1 y realizar
para cada uno el primer paso del procedimiento C-O, y calcular la suma de cuadrados de los residuos.
2. Elegiremos las dos estimaciones consecutivas que minimicen dicha suma.3. Se repite el procedimiento tomando el paso con incrementos de 0,01 en los
estimadores obtenidos en el paso 2 hasta una nueva minimización de la suma de cuadrados
4. Este proceso se repite hasta obtener el error deseado.
Normalmente exige mucho cálculo y no mejora la aproximación
No obstante sirve para ver si el valor inicial de r nos acerca al máximo global, ya que cubrimos todo el espectro de valores de
Universidade
de Vigo
Universidade
de Vigo
Estimación por malla para las telas: 1ª
mallaREQUIRED MEMORY IS PAR= 7 CURRENT PAR= 4000
DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS
LEAST SQUARES ESTIMATION 40 OBSERVATIONS
BY GRID SEARCH TO ACCURACY OF .01
ITERATION RHO LOG L.F. SSE
1 -0.90000 -26.5475 8.4728
2 -0.80000 -24.1327 7.6300
3 -0.70000 -21.7917 6.8466
4 -0.60000 -19.4405 6.1219
5 -0.50000 -17.0538 5.4548
6 -0.40000 -14.6215 4.8439
7 -0.30000 -12.1396 4.2872
8 -0.20000 -9.60824 3.7825
9 -0.10000 -7.03329 3.3281
10 0.00000 -4.43019 2.9227
11 0.10000 -1.82998 2.5657
12 0.20000 0.713450 2.2576
13 0.30000 3.11662 1.9993
14 0.40000 5.26304 1.7923
15 0.50000 7.00736 1.6379
16 0.60000 8.19174 1.5377
17 0.70000 8.67402 1.4925
18 0.80000 8.35471 1.5034
19 0.90000 7.15689 1.5709
Maximización de la
función de
verosimilitud
Minimización de la
suma de cuadrados
de los errores
Universidade
de Vigo
Universidade
de Vigo
Estimación por malla para las telas: 2ª
mallaITERATION RHO LOG L.F. SSE
20 0.61000 8.27360 1.5306
21 0.62000 8.34827 1.5242
22 0.63000 8.41565 1.5183
23 0.64000 8.47561 1.5129
24 0.65000 8.52805 1.5081
25 0.66000 8.57286 1.5039
26 0.67000 8.60995 1.5002
27 0.68000 8.63923 1.4971
28 0.69000 8.66061 1.4945
29 0.70000 8.67402 1.4925
30 0.71000 8.67937 1.4911
31 0.72000 8.67659 1.4902
32 0.73000 8.66563 1.4899
33 0.74000 8.64642 1.4901
34 0.75000 8.61890 1.4909
35 0.76000 8.58302 1.4923
36 0.77000 8.53871 1.4942
37 0.78000 8.48593 1.4967
38 0.79000 8.42462 1.4998
39 0.73000 8.66563 1.4899
Maximización de la
función de
verosimilitud
Minimización de la
suma de cuadrados
de los errores
Universidade
de Vigo
Universidade
de VigoEstimación por malla para las telas
LOG L.F. = 8.66563 AT RHO = 0.73000
ASYMPTOTIC ASYMPTOTIC ASYMPTOTIC
ESTIMATE VARIANCE ST.ERROR T-RATIO
RHO 0.73000 0.01168 0.10806 6.75535
R-SQUARE = 0.9825 R-SQUARE ADJUSTED = 0.9815
VARIANCE OF THE ESTIMATE-SIGMA**2 = 0.40267E-01
STANDARD ERROR OF THE ESTIMATE-SIGMA = 0.20067
SUM OF SQUARED ERRORS-SSE= 1.4899
MEAN OF DEPENDENT VARIABLE = 14.330
LOG OF THE LIKELIHOOD FUNCTION = 8.66563
VARIABLE ESTIMATED STANDARD T-RATIO PARTIAL STANDARDIZED ELASTICITY
NAME COEFFICIENT ERROR 37 DF P-VALUE CORR. COEFFICIENT AT MEANS
X1 0.50340 0.8729E-02 57.67 0.000 0.994 0.9742 0.2456
X2 0.11341 0.1115E-01 10.17 0.000 0.858 0.1719 0.0568
CONSTANT 9.9888 0.1495 66.80 0.000 0.996 0.0000 0.6970
Universidade
de Vigo
Universidade
de VigoEstimador de máxima verosimilitud
Normalmente el estimador MCG y el de MV coinciden, bajo normalidad, puesto que la matriz de varianzas covarianzas es conocida.
No ocurre lo mismo cuando se habla de MCGF y MV, aunque ambos son asintóticamente equivalentes.
Aun suponiendo normalidad al incluir la autocorrelación, maximizar la función de logverosimilitud no es equivalente a minimizar la suma de cuadrados.
La causa es que aparece un término que depende de que no se tiene en cuenta al utilizar MCO, por lo tanto no van a salir exactamente los mismo estimadores, aunque son equivalentes asintóticamente
Universidade
de Vigo
Universidade
de VigoEstimador de máxima verosimilitud
La función viene dada por
Esto hace que los estimadores no coincidan.
Beach y McKinnon (1978) usan un procedimiento para maximizar esta función, similar al de C-O iterativo, que denominaremos de MV.
Generalmente los estimadores son mas eficientes, si el valor inicial está bien definido
2 2
2 2
1 1ln ( ) ln ln(1 )
2 2 2 (1 )
TL u e
e
s e es
- + - --
Término que diferencia la
minimización de cuadrados y
la maximización de la
función
Universidade
de Vigo
Universidade
de VigoEstimación por ML para las telas|_auto y x1 x2 / dn ml noanova
REQUIRED MEMORY IS PAR= 7 CURRENT PAR= 4000
DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS
DN OPTION IN EFFECT - DIVISOR IS N
MAXIMUM LIKELIHOOD ESTIMATION 40 OBSERVATIONS
BY COCHRANE-ORCUTT TYPE PROCEDURE WITH CONVERGENCE = 0.00100
ITERATION RHO LOG L.F. SSE
1 0.00000 -4.43019 2.9227
2 0.65818 8.56528 1.5046
3 0.71056 8.67943 1.4910
4 0.71158 8.67947 1.4909
5 0.71160 8.67947 1.4909
LOG L.F. = 8.67947 AT RHO = 0.71160
ASYMPTOTIC ASYMPTOTIC ASYMPTOTIC
ESTIMATE VARIANCE ST.ERROR T-RATIO
RHO 0.71160 0.01234 0.11109 6.40570
R-SQUARE = 0.9825 R-SQUARE ADJUSTED = 0.9815
VARIANCE OF THE ESTIMATE-SIGMA**2 = 0.37272E-01
STANDARD ERROR OF THE ESTIMATE-SIGMA = 0.19306
SUM OF SQUARED ERRORS-SSE= 1.4909
MEAN OF DEPENDENT VARIABLE = 14.330
LOG OF THE LIKELIHOOD FUNCTION = 8.67947
ASYMPTOTIC
VARIABLE ESTIMATED STANDARD T-RATIO PARTIAL STANDARDIZED ELASTICITY
NAME COEFFICIENT ERROR -------- P-VALUE CORR. COEFFICIENT AT MEANS
X1 0.50342 0.8473E-02 59.42 0.000 0.995 0.9742 0.2456
X2 0.11318 0.1082E-01 10.46 0.000 0.864 0.1716 0.0567
CONSTANT 9.9910 0.1400 71.34 0.000 0.996 0.0000 0.6972
Universidade
de Vigo
Comparación de los estimadores del
coste variable de la tela
MCO 0.50688
CO2 0.50314
PW2 0.50347
ML2 0.50347
COI 0.50315
PWI 0.50342
Malla 0.50340
MLI 0.50342
Universidade
de Vigo
Universidade
de Vigo
Estimación para modelos
autocorrelados de orden superior
El método que as fácilmente se generaliza es el de máxima
verosimilitud, pues únicamente consiste en cambiar los parámetros
del modelo que se quiere estimar y el propio ordenador se encarga
de la optimización y búsqueda de soluciones, por ese motivo es el
mas usado en la práctica.
En SHAZAM se hace con la opción ORDER=m.
1 1
2
...
(0, )
t t t
t t m t m t
Y X
sigue N I
n
n n n e
e s
- -
= +
= + + +
Universidade
de Vigo
Universidade
de VigoEstimación para orden 3
|_auto y x1 x2 / dn ml order=3 noanova
DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS
REQUIRED MEMORY IS PAR= 10 CURRENT PAR= 2000
AUTOREGRESSIVE ERROR MODEL, ORDER= 3
..NOTE..USING LEAST SQUARES..ML OPTION NOT AVAILABLE
ITERATION 0 ESTIMATES AND ERROR SUM OF SQUARES
0.50688 0.92323E-01 10.124 0.0000 0.0000
0.0000 2.9227
ITERATION 1 ESTIMATES AND ERROR SUM OF SQUARES
0.49993 0.11789 9.9931 -0.78178 0.18927
-0.16251 1.4942
……………….
ITERATION 9 ESTIMATES AND ERROR SUM OF SQUARES
0.50171 0.11384 9.9286 -0.87009 0.31328
-0.21063 1.4522
Universidade
de Vigo
Universidade
de VigoEstimación para orden 3
|_auto y x1 x2 / dn ml order=3 noanova
DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS
REQUIRED MEMORY IS PAR= 10 CURRENT PAR= 2000
AUTOREGRESSIVE ERROR MODEL, ORDER= 3
..NOTE..USING LEAST SQUARES..ML OPTION NOT AVAILABLE
ITERATION 0 ESTIMATES AND ERROR SUM OF SQUARES
0.50688 0.92323E-01 10.124 0.0000 0.0000
0.0000 2.9227
ITERATION 1 ESTIMATES AND ERROR SUM OF SQUARES
0.49993 0.11789 9.9931 -0.78178 0.18927
-0.16251 1.4942
ITERATION 2 ESTIMATES AND ERROR SUM OF SQUARES
0.50166 0.11387 9.9497 -0.82266 0.27993
-0.18358 1.4555
ITERATION 3 ESTIMATES AND ERROR SUM OF SQUARES
0.50175 0.11377 9.9457 -0.86138 0.31088
-0.20604 1.4528
ITERATION 4 ESTIMATES AND ERROR SUM OF SQUARES
0.50172 0.11376 9.9340 -0.86145 0.30928
-0.20567 1.4523
ITERATION 5 ESTIMATES AND ERROR SUM OF SQUARES
0.50171 0.11383 9.9326 -0.86784 0.31242
-0.20946 1.4522
ITERATION 6 ESTIMATES AND ERROR SUM OF SQUARES
0.50171 0.11382 9.9298 -0.86806 0.31235
-0.20945 1.4522
ITERATION 7 ESTIMATES AND ERROR SUM OF SQUARES
0.50171 0.11383 9.9295 -0.86963 0.31310
-0.21039 1.4522
ITERATION 8 ESTIMATES AND ERROR SUM OF SQUARES
0.50171 0.11383 9.9287 -0.86969 0.31308
-0.21039 1.4522
ITERATION 9 ESTIMATES AND ERROR SUM OF SQUARES
0.50171 0.11384 9.9286 -0.87009 0.31328
-0.21063 1.4522
RESIDUAL CORRELOGRAM
LM-TEST FOR HJ:RHO (J)=0,STATISTIC IS CHI-SQUARE(1)
LAG RHO STD ERR T-STAT LM-STAT
1 -0.0112 0.1581 -0.0710 0.1425
2 0.0062 0.1581 0.0392 0.0313
3 -0.0122 0.1581 -0.0775 0.0154
4 0.0581 0.1581 0.3675 0.3043
5 0.0990 0.1581 0.6263 0.5254
6 0.1291 0.1581 0.8167 0.8280
7 -0.0629 0.1581 -0.3977 0.2222
8 -0.2698 0.1581 -1.7064 4.2576
9 -0.1443 0.1581 -0.9129 1.3788
10 0.0224 0.1581 0.1420 0.0353
11 0.1307 0.1581 0.8267 1.1623
12 -0.0036 0.1581 -0.0229 0.0008
CHISQUARE WITH 12 D.F. IS 5.814
ASYMPTOTIC
ESTIMATE VARIANCE ST.ERROR T-RATIO
RHO 1 0.87009 0.02553 0.15978 5.44562
RHO 2 -0.31328 0.04228 0.20563 -1.52353
RHO 3 0.21063 0.02679 0.16367 1.28688
Universidade
de Vigo
Universidade
de VigoEstimación para orden 3
|_auto y x1 x2 / dn ml order=3 noanova
R-SQUARE = 0.9829 R-SQUARE ADJUSTED = 0.9820
VARIANCE OF THE ESTIMATE-SIGMA**2 = 0.36305E-01
STANDARD ERROR OF THE ESTIMATE-SIGMA = 0.19054
SUM OF SQUARED ERRORS-SSE= 1.4522
MEAN OF DEPENDENT VARIABLE = 14.330
ASYMPTOTIC
VARIABLE ESTIMATED STANDARD T-RATIO PARTIAL STANDARDIZED ELASTICITY
NAME COEFFICIENT ERROR -------- P-VALUE CORR. COEFFICIENT AT MEANS
X1 0.50171 0.7437E-02 67.46 0.000 0.996 0.9709 0.2448
X2 0.11384 0.8724E-02 13.05 0.000 0.906 0.1726 0.0570
CONSTANT 9.9286 0.1380 71.92 0.000 0.996 0.0000 0.6928