3 REGRESIÓN LINEAL MÚLTIPLE II - UCM-Universidad Complutense de … · 2013-10-25 · que se...

Internet - http://www.ucm.es/info/ecocuan/jam/ectrgr

Facultad de CienciasEconómicas y Empresariales

ECONOMETRÍA

3

REGRESIÓN LINEAL MÚLTIPLE II

José Alberto Mauricio

Departamento de Economía Cuantitativa

II

COPYRIGHT 2012-2013 José Alberto Mauricio E-mail: [email protected] Internet: http://www.ucm.es/info/ecocuan/jam Este documento puede utilizarse exclusivamente como instrumento para la docencia de las asignaturas ECONOMETRÍA ECONOMETRÍA APLICADA

que se imparte en la Facultad de Ciencias Económicas y Empresariales de la Universidad Complutense de Madrid. No se permite almacenar, reproducir o distribuir por medio alguno, ni tampoco utilizar este documento en cualquier sentido, fuera de los términos mencionados anteriormente. La obtención de este documento (EctrGr-JAM-3.pdf) en la dirección de Internet http://www.ucm.es/info/ecocuan/jam/ectrgr

implica la aceptación de que su uso estará limitado a los términos anteriores. Versión 2.0 - 4 de febrero de 2013

III

3

REGRESIÓN LINEAL MÚLTIPLE II

BIBLIOGRAFÍA Wooldridge (2003), Capítulos 7, 8. Sección 9.4.

Heij, de Boer, Franses, Kloek, van Dijk (2004), Secciones 5.3, 5.4, 5.6.

IV

CONTENIDO

3.1 Variables Explicativas Binarias ............................................................................... 1 Términos Constantes Distintos ................................................................................... 1 Pendientes Distintas .................................................................................................... 4 Extensiones ................................................................................................................. 6

3.2 Diagnosis de Residuos ........................................................................................... 10 Análisis Gráfico ......................................................................................................... 11 Observaciones Influyentes ........................................................................................ 15

3.3 Heteroscedasticidad ............................................................................................... 24 Consecuencias .......................................................................................................... 26 Utilización Adecuada de MCO .................................................................................. 27 Detección ................................................................................................................... 28 Mínimos Cuadrados Ponderados .............................................................................. 35

3.4 Recomendaciones Prácticas .................................................................................. 41

ECONOMETRÍA PÁGINA 1

3.1 Variables Explicativas Binarias

Las variables explicativas binarias se utilizan para clasicar todas las observaciones de una muestra en dos o más categorías (grupos) exhaustivas y excluyentes en función de una característica determinada, como en los dos ejemplos siguientes:

Dividir una serie temporal en dos períodos para contrastar la estabilidad de los parámetros de un modelo entre dichos períodos (cambio estructural).

Dividir una sección cruzada en dos grupos (por ejemplo hombres y mujeres) para contrastar la homogeneidad de los parámetros de un modelo entre dichos grupos.

TÉRMINOS CONSTANTES DISTINTOS [MR.1] 1 2Y X Ub b= + + . [MNR.1.1] 1 1 2A A B BY D D X Vb b b= + + + , donde 1Ab , 1Bb son términos constantes posiblemente distintos entre sí (Figura 1), y AD , BD son dos variables binarias.

3 · REGRESIÓN LINEAL MÚLTIPLE II 3.1 VARIABLES EXPLICATIVAS BINARIAS


β1B

X : VARIABLE EXPLICATIVA

Y :

VARI

ABL

E D

EPEN

DIE

NTE

= β2Pendiente

β1A

= β + βA 1A 2E [Y|X] X

= β + βB 1B 2E [Y|X] X

αAB

0

FIGURA 1 MNR.1 - Términos Constantes Distintos - Pendientes Iguales



1A BD D+ = en cada observación (clasicación exhaustiva y excluyente).

1B AD D= - (alternativamente, 1A BD D= - ), por lo que [MNR.1.1] queda:

1 1 1 2( ) ,B A B AY D X Vb b b b= + - + + o bien: [MNR.1.2] 1 2 .B AB AY D X Vb a b= + + +

1 1E [ ] E [ ] .A B AB A BY X X Y X X a b b* *| = - | = = = -

El contraste de 0 1 1: ( 0)A B ABH b b a= = frente a 1 1 1: ( 0)A B ABH b b a=/ =/ es un simple contraste de signicación individual en [MNR.1.2]. También valdrían alternativas unilaterales, como 1 1 1: ( 0)A B ABH b b a> > , o bien como 1 1 1: ( 0)A B ABH b b a< < .

1 para observaciones del grupo .

0 para el resto.A

AD

ìïïº íïïî

1 para observaciones del grupo .

0 para el resto.B

BD

ìïïº íïïî



La categoría (grupo) cuya variable binaria no aparece explícitamente en el modelo no restringido se denomina la categoría base o de referencia.

PENDIENTES DISTINTAS [MR.1] 1 2Y X Ub b= + + . [MNR.2.1] 1 2 2( ) ( )A A B BY D X D X Vb b b= + + + , donde 2Ab , 2Bb son dos pendientes posiblemente distintas entre sí (Figura 2).

Como 1B AD D= - (alternativamente, 1A BD D= - ), [MNR.2.1] queda:

1 2 2 2( )( )B A B AY X D X Vb b b b= + + - + o bien: [MNR.2.2] 1 2 ( ) .B AB AY X D X Vb b d= + + +

2 2E [ ] E [ ] ( ) .A B AB A BY X X Y X X X Xd b b* * * *| = - | = = = -

El contraste de 0 2 2: ( 0)A B ABH b b d= = frente a 1 2 2: ( 0)A B ABH b b d=/ =/ es un simple contraste de signicación individual en [MNR.2.2].



β1


= β2BPendiente

= β + βA 1 2AE [Y|X] X

= β + βB 1 2BE [Y|X ] X

= β2APendiente

0

Y :

VARI

ABL

E D

EPEN

DIE

NTE

δABX

FIGURA 2 MNR.2 - Términos Constantes Iguales - Pendientes Distintas



EXTENSIONES

Términos constantes y pendientes distintos [MR.1] 1 2Y X Ub b= + + . [MNR.3.1] 1 1 2 2( ) ( )A A B B A A B BY D D D X D X Vb b b b= + + + + (Figura 3).

Como 1B AD D= - (alternativamente, 1A BD D= - ), [MNR.3.1] queda:

1 1 1 2 2 2( ) ( )( )B A B A B A B AY D X D X Vb b b b b b= + - + + - + o bien: [MNR.3.2] 1 2 ( ) .B AB A B AB AY D X D X Vb a b d= + + + +

E [ ] E [ ] .A B AB ABY X X Y X X Xa d* * *| = - | = = +

El modelo [MNR.3] es el modelo no restringido más general (el menos restringido), que puede compararse con cualquiera de los modelos [MR.1], [MNR.1], [MNR.2], para contrastar una gran variedad de hipótesis sobre la estabilidad (homogeneidad) de los parámetros entre las dos categorías consideradas.



β1A


= β2BPendiente

= β + βB 1B 2BE [Y|X ] X

= β + βA 1A 2AE [Y|X] X

= β2APendiente

0

β1B

Y :

VARI

ABL

E D

EPEN

DIE

NTE

α + δAB ABX

FIGURA 3 MNR.3 - Términos Constantes y Pendientes Distintos



Por ejemplo, el contraste de 0 : ( , ) (0, 0)AB ABH a d ¢ ¢= frente a 1 : ( , ) (0, 0)AB ABH a d ¢ ¢=/en [MNR.3.2] (contraste de signicación conjunta de ABa y ABd ), es idéntico al Test de Chow de ausencia de cambio estructural en un modelo RLS (que puede llevarse a cabo comparando la SCR de [MNR.1] con la de [MNR.3]). Más de dos grupos por característica

Los modelos [MNR.1.2], [MNR.2.2], [MNR.3.2], indican que para clasicar las observaciones de una muestra en G grupos o categorías, es suciente incluir en un modelo 1G - variables binarias. El grupo cuya variable binaria no se incluye es el grupo base o de referencia.

Más de una característica

Para clasicar las observaciones de una muestra atendiendo a más de una característica, se emplea un conjunto de variables binarias especíco para cada característica.

Cuando en un modelo se incluyen dos o más conjuntos de variables binarias, se puede considerar la existencia de posibles interacciones entre las características correspondientes.



Ejemplo I: Estacionalidad - ST10-Ventas2.wf1

1 2 2 3 3 4 4 1 2ln ln ln .VENTAS D D D ICAPC ICONF Ug g g g b b= + + + + + + En particular,

2100g @ diferencia esperada en % entre las ventas del o2 y el er1 trimestre.

Ejemplo II: Interacciones - SC04-Salarios4.wf1

1 2 3

21 2 3

ln

.

SLRPH MUJER ECIV

EDUC EXLP EXLP U

g g g

b b b

= + +

+ + + + En particular,

2100g @ diferencia esperada en % entre los salarios de una mujer y de un

hombre con el mismo estado civil (independientemente de cuál sea éste).

1 2 3 4

21 2 3

ln ( )

.

SLRPH MUJER ECIV MUJER ECIV

EDUC EXLP EXLP U

g g g g

b b b

= + + + ´

+ + + +

En particular,

2100g @ diferencia esperada en % entre los salarios de una mujer y de un hombre ambos solteros (especícamente). Si 4 0g =/ , la diferencia porcentual entre los salarios esperados de una mujer y de un hombre depende de su estado civil.


3.2 Diagnosis de Residuos

Complicated phenomena, in which several causes concurring, opposing, or quite independent of

each other, operate at once, so as to produce a compound effect, may be simplified by

subducting the effect of all the known causes, as well as the nature of the case permits, either by

deductive reasoning or by appeal to experience, and thus leaving, as it were, a residual

phenomenon to be explained. It is by this process, in fact, that science, in its present advanced

state, is chiefly promoted.

JOHN F.W. HERSCHEL

A Preliminary Discourse on the Study of Natural Philosophy 1830

Citado en Cook, R.D.; Weisberg, S. (1982), "Residuals and Influence in Regression", Chapman & Hall

Evaluar la abilidad de un modelo RLM estimado ( ˆ ˆ= +y X ub ) requiere comparar las propiedades muestrales de sus residuos con las pautas teóricas de las perturbaciones impuestas por las hipótesis del modelo especicado ( = +Y X Ub ). Cualquier discrepancia signicativa debe resolverse modicando el modelo en la dirección adecuada.

3 · REGRESIÓN LINEAL MÚLTIPLE II 3.2 DIAGNOSIS DE RESIDUOS


ANÁLISIS GRÁFICO

Las hipótesis E[ ] 0iU =X (exogeneidad estricta) y 2 2E[ ]iU s=X (homoscedasticidad) sugieren que el nivel medio y la dispersión de los residuos deben ser constantes (en particular, deben ser independientes de los datos sobre todas las variable explicativas).

Ambas hipótesis pueden contrastarse (informalmente) examinando grácos de dispersión (nubes de puntos) de los residuos sobre las variables explicativas y/o los valores ajustados.

Si el orden de las observaciones es relevante (series temporales), las dos hipótesis anteriores y la hipótesis 1 2E[ ] 0i iU U =X (ausencia de autocorrelación) también pueden contrastarse examinando un simple gráco ordenado (temporal) de los residuos.

Con frecuencia, el incumplimiento de HC3-HC4 se debe a errores de especicación en el conjunto de variables explicativas o en la forma funcional del modelo (Secciones 2.1, 2.5).

La hipótesis de Normalidad (HC5) puede contrastarse con el histograma de los residuos.

El examen de los grácos mencionados también ayuda a detectar observaciones atípicas que pueden inuir notablemente en los resultados de la estimación de un modelo.



-2

-1

0

1

2

-2 -1 0 1 2

VALORES AJUSTADOSR

ESID

UO

S

Variables Omitidas - Forma Funcional

Contrastes de SignificaciónRESET-2

-1

0

1

2

-2 -1 0 1 2

VALORES AJUSTADOS

RES

IDU

OS

Sin síntomas de mala especificación

FIGURA 4 Análisis Gráfico de Residuos I



-2

-1

0

1

2

-2 -1 0 1 2

VALORES AJUSTADOS

RES

IDU

OS

Heteroscedasticidad

Contrastes deHeteroscedasticidad -2

-1

0

1

2

0 4 8 12 16 20

Nº DE ORDEN (TIEMPO)R

ESID

UO

S

Autocorrelación

ACF - PACF - Contrastes deAutocorrelación

FIGURA 5 Análisis Gráfico de Residuos II



0.0

0.1

0.2

0.3

0.4

-4 -2 0 2 4 6 8 10 12 14

RESIDUOSN(1.7,1.9)

Estadístico de Jarque-Bera:Chi-Cuadrado(2) = 190.256 (0.0000)

0.0

0.1

0.2

0.3

0.4

0.5

0.6

-3 -2 -1 0 1 2 3

RESIDUOSN(0.0,1.0)

Estadístico de Jarque-Bera:Chi-Cuadrado(2) = 1.674 (0.4330)

Residuos Normales Residuos No Normales

FIGURA 6 Análisis Gráfico de Residuos III



OBSERVACIONES INFLUYENTES

Una observación (punto muestral) es inuyente si los resultados de la estimación de un modelo cambian notablemente al eliminar de la muestra dicha observación [Figuras 7-9]. En la práctica, la presencia de una observación inuyente en una muestra puede deberse a:

Un error en los datos que conforman dicha observación.

La existencia de un punto muestral (una entidad o un momento) que es muy diferente del resto en algún aspecto relevante.

Una observación inuyente del primer tipo debe corregirse (cuando es posible), o bien eliminarse del análisis (cuando no es posible corregirla). Una observación inuyente del segundo tipo no debe eliminarse de manera rutinaria:

Siempre debe ser examinada para intentar explicar su carácter especial.

Su presencia puede indicar algún error de especicación que debe ser corregido.

Sólo debe eliminarse en casos sucientemente justicados (cuando hace referencia a una entidad o a un momento que es especial por determinados motivos que carecen de interés en el análisis, o cuando distorsiona las conclusiones generales del mismo).



Caracterización de observaciones influyentes

Una observación es atípica (outlier) cuando su dato de la variable dependiente destaca sobre los datos de dicha variable en otras observaciones que son, por el contrario, similares en cuanto a los datos de las variables explicativas. En general, una observación atípica es al mismo tiempo una observación inuyente, que se maniesta a través de un valor grande (atípico o anómalo) en el residuo correspondiente (Figura 7).

Una observación es extrema o potencialmente inuyente (high-leverage point) cuando sus datos de las variables explicativas destacan sobre los datos de dichas variables en el resto de la muestra. Una observación extrema es inuyente cuando su dato de la variable dependiente no destaca del resto de la muestra (Figura 8). A diferencia del caso anterior, una observación extrema inuyente no suele tener asociado un residuo atípico.

Una observación extrema cuyo dato de la variable dependiente sí destaca del resto de la muestra, puede ser (Figura 9A) o no (Figura 9B) una observación inuyente; cuando sí lo es, tampoco (como en el caso anterior) suele tener asociado un residuo atípico.



0

2

4

6

8

10

12

14

0 2 4 6 8 10 12 14 16 18 20

2

ˆY1 = 5.812 + 0.096X1 + U(2.211) (0.232)

R = 0.021, N = 10.

RLS de Y1 sobre X1 con los datos de la Tabla 1Muestra completa

10u : residuo atípico

A

0

2

4

6

8

10

12

14

0 2 4 6 8 10 12 14 16 18 20

RLS de Y1 sobre X1 con los datos de la Tabla 1Sin la observación nº 10

2

ˆY1 = 4.094 + 0.357X1 + U(0.691) (0.075)

R = 0.762, N = 9.

B

FIGURA 7 Observaciones Atípicas



0

2

4

6

8

10

12

14

0 2 4 6 8 10 12 14 16 18 20

RLS de Y2 sobre X2 con los datos de la Tabla 1Muestra Completa

2

ˆY2 = 5.791 + 0.219X2 + U(1.011) (0.129)

R = 0.264, N = 10.

A

0

2

4

6

8

10

12

14

0 2 4 6 8 10 12 14 16 18 20

RLS de Y2 sobre X2 con los datos de la Tabla 1Sin la observación nº 10

2

ˆY2 = 2.347 + 0.734X2 + U(2.701) (0.397)

R = 0.328, N = 9.

B

FIGURA 8 Observaciones Extremas I



0

2

4

6

8

10

12

14

0 2 4 6 8 10 12 14 16 18 20


2

ˆY3 = 12.065 - 0.719X2 + U(1.587) (0.203)

R = 0.611, N = 10.

A

0

2

4

6

8

10

12

14

0 2 4 6 8 10 12 14 16 18 20


2

ˆY4 = 2.362 + 0.731X2 + U(0.899) (0.115)

R = 0.835, N = 10.

B

FIGURA 9 Observaciones Extremas II



TABLA 1 Datos utilizados en las Figuras 7 a 9 - Num03-ObsInf.wf1

Y1 Y2 Y3 Y4 X1 X2

1 8.3 6.6 6.6 6.6 10.8 6.0 2 6.0 5.7 5.7 5.7 6.6 6.6 3 6.7 7.3 7.3 7.3 9.0 7.6 4 7.7 8.5 8.5 8.5 9.6 6.5 5 8.1 8.8 8.8 8.8 11.3 7.8 6 8.5 7.0 7.0 7.0 13.5 7.0 7 5.9 8.0 8.0 8.0 5.8 7.5 8 5.4 7.5 7.5 7.5 4.0 6.5 9 8.3 6.4 6.4 6.4 8.0 5.4 10 2.0* 8.5 1.0* 12.6* 12.4 14.0*

Observación: Estimar un modelo [M] eliminando una observación [I] es (casi) equivalente a estimar con la muestra completa el modelo [M]¢ que resulta de añadir a [M] una variable binaria [B] denida para la observación [I]. El contraste de signicación de [B] en [M]¢ puede interpretarse como un contraste de inuencia de la observación [I].

Detección de observaciones influyentes

Observaciones atípicas - Grácos de residuos.



Observaciones extremas - Grado de inuencia potencial (leverage):

11( ) ( 1, ..., ) 0 1 ( 1, ..., ), .N

ii i i ii iiih i N h i N h K-=¢ ¢= = £ £ = =åx X X x [1]

Observación I: iih es el elemento en la -ésimai posición de la diagonal principal de la matriz 1( )-¢ ¢ºH X X X X [llamada a veces "matriz sombrero" (hat matrix) porque convierte a y en y : ˆ =y Hy ]. En un modelo RLS:

2

21

( )1 ( 1, ..., ).( )

iii N

ii

x xh i N

N x x=

-= + =

-å

En general, un valor destacado de iih (por ejemplo, 2Kii Nh > ) implica que los datos de las variables explicativas en la

-ésimai observación destacan al compararlos con la media de los datos de dichas variables en la muestra completa.

Observaciones inuyentes en general - Estadístico o Distancia de Cook:

2ˆ1 ( 1, ..., ).

1ˆ 1i ii

iiiii

u hD i NK hhs

é ù é ù= ´ ´ =ê ú ê ú--ê ú ë ûë û [2]

Observación II: En iD se combina información sobre el posible carácter atípico (a través del residuo iu ) y/o extremo (a través del grado de inuencia potencial iih ) de cada observación muestral. La distancia iD es una medida de la diferencia entre las estimaciones de los parámetros de un modelo obtenidas con la muestra completa y las obtenidas sin la -ésimai observación (o, equivalentemente, entre los valores ajustados asociados con ambas estimaciones). Por lo tanto, un valor destacado de iD [por ejemplo, mayor que el valor crítico del 5% de una ( , )F K N K- ] suele implicar que la -ésimai observación muestral es una observación inuyente.



-3

-2

-1

0

1

2

3

-3 -2 -1 0 1 2 3

VALORES AJUSTADOS

RES

IDU

OS

45

7

19

0.0

0.2

0.4

0.6

0.8

1.0

5 10 15 20

Nº OBSERVACIÓN

LEVE

RAG

E

10

10

20

30

40

50

60

70

5 10 15 20

Nº OBSERVACIÓN

CO

OK

1

FIGURA 10 Ejemplo - Detección de Observaciones Influyentes I

Observación I: Los tres grácos de la Figura 10 se han elaborado a partir de la estimación de la RLM (con término constante) de Y sobre X2, X3, X4, X5, con los datos del archivo SC10-NYRivers.wf1 [ver Chatterjee, S.; Hadi, A.S. (2006), Regression Analysis by Example (4th Ed.), Wiley (p. 10)]. El cálculo de los grados de inuencia potencial (LEVERAGE) y de los estadísticos de Cook (COOK) se ha llevado a cabo con el programa del archivo PRG03-OBIN.prg para EViews.

Observación II: Para otras medidas de inuencia, ver la Figura 11 y el artículo de Peña, D. y Yohai, V.J. (1995), The Detection of Influential Subsets in Linear Regression by Using an Influence Matrix, J. R. Statist. Soc. B, 57, 145-156.



0.8

1.2

1.6

2.0

0.0 0.5 1.0 1.5 2.0 2.5 3.0

4

573

8

6

X5

Y

.0

.1

.2

.3

.4

.5

.6

5 10 15 20

Nº OBSERVACIÓN

CO

OK

10.0

0.4

0.8

1.2

1.6

2.0

2.4

5 10 15 20

Nº OBSERVACIÓN

HAD

I

1

FIGURA 11 Ejemplo - Detección de Observaciones Influyentes II

Observación: Los tres grácos de la Figura 11 se han elaborado a partir de la estimación de la RLS de Y sobre X5 con los datos del archivo SC10-NYRivers.wf1. Los estadísticos de Cook (COOK) y las medidas de inuencia de Hadi (HADI) [Chatterjee y Hadi (2006), Sec. 4.8-4.10] se han calculado con el programa del archivo PRG03-OBIN.prg para EViews. La medida de inuencia de Hadi (que puede ayudar a detectar observaciones inuyentes enmascaradas) es

2

2ˆ

( 1, ..., ).1 1 ˆSCR

ii ii

ii ii i

uh KH i Nh h u

é ùé ù é ù ê ú= + ´ =ê ú ê ú ê ú- -ê ú -ë û ë û ë û


40

80

120

160

200

240

200 400 600 800 1000

VARIABLE EXPLICATIVA

VAR

IABL

E D

EPEN

DIE

NTE

-2

-1

0

1

2

-2 -1 0 1 2

VARIABLE EXPLICATIVA

RES

IDU

OS

3.3 Heteroscedasticidad

Denición: Varianza no constante en las perturbaciones de un modelo.

FIGURA 12 Gráficos indicativos de Heteroscedasticidad en un modelo RLS

3 · REGRESIÓN LINEAL MÚLTIPLE II 3.3 HETEROSCEDASTICIDAD


Modelo estadístico RLS para los datos de la Fig. 12 con heteroscedasticidad proporcional:

1 2 , con E[ ] 0,i i i iY X U Ub b= + + =X [3]

2Var[ ] ( 1, ..., ).i iU X i Ns= =X [4]

21 2E[ ] , Var[ ] ( 1, ..., )i i i iY X Y X i Nb b s = + = =X X . [5]

Una causa frecuente de la heteroscedasticidad es la existencia de alguna relación entre la dispersión de la variable dependiente y los valores de alguna(s) variable(s) explicativa(s).

La presencia de perturbaciones heteroscedásticas siempre debe considerarse cuando se pretende elaborar un modelo con datos de sección cruzada.

Modelo estadístico RLM con heteroscedasticidad general:

, con E[ ] 0,i i i iY U U¢= + =X Xb [6]

ω2Var[ ] ( ) ( 1, ..., ),i iU i Ns= =X X [7]

donde ω( ) 0i >X para todo 1, ...,i N= .



CONSECUENCIAS

El modelo RLM [6]-[7] puede escribirse como

, con E[ | ] ,= + =Y X U U X 0b [8]

2Var[ | ] ( E[ | ]) ,s¢= =U X UU X W [9]

donde si ω ω( )i iº X , entonces W es la matriz diagonal no escalar siguiente:

ω

ω

ω

1

2

0 0

0 0.

0 0 N

é ùê úê úê ú= =/ê úê úê úê úë û

IW [10]

Remplazando en el modelo RLM clásico HC4 por [9]-[10], puede comprobarse que

s s- - -

=

¢ ¢ ¢ ¢= =/

b b

b W2 1 1 2 1

ˆE[ ] ,

ˆVar[ ] ( ) ( ) ( ) .

W

W X X X X X X X X [11]



Observación: En relación con las propiedades asintóticas de ˆWb (Sección 2.4), remplazar [i] en HA4 por la hipótesis de que ω2 2Var[ | ] ( E[ | ]) ( )i i i iiU U s= =X X X ( 1, 2, ...,i N= ), implica que ˆWb sigue siendo un estimador CAN de b , pero ahora con

1 1 1ˆVarAs[ ] N- -=W Q SQb (donde E[ ]i i¢ºQ X X , 1 2 2lim Var[ ]} E[ ]i iiN U s¢ ¢º { = =/S X U X X Q).

Por lo tanto, ˆplim[ ] =Wb b , pero 2 1ˆVarAs[ ] Ns -=/W Qb .

Ningún resultado de la RLM basado en la expresión 2 1( )s -¢X X para bVar[ ]W es aplicable ahora (por ejemplo, el Teorema de Gauss-Markov). Además, cualquier cálculo basado en la estimación 2 1ˆ ( )s -¢X X de la matriz de covarianzas (exacta o asintótica) de ˆWb es incorrecto (por ejemplo, los errores estándar habituales de los estimadores MCO).

UTILIZACIÓN ADECUADA DE MCO

El Estimador de White es un estimador robusto (consistente) de ˆVarAs[ ]Wb frente a cualquier tipo de heteroscedasticidad (con independencia de la forma de ω( )iX en [7]):

1 11Wˆ ˆ ˆ ˆˆVarAs[ ] ,N

- -=W Q S Qb [12]

21 1 1W1 1

ˆ ˆ ˆ, .N Ni i i i ii iN N N K U= =-¢ ¢ ¢º å = º åQ X X X X S X X [13]



Ejemplo: Con los datos del archivo SC01-Viviendas.wf1, estimar la RLM de PRECIO sobre FINCAM2, SUPM2, NDORM, y comparar los errores estándar calculados de la manera habitual con los calculados utilizando el Estimador de White.

DETECCIÓN

Además de los grácos de residuos considerados en la Sección 3.2, los contrastes que se mencionan a continuación pueden resultar útiles para detectar heteroscedasticidad.

Contraste de Goldfeld-Quandt

La heteroscedasticidad implica que las perturbaciones asociadas con algunas observaciones muestrales tienen mayor varianza que las asociadas con otras observaciones. GQ.1 Dividir la muestra en dos partes de 1N y 2N observaciones, respectivamente, de manera que [i] 1N y 2N sean aproximadamente iguales, y [ii] las observaciones cuya varianza es potencialmente mayor (menor) queden incluidas en la primera (segunda) parte. GQ.2 Calcular las estimaciones 2

1s y 22s con la primera y con la segunda parte de la

muestra, respectivamente. Si las perturbaciones son homoscedásticas (heteroscedásticas), el estadístico de Goldfeld-Quandt 2 2

1 2ˆ ˆ/GQF s sº tendrá un valor pequeño (grande).



GQ.3 Si 1 2Pr[ ( , ) ]GQF N K N K Fa* = - - ³ es sucientemente pequeño (grande), rechazar (no rechazar) la hipótesis nula (homoscedasticidad) en favor de la hipótesis alternativa (heteroscedasticidad).

Ejemplo - ST06-Trigo.wf1 - Parte I

Para prever la producción anual de trigo en una zona determinada de Australia, se plantea la estimación de un modelo de regresión del tipo

1 2 3 ( 1, ..., 26)t t t tQ P T U tb b b= + + + = ,

donde tQ es la cantidad de trigo producida durante el año t, tP es el precio del trigo en el año t, tT es una tendencia lineal determinista (que se espera sirva para recoger mejoras tecnológicas en la producción de trigo), y tU es una perturbación aleatoria que incluye, entre otros factores, las condiciones climatológicas generales a lo largo del año t (para las cuales no es obvio qué variable observable se podría utilizar).

A partir del año t = 14 se empieza a sembrar una nueva variedad de trigo cuyo rendimiento es menos sensible a variaciones en las condiciones climatológicas; el



rendimiento medio es similar al de la variedad anterior, pero la variabilidad del rendimiento de la nueva variedad es menor porque depende menos de las condiciones climatológicas.

Por lo tanto, en el modelo planteado se supone que E[ ] 0 ( 1, ..., 26)tU t= = , pero, al mismo tiempo, 2

1Var[ ] ( 1, ..., 13)tU ts= = y 22Var[ ] ( 14, ..., 26)tU ts= = , con 2 2

1 2s s> .

En la Tabla 2 se muestra el modelo estimado por MCO con la muestra completa.

El contraste de Goldfeld-Quandt puede llevarse a cabo con las siguientes instrucciones para EViews:

SMPL 1 13 EQUATION M1.LS Q C P T SMPL 14 26 EQUATION M2.LS Q C P T SCALAR FGQ = M1.@SE^2 / M2.@SE^2 SCALAR PV = 1 - @CFDIST( FGQ, 10, 10 )

En este caso, 11.10902GQF = ( 0.00036a* = ), por lo que se rechaza claramente la hipótesis de homoscedasticidad.



-3

-2

-1

0

1

2

3

3 6 9 12 15 18 21 24

RES

IDU

OS

MC

O

1 26

TABLA 2 Modelo estimado por MCO con los datos del archivo ST06-Trigo.wf1

Dependent Variable: Q Method: Least Squares

Sample: 1 26 Included observations: 26

Variable Coefficient Std. Error t-Statistic Prob.

C 139.9009 23.21761 6.025639 0.0000P 19.54050 17.41501 1.122049 0.2734T 3.639084 1.417651 2.566982 0.0172

R-squared 0.808885 Mean dependent var 233.4231Adjusted R-squared 0.792267 S.D. dependent var 43.80837S.E. of regression 19.96687 Akaike info criterion 8.934193Sum squared resid 9169.549 Schwarz criterion 9.079358Log likelihood -113.1445 F-statistic 48.67332Durbin-Watson stat 1.454224 Prob(F-statistic) 0.000000

Otro Ejemplo I: Con los datos del archivo SC09-Alimentación.wf1, [i] estimar la RLS de GALIM sobre INGR (gasto medio en alimentación e ingresos medios semanales a lo largo de un año en una muestra de 40 familias), [ii] dibujar los residuos frente a la variable explicativa (ver Figura 12), [iii] llevar a cabo un contraste de Goldfeld-Quandt [los datos ya están ordenados de mayor a menor según la serie INGR; el resultado es 3.34958GQF = ( 0.00697)a* = ], y [iv] explicar por qué es razonable la presencia de heteroscedasticidad en un modelo para estos datos (ver la segunda parte de [5]).



Contraste de Breusch-Pagan

Cuando ω2Var[ ] ( ) ( 1, ..., )i iU i Ns= =X X (un caso muy frecuente en la práctica), una forma funcional sencilla para ω( )iX es

ω δ δ δ1 2 2( ) ...i i K iKX X= + + +X . BP.1 Estimar la RLM [6] por MCO y guardar los residuos 1 2ˆ ˆ ˆ, , ..., Nu u u . BP.2 Estimar por MCO la regresión auxiliar (con término constante) de 2iu sobre

2 , ...,i iKx x y guardar el 2BPR (el coeciente de determinación de esta regresión auxiliar). BP.3 Calcular 2

BPBP N R= ´ y 2Pr[ ( 1) ]K BPa c* = - ³ ; alternativamente, calcular el estadístico F para el contraste de signicación global en la regresión auxiliar anterior,

2

21 1,BP

BP

RN KBP K R

F -- -

=

y Pr[ ( 1, ) ]BPF K N K Fa* = - - ³ . En ambos casos, si a* es sucientemente pequeño (grande), rechazar (no rechazar) la hipótesis nula de homoscedasticidad.



Observación: El estadístico de Breusch-Pagan 2( )BPBP N R= ´ es un estadístico de los multiplicadores de Lagrange (LM) del tipo que se menciona al nal de la Sección 2.4. En este caso, el estadístico LM se utiliza para contrastar la signicación global en la regresión auxiliar del paso BP.2. El uso de estadísticos LM en relación con determinadas regresiones auxiliares es muy frecuente como instrumento de diagnosis de un modelo estimado.

Ejemplo - SC01-Viviendas.wf1

TABLA 3 Modelos estimados por MCO con los datos del archivo SC01-Viviendas.wf1

M1 - Dependent Variable: PRECIO Method: Least Squares



C -21.77031 29.47504 -0.738601 0.4622FINCAM2 0.022257 0.006912 3.220096 0.0018SUPM2 1.321573 0.142486 9.275093 0.0000NDORM 13.85252 9.010145 1.537436 0.1279


M2 - Dependent Variable: LOG( PRECIO ) Method: Least Squares



C 0.765971 0.440114 1.740395 0.0855 LOG( FINCAM2 ) 0.167967 0.038281 4.387714 0.0000 LOG( SUPM2 ) 0.700232 0.092865 7.540306 0.0000

NDORM 0.036958 0.027531 1.342415 0.1831

R-squared 0.642965 Mean dependent var 5.633180 Adjusted R-squared 0.630214 S.D. dependent var 0.303573 S.E. of regression 0.184603 Akaike info criterion -0.496833 Sum squared resid 2.862563 Schwarz criterion -0.384227 Log likelihood 25.86066 F-statistic 50.42374 Durbin-Watson stat 2.088996 Prob(F-statistic) 0.000000



Modelo M1 (sin logaritmos) - Estimación y contraste de Breusch-Pagan con EViews:

EQUATION M1.LS PRECIO C FINCAM2 SUPM2 NDORM M1.MAKERESID RES1 EQUATION AUXBP1.LS RES1^2 C FINCAM2 SUPM2 NDORM SCALAR BP1 = AUXBP1.@REGOBS * AUXBP1.@R2 SCALAR PV1 = 1 - @CCHISQ( BP1, AUXBP1.@NCOEF – 1 )

En este caso, BP = 14.0924 (a* = 0.0028), BPF = 5.3389 (a* = 0.0020), por lo que en M1 se rechaza la hipótesis nula de homoscedasticidad.

Modelo M2 (con logaritmos) - Estimación y contraste de Breusch-Pagan con EViews:

EQUATION M2.LS LOG( PRECIO ) C LOG( FINCAM2 ) LOG( SUPM2 ) NDORM M2.MAKERESID RES2 EQUATION AUXBP2.LS RES2^2 C LOG( FINCAM2 ) LOG( SUPM2 ) NDORM SCALAR BP2 = AUXBP2.@REGOBS * AUXBP2.@R2 SCALAR PV2 = 1 - @CCHISQ( BP2, AUXBP2.@NCOEF – 1 )

En este caso, BP = 4.2232 (a* = 0.2383), BPF = 1.4115 (a* = 0.2451), por lo que en M2 no se rechaza la hipótesis nula de homoscedasticidad El logaritmo neperiano en la variable dependiente de un modelo suele reducir notablemente la heteroscedasticidad.



Contraste de White

Wooldridge (2003), Sección 8.3. Aplicar a los dos modelos estimados en el ejemplo anterior.

MÍNIMOS CUADRADOS PONDERADOS

Modelo original con heteroscedasticidad:

1 2 2 ... , con E[ ] 0,i i K iK i iY X X U Ub b b= + + + + =X [14]

ω2Var[ ] ( 1, ..., ).i iU i Ns= =X [15]

Modelo transformado sin heteroscedasticidad:

ω ω ω ω ω ω

21 2

1 ... , con E 0,i i iK i iK

i i i i i i

Y X X U Ub b b é ù= + + + + =ê úê úë û

X [16]

[ ]ω ω

21Var Var ( 1, ..., ).ii

i i

U U i Nsé ù = ´ = =ê úë û

X X [17]

En el modelo transformado los parámetros son los mismos y se interpretan exactamente de la misma manera que en el modelo original.



El estimador MCO de 1 2[ , , ..., ]Kb b b ¢ºb en el modelo transformado [16]-[17] se denomina el estimador de Mínimos Cuadrados Ponderados (MCP) de b .

Observación I: El estimador MCP debe su nombre a que es el estimador asociado con la estimación de b que resulta de minimizar con respecto a 1 2[ , , ..., ]Kb b b ¢ºb la función

[ ] [ ]2 21 2 21 1SCRP( ) ( ... ) ( ) ,N N

i i i K iK i i ii ip y b b x b x p y= = ¢º - - - - º -å åb x b

donde ω1/ ( 1, ..., )i ip i Nº = . En SCRP(b), cada residuo ordinario ( )i iy ¢- x b recibe una ponderación que es inversamente proporcional a la variabilidad (dispersión) de la distribución de probabilidad condicional de iY . De esta manera se aprovecha la heteroscedasticidad para obtener un estimador de b más preciso (informativo) que el estimador MCO (que pondera a todas las observaciones por igual).

Observación II: El modelo transformado [16]-[17] puede escribirse como

( ) ( ) ( ), con E[ | ] ,= + =PY PX PU PU X 0b

2Var[ | ] ( E[ | ]) ,s¢ ¢= =PU X PUU P X I

ω ω11 1 1

1 , ...,Diag[ , ..., ] DiagNNp p -é ù ¢º º =ê úë ûP PP W (ver [8]-[10]).

Si el modelo original satisface todas las hipótesis clásicas, excepto por la presencia de heteroscedasticidad, entonces el modelo transformado satisface HC1-HC5. Por lo tanto, la manera óptima de hacer inferencia sobre b consiste en aplicar toda la teoría MCO al modelo transformado. En particular, el estimador MCP de b es

1 1 1 1

2 1 1

( ) ( ) , con

E[ ] , Var[ ] ( ) .s

- - - -

- -

¢ ¢ ¢ ¢ ¢ ¢= =

¢= =

W

W W

X P PX X P PY X X X Y

X X

b W W

b b b W



El problema práctico de todo lo anterior reside en que, salvo en casos excepcionales, no es posible conocer exactamente la forma de ω ω( )i iº X en todo i = 1, …, N, por lo que aplicar MCP en la práctica requiere utilizar estimaciones de ω ω1 , ..., N .

Un estimador MCP de b denido a través de algún estimador de ω ωω 1[ , ..., ]N ¢º en vez de a través del verdadero valor de ω (generalmente desconocido), se denomina un estimador de MCP Factibles (MCPF).

Un estimador MCPF no es, en general, insesgado (ni, por lo tanto, eciente) porque utiliza un estimador de ω en lugar de su verdadero valor. No obstante, si el estimador utilizado de ω es un estimador adecuado (consistente), entonces el estimador MCPF es consistente y asintóticamente relativamente más eciente que el estimador MCO.

Ejemplo - ST06-Trigo.wf1 - Parte II

El modelo de la Tabla 2 se puede estimar por MCPF estimando una varianza para cada uno de los dos grupos de observaciones: 2

1 ( 1, ..., 13)ˆ ts = y 22 ( 14, ..., 26)ˆ ts = . Estas

estimaciones pueden ser las mismas que las utilizadas en el contraste de Goldfeld-Quandt.



En tal caso, ω 21ˆ ( 1, ..., 13)ˆt ts= = , ω 2

2ˆ ( 14, ..., 26)ˆt ts= = . Con EViews:

SMPL 1 13 GENR OMEGA = M1.@SE^2 SMPL 14 26 GENR OMEGA = M2.@SE^2 SMPL 1 26

Para estimar por MCP(F) con EViews: [i] seleccionar Options en la ventana Equation Specification del modelo que se quiera estimar, [ii] marcar la casilla a la izquierda de Weighted LS/TSLS, y [iii] escribir el nombre de la serie de ponderaciones en la celda a la derecha de Weight: [OMEGA^(–0.5) en este ejemplo]. Ver Tabla 4 y comparar con Tabla 2.

Otro Ejemplo II (ver Otro Ejemplo I bajo la Tabla 2): Con los datos del archivo SC09-Alimentación.wf1, estimar por MCPF la RLS de GALIM sobre INGR con la serie de ponderaciones INGR^(–0.5) (de manera que en este ejemplo se estima la serie

ω ωω 1[ , ..., ]N ¢º simplemente como ω ( 1, ..., )i ix i N= = ; ver [4]). Comparar con la estimación por MCO.

Estimación General por MCPF

Wooldridge (2003), Sección 8.4. Observar con atención que diferencias notables entre las estimaciones MCO y MCPF suelen indicar la presencia de algún error de especicación.



TABLA 4 Modelo estimado por MCPF con los datos del archivo ST06-Trigo.wf1

Dependent Variable: Q Method: Least Squares


Weighting series: OMEGA^(-0.5)


C 138.0541 12.82098 10.76783 0.0000P 21.71975 8.923946 2.433873 0.0231T 3.283438 0.822638 3.991354 0.0006

Weighted Statistics


Unweighted Statistics

R-squared 0.806086 Mean dependent var 233.4231Adjusted R-squared 0.789224 S.D. dependent var 43.80837S.E. of regression 20.11257 Sum squared resid 9303.857Durbin-Watson stat 1.425144

En la sección Weighted Least Squares del sistema de ayuda de EViews se explica con detalle cómo se calculan y a qué se refieren todas las cantidades que figuran en esta tabla.



-3

-2

-1

0

1

2

3

3 6 9 12 15 18 21 241 26

RES

IDU

OS

MC

PF

-3

-2

-1

0

1

2

3

3 6 9 12 15 18 21 241 26R

ESID

UO

SES

TAN

DAR

IZAD

OS

Observación: Si MCPF hace uso de un estimador inadecuado de ω ωω 1[ , ..., ]N ¢º , entonces MCPF es CAN pero su varianza asintótica no es necesariamente menor que la de MCO. En la práctica, para decidir si ω ωω 1ˆ ˆ ˆ[ , ..., ]N ¢º es una estimación adecuada, examinar los residuos "estandarizados" ω ˆ( )/ ( 1, ..., )i i iiu y i N* ¢º - =x b : si ω es una estimación adecuada de ω , entonces los residuos estandarizados no deben mostrar signos de heteroscedasticidad.

TABLA 5 Residuos del Modelo estimado por MCPF de la Tabla 4


3.4 Recomendaciones Prácticas

A la hora de elaborar un modelo RLM, prestar especial atención al contenido del conjunto de variables explicativas y a la forma funcional de la relación entre la variable dependiente y las variables explicativas.

Fundamentar ambos aspectos en (quizás) algún modelo teórico y (sobre todo) en el sentido común y en un análisis detallado de las características muestrales de los datos disponibles.

En general, comenzar con un modelo sencillo pero sensato para, en su caso, enriquecerlo paso a paso (bottom-up/specific-to-general approach). Aunque puede presentar ciertos inconvenientes, este enfoque suele ser preferible al opuesto (top-down/general-to-specific approach), que parte de una premisa esencialmente irrealizable (un modelo "correcto").

Recordar que la omisión de variables explicativas relevantes puede llevar a la estimación de relaciones espurias (MCO sesgado e inconsistente), mientras que la inclusión de variables irrelevantes "sólo" puede implicar pérdida de precisión (MCO ineciente).

3 · REGRESIÓN LINEAL MÚLTIPLE II 3.4 RECOMENDACIONES PRÁCTICAS


Analizar la posible presencia de multicolinealidad y de observaciones inuyentes en los datos, cuyas consecuencias pueden distorsionar notablemente las conclusiones derivadas de cualquier modelo estimado.

En todo caso, recordar que la señal más evidente de una mala especicación o de alguna deciencia en los datos suele ser la obtención de estimaciones con valores y/o signos chocantes. [Más detalles en Kennedy, P. (2002), "Oh, No! I Got the Wrong Sign! What Should I Do?", Simon Fraser University, Dept. of Economics Discussion Papers, 02-3.]

Como ayuda para especicar un modelo, pueden ser de utilidad algunos procedimientos formales (contrastes de signicación, coecientes de determinación, criterios de información y de evaluación de previsiones, RESET), pero nunca como criterios únicos y fundamentales.

Recordar la diferencia entre signicación estadística y signicación teórica y/o práctica.

Evaluar la posible presencia de heteroscedasticidad (o, en su caso, de autocorrelación) sólo a partir de un modelo "razonablemente bien especicado", estimado con unos datos que no presenten deciencias notables.

3 · REGRESIÓN LINEAL MÚLTIPLE II 3.4 RECOMENDACIONES PRÁCTICAS


Observación I: En un contraste de heteroscedasticidad, interpretar el rechazo de 0H (homoscedasticidad) como evidencia de heteroscedasticidad es correcto siempre que las restantes hipótesis del modelo considerado (especialmente las hipótesis de regresores exógenos y ausencia de autocorrelación) sean válidas. En particular, si HA3 no es válida (de manera que E[ | ]i i iY ¢=/X X b debido a algún error de especicación), entonces puede rechazarse 0H aún cuando Var[ | ]i iU X sea constante (en este caso, además, tanto MCO como MCPF son inconsistentes). Por ejemplo, si se omite algún término cuadrático en el lado derecho del modelo, o si se omite el logaritmo en el lado izquierdo cuando debería haberse utilizado, entonces un contraste de heteroscedasticidad puede resultar signicativo. Por lo tanto, es recomendable contrastar primero la especicación del modelo (dado que la inconsistencia se considera más grave que la ineciencia), y después, una vez resuelto cualquier error de especicación (que provoca inconsistencia), considerar la posible heteroscedasticidad (que sólo provoca ineciencia).

Observación II: En presencia sólo de heteroscedasticidad, MCO y MCPF son ambos CAN. Por su parte, la eciencia asintótica relativa de MCPF se basa en que: [i] el tamaño muestral sea sucientemente grande, y [ii] la estimación de la heteroscedasticidad sea "adecuada". Si [ii] falla, MCPF aún es CAN, pero su varianza asintótica ya no es necesariamente menor que la de MCO. Además, con muestras cortas, incluso si [ii] es aceptable, la aproximación asintótica puede funcionar peor para MCPF que para MCO, dado que MCPF requiere estimar más parámetros que MCO. En todo caso, MCPF puede ser una alternativa "razonable" a MCO (con muestras "razonablemente" grandes) cuando la heteroscedasticidad puede estimarse "razonablemente" bien.

Cuestiones para estudio personal utilizando el manual de la asignatura Contrastes de Heteroscedasticidad de White - Estimación General por MCPF

3 REGRESIÓN LINEAL MÚLTIPLE II - UCM-Universidad Complutense de … · 2013-10-25 · que se...

Documents

Transcript of 3 REGRESIÓN LINEAL MÚLTIPLE II - UCM-Universidad Complutense de … · 2013-10-25 · que se...