Análisis de correlación en regresión múltiple

• Si el modelo de ajuste será perfecto.

• Si el modelo de ajuste no será perfecto. El vector de los residuos no será nulo y, en consecuencia, los valores observados y estimados serán diferentes entre sí.

YY0eee' ˆ00 SCR

Calidad del modelo de ajuste

0SCR

0SCR

Calidad del modelo de ajuste (II)

• Si es pequeña, la calidad del modelo de ajuste será buena pero ¿cómo sabremos si es grande o pequeña?

• Tendremos que comparar con otra “suma de cuadrados”. Para obtener esa otra suma llevaremos a cabo un análisis de la desviación de cada observación respecto a la media.

SCR

SCR

SCR

Análisis de la desviación de cada observación

• Dada una observación cualquiera podemos expresar la desviación de la variable dependiente respecto a la media del siguiente modo:

• Esta desviación la podemos descomponer en dos partes:

yyi

iiii yyyyyy ˆˆ

Análisis de la desviación de cada observación (II)

• es la desviación respecto a la media• es la desviación que es explicada por las

variables explicativas• es el residuo o la desviación que no

explican las variables explicativas

yyi yyi ˆ

ii yy ˆ

Cuadrados de las desviaciones

• Si calculamos los cuadrados de las desviaciones:

• Esta expresión se cumple para todos los individuos. Por tanto, si las sumamos para todos ellos:

iiiiiii yyyyyyyyyy ˆˆ2ˆˆ 222

n

iiii

n

iii

n

ii

n

ii yyyyyyyyyy

11

2

1

2

1

2 ˆˆ2ˆˆ

Sumas de cuadrados de las desviaciones

• Pero, como se puede comprobar fácilmente,

• Y en consecuencia:

n

iii

n

ii

n

ii yyyyyy

1

2

1

2

1

2 ˆˆ

0ˆˆ1

n

iiii yyyy

Sumas de cuadrados de las desviaciones (II)

• Suma total de cuadrados (STC): es una medida de la variabilidad de la variable dependiente cuando no tomamos en consideración la información que nos proporcionan las variables explicativas.

• Suma de cuadrados de los residuos (SCR): es una medida de la variabilidad de la variable dependiente cuando tomamos en consideración la información que nos proporcionan las variables explicativas.

• Suma de cuadrados explicada (SCE): es la parte de la variabilidad de la variable dependiente que es explicada por las variables independientes.

n

ii yy

1

2ˆ

n

ii yy

1

2

n

iii yy

1

2ˆ

Sumas de cuadrados de las desviaciones (III)

n

ii yy

1

2

n

iii yy

1

2ˆ

n

ii yy

1

2ˆ

Coeficiente de determinación

• Es la proporción de la variabilidad de la variable dependiente que queda explicada por las variables independientes:

n

ii

n

iii

yy

yy

STC

SCR

STC

SCER

1

2

1

2

2

ˆ

11

10 2 R

Coeficiente de determinación (II)

• Es una medida de la calidad del ajuste:– Si la calidad del ajuste no es buena y,

en principio, las variables explicativas no explican la variabilidad de la variable dependiente.

– Si la calidad del ajuste es buena y, en principio, las variables explicativas explican la variabilidad de la variable dependiente.

02 R

12 R

Coeficiente de determinación (III)

• Cuando añadimos una nueva variable explicativa al modelo de ajuste R2 siempre aumenta (¿por qué?):

• Para poder comparar modelos con un número diferente de variables explicativas utilizaremos otro coeficiente al que llamaremos coeficiente de determinación corregido (o ajustado).

112

12 ,,...,,..., jjj XXXRXXR

Coeficiente de determinación corregido

2

2

1

2

1

2

2 1

1

1

ˆ

1y

n

ii

n

iii

s

s

n

yy

kn

yy

R

• : varianza estimada de la variable dependiente cuando tomamos en cuenta la información de las variable explicativas.

• : varianza estimada de la variable dependiente cuando no tomamos en cuenta la información de las variables explicativas.

2s

2ys

Coeficiente de correlación parcial(k=2)

• : Porcentaje de variación explicado por X1

• : Porcentaje de variación no explicado por X1

• : Porcentaje de variación explicado por el conjunto {X1, X2}

• : Diferencia entre los porcentajes de variación explicados por X1 y por el conjunto {X1, X2}

2/

2/

2,/

2/

2,/2

/

1

121

1

21

12 11

11

XY

XYXXY

XY

XXYXYX R

RR

R

RR

2/

2,/ 121 XYXXY RR

2/ 1XYR

2/ 1

1 XYR

2,/ 21 XXYR

2/ 1XYR

2/ 1

1 XYR

2,/ 21 XXYR

2,/ 21

1 XXYR

2/

2/

2,/

2/

2,/2

/

1

121

1

21

12 11

11

XY

XYXXY

XY

XXYXYX R

RR

R

RR

Coeficiente de correlación parcial(II)(k=2)

2/ 1

1 XYR

2,/ 21

1 XXYR

2/

2/

2,/

2/

2,/2

/

1

121

1

21

12 11

11

XY

XYXXY

XY

XXYXYX R

RR

R

RR

Coeficiente de correlación parcial(III)(k=2)

2/

2,/ 121 XYXXY RR

Coeficiente de correlación parcial (caso general)

• : Porcentaje de variación explicado por el conjunto {X1,..., Xj-1}

• : Porcentaje de variación no explicado por {X1,..., Xj-1}

• : Porcentaje de variación explicado por {X1,..., Xj-1 , Xj}

• : Diferencia entre los porcentajes de variación explicados por {X1,..., Xj-1 , Xj} y por {X1,..., Xj-1}

2,...,/

2,...,/ 111

jj XXYXXY RR

2,...,/ 11 jXXYR

2,...,/ 11

1

jXXYR

2,...,/ 1 jXXYR

2,...,/

2,...,/

2,...,/

2,...,/

2,...,/2

,...,/

11

111

11

1

11 11

11

j

jj

j

j

jj

XXY

XXYXXY

XXY

XXY

XXYX R

RR

R

RR

2,...,/ 11 jXXYR

2,...,/ 11

1

jXXYR

2,...,/ 1 jXXYR

2,...,/ 1

1jXXYR

Coeficiente de correlación parcial (II)(caso general)

2,...,/

2,...,/

2,...,/

2,...,/

2,...,/2

,...,/

11

111

11

1

11 11

11

j

jj

j

j

jj

XXY

XXYXXY

XXY

XXY

XXYX R

RR

R

RR

2,...,/ 11

1

jXXYR

2,...,/

2,...,/ 111

jj XXYXXY RR

2,...,/ 1

1jXXYR

2,...,/

2,...,/

2,...,/

2,...,/

2,...,/2

,...,/

11

111

11

1

11 11

11

j

jj

j

j

jj

XXY

XXYXXY

XXY

XXY

XXYX R

RR

R

RR

Coeficiente de correlación parcial (III)(caso general)

Coeficiente de correlación parcial (IV) (caso general)

2,...,/

2,...,/

2,...,/

2,...,/

2,...,/2

,...,/

11

111

11

1

11 11

11

j

jj

j

j

jj

XXY

XXYXXY

XXY

XXY

XXYXYj R

RR

R

RRr

Ejercicio

En el ejemplo de los alquileres, calcular los coeficientes de correlación parcial de las variables explicativas.