Cap 4 - Análisis de Regresión Múltiple

7/22/2019 Cap 4 - Anlisis de Regresin Mltiple

1/15

C a p t u l o 4A n l i s i s d e R e g r e s i n M l t i p l e

Estadstica Informtica: casos y ejemplos con el SPSS 3

El Anlisis de Regresin Lineal Mltiple nos permite estable-cer la relacin que se produce entre una variable dependiente Y

y un conjunto de variables independientes (X1, X2, ... XK). Elanlisis de regresin lineal mltiple, a diferencia del simple, seaproxima ms a situaciones de anlisis real puesto que los fen-menos, hechos y procesos sociales, por definicin, son comple-

jos y, en consecuencia, deben ser explicados en la medida de loposible por la serie de variables que, directa e indirectamente,participan en su concrecin.

Al aplicar el anlisis de regresin mltiple lo ms frecuentees que tanto la variable dependiente como las independientessean variables continuas medidas en escala de intervalo o razn.

No obstante, caben otras posibilidades: (1) tambin podremosaplicar este anlisis cuando relacionemos una variable depen-diente continua con un conjunto de variables categricas; (2) obien, tambin aplicaremos el anlisis de regresin lineal mltipleen el caso de que relacionemos una variable dependiente nomi-nal con un conjunto de variables continuas.

La anotacin matemtica del modelo o ecuacin de regre-sin lineal mltiple es la que sigue:

Y = a + b1x1+ b2x2+ ... + bnxn+ epresente = a + b1pasado+ b2futuro+ e

en donde:Y es la variable a predecir;a, b1x1, b2x2... bnxn,son parmetros desconocidos a estimar;y e es el error que cometemos en la prediccin de los par-metros.

Al ocuparnos del anlisis lineal bivariado, anlisis de regresin

simple, vimos como el modelo final resultante poda ser calificado

1. Introduccin

Captulo 4Anlisis de Regresin Mltiple


2/15



de un buen modelo. Sin embargo, en muchas ocasiones los

modelos bivariados o simples pueden verse mejorados al introdu-cir una segunda (tercera, cuarta,...) variable independiente o expli-cativa. Consideramos que un modelo de regresin lineal simple seha mejorado cuando al introducir en el mismo ms variablesindependientes la proporcin de variabilidad explicada se incre-menta. Pero qu variables son las que mejor explican el hecho,proceso o fenmeno social objeto de estudio?; o, qu variablesno son necesario incluir en el modelo dada su nula o escasa capa-cidad explicativa? Esta es, sin lugar a dudas, la decisin msimportante ligada al anlisis de regresin mltiple y la inclusin deeste proceso es lo que diferencia, sustancialmente, al anlisis deregresin mltiple del de regresin simple.

La exposicin de este captulo se estructura en torno a lossiguientes puntos, a saber:

1. Determinacin de la bondad de ajuste de los datos almodelo de regresin lineal mltiple.

2. Eleccin del modelo que con el menor nmero de varia-bles explica ms la variable dependiente o criterio. Paraello exponemos el proceso de paso a paso o stepwise.

3. Estimacin de los parmetros de la ecuacin y del mode-lo o ecuacin predictiva.4. Exposicin de los pasos y Cuadro de Dilogo del Anlisis

de Regresin Lineal (Mltiple) que podemos seguir parala obtencin de los estadsticos y las pruebas necesariascitadas en cada uno de los puntos precedentes.

En el anlisis de regresin mltiple, los estadsticos, pruebas

y anlisis que se aplican para determinar la relacin y grado deasociacin entre una variable dependiente y sus supuestas varia-bles explicativas, as como la estimacin de los parmetros de laecuacin, no difieren de los determinados en el anlisis de regre-sin simple. De hecho, una parte del anlisis de regresin biva-riado se realiza aplicando el cuadro de dilogo especfico delanlisis de regresin mltiple. La diferencia estriba, pues, en quemientras en el anlisis de regresin simple al contar exclusiva-mente con la relacin de un par de variables el proceso se resol-va en un solo paso; en el anlisis de regresin mltiple es

necesario calcular estadsticos, pruebas y anlisis a medida que

2. Eleccin del modelo: el mtodo stepwise o paso a paso


3/15



vamos introduciendo y/o sacando variables independientes en el

modelo.

En el anlisis de regresin lineal mltiple la construccin desu correspondiente ecuacin se realiza seleccionando las varia-bles una a una, paso a paso. La finalidad perseguida es buscarde entre todas las posibles variables explicativas aquellas que msy mejor expliquen a la variable dependiente sin que ninguna deellas sea combinacin lineal de las restantes. Este procedimientoimplica que: (1) en cada paso solo se introduce aquella variableque cumple unos criterios de entrada; (2) una vez introducida, encada paso se valora si alguna de las variables cumplen criteriosde salida; y (3), en cada paso se valora la bondad de ajuste delos datos al modelo de regresin lineal y se calculan los parme-tros del modelo verificado en dicho paso. El proceso se inicia sinninguna variable independiente en la ecuacin de regresin y elproceso concluye cuando no queda ninguna variable fuera de laecuacin que satisfaga el criterio de seleccin (garantiza que lasvariables seleccionadas son significativas) y/o el criterio de elimi-nacin (garantizar que una variable seleccionada no es redundan-te).

1.- Verificacin de los criterios de probabilidad de entrada. El p-valor asociado al estadstico T, o probabilidad de entrada,nos indica si la informacin proporcionada por cada una de lasvariables es redundante. Si ste es menor que un determinadovalor crtico, la variable ser seleccionada. El SPSS por defectoestablece en 0.05 el valor crtico de la probabilidad de entrada.

El criterio de tolerancia puede ser aplicado como un criterioadicional a la probabilidad de entrada. ste nos ayuda a identifi-car si alguna de las variables del modelo es una combinacinlineal de las restantes. Si dicho valor es prximo a 0, la variable

analizada ser una combinacin lineal de las restantes variablesindependientes introducidas. Si el valor de la tolerancia se aproxi-ma a 1 puede reducir la parte de la variabilidad de Y no expli-cada por las restantes. En sntesis, si la tolerancia para unavariable es muy pequea se excluir del modelo.

2.- Verificacin del criterio de probabilidad de salida. En este caso, si el p-valor asociado al estadstico T, o proba-bilidad de salida, es mayor que un determinado valor crtico, lavariable ser eliminada. El SPSS por defecto establece en 0.1 el

valor crtico de la probabilidad de salida (ntese que con la fina-


4/15



lidad de que una variable no pueda entrar y salir de la ecuacin

en dos pasos consecutivos, el valor crtico de la probabilidad desalida debe ser mayor que el de la probabilidad de entrada). Enel caso prctico que recogemos en los resultados puede apreciar-se que las dos variables independientes han superado los crite-rios de entrada y de salida.

3.- Lmite al nmero de pasos. Por ltimo, y para evitar que el proceso de seleccin se con-vierta en un proceso cclico se debe establecer un nmero lmitede pasos. Normalmente este lmite es el que equivale al doble delnmero de variables independientes.

En cada paso, en el que se introduce o elimina una variable,se obtienen los estadsticos de bondad de ajuste (R, R2, R2corregido, error tpico de la estimacin), el anlisis de varianza yla estimacin de parmetros considerando las variables introduci-

das. El SPSS ofrece dos tablas con esta informacin: en la pri-mera resume los estadsticos de bondad de ajuste y en la segun-da nos presenta el anlisis de varianza. En ellas se comparan losresultados obtenidos para cada una de las ecuaciones o modeloobtenidos con la secuencia de pasos utilizados. En nuestro ejem-plo, y dado que dos han sido las variables incluidas en la ecua-cin, dos han sido los pasos, dos son los modelos definidos: elprimero slo incluye una variable explicativa, mientras que elsegundo utiliza las dos variables independientes.

A continuacin exponemos los principales elementos a con-

siderar en el anlisis de regresin mltiple. Recordemos questos ya se expusieron en el captulo de regresin simple. Aquenfatizamos aquellos aspectos que debemos considerar cuandostos son aplicados en el anlisis de regresin mltiple.

1.- Coeficiente de Correlacin Mltiple (Mltiple R). Mide la intensidad de la relacin entre un conjunto de varia-bles independientes y una variable dependiente. La primeravariable que se introducir en el modelo, primer paso, ser aque-lla que ofrezca una correlacin parcial ms alta. Para ello es

necesario calcular la matriz de correlaciones parciales. En ella

3. Bondad de ajuste de los datos al modelo de regresin lineal

mltiple


5/15



debemos observar: (1) la interrelacin entre las variables inde-

pendientes; y (2), la relacin entre cada una de las variablesindependientes respecto a la dependiente. En el primer caso, loscoeficientes deben ser bajos pues, de lo contrario, cabe la posi-bilidad que entre ellas se produzca multicolinealidad (diferentesvariables explican lo mismo de la variable dependiente). Por suparte, en el segundo caso, las relaciones deben ser altas. Ennuestro ejemplo, y por lo que respecta a las variables indepen-dientes, su correlacin no solo es ms alta que baja (0,523) sinoque adems existe relacin entre ellas (su significacin seencuentra por debajo de 0.05). Por su parte, ambas variablesindependientes explican a la variable dependiente pero es la pri-mera la que lo hace de forma ms intensa. En sntesis, y a tenorde los resultados obtenidos, tanto la p7b como la p7c explican lomismo de la variable dependiente. Esta es una cuestin que hayque tener en cuenta a la hora de decidir qu variables son las queentran en el modelo.

Los coeficientes de correlacin parcial oscilan entre 1 (fuerteasociacin lineal positiva: a medida que aumenten los valores deuna variable aumentarn los de la otra) y 1 (fuerte asociacinlineal negativa: a medida que aumenten los valores de una varia-

ble disminuyen los de la otra). Cuando los valores de este estads-tico se aproximen a 0 nos estar indicando que entre las dosvariables no existe asociacin lineal y, en consecuencia, carece desentido determinar el modelo y/o ecuacin de regresin lineal.

Para determinar si la asociacin es estadsticamente significa-tiva podemos contrastar la H0de que el coeficiente de correlacinlineal es igual a 0; o lo que es lo mismo, que las dos variablesestn incorrelacionadas. Si el p-valorasociado al estadstico decontraste (r) es menor que el nivel de significacin elegido (nor-malmente 0.05) rechazaremos H0. En la matriz de correlaciones

se recogen estos dos valores: en primer lugar aparece el gradode relacin (coeficiente de correlacin parcial) que se produceentre las dos variables que cruzamos; y en segundo lugar, lasignificacin estadstica de esa relacin.

La correlacin ms alta entre el cruce de una variable inde-pendiente con la dependiente ser el valor de Multiple R queaparezca en el primer paso. En nuestro ejemplo la correlacinparcial ms alta es la de la variable independiente p7B. Por lotanto, la primera R que aparece en el primer modelo es 0.871.

Adems esta correlacin es significativa (sig. 0.000).


6/15



2.- Coeficiente de Correlacin Mltiple al Cuadrado o

Coeficiente de Determinacin (R Square R2). Mide la proporcin (porcentaje si lo multiplicamos por 100)de la variabilidad de la variable dependiente explicada por lasvariables independiente que en ese momento han sido admitidasen el modelo. A partir del resumen de los modelos generadospaso a paso podemos calcular el incremento de R2, siendo steuna estimacin de la importancia relativa que tiene la variableque acabamos de introducir en el paso correspondiente parapredecir la variable dependiente. En nuestro caso el segundomodelo (aquel que considera las dos variables explicativas) mejo-ra al primero (solo considera una variable explicativa). La variabi-lidad explicada por el primero es del 75% mientras que la delsegundo es del 78%. Al introducir una segunda variable se hamejorado el modelo pues se ha incrementado en un 3% la varia-bilidad total explicada. Ahora bien, consideramos significativoeste incremento hasta el punto de decidir que incluimos estavariable en el modelo?; o por el contrario, es tan insignificanteque no cabe introducirlo?; al introducirlo explicamos ms conel menor nmero de variables? La contestacin a estos interro-gantes varia si nos encontramos ante un modelo con ms varia-bles independientes de las consideradas en nuestro ejemplo. En

nuestro caso la p7c no es incluida en el modelo definitivo y, porlo tanto, no formar parte de la ecuacin predictiva.

3.- Coeficiente de Determinacin Ajustado (Adjusted RSquare). El coeficiente de determinacin mide lo mismo que R2peroen este caso no queda influenciado por el nmero de variablesque introducimos.

4.- Error Tpico de Prediccin (ETB). Por ltimo, el error tpico de la prediccin nos indica la parte

de la variable dependiente que dejamos por explicar. A medidaque se incrementa el coeficiente de determinacin el error des-ciende. En nuestro ejemplo, en el primer modelo el ETB es de1.05 mientras que en el segundo es de 0.99.

5.- Anlisis de Varianza. La tabla de anlisis de varianza que incluye en su salida deresultados el SPSS nos permite valorar hasta qu punto es ade-cuado el modelo de regresin lineal para estimar los valores dela variable dependiente. La tabla de anlisis de varianza se basa

en que la variabilidad total de la muestra puede descomponerse


7/15



entre la variabilidad explicada por la regresin y la variabilidad

residual. La tabla de ANOVA proporciona el estadstico F a partirdel cual podemos contrastar la H0 de que R2es igual a 0, lapendiente de la recta de regresin es igual a 0, o lo que es lomismo, la hiptesis de que las dos variables estn incorrelaciona-das. Si elp-valor asociado al estadstico F es menor que el nivelde significacin (normalmente 0.05), rechazaremos la hiptesisnula planteada. Del mismo modo podremos considerar que losresultados obtenidos con la muestra son generalizables a lapoblacin a la que pertenece la muestra.

En el caso de anlisis de regresin mltiple la tabla del an-lisis de varianza nos indica losp-valoresasociados al estadsticoF en cada uno de los modelos generados.

6.- Anlisis de Residuales. Como ya hemos comentado los residuos, e, son la estima-cin de los verdaderos errores. En regresin lineal la distribucinde la variable formada por los residuos debe ser Normal, esto es,los residuos observados y los esperados bajo hiptesis de distri-bucin normal deben ser parecidos. Adems, los residuos debenser independientes. En consecuencia, el anlisis de los residuales

nos va a permitir no solo profundizar en la relacin que se pro-duce entre las variables, sino tambin, ponderar la bondad deajuste de la regresin obtenida.

Para contrastar la supuesta normalidad de los residualespodemos recurrir, fundamentalmente, a la representacin de dosgrficos: (1) el grfico de residuales tipificados (grfico 1 delanexo de resultados) nos da idea de cmo se distribuyen losresiduos en relacin a la distribucin normal (que sera la quecabra esperar de los mismos). Si ambas distribuciones son igua-les (la distribucin de los residuos es normal) los puntos se sitan

sobre la diagonal del grfico. Por lo contrario, en la medida queaparecen dispersos y formando lneas horizontales respecto a ladiagonal, habr ms residuos y el ajuste ser peor; (2) el grficode probabilidad normal (grfico 2 del anexo de resultados) com-para grficamente, al superponer la curva de distribucin normal,la funcin de distribuciones acumulada observadas en la muestracon la funcin de distribucin acumulada esperada bajo supues-tos de normalidad.

Por su parte el estadstico de Durbin-Watson mide el grado

de autocorrelacin entre el residuo correspondiente a cada obser-


8/15



vacin y el anterior (si los residuos son independientes, el valor

observado en una variable para un individuo no debe estarinfluenciado en ningn sentido por los valores de esta variableobservados en otro individuo). Si el valor del estadstico es prxi-mo a 2 los residuos estn incorrelacionados; si se aproxima a 4,estarn negativamente incorrelacionados; y si se aproximan a 0estarn positivamente incorrelacionados.

Una vez que ya hemos analizado el carcter e intensidad dela relacin entre las variables, podemos proceder a estimar losparmetros de la ecuacin de prediccin o de regresin lineal.En el caso del anlisis de regresin mltiple tendremos tantasecuaciones como modelos o pasos hayamos efectuado. Detodos ellos elegiremos aquel que mejor se ajuste. ste es el ulti-mo de los modelos generados.

El criterio para obtener los coeficientes de regresin B0, B1yB2es el de mnimos cuadrados. Este consiste en minimizar la

suma de los cuadrados de los residuos de tal manera que la rectade regresin que definamos es la que ms se acerca ala nube depuntos observados y, en consecuencia, la que mejor los repre-senta.

Los estadsticos asociados a la variable independiente que apasado a formar parte del modelo de regresin simple son:

1.- Coeficiente de regresin B. Este coeficiente nos indica el nmero de unidades queaumentar la variable dependiente o criterio por cada unidad que

aumente la variable independiente.

2.- SEB. Error tpico de B.

3.- Coeficiente Beta. El coeficiente Beta es el coeficiente de regresin estandariza-do. Expresa la pendiente de la recta de regresin en el caso deque todas las variables estn transformadas en puntuaciones Z.

4. Estimacin de los parmetros o coeficientes de regresin: la

ecuacin de prediccin o ecuacin de regresin mltiple


9/15



4.- Constante.

El valor de la constante coincide con el punto en el que larecta de regresin corta el eje de ordenadas. En la ecuacin deprediccin se mantiene constante para todos los individuos.Cuando las variables han sido estandarizadas (puntuaciones Z) osi se utilizan los coeficientes Beta, la constante es igual a 0 porlo que no se incluye en la ecuacin de prediccin.

5.- Tolerancia. La tolerancia (T) de una variable en un paso cualquiera delanlisis stepwise es la proporcin de su varianza intra-grupo noexplicada por otras variables del anlisis (1-R2). Antes de incluiruna variable en el modelo se comprueba que su tolerancia essuperior al nivel fijado. Si el valor de la tolerancia de una de lasvariables independientes es prximo a 0 podemos pensar questa es una combinacin lineal del resto de variables. Sin embar-go, si el valor de T se aproxima a 1, la variable en cuestin puedereducir parte de la varianza no explicada por el resto de variables.Se excluyen del modelo las variables que presentan una toleran-cia muy pequea.

6.- Valor T.

El estadstico T nos permite comprobar si la regresin entreuna variable independiente y la dependiente es significativa. Si elp-valor asociado al estadstico T (Sig T) es mayor al nivel designificacin (normalmente 0.05) rechazaremos que la regresinsea significativa para las dos variables relacionadas.

A tenor de los resultados arrojados slo nos resta construir laecuacin predictiva. En el ejemplo que se recoge en la seccinde Resultados, la transcripcin de los resultados a la ecuacinquedara como sigue (al tener las variables la misma escala setoman los coeficientes de B):

Y = a + b1x1+ e

presente (p7A) = 0,51 + 0,87pasado (p7B)+ e

En el supuesto caso de que los valores de las variables siguie-ran una escala diferente, tendramos que estandarizar utilizandolos coeficientes Beta, y no B. Del mismo modo, al contar con lamisma escala la constante ser cero.

presente (p7A) = 0 + 0,87pasado (p7B)

+ e


10/15



Los pasos para la construccin del modelo son los quesiguen.

1erpaso: Para acceder al Cuadro de Dilogo del Anlisis deRegresin Lineal, deberemos seguir Analizar: Regresin: Lineal(figura 1).

2 paso: All seleccionaremos la variable Dependiente quequeremos explicar a partir de un conjunto de variablesIndependientes. Las variables seleccionadas las pasamos laspasamos a sus respectivos cuadros (figura 2). En el ejemplo queproponemos las variables seleccionadas han sido las variablescontinuas p7A SITUACIN ACTUAL ESPAOLA como varia-ble dependiente o criterio y p7B SITUACIN ESPAOLAPASADA y p7C SITUACIN ESPAOLA futura como variablesindependientes o predictoras.

3er paso: En el cuadro principal, y una vez seleccionadas lasvariables, deberemos elegir el Mtodo que vamos a seguir para

la obtencin del mejor modelo de regresin lineal. El mtodo deentrada de datos al modelo que vamos a seleccionar es de Pasossucesivos (o Stepwise) (figura 2).

4 paso: Cliqueando en Estadsticos, botn de comandosituado en la parte inferior del cuadro de dilogo principal, acce-demos a la relacin de los principales estadsticos vinculados conel anlisis de regresin. Nuestro inters se va a centrar, funda-mentalmente, en las opciones: Descriptivos (nos calcula la mediay desviacin tpicade cada una de las variables que introduci-mos, nos presenta la matriz de correlaciones as como el anlisis

de varianza); Ajuste del modelo y Cambio en R cuadrado; enCoeficientes de regresin solicitaremos las Estimaciones; y enResiduos pediremos el estadstico de Durbin-Watson (figura 3).

5 paso: Como complemento al estadstico de Durbin-Watson podemos solicitar los grficos Histograma y Grfico deprobabilidad normal (figura 4). Para acceder a este subcuadro dedilogo debemos cliquear en el botn de comando Grficossituado en la parte inferior del cuadro de dilogo principal deregresin lineal.

5. Cuadro de Dilogo del Anlisis de Regresin Mltiple

Figura 1

Figura 2

Figura 3

Figura 4


11/15



La tcnica de anlisis de regresin mltiple, a diferencia del

modelo de regresin simple, se encuentra muy generaliza en lainvestigacin social. En este apartado presentamos la aplicacindel modelo de regresin mltiple para la estimacin del ProductoInterior Bruto (P.I.B.).

Daz-Agero, Coral (1999): Indicadores sintticos, (en lnea)(consultado el 4 de abril de 2001).

En este artculo la autora recoge el proceso que se sigue

para convertir una batera de indicadores econmicos

representativos de la evolucin de una macromagnitud

en un ndice compuesto o indicador sinttico para a

partir de ste realizar predicciones sobre la evolucin de

sus indicadores base. Dos cuestiones son las que hay

que resolver: cmo se agregan los indicadores parciales

y de qu forma participan cada uno de los indicadores

parciales en la sntesis final. La autora agrega los indica-

dores parciales aplicando el procedimiento stepwise ycada uno de ellos participa ponderndose por sus res-

pectivos coeficientes de correlacin. De esta manera

llega a concretar el indicador sinttico cuantitativo del

P.I.B.

Los resultados que se recogen en la salida de resultados son,en esencia, los mismos que ya hemos comentado en el captulo

dedicado al modelo de regresin lineal simple. stos los pode-mos agrupar en torno a los siguientes puntos.

En primer lugar, el programa nos ofrece una serie detablas que recogen informacin bsica tanto del procesocomo de las variables sometidas a anlisis. Dentro deeste primer grupo cabe destacar las tablas de descriptivosbsicos y la de matriz de correlaciones.

A continuacin, se presenta una tabla (resumen del

modelo) en la que se relaciona una serie de estadsticos

7. Resultados

6. Bibliografia Comentada


12/15



a partir de los cules valorar la bondad de ajuste de los

datos del modelo. Con la misma finalidad se presenta latabla de anlisis de varianza.

En tercer lugar, nos encontramos con la tabla en la queaparecen los coeficientes de la ecuacin predictiva. stase forma a partir de los coeficientes no estandarizados (B)cuando los valores de las dos variables tienen la mismaescala. En el caso contrario deberemos elegir los coefi-cientes Beta.

Por ltimo, la exposicin de resultados se cierra con unaserie de representaciones grficas cuya finalidad es facili-tar el anlisis del tipo de distribucin de los residuales(grfico de residuos tipificados y grfico de probabilidadnormal).

7.1. Estadsticos bsicos

7.2. Matriz de Correlaciones Parciales


13/15



7.3. Resumen del proceso STEPWISE: relacin y eliminacin de

variables

7.4. Estadsticos de Bondad de Ajuste

7.5. Tabla de Anlisis de Varianza


14/15



7.6. Estimaciones de parmetros o coeficientes de correlacin: laecuacin de prediccin

7.7. Variables excluidas del Modelo


15/15



7.8. Grfico de distribucin de residuales (grfico 1)

Grfico de probabilidad normal (grfico 2)

Cap 4 - Análisis de Regresión Múltiple

Documents

Transcript of Cap 4 - Análisis de Regresión Múltiple