Análise de Regressão Múltipla

Prévia do material em texto

Análise de Regressão Múltipla: Estimação
Aula 09, Intodução à Econometria
Prof. Moisés A. Resende Filho
Capítulo 03, parte 2
11 de abril de 2018
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 1 / 28
1. Revisão
O modelo de regressão linear múltipla (RLM), ao possibilitar a
inclusão de mais que uma única variável explicativa e propiciar o uso
de especi…cações mais ‡exíveis, com a inclusão de termos quadráticos,
cúbicos e de interação entre variáveis, retira fatores antes relegados ao
erro na RLS e, com isso, aumenta a plausabilidade ou probabilidade
de a hipótese crucial (RLM.4) E (ujx1, x2, ..., xk ) = 0 ser verdadeira.
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 2 / 28
Revisão
Os estimadores MQO bβj , j = 0, 1, ..., k são a solução do problema
de minimização da SQR � ∑ni=1 bu2i , ou seja, a solução do sistema das
k + 1 CPOs deste problema.
Aplicando os estimadores MQO a uma amostra de tamanho n
f(yi , xi1, xi2, ..., xik ) : i = 1, ..., ng, obtém-se a função RLM
estimada by = bβ0 + bβ1x1 + bβ2x2 + ...+ bβkxk
Cada bβj , j = 0, 1, ..., k tem uma interpretação ceteris paribus, de
modo que
by = bβj∆xj , se ∆x1 = ... = ∆xj�1 = ∆xj+1 = ...∆xk = 0
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 3 / 28
Revisão
O coe…ciente de determinação ou R-dois da regressão é de…nido
como:
R2 =
SQE
SQT
= 1� SQR
SQT
,
tal que se há um intercepto no modelo, 0 � R2 � 1.
Ademais,
R2 =
hdCorr(y , by)i2 ,�1 � Corr(y , by) � 1
ou seja, o R-dois é o quadrado do coe…ciente de correlação de y e by ,
em que: dCorr(y , by) � dCov(y , by)qdVar(y).qdVar(by)
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 4 / 28
2. Interpretação de Parcialidade na RLM
Estamos interessados no modelo econométrico
y = β0 + β1x1 + β2x2 + ...+ βkxk + u (1)
Os estimadores MQO aplicados à amostra
f(yi , xi1, xi2, ..., xik ) : i = 1, ..., ng geram a função RLM estimada
by = bβ0 + bβ1x1 + bβ2x2 + ...+ bβkxk (2)
Queremos mostrar que cada bβj , j = 1, ..., k é o efeito em y na amostra
de xj líquido das demais k � 1 variáveis explicativas no modelo.
De outra forma, queremos mostrar que ao incluir ou omitir uma
variável do modelo é praticamente certo que o efeito estimado de xj
em y se altera.
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 5 / 28
Interpretação de Parcialidade na RLM
Estágio 1: estime por MQO a regressão de x1 em x2, ..., xk , segundo
o modelo
x1 = φ0 + φ1x2 + ...+ φk�1xk + r1, (3)
obtendo bxi1 = bφ0 + bφ1xi2 + ...+ bφk�1xik e os resíduosbri1 = xi1 � bxi1, i = 1, ..., n.
Pelas propriedades algébricas de MQO, sabemos que:
∑ni=1 bri1 =∑ni=1 bri1xi2 = ... =∑ni=1 bri1xik = 0 (4)
Pelas propriedades de MQO (4), percebemos que os resíduos bri1,
i = 1, ..., n são a parte de x1 não correlacionada com x2, ...xk , ou seja,
equivalem a x1 …ltrado, parcializado ou líquido de x2, ..., xk .
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 6 / 28
Interpretação de Parcialidade na RLM
Estágio 2: estime por MQO o modelo de RLS
y = α1br1 + u (5)
em que o estimador de α1 é
bα1 = ∑ni=1 bri1yi
∑ni=1 br2i1 (6)
Note que o estimador (6) é também o estimador de α1 no modelo
com intercepto y = α0 + α1br1 + u, pois ∑ni=1 bri1 = 0.
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 7 / 28
Interpretação de Parcialidade na RLM
No próximo slide, demonstramos que bα1 é igual a bβ1 do modelo
estimado (2).
Ou seja, demonstramos que é possível aplicar o estimador MQO de
dois estágios bα1 para obter a estimativa bβ1 de MQO, de modo que
bβ1 = ∑ni=1 bri1yi∑ni=1 br2i1 , (3.22)
e, assim, bβ1 deve ser interpretado como a medida da relação
amostral de y e x1 após x1 ter sido "…ltrado", puri…cado ou
parcializado de x2, ..., xk .
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 8 / 28
Demonstração de que bα1 = bβ1:
Substitua o modelo estimado por MQO
yi = bβ0 + bβ1xi1 + bβ2xi2 + ...+ bβkxik + bui
em bα1 = ∑ni=1 bri1yi∑ni=1 br 2i1 , obtemos:
bα1 = ∑ni=1 bri1
�bβ0 + bβ1xi1 + bβ2xi2 + ...+ bβkxik + bui�
∑ni=1 br2i1
= bβ1 + ∑ni=1 bri1bui∑ni=1 br2i1 , pois ∑
n
i=1 bri1xi1
∑ni=1 br2i1 = 1
e ∑ni=1 bri1 = ∑ni=1 bri1xi2 = ... =∑ni=1 bri1xik = 0
= bβ1, pois ∑ni=1 bri1bui = 0
CQD.
Vide demonstrações complementares nos dois slides seguintes.
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 9 / 28
As consequências diretas de
∑ni=1 bri1 = ∑ni=1 bri1xi2 = ... = ∑ni=1 bri1xik = 0 são:
1
∑ni=1 bri1bxi1 = ∑ni=1 bri1(bφ0 + bφ1xi2 + ...+ bφk�1xik )
= bφ0∑ni=1 bri1 + bφ1∑ni=1 bri1xi2 + ...+ bφk�1∑ni=1 bri1xik
= 0
2
∑ni=1 br2i1 = ∑ni=1 bri1 (xi1 � bxi1)
= ∑ni=1 bri1xi1 �∑ni=1 bri1bxi1
= ∑ni=1 bri1xi1, pois ∑ni=1 bri1bxi1 = 0
Assim, como ∑ni=1 br2i1 = ∑ni=1 bri1xi1, então
∑ni=1 bri1xi1
∑ni=1 br2i1 = 1
CQD
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 10 / 28
Demonstração de que ∑ni=1 bri1bui = 0:
∑ni=1 bri1bui = ∑ni=1 (xi1 � bxi1) bui
= �∑ni=1 bxi1bui , pois ∑ni=1 xi1bui = 0
Substituindo bxi1 = bφ0 + bφ1xi2 + ...+ bφk�1xik , então
∑ni=1 bri1bui = �∑ni=1 �bφ0 + bφ1xi2 + ...+ bφk�1xik � bui ,
= 0, pois ∑ni=1 bui1 =∑ni=1 bui1xi2 = ... =∑ni=1 bui1xik = 0.
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 11 / 28
Interpretação de Parcialidade na RLM
É possível generalizar esse resultado, demonstrando que em qualquer
amostra de tamanho n,
bβj = ∑ni=1 brijyi∑ni=1 br2ij , j = 1, ..., k (7)
em que brij é o resíduo da regressão com intercepto de xj nas outras
k � 1 variáveis explicativas do modelo de RLM.
Ademais, bβ0 = ∑ni=1 bri0yi∑ni=1 br2i0
em que bri0 é o resíduo da regressão sem intercepto da variável
x0i = 1, 8i nas k variáveis explicativas do modelo de RLM.
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 12 / 28
2.1. Aplicação
Queremos estimar o efeito ceteris paribus de hp, potência do motor
(em hp), em kpl , desempenho do carro (em quilômetros rodados
por litro de gasolina) com base no modelo econométrico
kpl = β0 + β1hp + u (8)
A base de dados de seção cruzada carros.dta disponível na página
web do curso contém os dados das variáveis: kpl = desempenho
médio em quilômetros (km) rodados por litro; hp = potência do
motor em hp; vm = velocidade máxima em kilômetros por hora; e pv
= peso do automóvel em quilograma (kg) para 81 modelos de carros
comercializados nos EUA em dado ano.
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 13 / 28
Aplicação
Grá…co de dispersão de kpl em hp: graph twoway scatter kpl hp
kpl é negativamente correlacionado na amostra com hp.
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 14 / 28
Aplicação
De fato, a regressão MQO de kpl em hp é: regress kpl hp,
cformat(%9.3f) pformat(%5.3f) sformat(%8.3f)
 _cons 18.352 0.573 32.020 0.000 17.211 19.493
 hp -0.051 0.004 -11.637 0.000 -0.060 -0.042
 kpl Coef. Std. Err. t P>|t| [95% Conf. Interval]
 Total 1079.8617 80 13.4982712 Root MSE = 2.2442
 Adj R-squared = 0.6269
Residual 397.875633 79 5.03640042 R-squared = 0.6315
 Model 681.986066 1 681.986066 Prob > F = 0.0000
 F( 1, 79) = 135.41
Source SS df MS Number of obs = 81
Estima-se uma redução de 0.051km/litro de gasolina no desempenho
do carro para cada hp adicional de potência.
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 15 / 28
Aplicação
Considerando o erro do modelo u = fvm, pv , outros fatoresg, a
hipótese crucial do modelo kpl =β0 + β1hp + u, no caso
E (ujhp) = 0, é plausível?
Não, pois muito provavelmente corr(hp, vm) 6= 0 e corr(hp, pv) 6= 0,
o que nos remete ao modelo de RLM:
kpl = β0 + β1hp + β2vm+ β3pv + u (9)
Obtemos a seguir a estimativa MQO de β1 do modelo (9) aplicando o
estimador em dois estágios bβ1 = ∑ni=1 bri1yi∑ni=1 br 2i1 .
No primeiro estágio, estimamos a regressão de hp em vm e pv e
guardamos os resíduos com os comandos: qui reg hp vm pv e predict
hphat, residuals.
O grá…co de dispersão de kpl e hp líquido de vm e pv é gerado com o
comando: graph twoway scatter kpl hphat.
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 16 / 28
Aplicação
Grá…co de dispersão de kpl em hp líquido de vm e pv
5
10
15
20
25
D
es
em
pe
nh
o 
m
éd
io
 (e
m
 k
m
/lit
ro
 d
e 
ga
so
lin
a)
-10 -5 0 5 10 15
Resíduos da regressão de hp em vm e pv
tal que, kpl é positivamente correlacionado na amostra com hp
líquido de vm e pv .
Moral da história: kpl parecia negativamente correlacionado com hp
porque não estávamos controlando para vm e pv .
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 17 / 28
Aplicação
No segundo estágio, estimamos a regressão de kpl em hphat, que é
a série dos resíduos da regressão de hp em vm e pv , obtendobβ1 = 0.144 com o comando: reg kpl hphat, cformat(%9.3f)
pformat(%5.3f) sformat(%8.3f)
 _cons 12.347 0.402 30.687 0.000 11.546 13.148
 hphat 0.144 0.079 1.830 0.071 -0.013 0.301
 kpl Coef. Std. Err. t P>|t| [95% Conf. Interval]
 Total 1079.8617 80 13.4982712 Root MSE = 3.6212
 Adj R-squared = 0.0285
Residual 1035.92873 79 13.1130219 R-squared = 0.0407
 Model 43.9329662 1 43.9329662 Prob > F = 0.0710
 F( 1, 79) = 3.35
Source SS df MS Number of obs = 81
Ou seja, na verdade, estima-se um aumento de 0.144 km/litro de
gasolina no desempenho do carro para cada hp adicional de potência.
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 18 / 28
Aplicação
Finalmente, obtemos bβ1 = 0.144 pelo estimador MQO em um
único estágio com o comando: reg kpl hp vm pv, cformat(%9.3f)
pformat(%5.3f) sformat(%8.3f)
 _cons 69.851 8.196 8.522 0.000 53.530 86.172
 pv -0.015 0.001 -10.351 0.000 -0.018 -0.012
 vm -0.292 0.053 -5.535 0.000 -0.397 -0.187
 hp 0.144 0.028 5.197 0.000 0.089 0.199
 kpl Coef. Std. Err. t P>|t| [95% Conf. Interval]
 Total 1079.8617 80 13.4982712 Root MSE = 1.2753
 Adj R-squared = 0.8795
Residual 125.23822 77 1.62647039 R-squared = 0.8840
 Model 954.623479 3 318.207826 Prob > F = 0.0000
 F( 3, 77) = 195.64
Source SS df MS Number of obs = 81
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 19 / 28
3. Comparando as Estimativas das Regressões Simples e
Múltipla
Considere os modelos de regressão simples e múltipla
y˜ = β˜0 + β˜1x1 (10)by = bβ0 + bβ1x1 + bβ2x2 (11)
em que o superescrito � denota o estimador MQO na regressão
simples e ^ denota o estimador MQO na regressão múltipla, ambas
para a mesma amostra de tamanho n.
Perceba que o modelo de regressão simples (10) omite a variável x2.
Questão: há alguma relação entre β˜1, obtido sem controlar para x2,
e bβ1, obtido controlando para x2?
SIM, como veremos no próximo slide.
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 20 / 28
Comparando as Estimativas das Regressões Simples e
Múltipla
Substitua o modelo verdadeiro estimado, que é
yi = bβ0 + bβ1xi1 + bβ2xi2 + bui ,
no estimador MQO
β˜1 =
∑ni=1 eri1yi
∑ni=1 er2i1
=
∑ni=1 (xi1 � x1) yi
∑ni=1 (xi1 � x1)2
Obtendo,
β˜1 =
bβ1 + bβ2∑ni=1 (xi1 � x1) xi2
∑ni=1 (xi1 � x1)2
, pois ∑ni=1 (xi1 � x1) bui = 0 (12)
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 21 / 28
Comparando as Estimativas das Regressões Simples e
Múltipla
Com base em (12) a relação de β˜1 e bβ1, em cada amostra de
tamanho n, é
β˜1 =
bβ1 + bβ2eδ1 (3.23)
em que eδ1 = ∑ni=1 (xi1 � x1) xi2
∑ni=1 (xi1 � x1)2
é o estimador MQO de δ1 da RLS de x2 em x1, com base no modelo
x2 = δ01 + δ1x1 + v
e v é um termo de erro aleatório .
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 22 / 28
Comparando as Estimativas das Regressões Simples e
Múltipla
Se apenas xk tiver sido omitido do modelo, caso de omissão de
uma única variável, é possível mostrar que:
eβj = bβj + bβkeδj , j = 0, 1, ..., k � 1 (13)
em que eδj é a estimativa MQO do coe…ciente de
xj , j = 0, 1, ..., k � 1 na regressão auxiliar de xk sobre as demais
variáveis explicativas do modelo.
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 23 / 28
Comparando as Estimativas das Regressões Simples e
Múltipla
Com base em
β˜1 =
bβ1 + bβ2eδ1 (3.23)
em que eδ1 = ∑ni=1 (xi1 � x1) xi2
∑ni=1 (xi1 � x1)2
é o estimador MQO de δ1 da regressão simples de x2 em x1,
concluímos que β˜1 é igual a bβ1somente se:
1 bβ2 = 0, situalão em que o modelo verdadeiro é de fato o de RLS
(10); e/ou
2 eδ1 = 0, situação em que ∑ni=1 (xi1 � x1) xi2 = 0 ou dCorr(x2, x1) = 0
na amostra - regressão ortogonal.
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 24 / 28
Comparando as Estimativas das Regressões Simples e
Múltipla
Com base em
β˜1 =
bβ1 + bβ2eδ1 (3.23)
temos que:
eδ1 > 0 (Corr(x1, x2) > 0) eδ1 < 0 (Corr(x1, x2) < 0)bβ2 > 0 β˜1 > bβ1 (superestima) β˜1 < bβ1(subestima)bβ2 < 0 β˜1 < bβ1(subestima) β˜1 > bβ1 (superestima)
Ou seja, a omissão de x2 faz com que, em toda amostra de
tamanho n, β˜1superestime ou subestime a estimava correta, que ébβ1.
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 25 / 28
Comparando as Estimativas das Regressões Simples e
Múltipla
No caso da omissão das k � 1 últimas variáveis explicativas,
β˜1 =
bβ1 + bβ2eδ1 + bβ3eδ2 + ...+ bβkeδk�1 (14)
em que eδj�1 = dCov(x1, xj )dVar(x1) , j = 2, 3, .., k
é a estimativa MQO do coe…ciente de x1 na regressão de xj em x1.
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 26 / 28
Comparando as Estimativas das Regressões Simples e
Múltipla
Assim, com base em (14), as estimativas MQO do coe…ciente de β1
nas regressões de y em x1 e na regressão de y em x1, x2, ..., xk
somente serão iguais se (Wooldridge, 2011: p.76):
1 A estimativa MQO de cada coe…ciente de inclinação de x2, ..., xk for
zero, ou seja, bβ2 = ... = bβk = 0 (irrelevância de x2, ..., xk para y);
e/ou
2 Corr(x1, x2) = Corr(x1, x3) = ... = Corr(x1, xk ) = 0 na amostra
(regressão ortogonal).
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 27 / 28
4. Regressão Através da Origem
Impondo que by seja zero quando todos os xj são zeros, equivale a
impor estimativa zero do intercepto da regressão múltipla, ou seja,
que
y˜ = β˜1x1 + β˜2x2 + ...+ β˜kxk .
tal que eβj = bβj + bβ0eδj , j = 1, ..., k (15)
em que eδj é a estimativa MQO do coe…ciente de xj , j = 1, ..., k na
regressão auxiliar sem intercepto de x0i = 1, 8i sobre as k variáveis
explicativas do modelo.
Impondo β0 = 0, quando β0 6= 0 viesa as estimativas de cada
coe…ciente de inclinação do modelo e a interpretação do R2 …ca
comprometida;
Admitindo β0 6= 0 quando β0 = 0 não viesa as estimativas, mas
aumenta as variâncias dos estimadores.
Assim, recomenda-se sempre estimar o modelo de regressão com
intercepto.
MoisésResende Filho (ECO/UnB) Estimação da Regressão Múltipla 11/04/2018 28 / 28
	1. Revisão
	2. Interpretação de Parcialidade na RLM
	2.1. Aplicação
	3. Comparando as Estimativas das Regressões Simples e Múltipla
	4. Regressão Através da Origem