Análise de Regressão Múltipla

Prévia do material em texto

Análise de 
Regressão Múltipla
y = β0 + β1x1 + β2x2 + . . . βkxk + u
1. Estimação
Comparação com a Regressão
Simples
„ β0 ainda é o intercepto
„ β1 a βk são todos chamados de parâmetros de 
inclinação
„ u é ainda o termo de erro
„ Ainda necessário fazer o pressuposto de média
condicional zero, agora da seguinte forma: 
E(u|x1,x2, …,xk) = 0
„ Ainda minimizando a soma dos quadrados dos 
resíduos, tal que há k+1 condições de 1ª ordem
Interpretação da Regressão
Múltipla
ribusceteris pa çãointerpreta
uma tem cada e ,xˆyˆ
que implica x,...,x fixosmanter que tal
xˆ...xˆxˆyˆ
xˆ...xˆxˆˆyˆ
11
k2
kk2211
kk22110
ββ∆=∆
β∆++β∆+β∆=∆
β++β+β+β=
Estimativa da Regressão Simples 
vs. Múltipla
amostra na nadoscorrelacio são não x e x
e )x de parcial efeito há não seja,(ou 0ˆ
:que menos a ˆ~ te,Generalmen
xˆxˆˆyˆ múltipla regressão a com
x~~y~ simples regressão a Compare
21
22
11
22110
110
=β
β≠β
β+β+β=
β+β=
Qualidade do Ajuste
( )
( )
SQR SQE SQT
SQR uˆ
SQE yyˆ
SQT yy
 uˆyˆy
:explicada não uma e explicada parte uma de
 composta como observação cada que Pensando
2
i
2
i
2
i
iii
+=
=∑
=∑ −
=∑ −
+=
Qualidade de ajuste
• Como pensamos em quão bem a reta de 
regressão amostral se ajusta aos dados da
amostra?
• Calculando a fração da soma dos quadrados
total (SQT) que é explicada pelo modeloÆ
R2 = SQE/SQT = 1 – SQR/SQT
Qualidade do Ajuste
( )( )( )
( )( ) ( ) ⎟⎠⎞⎜⎝⎛∑ −∑ −
−∑ −=
2
i
2
i
2
ii2
ii
2
yˆyˆyy
yˆyˆyyR
estimadosyˆ os e observados y os
entre correlação de ecoeficient o
como R empensar tambémPodemos
Mais sobre R2
„ R2 nunca diminui quando outra variável
independente é adicionada à regressão, e 
usualmente aumenta
„ Dado que R2 aumenta com o número de 
variáveis independentes, não é a forma de 
comparar modelos
Pressupostos para Ausência de Viés
• modelo populacional é linear nos parâmetros: 
y = β0 + β1x1 + β2x2 +…+ βkxk + u
• usando uma amostra aleatória de tamanho n, 
{(xi1, xi2,…, xik, yi): i=1, 2, …, n}, a partir do 
modelo populacional, o modelo amostral é 
yi = β0 + β1xi1 + β2xi2 +…+ βkxik + ui
• E(u|x1, x2,… xk) = 0 implica que todas as 
variáveis explicativas são exógenas
• Todos os x’s têm variância positiva e não há
nenhuma relação linear exata entre eles
Variância dos Estimadores MQO
• Sabendo que a distribuição amostral dos 
estimadores está centrada em torno do 
parâmetro verdadeiro
• Necessário pensar na dispersão desta
distribuiçãoÆ variância sob o pressuposto
adicional de homocedasticidade: 
Var(u|x1, x2,…, xk) = σ2
Variância de MQO
„ sendo x = (x1, x2,…xk)
„ Assumir que Var(u|x) = σ2 também implica
que Var(y| x) = σ2
„ Os pressupostos para ausência de viés
mais o pressuposto de homocedasticidade
formam os pressupostos de Gauss-
Markov 
Variância de MQO
( ) ( )
( )
s'x outros os todossobre x de regressão da
R o é R e xxSQT
onde ,
R1SQT
ˆVar
Markov-Gauss deospressupostos Dados
j
22
j
2
jijj
2
jj
2
j
∑ −=
−
σ=β
Componentes das Variâncias de 
MQO
„ Variância do erro: quanto maior σ2, maior
a variância dos estimadores
„ Variação total da amostra: quanto maior
SQTj , menor a variância dos estimadores
„ Relações lineares entre as variáveis
independentes: quanto maior Rj2, maior a 
variância dos estimadores
„ Quanto maior o tamanho da amostra, 
menor a variância dos estimadores
Estimação da Variância do Erro
• não conhecemos a variância do erro, σ2, 
porque não observamos os erros, ui
• Observamos os resíduos, ûi
• Usamos os resíduos para calcular uma
estimativa da variância do erro
Estimativa da Variância do Erro
( ) ( )
( ) ( )[ ] 212jjj
2
i
2
R1SQTˆˆdp
dfSQR1knuˆˆ
−σ=β
≡−−∑=σ
„ gl = n – (k + 1) Æ gl = n – k – 1
„ gl (graus de liberdade) = (número de 
observações) – (número de parâmetros
estimados)
O Teorema de Gauss-Markov 
„ Dados os pressupostos, o teorema de 
Gauss-Markov implica que MQO é “BLUE”
Æ Melhor estimador linear não viesado
„ Assim, se os pressupostos são
verificados, sempre usar MQO
	Análise de Regressão Múltipla
	Comparação com a Regressão Simples
	Interpretação da Regressão Múltipla
	Estimativa da Regressão Simples vs. Múltipla
	Qualidade do Ajuste
	Mais sobre R2
	Variância de MQO
	Variância de MQO
	Componentes das Variâncias de MQO
	Estimativa da Variância do Erro
	O Teorema de Gauss-Markov