Econometria Aula - 4

Prévia do material em texto

Econometria
Aula 4
Marta AreosaMarta Areosa
marta@econ.puc-rio.br
Modelo de Regressão Linear Simples
• Queremos saber como a variação de X está associada com a 
variação de Y. 
 
• Nosso objetivo final será estimar o efeito causal da variação 
de uma unidade de X em Y. 
2
de uma unidade de X em Y. 
 
• Por agora, pensemos no problema de obter a reta que melhor 
ajusta uma nuvem de pontos dada pelas variáveis X e Y. 
 
Regressão Linear na População
Modelo: Yi = β0 + β1Xi + ui, i = 1,…, n 
 
• X é a variável independente ou regressor 
• Y é a variável dependente 
• β0 = intercepto 
3
• β0 = intercepto 
• β1 = inclinação 
• ui = o termo de erro da regressão 
• O termo de erro consiste em fatores omitidos (que 
influenciam Y, além de X) na regressão, ou em erros de 
medida em Y. 
Estimador de Mínimos Quadrados
Ordinários (MQO)
Como estimamos β0 e β1 usando dados? 
 
Mínimos Quadrados Ordinários (MQO): 
( )[ ]∑ +−n xy 2ˆˆmin ββ
4
 
{ } ( )[ ]∑
=
+−
i
ii xy
1
10
ˆ
,
ˆ
ˆˆmin
10
ββ
ββ
 
 
 Definindo: (valor predito) 
 (resíduo)
 
 
 Podemos reescrever como:
 



−≡
+≡
iii
ii
yyu
xy
ˆˆ
ˆˆ
ˆ 10 ββ
{ }∑
=
n
i
iu
1
2
ˆ
,
ˆ
ˆmin
10 ββ
Estimador de Mínimos Quadrados
Ordinários (MQO): CPOs
( )[ ]
( )[ ]






=+−
=+−
∑
∑
=
=
0ˆˆ
0ˆˆ
1
10
1
10
n
i
iii
n
i
ii
xyx
xy
ββ
ββ






=+
=+
⇒
∑∑∑
∑∑∑
===
===
n
i
ii
n
i
i
n
i
i
n
i
i
n
i
i
n
i
yxxx
yx
11
2
1
1
0
11
1
1
0
ˆˆ
ˆˆ
ββ
ββ
5

∑
=1i 
∑∑∑
=== iii 111
∑∑∑
∑∑
===
==
=





+





=





+
n
i
ii
n
i
i
n
i
i
n
i
i
n
i
i
yxxx
yxn
11
2
1
1
0
1
1
1
0
ˆˆ
ˆˆ
ββ
ββ






⇒
Estimador de Mínimos Quadrados
Ordinários (MQO): Interpretação das CPOs
Primeira CPO: 
 
 
 
YXy
n
x
n
yxn
n
i
i
n
i
i
n
i
i
n
i
i =+⇒





=





+⇒=





+ ∑∑∑∑
====
10
1
1
1
0
1
1
1
0
ˆˆ
1
ˆ
1
ˆˆˆ ββββββ
6
 
 
 
Interpretação: está sobre a reta de MQO 
 
nn iiii  ==== 1111
( )YX ,
Segunda Equação: 
 
 
 
 
Estimador de Mínimos Quadrados
Ordinários (MQO): Interpretação das CPOs
[ ] ( ) ( )
( )( ) ( )( )−+−=−+−⇒
−=





−⇒





=





+





−
∑∑
∑∑∑∑∑
=====
n
ii
n
ii
n
i
ii
n
i
ii
n
i
ii
n
i
i
n
i
i
YyXXxXxXXx
YyxXxxyxxxXY
1
11
1
11
2
1
1
1
ˆ
ˆˆˆ
β
βββ
 
 
 
 
 
 
 
 
Interpretação: 7
( )( ) ( )( )
( ) ( ) ( )( ) ( )
( ) ( )( )⇒−−=−⇒
−+−−=





−+−⇒
−+−=−+−⇒
∑∑
∑∑∑∑
∑∑
==
====
==
n
i
ii
n
i
i
n
i
i
n
i
ii
n
i
i
n
i
i
i
ii
i
ii
YyXxXx
YyXYyXxXxXXx
YyXXxXxXXx
11
2
1
1111
2
1
11
1
ˆ
ˆ
β
β
β
( )( )
( ) ( ) 0,
ˆ
1
2
1
2
1
1 ≠−
−
−−
= ∑
∑
∑
=
=
=
n
i
in
i
i
n
i
ii
Xxse
Xx
YyXx
β
0,ˆ 221 ≠= x
x
xy sse
s
sβ
Resultado 1: 
 
 
 
Interpretação: A soma dos resíduos é zero. 
Estimador de Mínimos Quadrados
Ordinários (MQO): Consequências da CPOs
( )[ ] ( ) 0ˆ0ˆ0ˆˆ
111
10 =⇒=−⇒=+− ∑∑∑
===
n
i
i
n
i
ii
n
i
ii uyyxy ββ
Interpretação: A soma dos resíduos é zero. 
Resultado 2: 
 
 
 
Interpretação: a covariância amostral entre o regressor e o 
resíduo é zero ( ). 
 
8
( )[ ] 0ˆ0ˆˆ
11
10 =⇒=+− ∑∑
==
n
i
ii
n
i
iii uxxyx ββ
0=xys
Medidas de Ajuste
Uma pergunta natural seria quão bom é o ajuste da linha de 
regressão aos dados. Há duas estatísticas que provém esta 
resposta (medem a qualidade do ajuste): 
 
• O R2 da regressão mede a proporção da variância de Y que é 
9
• O R2 da regressão mede a proporção da variância de Y que é 
explicada por X; não tem unidades e varia entre zero (nenhum 
ajuste) e um (ajuste perfeito). 
 
• O erro padrão da regressão (EPR) que mede a magnitude do 
resíduo típico da regressão em unidades de Y. 
 
Podemos definir três conceitos: 
 
 (Soma dos Quadrados Totais) 
 
∑
∑
=
−=
n
n
i
i yySQT
1
2)(
Soma de Quadrados
 (Soma dos Quadrados Explicados) 
 
 
 (Soma dos Quadrados dos 
 resíduos) ∑∑
∑
==
=
=−=
−=
n
i
i
n
i
ii
n
i
i
uyySQR
yySQE
1
2
1
2
1
2
ˆ)ˆ(
)ˆ(
10
Soma de Quadrados
Vamos mostrar que SQT = SQE + SQR 
 
 
 
 
 
 
∑∑∑
∑∑
==
−+−−+−=
−+−=−
nnn
n
i
iii
n
i
i
yyyyyyyy
yyyyyy
22
1
2
1
2
)ˆ()ˆ)(ˆ(2)ˆ(
)ˆˆ()(
11
 
 
 
 
 
 
 
 
 
Ou seja, devemos provar 
 
∑∑∑
∑∑∑
===
===
−+−+=
−+−−+−=
n
i
i
n
i
ii
n
i
i
n
i
i
n
i
iii
n
i
ii
yyyyuu
yyyyyyyy
1
2
11
2
1
2
11
2
)ˆ()ˆ(ˆ2ˆ
)ˆ()ˆ)(ˆ(2)ˆ(
0)ˆ(ˆ
1
=−∑
=
n
i
ii yyu
Soma de Quadrados
Mas temos que 
 
 
 
 
( ) ˆˆˆˆˆˆˆ)ˆ(ˆ
11
10
111
−+=−=− ∑∑∑∑∑
=====
n
i
i
n
i
ii
n
i
i
n
i
ii
n
i
ii uyxuuyyuyyu ββ
12
 
 
 
 
Provamos, então, que SQT = SQE +SQR 
0ˆˆˆˆˆ
11
1
1
0 =−+= ∑∑∑
===
n
i
i
n
i
ii
n
i
i uyxuu ββ
R-quadrado
O R2 da regressão mede a fração da variância amostral de Yi 
“explicada” pela regressão. 
 
 
 
−==
nn
SQTSQRSQTSQER2 /1/
13
 
 
 
 
• R2 = 0 significa SQE = 0 
• R2 = 1 significa SQE = STQ 
• 0 ≤ R2 ≤ 1 
∑∑
==
−−=
n
i
i
n
i
i yyyy
1
2
1
2 )(/)ˆ(
Erro Padrão da regressão (EPR) 
O EPR mede a variação na distribuição de u. O EPR é (quase) o 
desvio padrão amostral dos resíduos da regressão de MQO: 
EPR = 2
1
1
ˆ ˆ( )
2
n
i
i
u u
n
=
−
−
∑ 
14
1i=
 
= 
2
1
1
ˆ
2
n
i
i
u
n
=
−
∑ 
 
(a segunda igualdade vem do fato de uˆ = 
1
1
ˆ
n
i
i
u
n
=
∑ = 0). 
 
EPR= 2
1
1
ˆ
2
n
i
i
u
n
=
−
∑ 
O EPR: 
• É medido nas unidades de u, que são as unidades de Y 
• Mede o “tamanho” médio dos resíduos de MQO (o erro 
médio feito pela linha de regressão) 
•
15
• A Raiz do Erro Quadrático Médio (root mean squared error, 
RMSE) está relacionada com EPR: 
RMSE = 2
1
1
ˆ
n
i
i
u
n
=
∑ 
Mede a mesma coisa que EPR – com a pequena diferença que 
a divisão é feita por 1/n no lugar de 1/(n–2). 
 
Por que dividir por n–2 no lugar de n–1? 
EPR = 2
1
1
ˆ
2
n
i
i
u
n
=
−
∑ 
 
• A divisão por n–2 é uma correção pelos “graus de liberdade” – 
da mesma forma que dividimos por n–1 na estimação de 2Ys , 
16
exceto que o EPR, dois parâmetros são estimados (β0 and β1, 
por 0ˆβ and 1ˆβ ). 
 
• Para n grande, isto não faz muita diferença 
Tamanho da Turma e Desempenho
 
 
 
 
17
 
 
 
 
PBmat=187,27 -0,27 * Tamanho 
R2=0.01, Raiz erro quadrático médio= 17.94 
Candidatos vereador e salário
 
 
 
 
18
 
 
 
Candidatos vereador e salário
 
 
 
 
19
 
 
 
Candidatos vereador e salário
 
 
 
 
20
 
 
 
 
Cand_vaga= 1,94 + 0,003 * Salário 
R2=0.45, Raiz erro quadrático médio= 2.72 
Os Pressupostos de MQO
• Quais são as propriedades do estimador de MQO? 
Gostaríamos que fosse não-viesado e que tivesse a menor 
variância possível. 
 
• Em que circunstâncias estas propriedades se cumprem? 
 
21
 
 
• Temos que fazer alguns pressupostos sobre a relação entre Y 
e X, e sobre o processo de coleta de dados (amostragem). 
 
• Três pressupostos básicos. 
 
Os Pressupostos de MQO
 Yi = β0 + β1Xi + ui, i = 1,…, n 
 
1. A distribuição condicional de u dado X tem média zero, isso 
é, E(u|X = x) = 0. 
Isto implica que 1ˆβ é não-viesado 
22
Isto implica que 1β é não-viesado 
Os Pressupostos de MQO
 Yi = β0 + β1Xi + ui, i = 1,…, n 
 
1. A distribuição condicional de u dado X tem média zero, isso 
é, E(u|X = x) = 0. 
 
2. (X ,Y ), i =1,…,n, são i.i.d. 
23
2. (Xi,Yi), i =1,…,n, são i.i.d. 
• Verdadeiro se X, Y foram coletados por uma amostra 
aleatória simples 
 
3. Grandes outliers em X e/ou Y são raros. 
• Tecnicamente, X e Y têm quarto momento finito 
• Outlierspodem resultar em estimações de 1ˆβ que não 
fazem sentido 
 
Pressuposto No. 1: E(u|X = x) = 0 
Para qualquer valor dado de X, a média de u é zero: 
24
Pressuposto No. 1: E(u|X = x) = 0 
• Exemplo: Notai = β0 + β1TTi + ui, ui = outros fatores 
 
• Quais são alguns destes “outros” fatores? 
25
Pressuposto No. 1: E(u|X = x) = 0 
• Exemplo: Notai = β0 + β1TTi + ui, ui = outros fatores 
 
• Quais são alguns destes “outros” fatores? 
 
• Assumamos que u representa “qualidade do professor” 
 
• E(u|X = x) = 0 requer que a “qualidade” média do professor 
26
• E(u|X = x) = 0 requer que a “qualidade” média do professor 
seja a mesma para qualquer tamanho de turma. 
Pressuposto No. 1: E(u|X = x) = 0 
• Exemplo: Notai = β0 + β1TTi + ui, ui = outros fatores 
 
• Quais são alguns destes “outros” fatores? 
 
• Assumamos que u representa “qualidade do professor” 
 
• E(u|X = x) = 0 requer que a “qualidade” média do professor 
27
• E(u|X = x) = 0 requer que a “qualidade” média do professor 
seja a mesma para qualquer tamanho de turma. 
 
• Por exemplo, “qualidade” média do professor em escolas 
com turma de 15 alunos= “qualidade” média do professor em 
escolas com turma de 40 alunos. 
Pressuposto No. 1: E(u|X = x) = 0 
• Se acreditamos que a qualidade média do professor é maior 
em escolas com turmas menores, então o pressuposto não se 
cumpre. 
 
• Outro exemplo: salário = β0 + β1Educ + u 
 
• O que pode ser u neste caso? 
28
• O que pode ser u neste caso? 
 
 
Pressuposto No. 1: E(u|X = x) = 0 
• Se acreditamos que a qualidade média do professor é maior 
em escolas com turmas menores, então o pressuposto não se 
cumpre. 
 
• Outro exemplo: salário = β0 + β1Educ + u 
 
• O que pode ser u neste caso? 
29
• O que pode ser u neste caso? 
 
• Assumamos que u representa habilidade nata. Podemos 
assumir que E(u|X = x) = 0? 
 
 
Pressuposto No. 1: E(u|X = x) = 0 
• Se acreditamos que a qualidade média do professor é maior 
em escolas com turmas menores, então o pressuposto não se 
cumpre. 
 
• Outro exemplo: salário = β0 + β1Educ + u 
 
• O que pode ser u neste caso? 
30
• O que pode ser u neste caso? 
 
• Assumamos que u representa habilidade nata. Podemos 
assumir que E(u|X = x) = 0? 
 
• Isso seria equivalente a assumir que a habilidade média para 
todas as pessoas com 5 anos de educação é a mesma do que a 
habilidade média para pessoas com 10 anos de educação. Isso 
é plausível? 
 
Pressuposto No. 1: E(u|X = x) = 0 
• Se acreditamos que a qualidade média do professor é maior 
em escolas com turmas menores, então o pressuposto não se 
cumpre. 
 
• Outro exemplo: salário = β0 + β1Educ + u 
 
• O que pode ser u neste caso? 
31
• O que pode ser u neste caso? 
 
• Assumamos que u representa habilidade nata. Podemos 
assumir que E(u|X = x) = 0? 
 
• Isso seria equivalente a assumir que a habilidade média para 
todas as pessoas com 5 anos de educação é a mesma do que a 
habilidade média para pessoas com 10 anos de educação. Isso 
é plausível? 
 
• Condições de momento: 
 
 
 
 
 
• Forma amostral das condições de momento 
Pressuposto No. 1: E(u|X = x) = 0 
[ ] [ ] [ ][ ] [ ] 00||, ==== xxuxxuu ExuEEuEuE
[ ] [ ][ ] [ ][ ] [ ] 00.|| ||, ==== xExuxEExuxEEuxE xxuxxuxxu
• Forma amostral das condições de momento 
32
( ) ( ) ∑∑∑∑∑∑
======
+=⇒+=⇒=−⇒=
n
i
i
n
i
i
n
i
i
n
i
i
n
i
ii
n
i
i xnyxyyyu
n 1
10
11
10
111
ˆˆˆˆ0ˆ0ˆ1 ββββ
( )
( ) ∑∑∑∑∑
∑∑
=====
==
+=⇒+=⇒
=−⇒=
n
i
i
n
i
i
n
i
ii
n
i
ii
n
i
ii
n
i
iii
n
i
ii
xxyxxxyx
yyxux
n
1
2
1
1
0
11
10
1
11
ˆˆˆˆ
0ˆ0ˆ1
ββββ
Pressuposto No. 2: (Xi,Yi), i = 1,…,n são i.i.d.
• Cumpre-se automaticamente se as unidades (indivíduos, 
firmas, municípios) são escolhidas por amostra aleatória 
simples: unidade é escolhida, para cada unidades X e Y são 
observados. 
33
observados. 
 
• Um lugar onde iremos encontrar amostra não i.i.d. é quando 
os dados envolvem informações coletadas ao longo do tempo 
(séries temporais)- próximo curso (TPE). 
Pressuposto No. 3: poucos outliers 
• Um outlier é um valor extremo de X e/ou Y 
 
• Outliers podem ter efeitos importantes na estimação dos 
parâmetros do modelo 
34
parâmetros do modelo 
 
Sensibilidade de MQO a outliers
35
Distribuição Amostral do Estimador de 
MQO
O estimador de MQO é calculado com uma amostra de dados; 
uma amostra diferente nos dá um valor de 1ˆβ
 
distinto. Esta é a 
fonte de “incerteza amostral” de 1ˆβ . Queremos: 
 
36
 
• Quantificar a incerteza associada ao valor estimado de 1ˆβ 
 
• usar 1
ˆβ para testar hipótesis, ex. β1 = 0 
 
• construir intervalos de confiança para β1 
 
Distribuição Amostral do Estimador de 
MQO
Para isso, precisamos descobrir a distribuição amostral do 
estimador de MQO. Faremos isso em dois estágios… 
 
• Teoria da probabilidade para regressões lineares 
37
 
• Distribuição do estimador de MQO 
 
Teoria da Probabilidade para
Regressões Lineares
População 
O grupo de interesse (ex: todas as escolas urbanas do Brasil) 
Variáveis aleatórias: Y, X 
 Ex: (Nota em matemática,Tamanho de turma) 
 
38
Teoria da Probabilidade para
Regressões Lineares
População 
O grupo de interesse (ex: todas as escolas urbanas do Brasil) 
Variáveis aleatórias: Y, X 
 Ex: (Nota em matemática,Tamanho de turma) 
Distribuição conjunta de (Y, X) 
39
Distribuição conjunta de (Y, X) 
A função de regressão populacional é linear: 
E(u|X) = 0 (1o pressuposto de MQO) 
X, Y têm momentos finitos (3o pressuposto MQO) 
Teoria da Probabilidade para
Regressões Lineares
População 
O grupo de interesse (ex: todas as escolas urbanas do Brasil) 
Variáveis aleatórias: Y, X 
 Ex: (Nota em matemática,Tamanho de turma) 
Distribuição conjunta de (Y, X) 
40
Distribuição conjunta de (Y, X) 
A função de regressão populacional é linear: 
E(u|X) = 0 (1o pressuposto de MQO) 
X, Y têm momentos finitos (3o pressuposto MQO) 
Dados Coletados por amostra aleatória simples: 
{(Xi, Yi)}, i = 1,…, n, são i.i.d. (2o pressuposto MQO) 
 
Distribuição Amostral de 
• O que é E( 1ˆβ )? 
• Se E( 1ˆβ ) = β1, então MQO é não viesado 
• O que é var( 1ˆβ )? (medida da incerteza amostral) 
• Qual é a distribuição de ˆβ em amostras pequenas? 
1
ˆβ
41
• Qual é a distribuição de 1ˆβ em amostras pequenas? 
• Pode ser complicada em geral 
• Qual é a distribuição de 1ˆβ em amostras grandes? 
• Relativamente simples – 1ˆβ é distribuído como uma 
Normal.