Aula 1 - Regressão simples

Prévia do material em texto

O modelo de regressão simples
Bibliografia: 
WOOLDRIDGE, Jeffrey M. Introductory econometrics: a modern
approach (5a ed.), 2012 – Capítulo 2
Rafael S. M. Ribeiro
Centro de Desenvolvimento e Planejamento Regional (CEDEPLAR)
Faculdade de Ciências Econômicas (FACE)
Universidade Federal de Minas Gerais (UFMG)
Terminologia
No modelo de regressão linear simples, onde y = b0 + b1x + u, 
normalmente nos referimos a x e y como:
Um pressuposto simples
• O valor médio do termo de erro u é igual a 0. Isto é,
• E(u) = 0
• Esta não é uma condição restritiva uma vez que é sempre possível 
obter um valor para b0 capaz de normalizar E(u) = 0.
Média condicional igual a zero
• O modelo exige a validade de um pressuposto crucial a respeito da 
relação entre u e x.
• É preciso que as informações a respeito de x não nos digam nada a 
respeito do termo de erro u, de modo que ambos devem ser 
completamente não relacionados. Ou seja,
• E(u|x) = E(u) = 0, o que implica em E(y|x) = b0 + b1x
Média condicional igual a zero
x1 x2
E(y|x) = b0 + b1x
y
f(y)
Mínimos quadrados ordinários (MQO)
• A ideia básica do modelo de regressão é estimar o parâmetro 
populacional a partir apenas dos dados da amostra disponível.
• Seja {(xi,yi): i=1, …,n} uma amostra aleatória de tamanho n de uma
dada população.
• Para cada observação da amostra é possível estabelecer uma relação
como se segue:
yi = b0 + b1xi + ui
Mínimos quadrados ordinários (MQO)
.
.
.
.
y4
y1
y2
y3
x1 x2 x3 x4
}
}
{
{
u1
u2
u3
u4
x
y E(y|x) = b0 + b1x
Derivando os estimadores de MQO
Existem algumas formas de se obter os parâmetros do modelo:
1. Minimização dos quadrados dos resíduos (otimização)
2. Método dos Momentos
Obs. 1: Uma terceira forma que é por meio do Estimador de Máxima 
Verossimilhança. Contudo, esta não será vista no curso.
Obs. 2: No caso das regressões lineares todos os caminhos levam às 
mesmas fórmulas dos estimadores.
Minimização dos quadrados dos resíduos (otimização)
Seja
ො𝑢𝑖 = 𝑦𝑖 − ො𝑦𝑖 = 𝑦𝑖 − ( መ𝛽0 + መ𝛽1𝑥𝑖)
෍
𝑖=1
𝑛
(ො𝑢𝑖
2) = ෍
𝑖=1
𝑛
𝑦𝑖 − መ𝛽0 − መ𝛽1𝑥𝑖
2
𝑎𝑟𝑔 min
𝛽0,𝛽1
෍
𝑖=1
𝑛
(ො𝑢𝑖
2)
Minimização dos quadrados dos resíduos (otimização)
A condição de primeira ordem é dada por
𝜕(∑ො𝑢𝑖
2)
𝜕𝛽0
= −2∑ 𝑦𝑖 − መ𝛽0 − መ𝛽1𝑥𝑖 = 0
𝜕(∑ො𝑢𝑖
2)
𝜕𝛽1
= −2∑𝑥𝑖 𝑦𝑖 − መ𝛽0 − መ𝛽1𝑥𝑖 = 0
Minimização dos quadrados dos resíduos (otimização)
Resolvendo para 𝛽0:
𝜕(∑ෝ𝑢𝑖
2)
𝜕𝛽0
= −2∑ 𝑦𝑖 − መ𝛽0 − መ𝛽1𝑥𝑖 = 0
∑ 𝑦𝑖 − መ𝛽0 − መ𝛽1𝑥𝑖 = 0
∑𝑦𝑖 − 𝑛 መ𝛽0 − መ𝛽1∑𝑥𝑖 = 0
∑𝑦𝑖
𝑛
− መ𝛽0 − መ𝛽1
∑𝑥𝑖
𝑛
= 0
መ𝛽0 = ത𝑦 − መ𝛽1 ҧ𝑥
Minimização dos quadrados dos resíduos (otimização)
Resolvendo para 𝛽1:
𝜕(∑ො𝑢𝑖
2)
𝜕𝛽1
= −2∑𝑥𝑖 𝑦𝑖 − መ𝛽0 − መ𝛽1𝑥𝑖 = 0
−2∑𝑥𝑖 𝑦𝑖 − ത𝑦 + መ𝛽1 ҧ𝑥 − መ𝛽1𝑥𝑖 = 0
መ𝛽1∑𝑥𝑖 𝑥𝑖 − ҧ𝑥 = ∑𝑥𝑖(𝑦𝑖 − ത𝑦)
መ𝛽1 =
∑𝑥𝑖(𝑦𝑖 − ത𝑦)
∑𝑥𝑖(𝑥𝑖 − ҧ𝑥)
=
∑(𝑥𝑖 − ҧ𝑥)(𝑦𝑖 − ത𝑦)
∑ 𝑥𝑖 − ҧ𝑥 2
=
𝐶𝑜𝑣(𝑥, 𝑦)
𝑉𝑎𝑟(𝑥)
Obs: ∑ 𝑥𝑖 − ҧ𝑥 𝑦𝑖 − ത𝑦 = ∑𝑥𝑖 𝑦𝑖 − ത𝑦 − ҧ𝑥∑ 𝑦𝑖 − ത𝑦
0
Método de momentos
• Para obter os estimadores de MQO, note que o pressuposto E(u|x) =
E(u) = 0, implica em
• Cov(x,u) = E(xu) = 0
• Obs.: Isso decorre da condição Cov(X,Y) = E(XY) – E(X)E(Y)
Método de momentos
• Dado que u = y – b0 – b1x, podemos escrever as duas restrições como:
E(y – b0 – b1x) = 0
E[x(y – b0 – b1x)] = 0
• Estas são chamadas as condições de momentos.
Método de momentos
• Queremos escolher valores para os parâmetros que garantam que as
versões amostrais das nossas condições de momentos sejam válidas.
• As versões amostrais são dadas por:
( )
( ) 0ˆˆ
0ˆˆ
1
10
1
1
10
1
=−−
=−−


=
−
=
−
n
i
iii
n
i
ii
xyxn
xyn
bb
bb
Método de momentos
• Dada a definição da média amostral e das propriedades do somatório,
podemos reescrever a primeira condição como
ou
xy
xy
10
10
ˆˆ
or
,ˆˆ
bb
bb
−=
+=
xy
xy
10
10
ˆˆ
or
,ˆˆ
bb
bb
−=
+=
Método de momentos
( )( )
( ) ( )
( )( ) ( )


==
==
=
−=−−
−=−
=−−−
n
i
ii
n
i
i
n
i
ii
n
i
ii
n
i
iii
xxyyxx
xxxyyx
xxyyx
1
2
1
1
1
1
1
1
11
ˆ
ˆ
0ˆˆ
b
b
bb
( )( )
( )
( ) 0 that provided
ˆ
1
2
1
2
1
1
−
−
−−
=



=
=
=
n
i
i
n
i
i
n
i
ii
xx
xx
yyxx
b
Interpretando a inclinação da curva
• A estimativa de inclinação é a covariância da amostra entre x e y
dividida pela variância da amostra de x. 
• Se x e y estiverem positivamente correlacionados, a inclinação será 
positiva 
• Se x e y forem correlacionados negativamente, a inclinação será 
negativa 
• A variável x precisa variar na amostra de modo que 
( )( )
( )
( ) 0 that provided
ˆ
1
2
1
2
1
1
−
−
−−
=



=
=
=
n
i
i
n
i
i
n
i
ii
xx
xx
yyxx
b
Interpretando a inclinação da curva
• Intuitivamente, o modelo de MQO ajusta uma linha através dos 
pontos de amostra de modo que a soma dos quadrados dos resíduos 
seja a menor possível, daí o termo mínimos quadrados.
• O resíduo, û, é uma estimativa do termo de erro, u, e é a diferença 
entre a linha ajustada (função de regressão de amostra) e o ponto de 
amostra.
A qualidade do ajuste do modelo
• Podemos decompor cada observação 𝑦𝑖 em uma parcela explicada 
( ො𝑦𝑖) e em um temo de resíduo (ො𝑢𝑖), ou seja, 
𝑦𝑖 = ො𝑦𝑖 + ො𝑢𝑖.
• Daí obtemos a seguinte relação:
෍
𝑖=1
𝑛
𝑦𝑖 − ത𝑦 2 = ෍
𝑖=1
𝑛
ො𝑦𝑖 − ത𝑦 2 +෍
𝑖=1
𝑛
ො𝑢𝑖
2
A qualidade do ajuste do modelo
Onde denotaremos as partes como:
• Soma dos Quadrados Total de 𝑦 (𝑆𝑄𝑇𝑦): ∑𝑖=1
𝑛 𝑦𝑖 − ത𝑦 2
• Soma dos Quadrados Explicada (𝑆𝑄𝐸): ∑𝑖=1
𝑛 ො𝑦𝑖 − ത𝑦 2
• Soma dos Quadrados Resíduos (𝑆𝑄𝑅): ∑𝑖=1
𝑛 ො𝑢𝑖
2
A qualidade do ajuste do modelo
Prova:
෍
𝑖=1
𝑛
𝑦𝑖 − ത𝑦 2 = ෍
𝑖=1
𝑛
[ 𝑦𝑖 − ො𝑦𝑖 + ( ො𝑦𝑖 − ത𝑦)]2
= ෍
𝑖=1
𝑛
[ ො𝑢𝑖 + ( ො𝑦𝑖 − ത𝑦)]2
= ෍
𝑖=1
𝑛
ො𝑢𝑖
2 + 2෍
𝑖=1
𝑛
ො𝑢𝑖 ො𝑦𝑖 − ത𝑦 +෍
𝑖=1
𝑛
ො𝑦𝑖 − ത𝑦 2
𝑆𝑄𝑇𝑦 = 𝑆𝑄𝑅 + 𝑆𝑄𝐸
0
A qualidade do ajuste do modelo
• Uma das formas de medir qual a qualidade do ajuste da reta de 
regressão aos dados observados é a coeficiente de determinação 𝑅2:
𝑅2 =
𝑆𝑄𝐸
𝑆𝑄𝑇𝑦
= 1 −
𝑆𝑄𝑅
𝑆𝑄𝑇𝑦
• Mede quão bem a variável independente 𝑥 explica a variável 
dependente 𝑦.
• Mais precisamente qual a parcela da variabilidade de 𝑦 é explicada 
pelo modelo (
𝑆𝑄𝐸
𝑆𝑄𝑇𝑦
).
Modelos logarítmicos
• As relações entre as variáveis explicada e explicativa não precisam ser 
necessariamente lineares.
• Mesmo com modelos de regressão lineares nos parâmetros (𝛽𝑠) é 
possível tratarmos modelos onde 𝑥 e 𝑦 são transformações não 
lineares das variáveis originais.
Forma lin-log: 𝑦 = 𝛽0 + 𝛽1 ln 𝑥 + 𝑢
Forma log-lin: ln 𝑦 = 𝛽0 + 𝛽1𝑥 + 𝑢
Forma log-log: ln 𝑦 = 𝛽0 + 𝛽1 ln 𝑥 + 𝑢
Modelos logarítmicos: lin-log
Modelos logarítmicos: log-lin
Modelos logarítmicos: log-log
• Seja ln 𝑦 = 𝛽0 + 𝛽1 ln 𝑥
• Então 𝛽1 pode ser interpretado pela elasticidade de y em relação a x, 
ou seja qual a variação percentual em y dada uma variação 
percentual em x.
𝛽1 =
∆𝑦
𝑦
∆𝑥
𝑥
=
∆𝑦
∆𝑥
.
𝑥
𝑦
• Aplicações em estimativas de funções de elasticidade constante.
Modelos logarítmicos: quadro-resumo
Hipóteses do modelo de regressão linear simples
• Para que consigamos atingir algumas propriedades desejáveis para o 
estimador de MQO, por exemplo a não existência de viés, algumas 
hipóteses serão necessárias.
• Conhecer estas hipóteses é de extrema importância, pois a violação 
de alguma delas pode ter implicações sérias nas propriedades do 
estimador.
Hipóteses do modelo de regressão linear simples
Hipótese 1 - Linearidade nos parâmetros:
𝑦 = 𝛽0 + 𝛽1𝑥 + 𝑢
• Linearidade exigida apenas para os parâmetros 𝛽𝑠 a serem estimados;
• As variáveis explicativa 𝑥 e a explicada 𝑦 podem sofrer alterações não 
lineares em suas formas originais;
• Variações quadráticas e logarítmicas são as mais comuns;
• Pressupor uma relação linear nos parâmetros na funçãode regressão 
populacional é a hipótese inicial para que se desenvolva o estimador para 
este modelo.
Hipóteses do modelo de regressão linear simples
Hipótese 2 - Amostra aleatória representativa da população, com tamanho 
“n”.
{ 𝑥𝑖 , 𝑦𝑖 : 𝑖 = 1,2, … , 𝑛}
𝑦𝑖 = 𝛽0 + 𝛽1𝑥𝑖 + 𝑢𝑖
• A amostra aleatória com independência entre os termos é uma hipótese 
que irá garantir algumas propriedades desejáveis para o estimador da 
variância;
• Esta hipótese é comumente violada em séries de tempo;
Hipóteses do modelo de regressão linear simples
Hipótese 3 - Variação amostral em 𝑥. A variável explicativa deve variar na 
amostra, ou seja, {𝑥𝑖 = 1,2,… , 𝑛} não são todos do mesmo valor.
• Se todos os elementos 𝑥𝑖 da amostra assumirem o mesmo valor então 
não será possível definir uma função de regressão linear com intercepto 
𝛽0 e inclinação 𝛽1 bem definidos. Esta hipótese é facilmente atendida na 
maioria dos estudos de interesse.
Hipóteses do modelo de regressão linear simples
Hipótese 4 - Média condicional zero ou exogeneidade estrita.
𝐸 𝑢 𝑥 = 𝐸 𝑢 = 0
• Para uma amostra aleatória: 𝐸 𝑢𝑖 𝑥𝑖 = 0
• Ou, alternativamente, com efeitos equivalentes, mas menos forte em 
termos de hipótese: 𝑐𝑜𝑣 𝑥𝑗 , 𝑢𝑖 = 0, 𝑝𝑎𝑟𝑎 𝑡𝑜𝑑𝑜 𝑗 = 1,… , 𝑘
• Esta hipótese é fundamental para inexistência de viés nos estimadores de 
MQO.
Hipóteses do modelo de regressão linear simples
Hipótese 5 – Homocedasticidade
𝑉𝑎𝑟 𝑢|𝑥 = 𝜎2
• Variância do termo de erro independe da variável explicativa 𝑥.
Estimador de MQO não viesado
A partir das hipóteses de 1 a 4, é possível mostrarmos que não há viés 
nos estimadores de MQO, ou seja:
𝐸 መ𝛽1 = 𝛽1 e 𝐸 መ𝛽0 = 𝛽0
መ𝛽1 =
∑ 𝑥𝑖 − ҧ𝑥 𝑦𝑖
𝑆𝑄𝑇𝑥
=
𝐶𝑜𝑣(𝑥, 𝑦)
𝑉𝑎𝑟(𝑥)
መ𝛽0 = ത𝑦 − መ𝛽1 ҧ𝑥
Estimador de MQO não viesado
Para መ𝛽1, substituindo 𝑦𝑖 escrito com os parâmetros populacionais 𝛽0 e 𝛽1, temos:
መ𝛽1 =
∑ 𝑥𝑖 − ҧ𝑥 (𝛽0 + 𝛽1𝑥𝑖 + 𝑢𝑖)
𝑆𝑄𝑇𝑥
=
𝛽0∑ 𝑥𝑖 − ҧ𝑥 + 𝛽1∑ 𝑥𝑖 − ҧ𝑥 𝑥𝑖 +∑ 𝑥𝑖 − ҧ𝑥 𝑢𝑖
𝑆𝑄𝑇𝑥
መ𝛽1 = 𝛽1 +
∑ 𝑥𝑖 − ҧ𝑥 𝑢𝑖
𝑆𝑄𝑇𝑥
Como 𝐸 𝑢𝑖 𝑥𝑖 = 𝐸 𝑢𝑖 = 0, então 𝐸 መ𝛽1|𝑥 = 𝛽1 +
∑ 𝑥𝑖− ҧ𝑥
𝑆𝑄𝑇𝑥
𝐸 𝑢𝑖 = 𝛽1
Média condicional zero
0
0
Estimador de MQO não viesado
Para መ𝛽0, temos:
መ𝛽0 = ത𝑦 − መ𝛽1 ҧ𝑥 = (𝛽0 + 𝛽1 ҧ𝑥 + ത𝑢) − መ𝛽1 ҧ𝑥 = 𝛽0 + 𝛽1 − መ𝛽1 ҧ𝑥 + ത𝑢
𝐸( መ𝛽0) = 𝛽0 + 𝐸(𝛽1 − መ𝛽1) ҧ𝑥 + 𝐸(ത𝑢)
𝐸( መ𝛽0) = 𝛽0
0 0
Variância do estimador de MQO
Seja: 𝑉𝑎𝑟 𝑢 𝑥 = 𝐸 𝑢2 𝑥 − 𝐸 𝑢 𝑥 2
onde a média condicional zero é 𝐸 𝑢 𝑥 = 0. Logo:
𝑉𝑎𝑟 𝑢 𝑥 = 𝜎2 = 𝐸(𝑢2|𝑥)
Sendo 𝛽0 e 𝛽1 constantes, então nossa esperança de 𝑦 condicional em 
𝑥 e nossa variância de 𝑦 condicional em 𝑥 serão:
𝐸 𝑦 𝑥 = 𝛽0 + 𝛽1𝑥
𝑉𝑎𝑟 𝑦 𝑥 = 𝑉𝑎𝑟 𝑢 𝑥 = 𝜎2
Sob iid temos também homocedasticidade incondicional:
𝑉𝑎𝑟(𝑢) = 𝜎2 = 𝐸(𝑢2)
O caso homocedástico
O caso heterocedástico
Variância do estimador መ𝛽1
Para obter a variância de 𝛽1 partimos da expressão que usamos para a 
prova de estimador não viesado:
መ𝛽1 = 𝛽1 +
∑ 𝑥𝑖 − ҧ𝑥 𝑢𝑖
𝑆𝑄𝑇𝑥
Variância do estimador መ𝛽1
Aplicando o operador da variância condicional em 𝑥 temos:
𝑉𝑎𝑟 መ𝛽1|𝑥 =
1
SQTx
2
[෍ 𝑥𝑖 − ҧ𝑥 2𝑉𝑎𝑟 𝑢𝑖 ]
=
1
SQTx
2
𝑆𝑄𝑇𝑥𝜎
2 =
𝜎2
𝑆𝑄𝑇𝑥
𝑉𝑎𝑟 መ𝛽1 =
𝜎2
𝑆𝑄𝑇𝑥
Geralmente desconhecido
pois não conhecemos 𝑢𝑖,
mas podemos obter ො𝑢𝑖
Variância do estimador መ𝛽0
መ𝛽0 = ത𝑦 − መ𝛽1 ҧ𝑥
Substituindo ത𝑦 = 𝛽0 + 𝛽1 ҧ𝑥 + ത𝑢 :
መ𝛽0 = 𝛽0 + 𝛽1 ҧ𝑥 + ത𝑢 − መ𝛽1 ҧ𝑥 = 𝛽1 − መ𝛽1 ҧ𝑥 + ത𝑢
𝑉𝑎𝑟 መ𝛽0 = 𝑉𝑎𝑟 𝛽1 − መ𝛽1 ҧ𝑥 + 𝑉𝑎𝑟 ത𝑢 + 2𝐶𝑜𝑣[ 𝛽1 − መ𝛽1 ҧ𝑥 ത𝑢]
𝑉𝑎𝑟 መ𝛽0 = ҧ𝑥2𝑉𝑎𝑟( መ𝛽1) + 𝑉𝑎𝑟 ത𝑢 + 2𝐶𝑜𝑣[ 𝛽1 − መ𝛽1 ҧ𝑥 ത𝑢]
𝑉𝑎𝑟 መ𝛽0 = ҧ𝑥2
𝜎2
𝑆𝑄𝑇𝑥
+
𝜎2
𝑛
+ 0
𝑉𝑎𝑟 መ𝛽0 =
𝜎2𝑛−1∑𝑥𝑖
2
𝑆𝑄𝑇𝑥
Variância do estimador de MQO
• Quanto maior a variância do erro, s2, maior a variância do estimador 
de inclinação, መ𝛽1.
• Quanto maior a variabilidade em x, menor a variância do estimador 
de inclinação, መ𝛽1.
• Consequentemente, quanto maior a amostra, maior a chance de se 
obter uma menor variância do estimador de inclinação መ𝛽1.
• O problema: a variância do erro é desconhecida
Estimando a variância do erro
• Nós não observamos a variância do erro, s2, porque nós não 
observamos o erro da equação populacional u.
• Nós somos capazes de observar apenas o resíduo û.
• Nós podemos usar os resíduos para obter uma estimativa da variância 
do erro.
Estimando a variância do erro
Então, descontamos dois graus de liberdade correspondentes aos dois parâmetros 
estimados e obtemos um estimador de 𝜎2 não viesado que é igual a
ො𝜎2 =
∑ො𝑢𝑖
2
𝑛 − 2
=
𝑆𝑄𝑅
𝑛 − 2
( )
( ) ( )
( )
( )2/ˆ
2
1
ˆ
is ofestimator unbiasedan Then,
ˆˆ
ˆˆ
ˆˆˆ
22
2
1100
1010
10
−=
−
=
−−−−=
−−++=
−−=
 nSSRu
n
u
xux
xyu
i
i
iii
iii
s
s
bbbb
bbbb
bb
Estimando a variância do erro
Desvio padrão da regressão:
ො𝜎2 = ො𝜎 =
∑ො𝑢𝑖
2
𝑛 − 2
Desvio padrão de መ𝛽0:
𝑆𝐸 መ𝛽0 = ො𝜎
𝑛−1∑𝑥𝑖
2
𝑆𝑄𝑇𝑥
Desvio padrão de መ𝛽1:
𝑆𝐸 መ𝛽1 =
ො𝜎
𝑆𝑄𝑇𝑥
FIM