Regresso_Linear_Simples_-_MQO_Parte_1

Prévia do material em texto

Métodos Quantitativos em Administração
Prof. Moisés Diniz Vassallo
Regressão Linear Simples - Método do Mínimos Quadrados 
Ordinários (MQO) – Parte 1
Universidade Federal de Itajubá
Instituto de Engenharia de Produção e Gestão - IEPG
ADM04F
Professor: Moisés Diniz Vassallo
Métodos Quantitativos em Administração
Prof. Moisés Diniz Vassallo
Parte 1: Regressão Linear Simples
Referência Principal:
Wooldridge – Introdução à Econometria – Capítulo 2 e Apêndice A.
Referência Complementar:
Gujarati – Econometria Básica – Capítulos 2 e 3.
Métodos Quantitativos em Administração
Prof. Moisés Diniz Vassallo
O Modelo de Regressão Linear Simples
Um modelo com duas variáveis aleatórias (𝑥, 𝑦) na forma:
𝑦 = 𝛽0 + 𝛽1𝑥 + 𝑢
Onde 𝑥 é usado para explicar 𝑦.
Denomina-se:
• Pode ser usado para estudar a relação entre duas variáveis;
• Possui fortes limitações na análise dos resultados;
• Tem caráter mais didático do que prático.
𝒚 𝒙
Variável Dependente Variável Independente
Variável Explicada Variável Explicativa
Variável de Resposta Variável de Controle
Variável Prevista Variável Previsora
Regressando Regressor
Métodos Quantitativos em Administração
Prof. Moisés Diniz Vassallo
O Modelo de Regressão Linear Simples
𝑦 = 𝛽0 + 𝛽1𝑥 + 𝑢
• Impõe uma forma funcional linear na relação entre 𝑥 e 𝑦;
Δ𝑦 = 𝛽1Δ𝑥
O resultado de uma variação em 𝑥 independe do ponto em que se encontra. Variação constante:
Δ𝑦
Δ𝑥
= 𝛽1
𝛽1 é chamado de parâmetro de inclinação e 𝛽0 de parâmetro de intercepto ou constante.
• Traz um termo de erro (𝑢) para captar a variação em 𝑦 que não é devido a 𝑥. Termo de extrema importância nas
ciências sociais onde as relações não são exatas (determinísticas);
• Em um modelo bivariado é mais difícil de se atender a hipótese necessária para que exista uma relação Ceteris
Paribus, uma vez que se está ignorando no modelo todas as demais variáveis que afetam 𝑦.
Métodos Quantitativos em Administração
Prof. Moisés Diniz Vassallo
Função de Regressão Populacional
𝐸 𝑦 𝑥 = 𝛽0 + 𝛽1𝑥
Única, porem desconhecida.
Métodos Quantitativos em Administração
Prof. Moisés Diniz Vassallo
Função de Regressão Populacional vs Amostral
0
5
10
15
20
25
0 2 4 6 8 10 12 14 16 18 20
Sa
lá
ri
o
Educação
FRP vs FRA
População Amostra 2 Linear (População) Linear (Amostra 2)
Estamos supondo conhecer a FRP
Métodos Quantitativos em Administração
Prof. Moisés Diniz Vassallo
Estimativas da FRA
Os parâmetros obtidos መ𝛽𝑠 serão estimativas com um erro padrão associado onde poderemos realizar 
testes de hipóteses e definir intervalos de confiança.
Os estimadores de 𝛽 terão propriedades que permitirão atribuir distribuições estatísticas às 
estimativas.
Lembre que consideramos um estimador toda regra que pode ser aplicada a qualquer amostra de dados para produzir 
uma estimativa.
Para compreender o que é um estimador estude o Apêndice C do livro do Wooldridge!
Você deve também assistir e compreender este vídeo em sua totalidade: https://youtu.be/eGRd8jBdNYg
https://youtu.be/eGRd8jBdNYg
Métodos Quantitativos em Administração
Prof. Moisés Diniz Vassallo
Amostras aleatórias e Lei dos grande números
Experimentos, adequados, podem ser conduzidos com grandes amostras aleatórias que definem quem 
receberá o tratamento e quem receberá o placebo.
Comum na área de inovação em tratamentos de saúde mas eticamente inviável em muitas situações da própria área da 
saúde e das ciências sociais em geral.
Métodos Quantitativos em Administração
Prof. Moisés Diniz Vassallo
Obtenção dos Parâmetros de Interesse
Algumas técnicas com caminhos diferentes para se obter os parâmetros de interesse em uma função de
regressão:
1. Mínimos Quadrados Ordinários – Condições de primeira e segunda ordem
2. Método dos Momentos – Condições de momentos
3. Estimador de Máxima Verossimilhança
No caso das regressões lineares todos os caminhos levam ao mesmo resultado de fórmula dos
estimadores.
Métodos Quantitativos em Administração
Prof. Moisés Diniz Vassallo
Estimativas da FRA
Vamos considerar uma amostra aleatória da população com tamanho “𝑛”:
{ 𝑥𝑖 , 𝑦𝑖 : 𝑖 = 1,… , 𝑛}
De onde temos o modelo: 𝑦𝑖 = 𝛽0 + 𝛽1𝑥𝑖 + 𝑢𝑖
Para a qual podemos escrever a função de regressão amostral (FRA):
ො𝑦 = መ𝛽0 + መ𝛽1𝑥𝑖
Que é a versão estimada de:
𝐸 𝑦 𝑥 = 𝛽0 + 𝛽1𝑥
Métodos Quantitativos em Administração
Prof. Moisés Diniz Vassallo
Mínimos Quadrados Ordinários (MQO)
Métodos Quantitativos em Administração
Prof. Moisés Diniz Vassallo
Estimador de Mínimos Quadrados Ordinários (MQO)
ො𝑢𝑖 = 𝑦𝑖 − ො𝑦𝑖 = 𝑦𝑖 − መ𝛽0 − መ𝛽1𝑥𝑖
෍
𝑖=1
𝑛
(ො𝑢𝑖
2) =෍
𝑖=1
𝑛
𝑦𝑖 − መ𝛽0 − መ𝛽1𝑥𝑖
2
𝑎𝑟𝑔 min
𝛽0,𝛽1
෍
𝑖=1
𝑛
(ො𝑢𝑖
2)
CPO:
𝜕(∑ෝ𝑢𝑖
2)
𝜕𝛽0
= −2∑ 𝑦𝑖 − መ𝛽0 − መ𝛽1𝑥𝑖 = 0
𝜕(∑ෝ𝑢𝑖
2)
𝜕𝛽1
= −2∑𝑥𝑖 𝑦𝑖 − መ𝛽0 − መ𝛽1𝑥𝑖 = 0
Métodos Quantitativos em Administração
Prof. Moisés Diniz Vassallo
Estimador de Mínimos Quadrados Ordinários (MQO)
CSO: Matriz definida positiva
𝑨 =
𝜕2(∑ො𝑢𝑖
2)
𝜕𝛽0
2
𝜕2(∑ො𝑢𝑖
2)
𝜕𝛽0𝜕𝛽1
𝜕2(∑ො𝑢𝑖
2)
𝜕𝛽0𝜕𝛽1
𝜕2(∑ො𝑢𝑖
2)
𝜕𝛽1
2
1º menor principal:
𝜕(∑ෝ𝑢𝑖
2)
𝜕𝛽0
= −2∑ 𝑦𝑖 − መ𝛽0 − መ𝛽1𝑥𝑖 ⇒
𝜕2(∑ෝ𝑢𝑖
2)
𝜕𝛽0
2 = 2𝑛 > 0
𝜕(∑ො𝑢𝑖
2)
𝜕𝛽1
= −2∑𝑥𝑖 𝑦𝑖 − መ𝛽0 − መ𝛽1𝑥𝑖 ⇒
𝜕2(∑ො𝑢𝑖
2)
𝜕𝛽1
2
= 2∑𝑥𝑖
2 > 0
𝜕2(∑ො𝑢𝑖
2)
𝜕𝛽0𝜕𝛽1
= 2∑𝑥𝑖
2º menor principal: 𝐴 = 2𝑛 2∑𝑥𝑖
2 − 2∑𝑥𝑖 > 0
Métodos Quantitativos em Administração
Prof. Moisés Diniz Vassallo
Estimador de Mínimos Quadrados Ordinários (MQO)
Resolvendo para 𝛽0:
𝜕(∑ෝ𝑢𝑖
2)
𝜕𝛽0
= −2∑ 𝑦𝑖 − መ𝛽0 − መ𝛽1𝑥𝑖 = 0
∑ 𝑦𝑖 − መ𝛽0 − መ𝛽1𝑥𝑖 = 0
∑𝑦𝑖 − 𝑛 መ𝛽0 − መ𝛽1∑𝑥𝑖 = 0
∑𝑦𝑖
𝑛
− መ𝛽0 − መ𝛽1
∑𝑥𝑖
𝑛
= 0
መ𝛽0 = ത𝑦 − መ𝛽1 ҧ𝑥
Métodos Quantitativos em Administração
Prof. Moisés Diniz Vassallo
Estimador de Mínimos Quadrados Ordinários (MQO)
Resolvendo para 𝛽1:
𝜕(∑ො𝑢𝑖
2)
𝜕𝛽1
= −2∑𝑥𝑖 𝑦𝑖 − መ𝛽0 − መ𝛽1𝑥𝑖 = 0
መ𝛽1 =
∑𝑥𝑖(𝑦𝑖 − ത𝑦)
∑𝑥𝑖(𝑥𝑖 − ҧ𝑥)
=
∑(𝑥𝑖 − ҧ𝑥)(𝑦𝑖 − ത𝑦)
∑ 𝑥𝑖 − ҧ𝑥 2
=
𝐶𝑜𝑣(𝑥, 𝑦)
𝑉𝑎𝑟(𝑥)
Métodos Quantitativos em Administração
Prof. Moisés Diniz Vassallo
Condições de Momento e o Método dos Momentos
Além do método de MQO, outra forma de se obter estimadores para 𝛽0 e 𝛽1 é impor
restrições sobre os momentos de relação entre o termo de erro e as variáveis explicativas.
𝐸 𝑢 𝑥 = 𝐸 𝑢 = 0
Note que a esperança condicional é mais forte do que admitir correlação ou covariância
zero, uma vez que estes indicadores podem se apresentar nulos para relações lineares,
mas não para relações de outra forma.
Métodos Quantitativos em Administração
Prof. Moisés Diniz Vassallo
Contrapartida Amostral das Condições de Momento
𝐸 𝑢𝑖 = 0 ⇒ 𝑛−1∑ො𝑢𝑖 = 𝑛−1෍
𝑖=1
𝑛
𝑦𝑖 − መ𝛽0 − መ𝛽1𝑥𝑖 = 0 ⇒ መ𝛽0 = ത𝑦 − መ𝛽1 ҧ𝑥
Que equivale a CPO:
𝜕 ∑𝑢𝑖
2
𝜕෡𝛽0
= −2∑ 𝑦𝑖 − መ𝛽0 − መ𝛽1𝑥𝑖 = 0
E
𝐸 𝑥𝑢 = 0 ⇒ 𝑐𝑜𝑣 𝑥, 𝑢 = 0 ⇒ 𝑛−1෍
𝑖=1
𝑛
𝑥𝑖 𝑦𝑖 − መ𝛽0 − መ𝛽1𝑥𝑖 = 0
⇒ መ𝛽1 =
∑ 𝑥𝑖 − ҧ𝑥 𝑦𝑖 − ത𝑦
∑ 𝑥𝑖 − ҧ𝑥 2
Que equivale a CPO:
𝜕 ∑𝑢𝑖
2
𝜕෡𝛽1
= −2∑𝑥𝑖 𝑦𝑖 − መ𝛽0 − መ𝛽1𝑥𝑖
Métodos Quantitativos em Administração
Prof. Moisés Diniz Vassallo
Estimador de Máxima Verossimilhança
O estimador de MV exige uma revisão sobre distribuições de probabilidade, portanto, deixaremos para 
visitá-lo quando o aluno já estiver mais familiarizado com as propriedades e hipóteses do estimador de 
MQO.
Métodos Quantitativos em Administração
Prof. Moisés Diniz Vassallo
Algumas Propriedades Algébricas do MQO
Pelas condições de momentos impostas temos:
∑𝑖=1
𝑛 ො𝑢𝑖 = 0 (1)
∑𝑖=1
𝑛 𝑥𝑖 ො𝑢𝑖 = 0 (2)
De (1) podemos ainda ter que se 𝑦𝑖 = ො𝑦𝑖 + ො𝑢𝑖, então:
ത𝑦 = ഥො𝑦
Métodos Quantitativos em Administração
Prof. Moisés Diniz Vassallo
Algumas Propriedades Algébricas do MQO
Além de decompor cada observação 𝑦𝑖 em uma parcela explicada ( ො𝑦𝑖) e em um temo de resíduo
(ො𝑢𝑖), tal que 𝑦𝑖 = ො𝑦𝑖 + ො𝑢𝑖, também podemos obter a seguinte relação:
෍
𝑖=1
𝑛
𝑦𝑖 − ത𝑦 2 =෍
𝑖=1
𝑛
ො𝑦𝑖− ത𝑦 2 +෍
𝑖=1
𝑛
ො𝑢𝑖
2
Onde denotaremos as partes como:
• Soma dos Quadrados Total de 𝑦 (𝑆𝑄𝑇𝑦): ∑𝑖=1
𝑛 𝑦𝑖 − ത𝑦 2
• Soma dos Quadrados Explicada (𝑆𝑄𝐸): ∑𝑖=1
𝑛 ො𝑦𝑖 − ത𝑦 2
• Soma dos Quadrados Resíduos (𝑆𝑄𝑅): ∑𝑖=1
𝑛 ො𝑢𝑖
2
Métodos Quantitativos em Administração
Prof. Moisés Diniz Vassallo
𝑆𝑄𝑇𝑦
෍
𝑖=1
𝑛
𝑦𝑖 − ത𝑦 2 =෍
𝑖=1
𝑛
[ 𝑦𝑖 − ො𝑦𝑖 + ( ො𝑦𝑖 − ത𝑦)]2
=෍
𝑖=1
𝑛
[ ො𝑢𝑖 + ( ො𝑦𝑖 − ത𝑦)]2
=෍
𝑖=1
𝑛
ො𝑢𝑖
2 + 2෍
𝑖=1
𝑛
ො𝑢𝑖 ො𝑦𝑖 − ത𝑦 +෍
𝑖=1
𝑛
ො𝑦𝑖 − ത𝑦 2
𝑆𝑄𝑇𝑦 = 𝑆𝑄𝑅 + 𝑆𝑄𝐸
0