Resumo - Método de Estimação dos Mínimos Quadrados Ordinários

•

IBMEC

1

0

1

0

Lucas Godinho

07/07/2021

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

E aí, curtiu este material?

Ajude a incentivar outros estudantes a melhorar o conteúdo

Gostou desse material? Compartilhe! 🧡

Inferencia Estatistica

570 Materiais compartilhados

Baixe o app para aproveitar ainda mais

Leia os materiais offline, sem usar a internet. Além de vários outros recursos!

Prévia do material em texto

1 
 
Método dos Mínimos Quadrados Ordinários: 
É uma técnica de otimização matemática que procura encontrar o melhor ajuste para 
um conjunto de dados tentando minimizar a soma dos quadrados das diferenças entre o valor 
estimado e os dados observados. 
 
 
 
 
 
 
 
 
(𝑥1, 𝑦1); (𝑥2, 𝑦2); (𝑥3, 𝑦3); ⋯ ; (𝑥𝑛, 𝑦𝑛) 
𝑦𝑖|𝑥𝑖 = 𝛽0 + 𝛽1𝑥𝑖 + 𝜀𝑖 
𝑦1|𝑥1 = 𝛽0 + 𝛽1𝑥1 + 𝜀1
𝑦2|𝑥2 = 𝛽0 + 𝛽1𝑥2 + 𝜀2
⋮
𝑦𝑛|𝑥𝑛 = 𝛽0 + 𝛽1𝑥𝑛 + 𝜀𝑛
 
𝜀𝑖 = 𝑦𝑖 − (𝛽0 + 𝛽1𝑥𝑖) 
𝑀𝑖𝑛 ∑ 𝜀𝑖
𝑛
𝑖=1
= 0 ⟹ 𝑀𝑖𝑛 ∑(𝜀𝑖)
2
𝑛
𝑖=1
= ∑[𝑦𝑖 − (𝛽0 + 𝛽1𝑥𝑖)]
2
𝑛
𝑖=1
 
𝑉𝑎𝑟𝑖𝑎𝑏𝑖𝑙𝑖𝑑𝑎𝑑𝑒 𝑚í𝑛𝑖𝑚𝑎 𝑑𝑜𝑠 𝑒𝑟𝑟𝑜𝑠 ⟹ 𝑦 = �̂�1𝑥𝑖 + �̂�0 
 
Exemplo: 
𝜕 ∑(𝜀𝑖)
2
𝜕𝛽0
= ∑ 2[𝑦𝑖 − (𝛽0 + 𝛽1𝑥𝑖)] ∙ (−1)
𝑛
𝑖=1
= −2 ∙ ∑[𝑦𝑖 − 𝛽0 − 𝛽1𝑥𝑖]
𝑛
𝑖=1
 
−2 ∙ ∑[𝑦𝑖 − �̂�0 − �̂�1𝑥𝑖]
𝑛
𝑖=1
= 0 ⇒ ∑(𝑦𝑖)
𝑛
𝑖=1
− ∑(�̂�0)
𝑛
𝑖=1
− ∑(�̂�1𝑥𝑖)
𝑛
𝑖=1
= 0 ⇒ 
⇒ ∑(𝑦𝑖)
𝑛
𝑖=1
− 𝑛�̂�0 − �̂�1 ∙ ∑(𝑥𝑖)
𝑛
𝑖=1
= 0 ⇒ 𝑛�̅� − 𝑛�̂�0 − �̂�1𝑛�̅� = 0 ⇒ 
⇒ 𝑛(�̅� − �̂�0 − �̂�1�̅�) = 0 ⇒ �̅� − �̂�0 − �̂�1�̅� = 0 ⇒ 
⇒ �̂�0 = �̅� − �̂�1�̅� ⟶ �̂�0 é EMQO de β0 sob a condição de
𝜕2(𝜀𝑖)
2
𝜕𝛽0
2 |
𝛽0=�̂�0
> 0. 
𝜕 ∑(𝜀𝑖)
2
𝜕𝛽1
= ∑ 2[𝑦𝑖 − (𝛽0 + 𝛽1𝑥𝑖)] ∙ (−𝑥𝑖)
𝑛
𝑖=1
= 2 ∙ ∑[𝑦𝑖 − (𝛽0 + 𝛽1𝑥𝑖)] ∙ (−𝑥𝑖)
𝑛
𝑖=1
 
−2 ∙ ∑[𝑦𝑖 − (�̂�0 + �̂�1𝑥𝑖)] ∙ (𝑥𝑖)
𝑛
𝑖=1
= 0 ⇒ ∑[𝑥𝑖𝑦𝑖 − 𝑥𝑖�̂�0 − �̂�1𝑥𝑖
2]
𝑛
𝑖=1
= 0 ⇒ 
⇒ ∑(𝑥𝑖𝑦𝑖)
𝑛
𝑖=1
− �̂�0 ∙ ∑(𝑥𝑖)
𝑛
𝑖=1
− �̂�1 ∙ ∑(𝑥𝑖
2)
𝑛
𝑖=1
= 0 ⇒ ∑(𝑥𝑖𝑦𝑖)
𝑛
𝑖=1
− (�̂�0 = �̅� − �̂�1�̅�) ∙ ∑(𝑥𝑖)
𝑛
𝑖=1
− �̂�1 ∙ ∑(𝑥𝑖
2)
𝑛
𝑖=1
= 0
⇒ 
⇒ ∑(𝑥𝑖𝑦𝑖)
𝑛
𝑖=1
+ [−�̅� + �̂�1�̅�] ∙ 𝑛�̅� − �̂�1 ∙ ∑(𝑥𝑖
2)
𝑛
𝑖=1
= 0 ⇒ ∑(𝑥𝑖𝑦𝑖)
𝑛
𝑖=1
− 𝑛�̅��̅� + 𝑛�̂�1�̅�
2 − �̂�1 ∙ ∑(𝑥𝑖
2)
𝑛
𝑖=1
= 0 ⇒ 
⇒ ∑(𝑥𝑖𝑦𝑖)
𝑛
𝑖=1
− 𝑛�̅��̅� = �̂�1 ∙ ∑(𝑥𝑖
2)
𝑛
𝑖=1
− 𝑛�̂�1�̅�
2 ⇒ ∑(𝑥𝑖𝑦𝑖)
𝑛
𝑖=1
− 𝑛�̅��̅� = �̂�1 [∑(𝑥𝑖
2)
𝑛
𝑖=1
− 𝑛�̅�2] ⇒ 
⇒ �̂�1 =
∑ (𝑥𝑖𝑦𝑖)
𝑛
𝑖=1 −𝑛�̅��̅�
∑ (𝑥𝑖
2)𝑛𝑖=1 −𝑛�̅�
2 ⟶ �̂�1 é EMQO de β1 sob a condição de 
𝜕2(𝜀𝑖)
2
𝜕𝛽1
2 |
𝛽1=�̂�1
> 0. 
 
Exercício: 
Seja 𝑦1, 𝑦2, ⋯ , 𝑦𝑛 variáveis aleatórias independentes com 𝒀~(𝜷𝟎 + 𝜷𝟏𝒇(𝑿); 𝜽), onde 
𝑓(𝑦|𝑥) =
1
√2𝜋𝜃
𝑒𝑥𝑝 [
−1
2
(𝑦𝑖−[𝛽0+𝛽1𝑓(𝑋)])
2
𝜗
]; 𝐸(𝑌) = 𝛽0 + 𝛽1𝑓(𝑋); 𝑉𝑎𝑟(𝑌) = 𝜎
2 = 𝜃; 𝑓(𝑋) = 𝑤. 
Encontre os EMQOs de 𝛽0 e 𝛽1. 
𝜕 ∑(𝜀𝑖)
2
𝜕𝛽0
= ∑ 2[𝑦𝑖 − (𝛽0 + 𝛽1𝑤𝑖)]
𝑛
𝑖=1
∙ (−1) ⇒ −2 ∙ ∑[𝑦𝑖 − �̂�0 − �̂�1𝑤𝑖]
𝑛
𝑖=1
= 0 ⇒ 
⇒ ∑[𝑦𝑖]
𝑛
𝑖=1
− ∑[�̂�0]
𝑛
𝑖=1
− ∑[�̂�1𝑤𝑖]
𝑛
𝑖=1
= 0 ⇒ 𝑛y̅ − 𝑛�̂�0 − 𝑛�̂�1�̅� = 0 ⇒ 
⇒ 𝑛(y̅ − �̂�0 − �̂�1�̅�) = 0 ⇒ y̅ − �̂�0 − �̂�1�̅� = 0 ⇒ 
⇒ �̂�0 = y̅ − �̂�1�̅� ⟶ �̂�0 é EMQO de β0 sob a condição de 
𝜕2(𝜀𝑖)
2
𝜕𝛽0
2 |
𝛽0=�̂�0
> 0. 
𝜕 ∑(𝜀𝑖)
2
𝜕𝛽1
= ∑ 2[𝑦𝑖 − (𝛽0 + 𝛽1𝑤𝑖)]
𝑛
𝑖=1
∙ (−𝑤𝑖) ⇒ −2 ∑[𝑦𝑖 − �̂�0 − �̂�1𝑤𝑖]
𝑛
𝑖=1
∙ (𝑤𝑖) = 0 ⇒ 
⇒ ∑[𝑦𝑖𝑤𝑖 − �̂�0𝑤𝑖 − �̂�1𝑤𝑖
2]
𝑛
𝑖=1
= 0 ⇒ ∑(𝑦𝑖𝑤𝑖)
𝑛
𝑖=1
− ∑(�̂�0𝑤𝑖)
𝑛
𝑖=1
− ∑(�̂�1𝑤𝑖
2)
𝑛
𝑖=1
= 0 ⇒ 
⇒ ∑(𝑦𝑖𝑤𝑖)
𝑛
𝑖=1
− ∑(�̂�0𝑤𝑖)
𝑛
𝑖=1
− ∑(�̂�1𝑤𝑖
2)
𝑛
𝑖=1
= 0 ⇒ ∑(𝑦𝑖𝑤𝑖)
𝑛
𝑖=1
− �̂�0𝑛�̅� − ∑(�̂�1𝑤𝑖
2)
𝑛
𝑖=1
= 0 ⇒ 
⇒ ∑(𝑦𝑖𝑤𝑖)
𝑛
𝑖=1
− (y̅ − �̂�1�̅�)(𝑛�̅�) − �̂�1 ∙ ∑(𝑤𝑖
2)
𝑛
𝑖=1
= 0 ⇒ ∑(𝑦𝑖𝑤𝑖)
𝑛
𝑖=1
− 𝑛�̅�y̅ + �̂�1𝑛�̅�
2 − �̂�1 ∙ ∑(𝑤𝑖
2)
𝑛
𝑖=1
= 0 ⇒ 
⇒ ∑(𝑦𝑖𝑤𝑖)
𝑛
𝑖=1
− 𝑛�̅�y̅ = �̂�1 ∙ ∑(𝑤𝑖
2)
𝑛
𝑖=1
− �̂�1𝑛�̅�
2 ⇒ ∑(𝑦𝑖𝑤𝑖)
𝑛
𝑖=1
− 𝑛�̅�y̅ = �̂�1 [∑(𝑤𝑖
2)
𝑛
𝑖=1
− 𝑛�̅�2] ⇒ 
⇒ �̂�1 =
∑ (𝑦𝑖𝑤𝑖)
𝑛
𝑖=1 −𝑛�̅�y̅
∑ (𝑤𝑖
2)𝑛𝑖=1 −𝑛�̅�
2 ⟶ �̂�1 é EMQO de β1 sob a condição de 
𝜕2(𝜀𝑖)
2
𝜕𝛽1
2 |
𝛽1=�̂�1
> 0.