Introdução à Regressão Linear Normal

Prévia do material em texto

Econometria I
Aula 2
Introdução
Modelo clássico de regressão linear normal:
A distribuição de probabilidade dos termos de erro .
A hipótese de normalidade de .
Propriedades dos estimadores de MQO sob a hipótese de normalidade.
O método da máxima verossimilhança (MV).
Introdução
A regressão de duas variáveis: Estimação de intervalo e teste de hipóteses:
Pré-requisitos estatísticos
Estimativa de intervalo: algumas ideias básicas
Intervalos de confiança para os coeficientes e da regressão
Intervalo de confiança para 
Testes de hipóteses: comentários gerais
Testes de hipóteses: a abordagem do intervalo de confiança
Testes de hipóteses: a abordagem do teste de significância
Testes de hipóteses: alguns aspectos práticos
Análise de regressão e análise de variância
Apresentação dos resultados da análise de regressão
Avaliando os resultados da análise de regressão
Modelo clássico de regressão linear normal (MCRLN)
Já passamos pelo processo de estimação. 
No entanto ainda teremos que recorrer à INFERÊNCIA ESTATÍSTICA: testar hipóteses acerca da teoria econômica. 
Nesse caso queremos saber o quanto os parâmetros estimados , , se aproximam dos parâmetros populacionais.
Mas os parâmetros estimados , e são variáveis aleatórias, portanto deve-se definir DISTRIBUIÇÕES DE PROBILIDADE para que se faça qualquer tipo de inferência.
Modelo clássico de regressão linear normal (MCRLN)
A distribuição de probabilidade dos termos de erro 
Conforme pode-se observar, o parâmetro estimado pode ser escrito da seguinte forma:
Em que .
No entanto, sabemos que todos os ou são fixos, garantido dessa forma que:
Ou seja, é uma função de (já que todo o restante é fixo). Assim a distribuição de probabilidade de dependerá dos pressupostos feitos sobre .
Modelo clássico de regressão linear normal (MCRLN)
A hipótese de normalidade de 
O MODELO CLÁSSSICO DEREGRESSÃO LINEAR supõe que cada um dos seja distribuído normalmente com:
Média: 
Variância: 
Covariância: 
Todas essas hipóteses podem ser resumidas em:
Modelo clássico de regressão linear normal (MCRLN)
A hipótese de normalidade de 
Conforme pode ser observado, a hipótese de covariância igual a zero também garante a independência entre as variáveis quando distribuídas normalmente.
Portanto: 
Ou seja, os erros são normalmente e independentemente distribuídos (NID).
Modelo clássico de regressão linear normal (MCRLN)
A hipótese de normalidade de 
Mas qual é o motivo pelo qual usamos essa pressuposição?
A soma de diversas variáveis identicamente e independentemente distribuídas permite o uso do TEOREMA DO LIMITE CENTRAL, levando essa soma a distribuição normal.
Mesmo que não sejam em grande número, ou mesmo não necessariamente independentes, a soma das variáveis pode levar a distribuição normal.
Assumindo a normalidade, a distribuição dos parâmetros estimados pode ser facilmente obtida.
Modelo clássico de regressão linear normal (MCRLN)
A hipótese de normalidade de 
A distribuição normal é comparativamente simples e de fácil compreensão. 
Permite o uso das estatísticas associada a distribuição de Student, e .
Mas é necessário deixar claro que serão feitos testes associados a adequação da hipótese de normalidade para análise de um problema econométrico.
Modelo clássico de regressão linear normal (MCRLN)
Propriedades dos estimadores de MQO sob a hipótese de normalidade
São não viesados
Tem variância mínima. Somando-se com a primeira propriedade caracteriza-se os estimadores como ESTIMADORES EFICIENTES
São consistentes, ou seja, a medida que a amostra cresce, o estimador converge para os valores da população
 e , em que 
Modelo clássico de regressão linear normal (MCRLN)
Propriedades dos estimadores de MQO sob a hipótese de normalidade
 e , em que 
 são os melhores estimadores não viesados.
Modelo clássico de regressão linear normal (MCRLN)
Tendo isso em vista é possível deduzir as distribuições de probabilidade dos estimadores e com isso será possível fazer inferências e mesmo estimar intervalos de confiança. 
Modelo clássico de regressão linear normal (MCRLN)
O método da máxima verossimilhança (MV)
É um método alternativo ao MQO para a estimação pontual. Os resultados são os mesmos se considerar que os erros tenham distribuição normal.
A diferença está sobre as propriedades assintóticas dos estimadores (o que não será tratado aqui).
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Existem dois tipos de estimação: pontual e intervalo.
Vimos a estimação pontual, o que garante a estimativa do parâmetro em si.
No entanto, na economia (como em outras áreas), estamos interessados em obter inferências acerca dos parâmetros estimados. 
Mas precisaremos de alguns elementos estatísticos: conceitos sobre probabilidade, distribuições de probabilidade, erro tipo I e II, nível de significância, potência dos testes estatísticos e intervalos de confiança.
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Estimativa de intervalo: algumas ideias básicas
Vamos considerar o exemplo associado à relação entre renda e despesa. Assumindo o problema exposto, vamos considerar a estimativa de dado como . Mas essa estimativa é confiável?
A confiabilidade de um estimador é medida através do erro padrão, e é a partir desse desvio é que se constrói a ESTIMAÇÃO DE INTERVALO.
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Estimativa de intervalo: algumas ideias básicas
O que queremos com esse intervalo é saber o quanto próximo estará de (considere, por exemplo, o teste de uma hipótese econômica).
Para atingir esse objetivo, definimos dois elementos: e , em que .
Esses elementos estarão encarregados de construir o intervalo de confiança, ou seja:
Mas o que isso significa?
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Estimativa de intervalo: algumas ideias básicas
Esse intervalo apresenta os seguintes elementos:
 é o coeficiente de confiança
 é o nível de significância ou probabilidade do ERRO TIPO I
Os limites são denominados de limites (superior e inferior) de confiança
Se considerarmos , lemos o intervalo de confiança da seguinte maneira: “a probabilidade de que o intervalo (aleatório) mostrado nela inclua o verdadeiro é de 0,95 ou 95%”.
Assim o estimador de intervalo permite uma faixa no qual o verdadeiro valor de pode se situar.
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Estimativa de intervalo: algumas ideias básicas
Alguns elementos da estimação de intervalos devem ser destacados:
Como não conhecemos o valor de , o intervalo de confiança destacado não garante, com um determinado nível de significância, a presença do verdadeiro valor de . O intervalo informa que a probabilidade de estabelecer uma relação entre intervalo e será de (em nesses casos, ).
O intervalo definido é ALEATÓRIA, ou seja, depende da amostra (ou seja, para cada amostra)
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Estimativa de intervalo: algumas ideias básicas
Mas como o intervalo (assim como tudo o que faremos na econometria) estão associados à amostras, devemos considerar de longo prazo as análises (ou seja, amostras repetidas). Dessa forma, com , sendo o número de amostras, a tendência é de que dos intervalos construídos incluam o verdadeiro valor de .
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Estimativa de intervalo: algumas ideias básicas
Agora, dado um intervalo de confiança, a probabilidade de o verdadeiro valor do parâmetro esteja contido nele é de 0 ou 1 (ou está ou não está incluído).
Tendo isso em vista, como são construídos esses intervalos: distribuições de probabilidade.
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Intervalos de confiança para os coeficientes e 
Intervalo de confiança para :
Como assumimos que e são distribuídos normalmente (PORQUE?), podemos definir então que:
Portanto poderemos empregar a distribuiçãonormal para afirmações acerca de .
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Intervalos de confiança para os coeficientes e 
Intervalo de confiança para :
Portanto para que seja possível afirmar algo sobre , é necessário que se conheça o valor populacional de , o que iria garantir o uso da tabela Z (normal padronizada).
No entanto dificilmente temos o conhecimento dos parâmetros populacionais. Por esse motivo recorremos ao estimador não viesado .
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Intervalos de confiança para os coeficientes e 
Intervalo de confiança para :
Então podemos te a seguinte estatística:
Portanto teremos uma nova estatística baseada, agora, na distribuição t-Student. Dessa maneira podemos construir o intervalo de confiança para os parâmetros estimados.
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Intervalos de confiança para os coeficientes e 
Intervalo de confiança para : conhecendo então , o que faremos é:
Ou seja, trata-se de um intervalo para os valores da estatística dado um nível de probabilidade definido por . 
 é definido como sendo o valor crítico (tabelado) baseado na distribuição -Student com probabilidade e graus de liberdade (mas “de onde” surgem os graus de liberdade?).
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Intervalos de confiança para os coeficientes e 
Intervalo de confiança para :
Mas esse intervalo de confiança pode ser reescrito da seguinte maneira (somente substituindo os resultados obtidos anteriormente):
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Intervalos de confiança para os coeficientes e 
Intervalo de confiança para :
Portanto podemos definir o intervalo de confiança como sendo .
Notar que quanto maior a variabilidade do estimador de , maior será o intervalo (amplitude), e maior será a incerteza sobre o parâmetro.
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Intervalos de confiança para os coeficientes e 
Intervalo de confiança para : “dado o coeficiente de confiança de 95%, 95 de cada 100 amostragens, conterão o verdadeiro valor de ”
Vamos utilizar o exemplo de sala:
 (olhar tabela)
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Intervalos de confiança para os coeficientes e 
Intervalo de confiança para :
Vamos calcular o intervalo para 
EXISTE A POSSIBILIDADE DE OBTER INTERVALOS SIMULTÂNEOS PARA E, NO ENTANTO É UM POUCO MAIS COMPLEXO.
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Intervalo de confiança para :
Como discutimos anteriormente, sob a hipótese de normalidade dos erros, podemos escrever a seguinte estatística:
Portanto o intervalo será definido por:
Podendo ser reescrito como sendo:
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Teste de hipóteses: comentários gerais
O problema do teste estatístico de hipóteses pode ser resumido da seguinte maneira: determinada observação ou resultado é ou não compatível com alguma hipótese feita? Vamos supor que a estimativa da elasticidade renda da demanda é obtida. Podemos verificar se a mesma é unitária?
Se for compatível com a hipótese, NÃO REJEITAMOS A HIPÓTESE
Se não for compatível com a hipótese, REJEITAMOS A HIPÓTESE.
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Teste de hipóteses: comentários gerais
Nesse contexto, temos algumas definições: 
A hipótese estabelecida é denominada hipótese nula ()
A hipótese nula é testada contra uma hipótese alternativa ()
A hipótese pode ser:
Simples: 
Composta: 
Mas como devemos proceder para o teste de hipótese? Recorremos ao Intervalo de confiança e teste de significância (que na prática irão obter o mesmo resultado)
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Teste de hipóteses: a abordagem do intervalo de confiança
Teste bilateral ou bicaudal
Quando postulamos a seguinte hipótese:
 e 
Trata-se de um teste de hipótese bilateral
Se sob cair no intervalo de confiança de , não rejeitaremos a hipótese nula; se estiver situada fora desse intervalo, poderemos rejeitá-la
Por isso existe a REGRA DE DECISÃO: Estabeleça um intervalo de confiança de para . Se sob situar-se no intervalo de confiança, não rejeite , mas, se cair fora desse intervalo, rejeite .
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Teste de hipóteses: a abordagem do intervalo de confiança
Teste bilateral ou bicaudal
Em estatística, quando rejeitamos a hipótese nula, dizemos que nossos resultados foram estatisticamente significativo. Por outro lado, quando não rejeitamos a hipótese nula, dizemos que os nossos resultados não são estatisticamente significativo.
Teste unilateral ou unicaudal
 e 
Como podemos fazer?
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Teste de hipóteses: a abordagem do teste de significância
Teste de significância dos coeficientes de regressão: o teste 
Um teste de significância é um procedimento em que os resultados amostrais são usadas para verificar a veracidade ou a falsidade de uma hipótese nula.
A ideia fundamental por trás dos testes de significância é a de um teste estatístico (estimador) e a distribuição amostral dessa estatística sob a hipótese nula. A decisão de aceitar ou rejeitar é tomada com base no valor do teste estatístico dos dados disponíveis.
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Teste de hipóteses: a abordagem do teste de significância
Teste de significância dos coeficientes de regressão: o teste 
Sabemos que, sob a hipótese de normalidade dos erros, a estatística é definida como sendo:
Se o valor de é definido sob a hipótese nula, podemos utilizar como um teste estatístico.
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Teste de hipóteses: a abordagem do teste de significância
Teste de significância dos coeficientes de regressão: o teste 
Podemos dessa forma estruturar um “intervalo de confiança”: 
Nesse caso o teste se baseia em: Uma estatística é dita significativa se o valor do teste estatístico situar-se na região crítica. Nesse caso, a hipótese nula é rejeitada. Do mesmo modo, um teste é considerado estatisticamente insignificativo (ou não significativo) se o valor do teste estatístico situar-se na região de não rejeição.
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Teste de hipóteses: a abordagem do teste de significância
Teste de significância dos coeficientes de regressão: o teste 
Apresentação gráfica
Caso univariado vs. caso bivariado
Exemplo: Sabemos que e , em que . Se assumirmos , então teríamos (considerando ). é significativo?
E se considerarmos ?
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Teste de hipóteses: a abordagem do teste de significância
Teste de significância para : o teste de qui-quadrado ()
Consideramos nesse caso a distribuição qui-quadrado com n-2 g.l.
Exemplo: Sendo e . Uma vez postulado que e , o parâmetro será significativo ou não sob essa hipótese.
Lembrar que funciona sob testes bicaudais ou unicaudais.
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Teste de hipótese: alguns aspectos práticos
Basear-se em expectativas teóricas ou trabalhos empíricos anteriores, ou em ambos, para formular as hipóteses: mas é fundamental antes de iniciar qualquer pesquisa empírica, a definição das hipóteses.
Não confundir significância estatística com significância prática
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Análise de regressão e análise de variância (ANOVA):
Como observamos na aula passada, é possível decompor a SOMA DOS QUADRADOS TOTAIS em SOMA DOS QUARADOS DA REGRESSÃO mais SOMA DOS QUADRADOS DOS RESÍDUOS:
Uma das análises feitas associadas a SQT é a ANÁLISE DE VARIÂNCIA(ANOVA) do ponto de vista da regressão.
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Análise de regressão e análise de variância (ANOVA):
	Fonte da Variação	Soma dos Quadrados	Graus de Liberdade (gl)	Soma dos Quadrados Médio (SQM)	Inferência estatística (TESTE F)
	Devido a regressão (SQReg)		1		
	Devido aos Resíduos (SQRes)				
	SQT				
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Análise de regressão e análise de variância (ANOVA):
Para o caso com somente dois parâmetros (MRL), o uso da estatística F ou t é equivalente.
No entanto para o caso multivariado, não é o mesmo caso. Veremos posteriormente.
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Aplicação da análise de regressão: o problema da previsão
Como podemos observar, a equação de regressão estimada é dada por .
Podemos através dessa equação de regressão obter previsões ou projeções de futuros salários médios dado um nível de escolaridade: previsão média e previsão individual.
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Aplicação da análise de regressão: o problema da previsão: Previsão média
Vamos supor que tenhamos , e que desejamos prever :
Mas como é um estimador, é possível que seja diferente do verdadeiro valor . A diferença entre eles dará ideia sobre o erro de previsão ou projeção
Para o caso do estimador teremos que: 
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Aplicação da análise de regressão: o problema da previsão: Previsão média
Mas qual é o valor de :
Mas como não conhecemos , utilizamos a estimativa amostral.
Além disso, ao utilizar a estimativa amostral de , pode-se obter a seguinte estatística: que tem distribuição com gl.
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Aplicação da análise de regressão: o problema da previsão: Previsão média
A partir da construção dessa estatística, é possível construir um intervalo de confiança para a estimativa ou mesmo testar hipóteses:
A partir daqui é possível construir o intervalo de confiança para toda as observações.
Mas um problema que surge é: A largura do intervalo é menor quando , mas essa largura amplia-se significativamente à medida que afasta-se de . Portanto é preciso ter grande cautela ao “extrapolar” a linha de regressão histórica para prever ou associado a um dado que esteja muito afastado da média amostral.
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Avaliando os resultados da análise de regressão:
Ao iniciar a análise econométrica, o que fizemos foi estabelecer uma relação teórica, e a partir dai, uma forma funcional para a mesma.
Além disso, consideramos como metodologia o modelo CLÁSSICO de regressão LINEAR SIMPLES.
Nesse caso, o que devemos fazer é verificar qual é a qualidade dos elementos propostos. Nesse caso a pergunta que queremos responder é: O modelo ajustado é adequado?
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Avaliando os resultados da análise de regressão:
Para isso, devemos analisar os seguintes pontos:
Os sinais dos coeficientes estimados sob a ótica da teoria econômica proposta.
Se o(s) coeficiente(s) estimado(s) é(são) significativo(s).
Se o modelo de regressão é adequado (análise do ).
Existem outros elementos que devem ser avaliados, como por exemplo os pressupostos (hipóteses) do modelo clássico de regressão.
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Avaliando os resultados da análise de regressão:
A princípio não iremos trabalhar com todos os pressupostos clássicos, somente o da NORMALIDADE DOS ERROS.
A hipótese de normalidade dos erros tem implicação direta sobre as inferências feitas sobre os parâmetros e estrutura do modelo, já que foram utilizadas estatísticas com distribuição , e . Caso os resíduos indiquem que a distribuição seja diferente da normal, as estatísticas perdem o sentido (RUÍDO BRANCO).
A regressão de duas variáveis: estimação de intervalo e teste de hipóteses
Avaliando os resultados da análise de regressão:
Teste de normalidade: Recorremos a três elementos:
Visualização gráfica
Histograma dos resíduos
Representação de probabilidade normal
Teste Jarque-Bera
Teste de Anderson-Darling