Regressão Linear múltipla

Esta é uma pré-visualização de arquivo. Entre para ver o arquivo original

*
*
*
Regressão linear múltipla
Modelos de regressão linear múltipla
•Em um estudo com 67 escritórios de uma rede financeira, a variável resposta foi o custo operacional no ano que se findou. Haviam 4 variáveis preditoras: o valor médio emprestado aos clientes durante o ano, o número médio de empréstimos, número total de novos empréstimos processados, e índice de salários dos escritórios. (Temos um levantamento).
• Num estudo sobre a produtividade de trabalhadores ( em aeronave, navios) o pesquisador deseja controlar o número desses trabalhadores e o bônus pago (remuneração). (Aqui temos um experimento).
• Num estudo sobre a resposta à uma droga, o pesquisador deseja controlar as doses da droga e o método de aplicação. (Também temos um experimento).
 Num estudo sobre o tempo de CPU, para avaliar a demanda por recursos, o pesquisador decidiu verificar o efeito de X1=disk I/O e X2=memory size.
Exemplos:
*
*
*
» Em todos os exemplos foram necessárias várias variáveis preditoras no modelo para um bom ajuste do mesmo.
» Um modelo contendo várias variáveis preditoras resulta numa estimação mais precisa.
» As análises aqui desenvolvidas são válidas para o delineamento inteiramente casualizado.
*
*
*
Modelo de regressão de primeira ordem com duas variáveis preditoras
O modelo de regressão linear é dado por:
Onde Yi é a resposta no i-ésimo ensaio, Xi1 e Xi2 são os valores das duas variáveis preditoras no i-ésimo ensaio. Os parâmetros do modelo são 0, 1, 2 e o termo do erro é i.
Vamos assumir que E(i)=0, portanto, a função de regressão do modelo de primeira ordem é:
A representação gráfica desta função é um plano no espaço. A figura, na página seguinte, mostra este plano para a função:
A função de regressão na regressão múltipla é chamada de superfície de resposta.
*
*
*
0
Plano de resposta
•
(1,33;1,67)
E(Yi) = 20,00
Yi
•
i
*
*
*
Significado dos coeficientes de regressão:
O parâmetro 0 é o intercepto do plano de regressão. Se a abrangência do modelo inclui X1=0 e X2=0 então 0=10 representa a resposta média E(Y) neste ponto. Em outras situações, 0 não tem qualquer outro significado como um termo separado no modelo de regressão.
O parâmetro 1 indica a mudança na resposta média E(Y) por unidade de acréscimo em X1 quando X2 é mantido constante. Da mesma forma 2 indica a mudança na resposta média por unidade de aumento em X2 quando X1 é mantido constante.
Neste modelo, o efeito de X1 sobre a resposta média não depende de X2 e vice-versa, assim, dissemos que as variáveis preditoras tem efeito aditivo ou não interagem. Temos um modelo de primeira ordem sem interação.
Exemplo: considerar o modelo de regressão da figura anterior.
Y = vendas no mercado (em 10.000 unidades monetárias); X1= despesas com o ponto de venda (em 1.000 u.m.); X2= gastos com TV (em 1.000 u.m.). Como 1=2, se o gasto em uma localidade aumenta em 1 unidade (1.000 u.m.), enquanto o gasto com TV é mantido constante, espera-se um acréscimo nas vendas de 2 unidades (20.000 u.m.). 
*
*
*
Exercício: faça a interpretação para 2. Resposta: como 2=5 se o gasto com TV em uma localidade aumenta em 1 unidade (1.000 u.m.) e o gasto com o ponto é mantido constante, as vendas esperadas aumentam 50.000 u.m.
Exercício: no modelo
Faça a interpretação do parâmetro k . Resposta: indica a mudança na resposta média E(Y) com o acréscimo de uma (1) unidade na variável preditora Xk, quando todas as outras variáveis preditoras são mantidas constantes.
*
*
*
Modelo linear geral de regressão
Vamos supor que temos X1, X2,..., Xp-1 variáveis preditoras. Vamos definir o modelo de regressão, com erros normais, em termos das variáveis preditoras: 
Onde: 0, 1,..., p-1, são os parâmetros;
Xi1,..., Xi,p-1 são constantes conhecidas;
 i são independentes com distribuição N(0, 2)
i=1,2,...,n.
A função resposta para o modelo, como E(i )=0,é dada por:
Algumas situações em que podemos usar o modelo em consideração.
*
*
*
1) Temos p-1 variáveis preditoras: todas as variáveis preditoras apresentam efeito aditivo, ou seja, não apresentam um efeito de interação entre elas (o efeito de uma variável preditora não depende dos níveis da outra variável preditora). 
2) As variáveis preditoras são qualitativas: neste caso temos variáveis como: sexo, invalidez (normal, parcialmente inválido, inválido). Usamos variáveis indicadoras, que recebem valores 0 e 1 para identificar as categorias de uma variável qualitativa.
Exemplo: desejamos fazer uma análise de regressão para estimar a distância de um hospital (Y), baseado na idade dos pacientes (X1) e sexo (X2). 
O modelo de regressão é:
Onde:
*
*
*
A resposta média do modelo (6) é:
Para pacientes do sexo masculino, X2=0, temos:
Para pacientes do sexo feminino, X2=1, temos:
As duas funções respostas representam duas retas paralelas com diferentes interceptos. Exercício: faça a representação gráfica das funções 8 e 9.
Outro exemplo: vamos considerar uma terceira variável no modelo, o status sobre a invalidez dos pacientes, a qual apresenta três categorias. Em geral, representamos uma variável qualitativa com c categorias, por meio de c-1 variáveis indicadoras. Portanto, no exemplo, vamos definir as variáveis X3 e X4 como:
*
*
*
O modelo com idade, sexo e status da invalidez fica:
Neste curso, temos um capítulo somente para o estudo de variáveis qualitativas. Como modelar e interpretar os coeficientes de regressão?
3) Regressão polinomial: contém termos quadráticos e de maior ordem nas variáveis preditoras. Exemplo:
*
*
*
O gráfico deste modelo é uma parábola.
Apesar da natureza curvilínea da função resposta do modelo (11) ele é um caso especial do modelo (4). Fazendo-se Xi1=Xi e Xi2=Xi2, temos o modelo (1).
*
*
*
4)Variáveis transformadas: uma transformação bastante utilizada é a logarítmica:
O modelo fica:
Exercício: coloque o modelo (13) na forma do modelo de regressão linear geral (4).
Basta fazer:
A função resposta é complexa. Porém, o modelo (12) é da forma do modelo linear geral de regressão.
*
*
*
6) Combinando modelos: Exemplo:
Fazendo-se: 
temos o modelo linear geral de regressão (4).
Observe que fazendo-se Xi3=Xi1Xi2 obtemos o modelo linear geral de regressão (4).
5) Modelos com efeito da interação entre variáveis preditoras. O efeito de uma variável preditora depende dos níveis das outras variáveis preditoras. Exemplo:
*
*
*
A figura ilustra um desses modelos mais complexos.
*
*
*
Modelo de regressão linear múltipla em termos matriciais
A expressão do modelo linear geral de regressão é dada por:
Em termos matriciais, precisamos definir: 
*
*
*
Em termos matriciais, o modelo de regressão linear geral é dado por:
 é um vetor de variáveis aleatórias independentes e normalmente distribuídas com esperança (média), E()=0 e matriz de variância-covariância dada por:
Assim, o vetor das observações Y tem esperança e variância dadas por:
(17)
=2I
(18)
*
*
*
Exercício: uma empresa opera estúdios fotográficos para crianças em 12 cidades. A empresa deseja expandir seus estúdios para outras cidades semelhantes e deseja investigar se as vendas (Y) podem ser estimadas através do número de pessoas com 16 anos ou menos (X1) e a renda per capita na cidade (X2). Os resultados foram:
*
*
*
A) Escreva o modelo de regressão linear de primeira ordem (sem efeito quadrático e interação).
B) Faça um gráfico de dispersão (Scatterplot) entre vendas e número e outro 
 para vendas e renda.
C) Mostre a matriz X, os vetores Y e  para os dados do exercício.
D) calcule os valores médios (esperanças) das observações, 
 E(Y).
*
*
*
Respostas:
A)
B)
*
*
*
*
*
*
C)
*
*
*
*
*
*
Estimação dos coeficientes de regressão
O sistema de equações normais para o modelo (17) é:
E os estimadores
de mínimos quadrados são dados por:
Método de máxima verossimilhança
Vamos considerar o modelo com erros normais (17). A função de máxima verossimilhança é dada por:
Os estimadores de máxima verossimilhança são exatamente os mesmos obtidos com o método de mínimos quadrados.
(21)
*
*
*
Continuação do Exercício do estúdio fotográfico. Dados os resultados:
E) Encontre as estimativas dos parâmetros do modelo.
F) Apresente a função de regressão estimada.
G) Faça a interpretação das estimativas dos parâmetros do modelo.
*
*
*
Valores estimados e resíduos
Os valores estimados são obtidos por:
Os resíduos são obtidos através da expressão matricial:
Exercício: 
H) para verificar o ajuste do modelo de regressão para os dados, é necessário encontrar os valores estimados e os resíduos. Encontre estes resultados para os dados da empresa de estúdio fotográfico.
*
*
*
Análise de variância
Soma de quadrados e quadrados médios
Onde J é uma matriz n x n de un’s e H=X(X’X)-1X’ é a matriz de projeção. Os quadrados médios são dados por:
*
*
*
Teste F para regressão
Hipóteses em teste:
A estatística de teste é dada por:
Se F*> F(; p-1,n-p), rejeitamos a hipótese nula, caso contrário, aceitamos a hipótese. Não devemos esquecer de usar o valor p.
Exemplo: continuação do exercício sobre a empresa de estúdio fotográfico.
*
*
*
Exercício: interprete o teste F da análise de variância com o uso do valor p. Se a hipótese nula for rejeitada, isto garante que podemos fazer estimação (predição) válidas? Resp. não.
*
*
*
Coeficiente de determinação (R2)
Define-se R2 por:
Mede a redução da variabilidade total de Y associada com o uso do conjunto de variáveis X1,...,Xp-1. Como na regressão linear simples, temos:
Assim, R2=0 se todas as estimativas bk=0 (k=1,...,p-1), e R2=1 quando todas as observações Y caírem exatamente na superfície de regressão ajustada, isto é, quando:
Como R2 aumenta com a adição de variáveis explanatórias, sugere-se utilizar o coeficiente de determinação ajustado (corrigido) para os graus de liberdade. O coeficiente de determinação ajustado é dado por: 
*
*
*
Um alto valor de R2 não necessariamente implica que o modelo ajustado se presta para se fazer inferências precisas, pois apesar de um valor alto de R2, o QME ainda pode ser grande. O modelo pode não ser exatamente linear.
Coeficiente de correlação múltipla (R)
Exercício: calcule o coeficiente de determinação (R2), o coeficiente de determinação ajustado (R2a) e o coeficiente de correlação (R), para os dados da empresa de estúdios fotográficos . Faça a interpretação desses coeficientes.
Inferência sobre os parâmetros da regressão
Os estimadores de mínimos quadrados ou de máxima verossimilhança são não tendenciosos, isto é: E(b)=.
A matriz de variância-covariância dos estimadores, 2(b), é dada por:
O coeficiente de correlação múltipla mede o relacionamento linear entre Y e Ŷ.
*
*
*
A estimativa da matriz de variância-covariância é dada por: 
Intervalo de confiança para os parâmetros k
Para o modelo com erros normais, (17), temos:
Assim, o intervalo para k, com confiança 1- é dado por:
Exercício: para o exemplo da empresa de estúdios fotográficos calcule o intervalo de confiança para 2, com confiança de 95%. Faça a interpretação.
Exercício: para o exemplo da empresa de estúdios fotográficos, obtenha s2(b).
*
*
*
Testes de hipóteses para k
Hipóteses:
Estatística de teste:
Critério do teste:
Se |t* |t(1-/2;n-p), aceita-se a hipótese nula, caso contrário rejeita-se a mesma.
Exercício: para o exemplo da empresa de estúdios fotográficos, teste a hipótese para 2=0 vs a hipótese de que 2 é diferente de zero, ao nível de significância de 5%. Faça a interpretação. Verifique se chegamos a mesma conclusão com o uso do intervalo de confiança.
*
*
*
Estimação da resposta média e predição de uma nova observação
Intervalo de confiança para E(Yh)
Para valores dados de X1,X2,...,XP-1, representados por: Xh1,Xh2,...,Xh,P-1, a resposta média é representada por E(Yh). Vamos definir o vetor:
A resposta média estimada, correspondente ao vetor Xh, é dada por :
*
*
*
A variância estimada da resposta média é dada por:
O intervalo de confiança para a resposta média, E(Yh), é dado por:
Exercício: encontre o intervalo de confiança.para a resposta média (vendas) considerando Xh1=65,4 (população objeto) e Xh2=17,6, (renda per capita) com 95%. Faça a interpretação. Você considera que este intervalo dá informação precisa? Utilize os seguintes resultados:
*
*
*
Limites de predição para uma nova observação Yh(novo)
Os limites de predição com confiança 1- para uma nova observação Yh(nova) correspondente ao vetor Xh, os valores das variáveis explanatórias, são:
A variância do erro de predição (é a diferença entre a nova observação e o valor estimado) é dado por:
Exercício: a empresa deseja predizer as vendas para uma nova cidade com as seguintes características 
Cidade A: Xh1=53,1 Xh2=17,7
encontre o intervalo de predição com 95%. Faça a interpretação. Você considera que este intervalo é satisfatório? Utilize os seguintes resultados:
*
*
*
Observação: Isto serve para mostrar que apesar de termos um alto valor para o R2=0,845, não temos precisão suficiente para fazer os intervalos de predição. Assim, alto coeficiente de determinação, não significa que podemos fazer predição precisa.
Pode-se pensar em adicionar ou substituir variáveis preditoras do modelo.
Cautela com extrapolações.
X1
X2
X1
X2
•
*
*
*
Os procedimentos vistos para o modelo de regressão linear simples aplicam-se diretamente para o caso do modelo de regressão linear múltipla. 
Os capítulos 9 e 10 do livro texto apresentam muitos outros procedimentos.
Diagnóstico do modelo 
• matriz de diagrama de dispersão
• gráfico tridimensional (ver a nuvem de pontos de diferentes perspectivas para identificar padrões)
• gráficos de resíduos (versus: valores estimados, tempo, alguma outra seqüência, variáveis regressoras, variáveis regressoras omitidas, termos da interação, box-plot(desenho esquemático), gráfico normal de probabilidades)
• testes para homogeneidade de variâncias, normalidade, falta de ajuste
Exemplo: 
Empresa de estúdio fotográfico em 21 cidades.
*
*
*
 OBS POPULACA RENDA VENDAS
 1 68.5 16.7 174.4
 2 45.2 16.8 164.4
 3 91.3 18.2 244.2
 4 47.8 16.3 154.6
 5 46.9 17.3 181.6
 6 66.1 18.2 207.5
 7 49.5 15.9 152.8
 8 52.0 17.2 163.2
 9 48.9 16.6 145.4
 10 38.4 16.0 137.2
 11 87.9 18.3 241.9 
 12 72.8 17.1 191.1
 13 88.4 17.4 232.0
 14 42.9 15.8 145.3
 15 52.5 17.8 161.1
 16 85.7 18.4 209.7
 17 41.3 16.5 146.4
 18 51.7 16.3 144.0
 19 89.6 18.1 232.6
 20 82.7 19.1 224.1
 21 52.3 16.0 166.5
Dados de 21 cidades da empresa de estúdio fotográfico:
População (X1)
Renda (X2)
Vendas (Y)
*
*
*
Matriz de diagrama de dispersão:
Observa-se uma tendência linear entre vendas (Y) e população (X1); também entre vendas (Y) e renda (X2). Observa-se, também, uma relação linear entre X1 e X2. Não se observa outliers, não se observa separações nos dados.
*
*
*
*
*
*
A matriz de correlação:
Observe que a renda ESTÁ CORRELACIONADA com a população.
*
*
*
A figura indica que é razoável admitir uma superfície plana como modelo de regressão para os dados.
*
*
*
Exercício: dados os vetores dos valores estimados e dos resíduos. Faça os seguintes gráficos e interprete.
1 - resíduos versus valores estimados
2 - resíduos versus X1
3 - resíduos versus X2
4 - resíduos
versus X1X2 (interação)
*
*
*
 Y ajustados
 187.18411
 154.22943
 234.39632
 153.32853
 161.38493
 197.74142
 152.05508
 167.86663
 157.7382
 136.84602
 230.38737
 197.18492
 222.6857
 141.51844
 174.21321
 228.12389
 145.74699
 159.00131
 230.98702
 230.31606
 157.0644
 ERROS
 -12.78411
 10.170574
 9.8036764
 1.271469
 20.215072
 9.7585779
 0.7449178
 -4.666632
 -12.3382
 0.3539791
 11.512629
 -6.084921
 9.3142995
 3.7815611
 -13.11321
 -18.42389
 0.6530062
 -15.00131
 1.6129777
 -6.216062
 9.4356009
 X1X2
1143.95
 759.36
1661.66
 779.14
 811.37
1203.02
 787.05
 894.4
 811.74
 614.4
1608.57
1244.88
1538.16
 677.82
 934.5
1576.88
 681.45
 842.71
1621.76
1579.57
 836.8
*
*
*
 Indica que a função de regressão linear múltipla é adequada (plano)
 Indica que a suposição de homogeneidade de variância é atendida
 Não apresenta outliers (valores discrepantes).
*
*
*
 A suposição de normalidade dos erros está satisfeita, ou seja, a distribuição dos erros segue aproximadamente uma distribuição normal.
*
*
*
 Não se observa nenhum padrão, indicando que o modelo linear é adequado.
 Homogeneidade de variâncias.
*
*
*
 Não se observa nenhum padrão, indicando que o modelo linear é adequado.
 Homogeneidade de variâncias.
*
*
*
 Nota-se que não é necessário a inclusão da interação X1*X2 no modelo.
*
*
*
Gráfico dos valores absolutos dos resíduos versus valores estimados: homogeneidade de variâncias.
 Não se observa um acréscimo ou decréscimo da variabilidade com o aumento dos valores estimados. Portanto, considera-se a suposição de homogeneidade de variância atendida.
 Se ocorrer heterogeneidade de variância, fazer gráficos dos resíduos absolutos versus cada variável preditora para identificar qual(is) estão relacionadas com a falta de homogeneidade.
*
*
*
Análise de variância:
Conclusão: Rejeita-se H0. Assim, pelo menos um coeficiente de regressão difere de zero.
Observação: se o modelo de regressão é útil para realizar estimação e predição ainda será visto. 
*
*
*
Estimação de uma resposta média:
Interpretação: podemos afirmar com 95% de confiança, que para valor de população igual a 65,4 e renda igual a 17,6, a venda média está entre 185,29 e 196,92. 
Importante: os consultores da empresa consideram este intervalo preciso para seus objetivos.
*
*
*
Intervalo de predição: desejam predizer as vendas para duas novas cidades com as seguintes características:
Cidade A: População (Xh1)=65,4 Renda (Xh2)=17,6
Cidade B: População (Xh1)=53,1 Renda (Xh2)=17,7
Cidade A
Cidade B
Interpretação: as vendas estão dentro dos intervalos acima. A precisão dos intervalos deixa à desejar. Intervalos mais precisos seriam necessários, pode-se pensar em outras variáveis regressoras para entrar no modelo. Observe que valor de R2 alto não significa boas predições.
As duas cidades apresentam características dentro dos padrões da amostra estudada.
*
*
*
NOTA: fazer lista de exercícios número 6.
Medidas Remediadoras
 Usar modelo apropriado
 Usar transformações ( na variável resposta ou na variável preditora (quando os efeitos são curvelíneos, redução do efeito de interação)