ARM
58 pág.

ARM


DisciplinaEstatística Aplicada9.813 materiais83.728 seguidores
Pré-visualização4 páginas
= y ty \u2212 y tX\u3b2\u2212\u3b2tX ty +\u3b2tX tX\u3b2
observe que y tX\u3b2 e´ um escalar, portanto (y tX\u3b2)t = \u3b2tX ty , o qual
implica que
L = y ty \u2212 2\u3b2tX ty + \u3b2tX tX\u3b2
O estimador de m´\u131nimos quadrados \u3b2\u2c6 e´ a soluc¸a\u2dco da equac¸a\u2dco
dL
d\u3b2
|\u3b2\u2c6 = 0
Isto e´,
dL
d\u3b2
|\u3b2\u2c6 = \u22122X ty + 2X tX \u3b2\u2c6 = 0
\u21d2, (X tX )\u3b2\u2c6 = X ty (13)
VGC (FEB-UNESP) MRLM 2012 19 / 58
As equac¸o\u2dces em (13), sa\u2dco as equac¸o\u2dces normais de m´\u131nimos quadrados na
forma matricial e sa\u2dco ide\u2c6nticos as equac¸o\u2dces normais na forma escalar dada
em (9). Para resolver as equac¸o\u2dces normais se multiplica ambos membros
das equac¸o\u2dces (13) pela inversa de X tX . Portanto, o estimador de m´\u131nimos
quadrados de \u3b2 e´:
\u3b2\u2c6 = (X tX )\u22121X ty (14)
O modelo de regressa\u2dco mu´ltipla ajustado e´
Y\u2c6i = \u3b2\u2c60 + \u3b2\u2c61Xi1 + \u3b2\u2c62Xi2 + · · ·+ \u3b2\u2c6kXik , i = 1, . . . , n (15)
A forma matricial do modelo ajustado e´
y\u2c6 = X\u3b2\u2c6 = X(XtX)\u22121Xty = Hy (16)
onde H = X(XtX)\u22121Xt e´ chamada de matriz \u201dhat\u201d(chape´u).
VGC (FEB-UNESP) MRLM 2012 20 / 58
A diferenc¸a entre a observac¸a\u2dco yi e o valor ajustado y\u2c6i , e´ o res´\u131duo
ei = yi \u2212 y\u2c6i . O vetor de res´\u131duos, de ordem (n × 1), e´ enta\u2dco representado
por
e = y \u2212 y\u2c6 = (In \u2212 H)y (17)
Exemplo
No exemplo, ilustrou-se o ajuste do modelo de regressa\u2dco mu´ltipla:
Y = \u3b20 + \u3b21X1 + \u3b22X2 + \u3b5
onde Y e´ o quantidade de eletricidade consumida em um dia, X1 e´ o
nu´mero de horas de uso do ar condicionado por dia e X2 e´ nu´mero de
vezes que secadora de roupa foi ligada em um dia.
VGC (FEB-UNESP) MRLM 2012 21 / 58
A matriz X e o vetor y para este modelo sa\u2dco:
X =
\uf8ee\uf8ef\uf8ef\uf8ef\uf8ef\uf8ef\uf8ef\uf8ef\uf8f0
1 1, 5 1
1 4, 5 2
1 5, 0 2
...
...
...
1 7, 5 1
1 6, 0 0
\uf8f9\uf8fa\uf8fa\uf8fa\uf8fa\uf8fa\uf8fa\uf8fa\uf8fb
, y =
\uf8ee\uf8ef\uf8ef\uf8ef\uf8ef\uf8ef\uf8ef\uf8ef\uf8f0
35
63
66
...
65
33
\uf8f9\uf8fa\uf8fa\uf8fa\uf8fa\uf8fa\uf8fa\uf8fa\uf8fb
A matriz XtX e´:
XtX =
\uf8ee\uf8f0 1 1 . . . 11, 5 4, 5 . . . 6, 0
1 2 . . . 0
\uf8f9\uf8fb
\uf8ee\uf8ef\uf8ef\uf8ef\uf8f0
1 1, 5 1
1 4, 5 2
...
...
...
1 6, 0 0
\uf8f9\uf8fa\uf8fa\uf8fa\uf8fb =
\uf8ee\uf8f0 21 145, 5 30145 1204, 75 206
30 206 64
\uf8f9\uf8fb
VGC (FEB-UNESP) MRLM 2012 22 / 58
e o vetor Xty e´
Xty =
\uf8ee\uf8f0 1 1 . . . 11, 5 4, 5 . . . 6, 0
1 2 . . . 0
\uf8f9\uf8fb
\uf8ee\uf8ef\uf8ef\uf8ef\uf8f0
35
63
...
33
\uf8f9\uf8fa\uf8fa\uf8fa\uf8fb =
\uf8ee\uf8f0 136210487
2215
\uf8f9\uf8fb
VGC (FEB-UNESP) MRLM 2012 23 / 58
Os estimadores de m´\u131nimos quadrados obte´m-se a partir da equac¸a\u2dco (13),
isto e´
\u3b2\u2c6 = (XtX)\u22121Xty
Ou seja
\uf8ee\uf8f0 \u3b2\u2c60\u3b2\u2c61
\u3b2\u2c62
\uf8f9\uf8fb =
\uf8ee\uf8f0 21 145, 5 30145 1204, 75 206
30 206 64
\uf8f9\uf8fb\u22121 \uf8ee\uf8f0 136210487
2215
\uf8f9\uf8fb
=
\uf8ee\uf8f0 0, 397400 \u22120, 035902 \u22120, 070721\u22120, 035902 0, 005090 0, 000447
\u22120, 070721 0, 000447 0, 047337
\uf8f9\uf8fb\uf8ee\uf8f0 136210487
2215
\uf8f9\uf8fb
=
\uf8ee\uf8f0 8, 1055, 4659
13, 2166
\uf8f9\uf8fb
VGC (FEB-UNESP) MRLM 2012 24 / 58
Portanto, o modelo de regressa\u2dco ajustado
y\u2c6 = 8, 105 + 5, 4659X1 + 13, 2166X2
Note-se que, o resultado e´ o mesmo que se obteve no exemplo. O
modelo de regressa\u2dco anterior pode ser utilizado para predizer valores
do consumo de eletricidade (Y ) para va´rios valores de X1 e X2.
Tambe´m podem-se obter os valores ajustados y\u2c6i mediante a
substituic¸a\u2dco de cada observac¸a\u2dco (xi1, xi2), i = 1, . . . , n na equac¸a\u2dco
acima. Por exemplo a primeira observac¸a\u2dco e´ x11 = 1, 5 e x12 = 1, 0 e
o valor ajustado e´:
y\u2c6i = 8, 105+5, 4659Xi1+13, 2166ZXi2 = 8, 105+5, 4659(1, 5)+13, 2166(1) = 29, 5208
O correspondente valor observado y1 = 35, 0. O res´\u131duo associado a`
primeira observac¸a\u2dco e´:
e1 = y1 \u2212 y\u2c61 = 35, 0\u2212 29, 5208 = 5, 4729.
VGC (FEB-UNESP) MRLM 2012 25 / 58
A tabela , contem os 21 valores ajustados y\u2c6i assim com os correspondentes
residuais.
Tabela: Observac¸o\u2dces, valores ajustados e residuais
Observac¸a\u2dco yi x1 x2 y\u2c6i ei = yi \u2212 y\u2c6i
1 35 1,5 1 29,5208 5,47916
2 63 4,5 2 59,1351 3,86485
3 66 5,0 2 61,8681 4,13190
4 17 2,0 0 19,0372 -2,03719
5 94 8,5 3 94,2154 -0,21536
6 79 6,0 3 80,5506 -1,55060
7 93 13,5 1 95,1117 -2,11168
8 66 8,0 1 65,0492 0,95079
9 94 12,5 1 89,6458 4,35422
10 82 7,5 2 75,5329 6,46714
11 78 6,5 3 83,2836 -5,28356
12 65 8,0 1 65,0492 -0,04921
13 77 7,5 2 75,5329 1,46714
14 75 8,0 2 78,2658 -3,26581
15 62 7,5 1 62,3163 -0,31626
16 85 12,0 1 86,9128 -1,91282
17 43 6,0 0 40,9008 2,09920
18 57 2,5 3 61,4199 -4,41994
19 33 5,0 0 35,4349 -2,43490
20 65 7,5 1 62,3163 2,68374
21 33 6,0 0 40,9008 -7,90080
VGC (FEB-UNESP) MRLM 2012 26 / 58
Propriedades dos estimadores de MQ e estimac¸a\u2dco de \u3c32
Se a suposic¸a\u2dco \u3b5i \u223c NID(O, \u3c32) no MRLM e´ valido implica que
\u3b5 \u223c Nn(0, In\u3c32), onde In e´ a matriz identidade de ordem (n × n). Ale´m
disso, podemos demonstrar as seguintes propriedades:
(a)
E (\u3b2\u2c6) = \u3b2 (18)
Var(\u3b2\u2c6) = (XtX)\u22121\u3c32 (19)
VGC (FEB-UNESP) MRLM 2012 27 / 58
(b) Se
(XtX)\u22121 =
\uf8ee\uf8ef\uf8ef\uf8ef\uf8ef\uf8ef\uf8f0
C00 C01 C02 . . . C0k
C10 C11 C12 . . . C1k
C20 C21 C22 . . . C2k
...
...
... . . .
...
Ck0 Ck1 Ck2 . . . Ckk
\uf8f9\uf8fa\uf8fa\uf8fa\uf8fa\uf8fa\uf8fb
enta\u2dco Var(\u3b2\u2c6j) = Cjj\u3c3
2,j = 0, 1, . . . , k e Cov(\u3b2\u2c6i , \u3b2\u2c6j) = \u3c3
2Cij ,
i 6= j = 0, . . . , k
(c) \u3b2\u2c6 \u223c Np(\u3b2, (XtX)\u22121\u3c32), onde p = k + 1 e´ o nu´mero de para\u2c6metros
do MRLM.
(d) Os \u3b2\u2c6j \u223c N(0,Cjj\u3c32), j = 0, 1, . . . , k
VGC (FEB-UNESP) MRLM 2012 28 / 58
Como no caso do modelo de regressa\u2dco linear simples, a estimac¸a\u2dco de \u3c32
esta´ definida em termos da soma de quadrados dos residuais (SQR).
SQR =
n\u2211
i=1
e2i = e
te = (y \u2212 X\u3b2\u2c6)t(y \u2212 X\u3b2\u2c6)
= yty \u2212 2\u3b2\u2c6tXty + \u3b2\u2c6tXtX\u3b2\u2c6
Ja´ que XtX\u3b2\u2c6 = Xty, esta´ u´ltima equac¸a\u2dco se reduz:
SQR = yty \u2212 \u3b2\u2c6tXty (20)
Pode-se mostrar que
E (SQR) = \u3c32(n \u2212 p),
um estimador na\u2dco viciado de \u3c32 e´ dado por
\u3c3\u2c62 =
SQR
n \u2212 p =
yty \u2212 \u3b2\u2c6tXty
n \u2212 p (21)
VGC (FEB-UNESP) MRLM 2012 29 / 58
Exemplo
A continuac¸a\u2dco estima-se a varia\u2c6ncia do erro, \u3c32, para o problema de
regressa\u2dco mu´ltipla do exemplo.
yty =
21\u2211
i=1
y 2i = 97914
e
\u3b2\u2c6
t
Xty = (8, 105; 5, 4659; 13, 2166)
\uf8ee\uf8f0 136210487
2215
\uf8f9\uf8fb = 97635, 2311
Portanto, a soma de quadrados do residual obte´m-se com equac¸a\u2dco a (21)
SQR = yty \u2212 \u3b2\u2c6tXty
= 97914\u2212 97365, 2311 = 278, 7689
Logo,
\u3c3\u2c62 =
SQR
n \u2212 p =
278, 7689
21\u2212 3 = 15, 48722.
VGC (FEB-UNESP) MRLM 2012 30 / 58
Infere\u2c6ncia no modelo de regressa\u2dco linear mu´ltipla
Para fazermos infere\u2c6ncia, isto e´, construir intervalos de confianc¸a e teste
de hipo´teses no MRLM e´ necessa´rio que a suposic¸o\u2dces do modelo sejam
va´lidos.
Intervalos de confianc¸a para \u3b2j , j = 0, 1, . . . , k
Se \u3b5i \u223c NID(0, \u3c32) enta\u2dco
(i) Z =
\u3b2\u2c6j\u2212\u3b2j\u221a
Cjj\u3c32
\u223c N(0, 1), j = 0, 1, . . . , k onde Cjj e´ o j-e´simo elemento
diagonal da matriz (XtX)\u22121
(ii) W = (n\u2212p)\u3c3\u2c6
2
\u3c32
\u223c \u3c72n\u2212p
(iii) As varia´veis aleato´rias Z e W sa\u2dco independentes.
(iv) Uma consequ¨e\u2c6ncia de (i)-(iii) e´ que a varia´vel aleato´ria,
T =
\u3b2\u2c6j \u2212 \u3b2j\u221a
Cjj \u3c3\u2c62
, j = 0, 1, . . . , k
tem distribuic¸a\u2dco t-Student com n \u2212 p. e \u3c3\u2c62 e´ o estimador na\u2dco viciado
de \u3c32.
VGC (FEB-UNESP) MRLM 2012 31 / 58
A partir de (iv) pode-se mostrar que um intervalo de 100(1\u2212 \u3b1)% de
confianc¸a para \u3b2j , j = 0, 1, . . . , k e´ dado por:
IC (\u3b2j ; 1\u2212 \u3b1) =
(
\u3b2\u2c6j \u2212 t\u3b1
2
,n\u2212p
\u221a
Cjj \u3c3\u2c62; \u3b2\u2c6j + t\u3b1
2
,n\u2212p
\u221a
Cjj \u3c3\u2c62
)
(22)
onde t\u3b1
2
,n\u2212p e´ o percentile 1\u2212 \u3b1/2 da distribuic¸a\u2dco t-Student com n \u2212 p
graus de liberdade.
VGC (FEB-UNESP) MRLM 2012 32 / 58
Exemplo
Suponha que no exemplo, temos interesse em estimar, com 95% de
confianc¸a a variac¸a\u2dco sofrida pela quantidade de energia consumida quando
o ar condicionado sofre um acre´scimo de uma hora de uso, sendo mantida
constante o uso da secadora.
Um intervalo de 95% de confianc¸a para \u3b21 calcula-se com a equac¸a\u2dco (22),
e e´ dado por:
IC (\u3b21, 0, 95) =
(
\u3b2\u2c61 \u2212 t0,025,18
\u221a
C11\u3c3\u2c62; \u3b2\u2c61 + t0,025,18
\u221a
C11\u3c3\u2c62
)
De dados temos \u3b2\u2c61 = 5, 4659,
(XtX)\u22121 =
\uf8ee\uf8f0 0, 397400 \u22120, 035902 \u22120, 070721\u22120, 035902 0, 005090 0, 000447
\u22120, 070721 0, 000447 0, 047337
\uf8f9\uf8fb , C11 = 0, 005090,
\u3c3\u2c62 = 15, 48722 e t0,025,18 = 2, 101.
VGC (FEB-UNESP) MRLM 2012 33 / 58
Logo,
IC (\u3b21, 0, 95) =
(
5, 4659\u2212 2, 101
\u221a
(15, 4659)(0, 005090);
5, 4659 + 2, 101
\u221a
(15, 4659)(0, 005090)
)
= (5, 8761; 6, 0557)
VGC (FEB-UNESP) MRLM 2012 34 / 58
Intervalo de confianc¸a para resposta me´dia
Suponha que desejamos construir um intervalo de confianc¸a para a
resposta me´dia em um ponto em particular, por exemplo, x01, x02, . . . , x0k .
Para estimar a resposta me´dia neste ponto definimos o vetor
x0 =
\uf8ee\uf8ef\uf8ef\uf8ef\uf8ef\uf8ef\uf8f0
1
x01
x02
...
x0k
\uf8f9\uf8fa\uf8fa\uf8fa\uf8fa\uf8fa\uf8fb
A resposta me´dia neste ponto e´, E (Y |x0) = µY |x0 = x0t\u3b2, um estimador
na\u2dco viciado e´ dado por
µ\u2c6Y |x0 = x0
t\u3b2\u2c6
O estimador e´ na\u2dco viciado, ja´ que E (x0t\u3b2\u2c6)