ARM
58 pág.

ARM

Disciplina:Estatística Aplicada7.328 materiais63.601 seguidores
Pré-visualização4 páginas
= y ty − y tXβ−βtX ty +βtX tXβ

observe que y tXβ e´ um escalar, portanto (y tXβ)t = βtX ty , o qual
implica que

L = y ty − 2βtX ty + βtX tXβ
O estimador de m´ınimos quadrados βˆ e´ a soluc¸a˜o da equac¸a˜o

dL

dβ
|βˆ = 0

Isto e´,

dL

dβ
|βˆ = −2X ty + 2X tX βˆ = 0

⇒, (X tX )βˆ = X ty (13)
VGC (FEB-UNESP) MRLM 2012 19 / 58

As equac¸o˜es em (13), sa˜o as equac¸o˜es normais de m´ınimos quadrados na
forma matricial e sa˜o ideˆnticos as equac¸o˜es normais na forma escalar dada
em (9). Para resolver as equac¸o˜es normais se multiplica ambos membros
das equac¸o˜es (13) pela inversa de X tX . Portanto, o estimador de m´ınimos
quadrados de β e´:

βˆ = (X tX )−1X ty (14)

O modelo de regressa˜o mu´ltipla ajustado e´

Yˆi = βˆ0 + βˆ1Xi1 + βˆ2Xi2 + · · ·+ βˆkXik , i = 1, . . . , n (15)

A forma matricial do modelo ajustado e´

yˆ = Xβˆ = X(XtX)−1Xty = Hy (16)

onde H = X(XtX)−1Xt e´ chamada de matriz ”hat”(chape´u).

VGC (FEB-UNESP) MRLM 2012 20 / 58

A diferenc¸a entre a observac¸a˜o yi e o valor ajustado yˆi , e´ o res´ıduo
ei = yi − yˆi . O vetor de res´ıduos, de ordem (n × 1), e´ enta˜o representado
por

e = y − yˆ = (In − H)y (17)

Exemplo

No exemplo, ilustrou-se o ajuste do modelo de regressa˜o mu´ltipla:

Y = β0 + β1X1 + β2X2 + ε

onde Y e´ o quantidade de eletricidade consumida em um dia, X1 e´ o
nu´mero de horas de uso do ar condicionado por dia e X2 e´ nu´mero de
vezes que secadora de roupa foi ligada em um dia.

VGC (FEB-UNESP) MRLM 2012 21 / 58

A matriz X e o vetor y para este modelo sa˜o:

X =



1 1, 5 1
1 4, 5 2
1 5, 0 2
...

...
...

1 7, 5 1
1 6, 0 0


, y =



35
63
66
...

65
33


A matriz XtX e´:

XtX =

 1 1 . . . 11, 5 4, 5 . . . 6, 0
1 2 . . . 0




1 1, 5 1
1 4, 5 2
...

...
...

1 6, 0 0

 =
 21 145, 5 30145 1204, 75 206

30 206 64



VGC (FEB-UNESP) MRLM 2012 22 / 58

e o vetor Xty e´

Xty =

 1 1 . . . 11, 5 4, 5 . . . 6, 0
1 2 . . . 0




35
63
...

33

 =
 136210487

2215



VGC (FEB-UNESP) MRLM 2012 23 / 58

Os estimadores de m´ınimos quadrados obte´m-se a partir da equac¸a˜o (13),
isto e´

βˆ = (XtX)−1Xty

Ou seja

 βˆ0βˆ1
βˆ2

 =
 21 145, 5 30145 1204, 75 206

30 206 64

−1  136210487
2215


=

 0, 397400 −0, 035902 −0, 070721−0, 035902 0, 005090 0, 000447
−0, 070721 0, 000447 0, 047337

 136210487
2215


=

 8, 1055, 4659
13, 2166



VGC (FEB-UNESP) MRLM 2012 24 / 58

Portanto, o modelo de regressa˜o ajustado

yˆ = 8, 105 + 5, 4659X1 + 13, 2166X2

Note-se que, o resultado e´ o mesmo que se obteve no exemplo. O
modelo de regressa˜o anterior pode ser utilizado para predizer valores
do consumo de eletricidade (Y ) para va´rios valores de X1 e X2.

Tambe´m podem-se obter os valores ajustados yˆi mediante a
substituic¸a˜o de cada observac¸a˜o (xi1, xi2), i = 1, . . . , n na equac¸a˜o
acima. Por exemplo a primeira observac¸a˜o e´ x11 = 1, 5 e x12 = 1, 0 e
o valor ajustado e´:

yˆi = 8, 105+5, 4659Xi1+13, 2166ZXi2 = 8, 105+5, 4659(1, 5)+13, 2166(1) = 29, 5208

O correspondente valor observado y1 = 35, 0. O res´ıduo associado a`
primeira observac¸a˜o e´:

e1 = y1 − yˆ1 = 35, 0− 29, 5208 = 5, 4729.
VGC (FEB-UNESP) MRLM 2012 25 / 58

A tabela , contem os 21 valores ajustados yˆi assim com os correspondentes
residuais.

Tabela: Observac¸o˜es, valores ajustados e residuais

Observac¸a˜o yi x1 x2 yˆi ei = yi − yˆi
1 35 1,5 1 29,5208 5,47916
2 63 4,5 2 59,1351 3,86485
3 66 5,0 2 61,8681 4,13190
4 17 2,0 0 19,0372 -2,03719
5 94 8,5 3 94,2154 -0,21536
6 79 6,0 3 80,5506 -1,55060
7 93 13,5 1 95,1117 -2,11168
8 66 8,0 1 65,0492 0,95079
9 94 12,5 1 89,6458 4,35422

10 82 7,5 2 75,5329 6,46714
11 78 6,5 3 83,2836 -5,28356
12 65 8,0 1 65,0492 -0,04921
13 77 7,5 2 75,5329 1,46714
14 75 8,0 2 78,2658 -3,26581
15 62 7,5 1 62,3163 -0,31626
16 85 12,0 1 86,9128 -1,91282
17 43 6,0 0 40,9008 2,09920
18 57 2,5 3 61,4199 -4,41994
19 33 5,0 0 35,4349 -2,43490
20 65 7,5 1 62,3163 2,68374
21 33 6,0 0 40,9008 -7,90080

VGC (FEB-UNESP) MRLM 2012 26 / 58

Propriedades dos estimadores de MQ e estimac¸a˜o de σ2

Se a suposic¸a˜o εi ∼ NID(O, σ2) no MRLM e´ valido implica que
ε ∼ Nn(0, Inσ2), onde In e´ a matriz identidade de ordem (n × n). Ale´m
disso, podemos demonstrar as seguintes propriedades:

(a)

E (βˆ) = β (18)

Var(βˆ) = (XtX)−1σ2 (19)

VGC (FEB-UNESP) MRLM 2012 27 / 58

(b) Se

(XtX)−1 =


C00 C01 C02 . . . C0k
C10 C11 C12 . . . C1k
C20 C21 C22 . . . C2k

...
...

... . . .
...

Ck0 Ck1 Ck2 . . . Ckk


enta˜o Var(βˆj) = Cjjσ

2,j = 0, 1, . . . , k e Cov(βˆi , βˆj) = σ
2Cij ,

i 6= j = 0, . . . , k
(c) βˆ ∼ Np(β, (XtX)−1σ2), onde p = k + 1 e´ o nu´mero de paraˆmetros

do MRLM.

(d) Os βˆj ∼ N(0,Cjjσ2), j = 0, 1, . . . , k

VGC (FEB-UNESP) MRLM 2012 28 / 58

Como no caso do modelo de regressa˜o linear simples, a estimac¸a˜o de σ2

esta´ definida em termos da soma de quadrados dos residuais (SQR).

SQR =
n∑

i=1

e2i = e
te = (y − Xβˆ)t(y − Xβˆ)

= yty − 2βˆtXty + βˆtXtXβˆ
Ja´ que XtXβˆ = Xty, esta´ u´ltima equac¸a˜o se reduz:

SQR = yty − βˆtXty (20)
Pode-se mostrar que

E (SQR) = σ2(n − p),
um estimador na˜o viciado de σ2 e´ dado por

σˆ2 =
SQR

n − p =
yty − βˆtXty

n − p (21)

VGC (FEB-UNESP) MRLM 2012 29 / 58

Exemplo

A continuac¸a˜o estima-se a variaˆncia do erro, σ2, para o problema de
regressa˜o mu´ltipla do exemplo.

yty =
21∑
i=1

y 2i = 97914

e

βˆ
t
Xty = (8, 105; 5, 4659; 13, 2166)

 136210487
2215

 = 97635, 2311
Portanto, a soma de quadrados do residual obte´m-se com equac¸a˜o a (21)

SQR = yty − βˆtXty
= 97914− 97365, 2311 = 278, 7689

Logo,

σˆ2 =
SQR

n − p =
278, 7689

21− 3 = 15, 48722.
VGC (FEB-UNESP) MRLM 2012 30 / 58

Infereˆncia no modelo de regressa˜o linear mu´ltipla

Para fazermos infereˆncia, isto e´, construir intervalos de confianc¸a e teste
de hipo´teses no MRLM e´ necessa´rio que a suposic¸o˜es do modelo sejam
va´lidos.

Intervalos de confianc¸a para βj , j = 0, 1, . . . , k

Se εi ∼ NID(0, σ2) enta˜o
(i) Z =

βˆj−βj√
Cjjσ2

∼ N(0, 1), j = 0, 1, . . . , k onde Cjj e´ o j-e´simo elemento
diagonal da matriz (XtX)−1

(ii) W = (n−p)σˆ
2

σ2
∼ χ2n−p

(iii) As varia´veis aleato´rias Z e W sa˜o independentes.

(iv) Uma consequ¨eˆncia de (i)-(iii) e´ que a varia´vel aleato´ria,

T =
βˆj − βj√

Cjj σˆ2
, j = 0, 1, . . . , k

tem distribuic¸a˜o t-Student com n − p. e σˆ2 e´ o estimador na˜o viciado
de σ2.

VGC (FEB-UNESP) MRLM 2012 31 / 58

A partir de (iv) pode-se mostrar que um intervalo de 100(1− α)% de
confianc¸a para βj , j = 0, 1, . . . , k e´ dado por:

IC (βj ; 1− α) =
(
βˆj − tα

2
,n−p

√
Cjj σˆ2; βˆj + tα

2
,n−p

√
Cjj σˆ2

)
(22)

onde tα
2
,n−p e´ o percentile 1− α/2 da distribuic¸a˜o t-Student com n − p

graus de liberdade.

VGC (FEB-UNESP) MRLM 2012 32 / 58

Exemplo

Suponha que no exemplo, temos interesse em estimar, com 95% de
confianc¸a a variac¸a˜o sofrida pela quantidade de energia consumida quando
o ar condicionado sofre um acre´scimo de uma hora de uso, sendo mantida
constante o uso da secadora.

Um intervalo de 95% de confianc¸a para β1 calcula-se com a equac¸a˜o (22),
e e´ dado por:

IC (β1, 0, 95) =
(
βˆ1 − t0,025,18

√
C11σˆ2; βˆ1 + t0,025,18

√
C11σˆ2

)
De dados temos βˆ1 = 5, 4659,

(XtX)−1 =

 0, 397400 −0, 035902 −0, 070721−0, 035902 0, 005090 0, 000447
−0, 070721 0, 000447 0, 047337

 , C11 = 0, 005090,
σˆ2 = 15, 48722 e t0,025,18 = 2, 101.

VGC (FEB-UNESP) MRLM 2012 33 / 58

Logo,

IC (β1, 0, 95) =
(

5, 4659− 2, 101
√

(15, 4659)(0, 005090);

5, 4659 + 2, 101
√

(15, 4659)(0, 005090)
)

= (5, 8761; 6, 0557)

VGC (FEB-UNESP) MRLM 2012 34 / 58

Intervalo de confianc¸a para resposta me´dia

Suponha que desejamos construir um intervalo de confianc¸a para a
resposta me´dia em um ponto em particular, por exemplo, x01, x02, . . . , x0k .
Para estimar a resposta me´dia neste ponto definimos o vetor

x0 =


1

x01
x02

...
x0k


A resposta me´dia neste ponto e´, E (Y |x0) = µY |x0 = x0tβ, um estimador
na˜o viciado e´ dado por

µˆY |x0 = x0
tβˆ

O estimador e´ na˜o viciado, ja´ que E (x0tβˆ)