Aula 18 - Aplicação - Mínimos Quadrados

Prévia do material em texto

Universidade Federal do Rio Grande do Norte
Escola de Cieˆncia e Tecnologia
Aula 18 - Espac¸o com Produto Interno:
Aplicac¸a˜o - Mı´nimos Quadrados
Fabiana T. Santana
Fabiana T. Santana UFRN-ECT A´lgebra Linear 1 / 30
Refereˆncia Bibliogra´fica:
(1) H. Anton, C. Rorres. A´lgebra Linear com Aplicac¸o˜es. 8a ed.
Porto Alegre: Bookman, 2001.
(2) B. Kolman. Introduc¸a˜o a` A´lgebra Linear com Aplicac¸o˜es.
Rio de janeiro: LTC, 2012.
Fabiana T. Santana UFRN-ECT A´lgebra Linear 2 / 30
Mı´nimos Quadrados
Ate´ agora encontramos soluc¸o˜es para sistemas A
→
x=
→
b consistentes. O
que fazer quando o sistema A
→
x=
→
b e´ inconsistente? Os sistemas
inconsistentes podem aparecer em algumas situac¸o˜es e a abordagem
utilizada e´ a de procurar um valor de
→
x que chegue “ta˜o perto
quanto poss´ıvel” de ser uma soluc¸a˜o, no sentido que minimiza o valor
de
∥∥∥A →x − →b ∥∥∥ em relac¸a˜o ao produto inteno euclidiano.
Fabiana T. Santana UFRN-ECT A´lgebra Linear 3 / 30
Mı´nimos Quadrados
Seja W e´ o espac¸o coluna de A gerado pelos vetores-coluna→
c1,
→
c2, . . . ,
→
cn.
Se o sistema A
→
x=
→
b e´ consistente, enta˜o existem x1, x2, . . . , xn, tais
que
→
c1 x1+
→
c2 x2 + . . .+
→
cn xn =
→
b e
→
b∈W .
Fabiana T. Santana UFRN-ECT A´lgebra Linear 4 / 30
Mı´nimos Quadrados
Se A
→
x=
→
b e´ inconsistente, enta˜o
→
c1 x1+
→
c2 x2 + . . .+
→
cn xn 6=
→
b ,
isto e´,
→
b /∈W .
Queremos encontrar um vetor
→
x tal que A
→
x e´ o vetor em W mais
pro´ximo de
→
b , isto e´
A
→
x= projW
→
b
Fabiana T. Santana UFRN-ECT A´lgebra Linear 5 / 30
Mı´nimos Quadrados
Dentre todos os vetores
→
w de W , temos que∥∥∥→u −projW →u∥∥∥ < ∥∥∥→u − →w∥∥∥ .
projW
→
u e´ a “melhor aproximac¸a˜o” de
→
u por vetores de W .
Fabiana T. Santana UFRN-ECT A´lgebra Linear 6 / 30
Mı´nimos Quadrados
Note que
→
b −A →x=
→
b −projW
→
b e´ ortogonal a W .
Como W e´ o espac¸o-coluna de A, segue que
→
b −A →x esta´ no
espac¸o-nulo de AT (O espac¸o-coluna e o espac¸o nulo de AT sa˜o
complementos ortogonais).
Desse modo, uma soluc¸a˜o de m´ınimos quadrados de A
→
x=
→
b deve
satisfazer
AT (
→
b −A →x) = 0
ou equivalentemente
ATA
→
x= AT
→
b (1)
Fabiana T. Santana UFRN-ECT A´lgebra Linear 7 / 30
Mı´nimos Quadrados
A equac¸a˜o (1) fornece a soluc¸a˜o por m´ınimos quadrados para o sistema
A
→
x=
→
b e e´ chamada sistema normal associado a A
→
x=
→
b .
Observac¸a˜o 0.1
Se A e´ uma matriz n× n, enta˜o o sistema A →x=→b tem soluc¸a˜o u´nica se
os vetores-coluna de A sa˜o linearmente independentes. Neste caso, a
matriz ATA e´ invert´ıvel e
→
x= (ATA)−1AT
→
b .
Fabiana T. Santana UFRN-ECT A´lgebra Linear 8 / 30
Mı´nimos Quadrados
Exemplo 0.1
Encontre a soluc¸a˜o de m´ınimos quadrados do sistema linear A
→
x=
→
b dado
por 
x1 − x2 = 4
3x1 + 2x2 = 1
−2x1 + 4x2 = 3
Fabiana T. Santana UFRN-ECT A´lgebra Linear 9 / 30
Mı´nimos Quadrados
Soluc¸a˜o:
Do sistema dado, temos
A =
 1 −13 2
−2 4
 e →b=
41
3

A soluc¸a˜o de m´ınimos quadrados satisfaz o sistema normal
ATA
→
x= AT
→
b .
ATA =
[
1 3 −2
−1 2 4
] 1 −13 2
−2 4
 = [14 −3−3 21
]
AT b =
[
1 3 −2
−1 2 4
]41
3
 = [ 1
10
]
Fabiana T. Santana UFRN-ECT A´lgebra Linear 10 / 30
Mı´nimos Quadrados
Continuac¸a˜o:
Substituindo ATA e AT b em ATA
→
x= AT
→
b , temos:[
14 −3
−3 21
] [
x1
x2
]
=
[
1
10
]
Resolvendo o sistema acima, sa˜o encontradas as soluc¸o˜es por m´ınimos
quadrados:
x1 =
17
95
e x2 =
143
285
A projec¸a˜o ortogonal de
→
b no espac¸o coluna de A e´:
A
→
x=
 1 −13 2
−2 4
[ 17/95
143/285
]
=
−92/285439/285
94/57

Fabiana T. Santana UFRN-ECT A´lgebra Linear 11 / 30
Mı´nimos Quadrados
Exemplo 0.2
Encontre a projec¸a˜o ortogonal do vetor
→
u= (−3,−3, 8, 9) no subespac¸o de
R4 gerado pelos vetores
→
u1= (3, 1, 0, 1),
→
u2= (1, 2, 1, 1),
→
u3= (−1, 0, 2,−1).
Fabiana T. Santana UFRN-ECT A´lgebra Linear 12 / 30
Mı´nimos Quadrados
Soluc¸a˜o:
1a maneira: Se os vetores
→
u1,
→
u2,
→
u3 sa˜o ortonormais (se na˜o for, aplicar
Gram-Schmidt), enta˜o
projW
→
u=
〈→
u,
→
u1
〉
‖u1‖2
→
u1 +
〈→
u,
→
u2
〉
‖u2‖2
→
u2 +
〈→
u,
→
u3
〉
‖u3‖2
→
u3
onde
∥∥∥→ui∥∥∥ = 1
Fabiana T. Santana UFRN-ECT A´lgebra Linear 13 / 30
Mı´nimos Quadrados
Continuac¸a˜o:
2a maneira: Me´todo dos m´ınimos quadrados
Projetar
→
u no espac¸o-coluna da matriz A cujas colunas sa˜o
os vetores dados. A soluc¸a˜o de m´ınimos quadrados e´ a
soluc¸a˜o do sistema ATA
→
x= AT
→
b . Apo´s encontrar a
soluc¸a˜o
→
x , a projec¸a˜o ortogonal sera´ projW
→
u= A
→
u .
A =

3 1 −1
1 2 0
0 1 2
1 1 −1
 , AT =
 3 1 0 11 2 1 1
−1 0 2 −1
 e →b=

−3
−3
8
9

Fabiana T. Santana UFRN-ECT A´lgebra Linear 14 / 30
Mı´nimos Quadrados
Continuac¸a˜o:
ATA =
 3 1 0 11 2 1 1
−1 0 2 −1


3 1 −1
1 2 0
0 1 2
1 1 −1
 =
11 6 −46 7 0
−4 0 6

AT
→
b=
 3 1 0 11 2 1 1
−1 0 2 −1


−3
−3
8
9
 =
−38
10

Fabiana T. Santana UFRN-ECT A´lgebra Linear 15 / 30
Mı´nimos Quadrados
Continuac¸a˜o:
ATA
→
x= AT
→
b ⇒
11 6 −46 7 0
−4 0 6
x1x2
x3
 =
−38
10

⇒
11 6 −4 −36 7 0 8
−4 0 6 10
 ∼ . . . ∼
1 0 0 −10 1 0 2
0 0 1 1

⇒ →x=
x1x2
x3
 =
−12
1

Fabiana T. Santana UFRN-ECT A´lgebra Linear 16 / 30
Mı´nimos Quadrados
Continuac¸a˜o:
Logo,
projW
→
u= A
→
x=

3 1 −1
1 2 0
0 1 2
1 1 −1

−12
1
 =

−2
3
4
0
 .
Levando para a notac¸a˜o dos vetores dados,
projW
→
u= (−2, 3, 4, 0).
Fabiana T. Santana UFRN-ECT A´lgebra Linear 17 / 30
Mı´nimos Quadrados
Aplicac¸a˜o: Ajuste de Retas pelos Mı´nimos Quadrados
Fabiana T. Santana UFRN-ECT A´lgebra Linear 18 / 30
Mı´nimos Quadrados - Aplicac¸a˜o
Fabiana T. Santana UFRN-ECT A´lgebra Linear 19 / 30
Mı´nimos Quadrados - Aplicac¸a˜o
Reta de M´ınimos Quadrados
Suponha que sejam dados n pontos (x1, y1), (x2, y2), . . . , (xn, yn), onde
pelo menos dois dos xi sa˜o distintos. Estamos interessados em encontrar a
reta de m´ınimos quadrados
y = b1x+ b0 (2)
que “melhor se ajusta aos dados”. Se os pontos
(x1, y1), (x2, y2), . . . , (xn, yn)
estivessem exatamente sobre a reta de m´ınimos quadrados, ter´ıamos
yi = b1xi + b0 (3)
Fabiana T. Santana UFRN-ECT A´lgebra Linear 20 / 30
Mı´nimos Quadrados - Aplicac¸a˜o
Substituindo os pontos dados na equac¸a˜o (3), temos o seguinte sistema:
b1x1 + b0 = y1
b1x2 + b0 = y2
...
b1xn + b0 = y2
(4)
Fabiana T. Santana UFRN-ECT A´lgebra Linear 21 / 30
Mı´nimos Quadrados - Aplicac¸a˜o
Se
→
x=
[
b1
b0
]
, A =

x1 1
x2 1
...
xn 1
 e →b=

y1
y2
...
yn
 ,
enta˜o o sistema (4) e´ dado por
A
→
x=
→
b (5)
O sistema linear acima e´ inconsistente, pois nem todos os pontos
pertencem a` equac¸a˜o da reta de equac¸a˜o y = b1x+ b0.
Fabiana T. Santana UFRN-ECT A´lgebra Linear 22 / 30
Mı´nimos Quadrados - Aplicac¸a˜o
Utilizando o me´todo de m´ınimos quadrados, podemos encontrar uma
soluc¸a˜o
→
x=
[
b1
b0
]
para o sistema A
→
x=
→
b que ira´ definir a reta que
melhor se ajusta aos pontos dados.
A soluc¸a˜o por m´ınimos quadrados e´
→
x= (ATA)−1AT
→
b .
A soluc¸a˜o e´ obtida resolvendo o sistema ATA
→
x= AT
→
b .
Fabiana T. Santana UFRN-ECT A´lgebra Linear 23 / 30
Mı´nimos Quadrados - Aplicac¸a˜o
Resumindo: O procedimentopara encontrar a reta de m´ınimos
quadrados y = b1x+ b0 para os dados (x1, y1), (x2, y2), . . . , (xn, yn), onde
pelo menos dois dos xi sa˜o diferentes esta´ descrito abaixo:
(Etapa 1) Fac¸a
→
x=
[
b1
b0
]
, A =

x1 1
x2 1
...
xn 1
 e →b=

y1
y2
...
yn

(Etapa 2) Resolva o sistema normal AtA
→
x= AT
→
b
Fabiana T. Santana UFRN-ECT A´lgebra Linear 24 / 30
Mı´nimos Quadrados - Aplicac¸a˜o
Exemplo 0.3
Na produc¸a˜o do produto XXX, a quantidade do composto beta presente
no produto e´ controlada pela quantidade do ingrediente alfa usado no
processo. Na produc¸a˜o de um litro de XXX, a quantidade do composto
alfa usada e a quantidade do composto beta presente sa˜o registradas. A
Tabela 1 mostra as quantidades de compostos no produto.
(a) Encontre uma equac¸a˜o para a reta que melhor se ajusta aos
dados.
(b) Use a equac¸a˜o obtida na parte (a) para prever o nu´mero de
gramas do composto beta presente em um litro do produto
XXX se 30 gramas do composto alfa sa˜o usados por litro.
Fabiana T. Santana UFRN-ECT A´lgebra Linear 25 / 30
Mı´nimos Quadrados - Aplicac¸a˜o
Alfa utilizado (gramas/litro) 3 4 5 6 7 8 9 10 11 12
Beta presente (gramas/litro) 4,5 5,5 5,7 6,6 7,0 7,7 8,5 8,7 9,5 9,7
Tabela : quantidades de compostos no produto XXX
Fabiana T. Santana UFRN-ECT A´lgebra Linear 26 / 30
Mı´nimos Quadrados - Aplicac¸a˜o
Soluc¸a˜o:
(a) Temos
→
b=

4, 5
5, 5
5, 7
6, 6
7, 0
7, 7
8, 5
8, 7
9, 5
9, 7

, A =

3 1
4 1
5 1
6 1
7 1
8 1
9 1
10 1
11 1
12 1

e
→
x=
[
b1
b0
]
Enta˜o,
ATA =
[
645 75
75 10
]
e AT
→
b=
[
598, 6
73, 4
]
Fabiana T. Santana UFRN-ECT A´lgebra Linear 27 / 30
Mı´nimos Quadrados - Aplicac¸a˜o
Continuac¸a˜o:
Resolvendo o sistema normal AtA
→
x= AT
→
b , isto e´[
645 75
75 10
] [
b1
b0
]
=
[
598, 6
73, 4
]
temos
→
x=
[
b1
b0
]
=
[
0, 583
2, 967
]
Portanto, a equac¸a˜o para a reta de m´ınimos quadrados e´
y = 0, 583x+ 2, 967
onde y e´ a quantidade do composto beta presente e x e´ a quantidade do
composto alfa usado.
Fabiana T. Santana UFRN-ECT A´lgebra Linear 28 / 30
Mı´nimos Quadrados - Aplicac¸a˜o
Continuac¸a˜o (b):
Se x = 30, substituindo na equac¸a˜o
y = 0, 583x+ 2, 967
obtemos y = 20, 457. Isto e´, havia 20, 457 gramas de beta presentes em
um litro de XXX.
Fabiana T. Santana UFRN-ECT A´lgebra Linear 29 / 30
Mı´nimos Quadrados
Exerc´ıcios:
(1) Encontre a soluc¸a˜o de m´ınimos quadrados do sistema linear
A
→
x=
→
b e obtenha a projec¸a˜o ortogonal de
→
b no
espac¸o-coluna de A.
(a) A =
 1 1−1 1
−1 2
 e →b=
 70
−7

(b) A =
2 −21 1
3 1
 e →b=
 2−1
1

Soluc¸a˜o: (a) x1 = 5, x2 =
1
2
;
11/2−9/2
−4
. (b) x1 = 3/7, x2 = −2/3;
46/21−5/21
13/21

Fabiana T. Santana UFRN-ECT A´lgebra Linear 30 / 30