aula15 métodos mínimos quadrados

Prévia do material em texto

Ca´lculo Nume´rico
Me´todo dos Mı´nimos Quadrados
Heder S. Bernardino
Heder S. Bernardino Ca´lculo Nume´rico
Suma´rio
1 Aulas Anteriores
2 Introduc¸a˜o
3 Me´todo dos Mı´nimos Quadrados
4 Caso Discreto
5 Revisa˜o
Heder S. Bernardino Ca´lculo Nume´rico
Aulas Anteriores
Aulas Anteriores
Heder S. Bernardino Ca´lculo Nume´rico
Aulas Anteriores
Aulas Anteriores
◮ Interpolac¸a˜o Polinomial
◮ Encontrar Pn(x) que interpole os n+ 1 pontos dados
◮ Soluc¸a˜o u´nica se os pontos forem distintos
◮ Pode ser determinado resolvendo um sistema de equac¸o˜es lineares
◮ Forma de Lagrange
◮ Forma de Newton
Heder S. Bernardino Ca´lculo Nume´rico
Aulas Anteriores
Aulas Anteriores
◮ Erro na interpolac¸a˜o
En(z) = (z − x0) . . . (z − xn)
f (n+1)(c)
(n+ 1)!
◮ Um limitante superior para o erro e´ dado por
|En(z)| ≤
|z − x0| . . . |z − xn|
(n+ 1)!
max
c∈[a,b]
|f (n+1)(c)|
Heder S. Bernardino Ca´lculo Nume´rico
Introduc¸a˜o
Introduc¸a˜o
Heder S. Bernardino Ca´lculo Nume´rico
Introduc¸a˜o
Introduc¸a˜o
◮ Foram estudadas formas de encontrar Pn(x) que interpole os n+ 1
pontos dados
◮ Entretanto, a Interpolac¸a˜o Polinomial na˜o e´ aconselha´vel quando
◮ Precisa-se obter uma aproximac¸a˜o para valores fora dos pontos
tabelados
◮ Quando se quer extrapolar
◮ Os dados utilizados na determinac¸a˜o do modelo aproximado podem
conter erros
◮ Experimentos, pesquisas, etc
◮ Surge enta˜o a necessidade de obter modelos que sejam uma “boa
aproximac¸a˜o” dos dados tabelados e que permitam extrapolar com
certa margem de seguranc¸a
Heder S. Bernardino Ca´lculo Nume´rico
Introduc¸a˜o
Introduc¸a˜o
◮ O Me´todo dos Mı´nimos Quadrados e´ amplamente adotado nessas
situac¸o˜es
◮ Dois casos sa˜o considerados
◮ Discreto
◮ Pares (xi, yi), i = 1, . . . ,m, obtidos experimentalmente sa˜o utilizados
para determinar a relac¸a˜o entre as varia´veis
◮ Cont´ınuo
◮ Seja f(x) uma func¸a˜o conhecida em um intervalo [a, b], enta˜o deseja-se
encontrar uma func¸a˜o g(x) que se aproxime ao ma´ximo de f(x) nesse
intervalo
Heder S. Bernardino Ca´lculo Nume´rico
Introduc¸a˜o
Introduc¸a˜o
Interpolac¸a˜o Mı´nimos Quadrados
Heder S. Bernardino Ca´lculo Nume´rico
Introduc¸a˜o
Introduc¸a˜o
◮ Para ilustrar a ideia
◮ Considere um experimento para determinar a constante de uma mola
◮ A Lei de Hooke indica que o deslocamento de uma mola e´
“proporcional” a` forc¸a nela aplicada
F = kx
◮ Va´rios experimentos sa˜o enta˜o realizados medindo forc¸as aplicadas a`
mola e seus respectivos deslocamentos
Heder S. Bernardino Ca´lculo Nume´rico
Introduc¸a˜o
Introduc¸a˜o
◮ Como obter a reta que “melhor” aproxime os dados experimentais?
◮ Nota-se que a inclinac¸a˜o da reta fornece a constante k da mola
Heder S. Bernardino Ca´lculo Nume´rico
Me´todo dos M´ınimos Quadrados
Me´todo dos M´ınimos Quadrados
Heder S. Bernardino Ca´lculo Nume´rico
Me´todo dos M´ınimos Quadrados
Me´todo dos M´ınimos Quadrados
◮ Seja f(x) como a func¸a˜o que se quer aproximar por uma func¸a˜o g(x)
◮ A expressa˜o anal´ıtica de f(x) nem sempre e´ conhecida
◮ A informac¸a˜o pode vir de dados experimentais
◮ Valores yi, i = 1, . . . ,m
◮ No Me´todo dos Mı´nimos Quadrados, a forma da func¸a˜o g(x) deve ser
indicada a priori
◮ Pode ser uma reta: g(x) = c0 + c1x
◮ Pode ser uma para´bola: g(x) = c0 + c1x+ c2x
2
◮ Pode assumir diversas outras formas
Heder S. Bernardino Ca´lculo Nume´rico
Me´todo dos M´ınimos Quadrados
Me´todo dos M´ınimos Quadrados
◮ E´ considerado inicialmente o caso em que a func¸a˜o g(x) e´ uma
combinac¸a˜o linear de func¸o˜es de base φ
g(x) = c0φ0(x) + c1φ1(x) + · · ·+ cnφn(x)
◮ A forma de g(x) e´ definida pelas func¸o˜es φi(x) escolhidas
◮ As func¸o˜es de base sa˜o definidas a priori
◮ Esse tipo de func¸a˜o e´ chamada de modelo matema´tico linear pois os
coeficientes a determinar, c0, c1, . . . , cn, aparecem linearmente
◮ Embora as func¸o˜es φi(x) possam ser func¸o˜es na˜o lineares de x
◮ No caso em que g(x) e´ uma para´bola, enta˜o
φ0(x) = 1, φ1(x) = x, φ2(x) = x
2 ⇒ g(x) = c0φ0(x) + c1φ1(x) + c2φ2(x)
⇒ g(x) = c0 + c1x+ c2x
2
Heder S. Bernardino Ca´lculo Nume´rico
Caso Discreto
Caso Discreto
Heder S. Bernardino Ca´lculo Nume´rico
Caso Discreto
Me´todo dos M´ınimos Quadrados – Caso Discreto
◮ Dados os pares (x1, y1), (x2, y2), . . . , (xm, ym)
◮ Deseja-se determinar a func¸a˜o g(x) que “melhor aproxime” esses
dados
◮ Lembrando que g(x) e´ (inicialmente) definida como combinac¸a˜o linear
de func¸o˜es φi(x), i = 0, 1, . . . , n
◮ O caso na˜o linear sera´ futuramente abordado
◮ O problema envolve enta˜o a determinac¸a˜o de c0, c1, . . . , cn que
definam uma func¸a˜o g(x) que seja uma “melhor aproximac¸a˜o” dos
dados fornecidos
Heder S. Bernardino Ca´lculo Nume´rico
Caso Discreto
Me´todo dos M´ınimos Quadrados – Caso Discreto
◮ Para ilustrar a ideia, suponha que os seguintes dados sa˜o obtidos
experimentalmente
xi 0,3 2,7 4,5 5,9 7,8
yi 1,8 1,9 3,1 3,9 3,3
◮ Esses pontos sa˜o representados no gra´fico que segue
Heder S. Bernardino Ca´lculo Nume´rico
Caso Discreto
Me´todo dos M´ınimos Quadrados – Caso Discreto
◮ Pode-se assumir que haja uma relac¸a˜o linear entre x e y
◮ Polinoˆmios interpoladores lineares podem ser determinados
escolhendo 2 pontos da tabela, ou seja, g(x) = c0 + c1x
◮ Para (0,3; 1,8) e (7,8; 3,3)
◮ g1(x) = 1,8 + (x− 0,3)
3,3−1,8
7,8−0,3 = 1,74 + 0,2x
Heder S. Bernardino Ca´lculo Nume´rico
Caso Discreto
Me´todo dos M´ınimos Quadrados – Caso Discreto
◮ Pode-se assumir que haja uma relac¸a˜o linear entre x e y
◮ Polinoˆmios interpoladores lineares podem ser determinados
escolhendo 2 pontos da tabela, ou seja, g(x) = c0 + c1x
◮ Para (2,7; 1,9) e (5,9; 3,9)
◮ g2(x) = 1,9 + (x− 2,7)
3,9−1,9
5,9−2,7 = 0,2125 + 0,625x
Heder S. Bernardino Ca´lculo Nume´rico
Caso Discreto
Me´todo dos M´ınimos Quadrados – Caso Discreto
◮ Qual a “melhor aproximac¸a˜o” em relac¸a˜o a todos os pontos?
◮ Como determinar a qualidade de um modelo?
◮ O res´ıduo em relac¸a˜o a um ponto (xi, yi) pode ser definido como
r(xi, c0, c1, . . . , cn) = yi − g(xi)
= yi − [c0φ0(xi) + c1φ1(xi) + · · ·+ cnφn(xi)]
◮ Nota-se que o res´ıduo r e´ uma func¸a˜o dos coeficientes do modelo
◮ Para determinar g1 e g2 alguns dados foram desprezados
Heder S. Bernardino Ca´lculo Nume´rico
Caso Discreto
Me´todo dos M´ınimos Quadrados – Caso Discreto
r(xi, c0, c1, . . . , cn) = yi − g(xi)
= yi − [c0φ0(xi) + c1φ1(xi) + · · ·+ cnφn(xi)]
◮ Uma forma de calcular a qualidade dos modelos e´ somar os res´ıduos
ao quadrado
E(c0, c1, . . . , cn) =
m∑
i=1
r2(xi, c0, c1, . . . , cn) =
m∑
i=1
(yi − g(xi))
2
Heder S. Bernardino Ca´lculo Nume´rico
Caso Discreto
Me´todo dos M´ınimos Quadrados – Caso Discreto
◮ Considerando o modelo g(x) do exemplo, enta˜o
E(c0, c1, . . . , cn) =
m∑
i=1
r2(xi, c0, c1, . . . , cn) =
m∑
i=1
(yi − g(xi))
2
E(c0, c1) =
m∑
i=1
[yi − (c0 + c1x)]
2
Heder S. Bernardino Ca´lculo Nume´rico
Caso Discreto
Me´todo dos M´ınimos Quadrados – Caso Discreto
◮ Para g1(x) = 1,74 + 0,2x, tem-se que
i xi yi g(xi) r
2
i
1 0,3 1,8 1,8 0
2 2,7 1,9 2,78 0,144
3 4,5 3,1 2,64 0,2116
4 5,9 3,9 2,94 0,9604
5 7,8 3,3 3,3 0
E(1,74; 0,2) = 1,316
Heder S. Bernardino Ca´lculo Nume´rico
Caso Discreto
Me´todo dos M´ınimos Quadrados – Caso Discreto
◮ Para g2(x) = 0,2125 + 0,625x, tem-se que
i xi yi g(xi) r
2
i
1 0,3 1,8 0,4 1,96
2 2,7 1,9 1,9 0
3 4,5 3,1 3,025 0,0056
4 5,9 3,9 3,9 0
5 7,8 3,3 2,275 1,051
E(0,2125; 0,625) = 3,0166
◮ Logo, segundo esse crite´rio, g1 e´ melhor do que g2
◮ Como determinar os coeficientesdo modelo de modo que E seja
m´ınimo?
Heder S. Bernardino Ca´lculo Nume´rico
Caso Discreto
Me´todo dos M´ınimos Quadrados – Caso Discreto
◮ O Me´todo dos Mı´nimos Quadrados consiste em determinar os
paraˆmetros c0, c1, . . . , cn que minimizem E
◮ Introduzindo a notac¸a˜o de produto interno como
<p; q> =
m∑
i=1
piqi
◮ Enta˜o a soma dos res´ıduos ao quadrado pode ser escrito como
E(c0, c1, . . . , cn) =
m∑
i=1
(yi − g(xi))
2
=
m∑
i=1
r2(xi, c0, c1, . . . , cn) = <r; r>
Heder S. Bernardino Ca´lculo Nume´rico
Caso Discreto
Me´todo dos M´ınimos Quadrados – Regressa˜o Linear
◮ Na regressa˜o linear, dada uma tabela de dados (xi, yi), i = 1, . . . ,m,
deseja-se encontrar a reta que melhor se ajusta aos dados no crite´rio
dos m´ınimos quadrados
◮ Como o ajuste sera´ feito por uma reta temos que
φ0(x) = 1 e φ1(x) = x⇒ g(x) = c0 + c1x
◮ Pelo me´todo dos m´ınimos quadrados devemos encontrar c0 e c1 que
minimizem a func¸a˜o
E(c0, c1) = <r; r>
=
m∑
i=1
(yi − g(xi))
2
=
m∑
i=1
(yi − c0 − c1xi)
2
Heder S. Bernardino Ca´lculo Nume´rico
Caso Discreto
Me´todo dos M´ınimos Quadrados – Regressa˜o Linear
◮ Usando o Ca´lculo Diferencial, sabe-se que o ponto cr´ıtico de E(c0, c1)
e´ aquele em que as derivadas se anulam, ou seja,
∂E(c0, c1)
∂c0
= 0
∂E(c0, c1)
∂c1
= 0
Heder S. Bernardino Ca´lculo Nume´rico
Caso Discreto
Me´todo dos M´ınimos Quadrados – Regressa˜o Linear
◮ Inicialmente, tem-se que
∂E(c0, c1)
∂c0
= 0⇒
∂
∂c0
[
m∑
i=1
(yi − c0 − c1xi)
2
]
= 0
⇒ −2
[
m∑
i=1
(yi − c0 − c1xi)
]
= 0
◮ Ale´m disso,
∂E(c0, c1)
∂c1
= 0⇒
∂
∂c1
[
m∑
i=1
(yi − c0 − c1xi)
2
]
= 0
⇒ −2
[
m∑
i=1
(yi − c0 − c1xi) (xi)
]
= 0
Heder S. Bernardino Ca´lculo Nume´rico
Caso Discreto
Me´todo dos M´ınimos Quadrados – Regressa˜o Linear
◮ Manipulando a primeira expressa˜o, obte´m-se
−2
[
m∑
i=1
(yi − c0 − c1xi)
]
= 0⇒
m∑
i=1
(yi − c0 − c1xi) = 0
⇒
m∑
i=1
yi −
m∑
i=1
(c0 + c1xi) = 0
⇒
m∑
i=1
(c0 + c1xi) =
m∑
i=1
yi
⇒
m∑
i=1
c0 +
m∑
i=1
c1xi =
m∑
i=1
yi
⇒ c0m+ c1
m∑
i=1
xi =
m∑
i=1
yi
Heder S. Bernardino Ca´lculo Nume´rico
Caso Discreto
Me´todo dos M´ınimos Quadrados – Regressa˜o Linear
◮ Manipulando a segunda expressa˜o, enta˜o
−2
[
m∑
i=1
(yi − c0 − c1xi) (xi)
]
= 0⇒
m∑
i=1
(yi − c0 − c1xi) (xi) = 0
⇒
m∑
i=1
xiyi −
m∑
i=1
(
c0xi + c1x
2
i
)
= 0
⇒
m∑
i=1
(
c0xi + c1x
2
i
)
=
m∑
i=1
xiyi
⇒
m∑
i=1
c0xi +
m∑
i=1
c1x
2
i =
m∑
i=1
xiyi
⇒ c0
m∑
i=1
xi + c1
m∑
i=1
x2i =
m∑
i=1
xiyi
Heder S. Bernardino Ca´lculo Nume´rico
Caso Discreto
Me´todo dos M´ınimos Quadrados – Regressa˜o Linear
◮ Logo, para que E seja m´ınimo, c0 e c1 devem ser determinados de
modo que
c0m+ c1
m∑
i=1
xi =
m∑
i=1
yi
c0
m∑
i=1
xi + c1
m∑
i=1
x2i =
m∑
i=1
xiyi
◮ Ou seja, o sistema de equac¸o˜es lineares

m
m∑
i=1
xi
m∑
i=1
xi
m∑
i=1
x2i


[
c0
c1
]
=


m∑
i=1
yi
m∑
i=1
xiyi


deve ser resolvido para determinar c0 e c1
Heder S. Bernardino Ca´lculo Nume´rico
Caso Discreto
Exemplo
◮ Exemplo 1
Utilizando o Me´todo dos Mı´nimos Quadrados, encontre a reta que
melhor se ajuste aos dados da tabela que segue.
xi 0 0,25 0,5 0,75 1
yi 1 1,2840 1,6487 2,1170 2,7183
◮ Soluc¸a˜o:
◮ Primeiro determina-se o sistema linear
5c0 + 2,5c1 = 8,768
2,5c0 + 1,875c1 = 5,4514
◮ Resolvendo o sistema obte´m-se c0 = 0,89968 e c1 = 1,70784
◮ Assim,
g(x) = 0,89968 + 1,70784x
Heder S. Bernardino Ca´lculo Nume´rico
Caso Discreto
Exemplo
◮ Exemplo 1
Utilizando o Me´todo dos Mı´nimos Quadrados, encontre a reta que
melhor se ajuste aos dados da tabela que segue.
xi 0 0,25 0,5 0,75 1
yi 1 1,2840 1,6487 2,1170 2,7183
◮ Soluc¸a˜o: g(x) = 0,89968 + 1,70784x
Heder S. Bernardino Ca´lculo Nume´rico
Caso Discreto
Exemplo
◮ Exemplo 2
Utilizando o Me´todo dos Mı´nimos Quadrados, encontre a reta que
melhor se ajuste aos dados da tabela que segue.
xi 0,3 2,7 4,5 5,9 7,8
yi 1,8 1,9 3,1 3,9 3,3
◮ Soluc¸a˜o: g(x) = 1,6560 + 0,2698x; E(1,6560; 0,2698) = 0,9289
Heder S. Bernardino Ca´lculo Nume´rico
Revisa˜o
Revisa˜o
Heder S. Bernardino Ca´lculo Nume´rico
Revisa˜o
Revisa˜o
◮ Me´todo dos Mı´nimos Quadrados
◮ Assume que os dados podem conter erros
◮ Possibilita extrapolac¸a˜o
◮ Forma deve ser definida a priori
◮ Caso discreto
◮ Modelo que minimiza a soma das discrepaˆncias ao quadrado
◮ Regressa˜o Linear
c0m+ c1
m∑
i=1
xi =
m∑
i=1
yi
c0
m∑
i=1
xi + c1
m∑
i=1
x2i =
m∑
i=1
xiyi
Heder S. Bernardino Ca´lculo Nume´rico
Revisa˜o
Du´vidas?
Heder S. Bernardino Ca´lculo Nume´rico
	Aulas Anteriores
	Introdução
	Método dos Mínimos Quadrados
	Caso Discreto
	Revisão