Módulo 11 - Mínimos Quadrados

Prévia do material em texto

Métodos 
Numéricos para 
Engenharia
MÓDULO 11- MÍNIMOS QUADRADOS
PROFESSOR LUCIANO NEVES DA FONSECA
Definições
 Na interpolação por polinômios por Vandermonde (e também por Newton e 
Lagrange) o polinômio interpolador passa exatamente por todos os N pontos de 
controle (𝑥𝑖 , 𝑦𝑖).
 Esta exigência pode ser um problema quando temos um número de pontos de 
controle N muito grande , pois a ordem do polinômio interpolador (N-1) será 
muito alta, o que pode causar instabilidade numérica.
 Além da instabilidade numérica, um polinômio de ordem muito alta pode oscilar 
(wiggling) ao passar por todos os pontos de controle, gerando um interpolação 
duvidosa, o exemplo a seguir ira discorrer sobre este problema
 Uma solução para este problema é se usar um polinômio de ordem menor M<N. 
Este polinômio interpolador de ordem menor não irá passar exatamente pelos 
pontos de controle, mas entre eles, assumindo um certo erro de interpolação 
entre os pontos de controle e o polinômio. 
 O método dos mínimos quadrados oferece uma solução na qual o erro 
quadrático médio entre os pontos de controle e a interpolação sejam 
minimizados.
Exemplo: Ajustar um polinômio interpolador aos 11 postos de controle mostrados na 
tabela abaixo.
Podemos passar um polinômio de Vandermonde de ordem 10 aos 11 pontos de controle. A matriz A 
será quadrada 10x10. Número de linhas é igual ao número de pontos de controle, número de colunas 
é igual ao número de coeficientes do polinômio (tamanho de 𝑢 que é o vetor coeficientes).
Notar que o polinômio interpolador de ordem 10 passa pelos 11 pontos de 
controle, no entanto há oscilações (wiggling) que comprometem o resultado. A 
interpolação não é feita de maneira adequada.
𝐴 =
1. 3.0 3.02 3.03 3.04 3.05 3.06 3.07 3.08 3.09 3.010
1. 3.3 3.32 3.33 3.34 3.35 3.36 3.37 3.38 3.39 3.310
1. 3.9 3.92 3.93 3.94 3.95 3.96 3.97 3.98 3.99 3.910
1. 4.3 4.32 4.33 4.34 4.35 4.36 4.37 4.38 4.39 4.310
1. 4.7 4.72 4.73 4.74 4.75 4.76 4.77 4.78 4.79 4.710
1. 5.3 5.32 5.33 5.34 5.35 5.36 5.37 5.38 5.39 5.310
1. 5.9 5.92 5.93 5.94 5.95 5.96 5.97 5.98 5.99 5.910
1. 6.1 6.12 6.13 6.14 6.15 6.16 6.17 6.18 6.19 6.110
1. 6.3 6.32 6.33 6.34 6.35 6.36 6.37 6.38 6.39 6.310
1. 6.6 6.62 6.63 6.64 6.65 6.66 6.67 6.68 6.69 6.610
1. 7.0 7.02 7.03 7.04 7.05 7.06 7.07 7.08 7.09 7.010
𝑦 =
0
2
1
5
5
5
8
9
13
14
20
22
𝑢 = 𝐴−1𝑦
𝑢 é o vetor de coeficientes
𝑝10(𝑥)
= −26064689 + 55746026𝑥 − 53148015𝑥² + 29750856𝑥³ − 10830624𝑥4 + 2679883.5𝑥⁵
− 456537.82𝑥⁶ + 52885.81𝑥⁷ − 3987.7498𝑥⁸ + 176.77837𝑥⁹ − 3.4994386𝑥¹⁰
Podemos também passar um polinômio de MQ de ordem 3 entre os 11 pontos de controle. 
A matriz A será retangular 10x4. Número de linhas é igual ao número de pontos de controle, 
número de colunas é igual ao número de coeficientes do polinômio (tamanho de coef).
Notar que o polinômio interpolador de ordem 3 passa entre os 11 
pontos de controle. 
𝑦 =
0
2
1
5
5
5
8
9
13
14
20
22
𝑝3(𝑥) = −29.666755 + 20.296888𝑥 − 4.6476658𝑥² + 0.4030047𝑥³
Como 𝐴 é retangular, não podemos calcular a sua inversa 𝐴_1 , mas sim a 
sua pseudo-inversa (𝐴𝑡𝐴)−1𝐴𝑡 . 
𝐴 =
1. 3.0 3.02 3.03
1. 3.3 3.32 3.33
1. 3.9 3.92 3.93
1. 4.3 4.32 4.33
1. 4.7 4.72 4.73
1. 5.3 5.32 5.33
1. 5.9 5.92 5.93
1. 6.1 6.12 6.13
1. 6.3 6.32 6.33
1. 6.6 6.62 6.63
1. 7.0 7.02 7.03
𝑢 = (𝐴𝑡𝐴)−1𝐴𝑡 𝑦
𝑢 é o vetor de coeficientes
Podemos também passar um polinômio de MQ de ordem 3 entre os 11 pontos de controle. 
A matriz A será retangular 10x3. Número de linhas é igual ao número de pontos de controle, 
número de colunas é igual ao número de coeficientes do polinômio (tamanho de coef).
Notar que o polinômio interpolador de ordem 2 passa entre os 11 
pontos de controle. 
𝐴 =
1. 3.0 3.02
1. 3.3 3.32
1. 3.9 3.92
1. 4.3 4.32
1. 4.7 4.72
1. 5.3 5.32
1. 5.9 5.92
1. 6.1 6.12
1. 6.3 6.32
1. 6.6 6.62
1. 7.0 7.02
𝑦 =
0
2
1
5
5
5
8
9
13
14
20
22
𝑝2 𝑥 = 14.576664 − 8.6372239𝑥 + 1.3822754𝑥
2
Como 𝐴 é retangular, não podemos calcular a sua inversa 𝐴_1 , mas sim a 
sua pseudo-inversa (𝐴𝑡𝐴)−1𝐴𝑡 . 
𝑢 = (𝐴𝑡𝐴)−1𝐴𝑡 𝑦
𝑢 é o vetor de coeficientes
Como exemplo, vamos ajustar um polinômios de ordem 2, 𝑝2 𝑥 , que passa “entre os pontos” de 
controle 𝑥𝑖 , 𝑦𝑖 abaixo:
𝐴 =
1. 3.0 9.00
1. 3.3 10.89
1. 3.9 15.21
1. 4.3 18.49
1. 4.7 22.09
1. 5.3 28.09
1. 5.9 34.81
1. 6.1 37.21
1. 6.3 39.69
1. 6.6 43.56
1. 7. 0 49.00
𝐴𝑡 =
1 1 1
3.0 3.3 3.9
9.00 10.89 15.21
1 1 1
4.3 4.7 5.3
18.49 22.09 28.09
1 1 1
5.9 6.1 6.3
34.81 37.21 39.69
1 1
6.6 7.0
43.56 49.00
𝑝2 𝑥 = a0 + a1x + a2x
2
𝑢 =
𝑎𝑜
𝑎1
𝑎2
𝑢 = 𝐴𝑡𝐴 −1𝐴𝑡𝑦
𝐴𝑡𝐴 =
11.00 56.400 308.040
56.40 308.040 1767.366
308.04 1767.366 10519.922
𝐴𝑡𝐴 −1 =
27.337747 −11.429266 1.1196449
−11.429266 4.8682401 −0.4832061
1.1196449 −0.4832061 0.0484896
𝑦 =
0
2
1
5
5
5
8
9
13
14
20
22
𝐴𝑡𝑦 =
99. 00
604.50
3766.49
𝑢 = 𝐴𝑡𝐴 −1𝐴𝑡𝑦 =
14.576664
−8.6372239
1.3822754
𝑝2 𝑥 = 14.576664 − 8.6372239𝑥 + 1.3822754𝑥
2
𝑆𝑟 = ෍
𝑖=1
𝑛
𝑦𝑖 − ෝ𝑦𝑖
2 = ෍
𝑖=1
𝑛
𝑦𝑖 − 𝐴 𝑢
2
𝑆𝑡 = ෍
𝑖=1
𝑛
𝑦𝑖 − ത𝑦
2
Coeficiente de Determinação
𝑟2 =
|𝑆𝑡 − 𝑆𝑟|
𝑆𝑡
Coeficiente de Correlação
𝑟 =
|𝑆𝑡 − 𝑆𝑟|
𝑆𝑡
Soma dos Resíduos
𝑝2(𝑥)
𝑝3(𝑥)
𝑝5(𝑥) 𝑝7(𝑥)
-9441.7837
13324.309
-7834.8411
2482.0126
-455.96949
48.351304
-2.7201087
0.0618437
744.87648
-830.81088
360.81206
-76.293616
7.8735814
-0.3166726
-29.666755
20.296888
-4.6476658
0.4030047
14.576664
-8.6372239
1.3822754
𝑟2 = 96.3%
𝑟2 = 97.0%
𝑟2 = 97.5% 𝑟2 = 98.9%
𝑝4(𝑥)
-65.807213
51.655273
-14.520623
1.7429770
-0.0663526
𝑟2 = 97.1%
Podemos inclusive passar um polinômio de MQ de ordem 1 entre os 11 pontos de controle. A 
matriz A será retangular 10x2. Número de linhas é igual ao número de pontos de controle, 
número de colunas é igual ao número de coeficientes do polinômio (tamanho de coef).
Notar que o polinômio interpolador de ordem 2 passa entre os 
11 pontos de controle. 
𝐴 =
1. 3.0
1. 3.3
1. 3.9
1. 4.3
1. 4.7
1. 5.3
1. 5.9
1. 6.1
1. 6.3
1. 6.6
1. 7.0
𝑦 =
0
2
1
5
5
5
8
9
13
14
20
22
𝑐𝑜𝑒𝑓 = (𝐴𝑡𝐴)−1𝐴𝑡 𝑦
𝑝2 𝑥 = −17.340659 + 5.1373626𝑥
Já que 𝐴 é retangular, não podemos calcular a sua inversa 𝐴_1 , 
mas sim a sua pseudo-inversa (𝐴𝑡𝐴)−1𝐴𝑡 . 
Os polinômios MQ de 1ª Ordem podem ser utilizados na 
Linearização de Regressões não-lineares 
1) 𝑦 = 𝛼𝑒𝛽𝑥 ⇒ ln 𝑦 = ln 𝛼𝑒𝛽𝑥 = ln𝛼 + 𝛽𝑥
𝑦𝑙 = ln 𝑦
𝑥𝑙 = 𝑥
𝑦𝑙 = 𝑎𝑜 + 𝑎1𝑥𝑙
2) 𝑦 = 𝛼𝑥𝛽 ⇒ log 𝑦 = log 𝛼𝑥𝛽 = log𝛼 + 𝛽𝑙𝑜𝑔 𝑥
𝑦𝑙 = log 𝑦
𝑥𝑙 = log 𝑥
𝑦𝑙 = 𝑎𝑜 + 𝑎1𝑥𝑙
3) 𝑦 =
𝛼𝑥
𝑥 + 𝛽
⇒
1
𝑦
=
𝑥 + 𝛽
𝛼𝑥
=
1
𝛼
+
𝛽
𝛼
1
𝑥
𝑦𝑙 = 1/𝑦
𝑥𝑙 = 1/x
𝑦𝑙 = 𝑎𝑜 + 𝑎1𝑥𝑙
𝛼 = 𝑒𝑎𝑜
𝛽 = 𝑎1
𝛼 = 10𝑎0
𝛽 = 𝑎1
𝛼 = 1/𝑎𝑜
𝛽 = 𝑎1/𝑎𝑜
4) 𝑦 =
𝛽
𝑥 + 𝛼
⇒
1
𝑦
=
𝑥 + 𝛼
𝛽
⇒
1
𝑦
=
𝛼
𝛽
+
1
𝛽
𝑥
𝑦𝑙 = 1/𝑦
𝑥𝑙 = x
𝑦𝑙 = 𝛼 + 𝛽𝑥𝑙
𝛼 = 𝒂𝒐/𝒂𝟏
𝛽 = 1/𝒂𝟏
5) 𝑦 = 𝛼 +
𝛽
𝑥
⇒⇒ 𝑦 = 𝛼 + 𝛽
1
𝑥
𝑦𝑙 = 𝑦
𝑥𝑙 = 1/𝑥
𝑦𝑙 = 𝛼 + 𝛽𝑥𝑙
𝛼 = 𝑎𝑜
𝛽 = 𝑎1
6) 𝑦 = 𝛼 + 𝛽𝑥𝑛 ⇒⇒ 𝑦 = 𝛼 + 𝛽 𝑥𝑛
𝑦𝑙 = 𝑦
𝑥𝑙 = x
n
𝑦𝑙 = 𝛼 + 𝛽𝑥𝑙
𝛼 = 𝑎0
𝛽 = 𝑎1
Regressão
Não Linear
Linearização Regressão Linear
𝒚𝒍 = 𝒂𝒐 + 𝒂𝟏𝒙𝒍
𝛼 𝛽
𝑦 = 𝛼𝑒𝛽𝑥 𝑀𝑄𝐿 𝑥, 𝑙𝑛 𝑦 ln 𝑦 = ln𝛼 + (𝛽) (𝑥) 𝛼 = 𝑒𝒂𝒐 𝛽 = 𝒂𝟏
𝑦 = 𝛼𝑥𝛽 𝑀𝑄𝐿 log 𝑥 , 𝑙𝑜𝑔 𝑦 log 𝑦 = log 𝛼 + (𝛽) 𝑙𝑜𝑔 𝑥 𝛼 = 10𝒂𝒐 𝛽 = 𝒂𝟏
𝑦 =
𝛼𝑥
𝑥 + 𝛽
𝑀𝑄𝐿 1./𝑥, 1./𝑦 1
𝑦
=
1
𝛼
+
𝛽
𝛼
1
𝑥
𝛼 = 1/𝒂𝒐 𝛽 = 𝒂𝟏/𝒂𝒐
𝑦 =
𝛽
𝑥 + 𝛼
𝑀𝑄𝐿 𝑥, 1./𝑦 1
𝑦
=
𝛼
𝛽
+
1
𝛽
𝑥
𝛼 = 𝒂𝒐/𝒂𝟏 𝛽 = 1/𝒂𝟏
𝑦 = 𝛼 +
𝛽
𝑥
𝑀𝑄𝐿 1./𝑥, 𝑦
𝑦 = 𝛼 + 𝛽
1
𝑥
𝛼 = 𝒂𝒐 𝛽 = 𝒂𝟏
𝑦 = 𝛼 + 𝛽𝑥𝑛 𝑀𝑄𝐿 𝑥𝑛, 𝑦 𝑦 = (𝛼) + 𝛽 𝑥𝑛 𝛼 = 𝒂𝒐 𝛽 = 𝒂𝟏
𝑦𝑚 = 𝛼 + 𝛽𝑥𝑛 𝑀𝑄𝐿 𝑥𝑛, 𝑦𝑚 𝑦𝑚 = 𝛼 + (𝛽) 𝑥𝑛 𝛼 = 𝒂𝒐 𝛽 = 𝒂𝟏
𝑓(𝑦) = 𝛼 + 𝛽𝑔 𝑥 (1) 𝑀𝑄𝐿 𝑔(𝑥), 𝑓 𝑦 𝑓(𝑦) = (𝛼) + (𝛽) 𝑔 𝑥 𝛼 = 𝒂𝒐 𝛽 = 𝒂𝟏
(1) Onde 𝑓 𝑦 indica uma função qualquer da variável real 𝑦 e 𝑔 𝑥 uma função qualquerda 
variável real 𝑥
𝑦 = −8.052 + 5.748 𝑥 𝑦 = 0.800 + 0.339 𝑥
𝑦 = 𝛼 𝑒𝛽𝑥
Exemplo 1 Ajuste da função 𝑦 = 𝛼 𝑒𝛽𝑥
𝑦 = 1.524 + 0.885 𝑥
𝑦 = 0.107 + 0.189 𝑥 𝑦 =
𝛼𝑥
𝑥 + 𝛽
Exemplo 2 = ajuste da função 𝑦 =
𝛼𝑥
𝑥+𝛽
• Vamos agora ajustar um polinômios de 𝑝𝑚 𝑥 , com coeficiente 𝑢, de ordem M<N, que passa “entre os pontos” 
de controle 𝑥𝑖 , 𝑦𝑖
• Haverá uma discrepância “𝑣𝑖” entre o ponto de controle (𝑥𝑖 , 𝑦𝑖) e o ponto ajustado no polinômio 𝑥𝑖 , ො𝑦𝑖 , onde 
ො𝑦𝑖 = 𝑝𝑚 𝑥𝑖
• A discrepância pode ser positiva se (𝑥𝑖 , 𝑦𝑖) estiver acima de (𝑥𝑖 , ො𝑦𝑖) , e negativa se 𝑥𝑖 , 𝑦𝑖 estiver abaixo de (𝑥𝑖 , ො𝑦𝑖)
• Vamos definir então a discrepância total Φ como sendo a soma do quadrado de todas as discrepâncias 𝑣𝑖
𝑝𝑚 𝑥
𝑣𝑖
𝑦 = ො𝑦 + 𝑣 = 𝐴𝑢 + 𝑣
ො𝑦 = 𝐴𝑢
Φ = ෍
𝑖=0
𝑁
𝑣𝑖
2 = 𝑣t𝑣
Φ = 𝑣t𝑣 = 𝑦 − 𝐴𝑢 t(𝑦 − 𝐴𝑢)
Φ = (yt−utAt)(y − Au) = 𝑦𝑡𝑦 − 𝑦𝑡𝐴𝑢 − 𝑢𝑡𝐴𝑡𝑦 + 𝑢𝑡𝐴𝑡𝐴𝑢
Φ = 𝑦𝑡𝑦 − 2𝑦𝑡𝐴𝑢 + 𝑢𝑡𝐴𝑡𝐴𝑢
𝑑Φ
𝑑𝑢
= 0
0 − 2𝑦𝑡𝐴 + 2𝑢𝑡𝐴𝑡𝐴 = 0
Forma quadrática
Matrizes simétricas
Minimizar a soma dos quadrados da discrepâncias, em relação ao 
coeficiente 𝑢 de 𝑝𝑚 𝑥 (que são as incógnitas)
2𝑦𝑡𝐴 = 2𝑢𝑡𝐴𝑡𝐴
𝐴𝑡𝐴 𝑢 = 𝐴𝑡𝑦 𝑢 = 𝐴𝑡𝐴 −1𝐴𝑡𝑦
• Onde ො𝑦 são os pontos ajustados em 𝑝𝑚 𝑥 com discrepância 
O valor exato 𝑦 é o valor ajustado ො𝑦 mais a discrepância 𝑣
soma dos quadrados da discrepâncias
𝑣 = 𝑦 − ො𝑦 = 𝑦 − 𝐴𝑢 𝑣 é a discrepância ( erro ) de estimação
	Slide 1: Métodos Numéricos para Engenharia 
	Slide 2: Definições
	Slide 3
	Slide 4
	Slide 5
	Slide 6
	Slide 7
	Slide 8
	Slide 9
	Slide 10
	Slide 11
	Slide 12
	Slide 13
	Slide 14
	Slide 15