03 Solução do sistema normal

Prévia do material em texto

Solução do sistema normal
Demonstração 1: a solução do sistema normal no caso da regressão linear é única e é
um ponto de mínimo
Esta demonstração foi retirada do livro Noções de Cálculo Numérico (páginas 98, 99,100).
Resultado (visto em Cálculo Diferencial e Integral II): Seja f uma função real, contínua e
diferenciável de múltiplas variáveis f(a0, a1) e o ponto , obtido a partir da resolução do sistema
de equações definido pelas derivadas parciais:
 
O ponto é ponto de mínimo de f se
e se o determinante da matriz Hessiana for positivo:
Neste caso, em que f é o erro quadrático (EQ) e o canditado a ponto de mínimo
= 2 (1 | 1) = 2 n >0
o determinante é calculado por
A prova de que este determinante é positivo é obtida de forma indireta. Considere o produto interno
, onde é um número real qualquer.
>0
esse produto interno só será negativo se ou seja se . Mas isso não faz
sentido pois significa ajustar uma reta a um único ponto e, para termos unicidade temos que ter pelo
menos dois pontos distintos. 
Calculando os produtos internos,
chegamos a uma inequação de segundo grau em e, para que a desigualdade seja sempre
verdadeira, o discriminante deve ser negativo,
e, portanto,
.
Isto prova que o determinante da matriz Hessiana é sempre positivo e, portanto, temos que o ponto 
 é único, pois o determinante é diferente de zero e mais, é ponto de mínimo da função f. 
 
 
Demonstração 2: para o caso geral
Resultado Geral: Seja f uma função real, contínua e diferenciável de múltiplas variáveis f(a0, a1, ...,
an) e o ponto , obtido a partir da resolução do sistema de equações definido pelas
derivadas parciais:
(é um sistema de n+1 equações a n+1 incógnitas)
 é um ponto de mínimo de f pois o Hessiano (que é uma matriz de ordem n, onde os
elementos são as derivadas parciais de seginda ordem de f em relação às variáveis ak) é uma forma
definida positiva.