Minimus quadrados

Um caso simples, em que se aplica esta teoria é o caso da regressão linear, em que tentamos adaptar a um conjunto de pontos e valores dados, a "melhor recta", que (neste caso) será a recta que minimiza a soma quadrática das diferenças entre os valores dados ao valores da recta, nesses pontos.

 
Regressão Linear: Neste caso pretendemos encontrar a função do tipo a + b x 
(... ou seja, a recta) que "melhor se adapta" aos valores dados.

Esta é uma perspectiva discreta, em que o conjunto de valores dados é finito. 
Podemos também pensar num caso contínuo, em que apesar de conhecermos a função, não apenas em certos pontos, mas em todo um intervalo, estamos interessados em aproximar essa função (... no sentido dos mínimos quadrados) por funções de uma outra classe, mais adequada ao problema que pretendemos resolver. Por exemplo, podemos estar interessados em determinar qual a "melhor recta" que aproxima a função sin(x) no intervalo [0, 1] ...

 
A reta que melhor aproxima sin(x) no intervalo [0,1], 
no sentido dos mínimos quadrados