O hiperparâmetro no contexto é definido como um tipo especial de entrada capaz de realizar mudanças diretas do algoritmo de aprendizado, incluindo modificações acerca do funcionamento, podendo ainda estar baseado em informações importantes sobre o problema real. Com relação a estes, de forma genérica sabe-se que:

A maior parte dos algoritmos de aprendizado de máquina possuirá em sua estrutura o uso de hiperparâmetros.

Os hiperparâmetros possuem valores adaptáveis pelo próprio algoritmo de aprendizado.

Para o modelo de Regressão Linear, por exemplo, o único hiperparâmetro é um polinômio de entrada.

Para o modelo de Regressão Linear, por exemplo, os hiperparâmetros são definidos pelas quantidades de polinômios utilizadas.

No modelo de Regressão Linear no aprendizado supervisionado o valor de é um hiperparâmetro.