Exercício 2 Redes Neurais

Prévia do material em texto

Redes Neurais Artificiais 
Aluno: Enzo Murakami 
Matrícula: 2017072685 
Exercício 2 
 
1) Problema Não-Linearmente Separável 
Para resolver o problema foi utilizado a distribuição de probabilidade gaussiana, 
conforme apresentado no script abaixo em R (dnorm). 
Dessa forma, tornando o problema linearmente separável conforme a figura 
abaixo do plot resultante. 
 
 
2) Overfitting e Underfitting 
 
a. O modelo azul aparenta ser o mais adequado visualmente para ser a melhor 
aproximação da função geradora de dados. 
 
b. O modelo preto tem o menor erro. 
 
c. Caso haja inserção de dados novos, o modelo azul é o que obterá o melhor 
desempenho. 
 
d. Aparentemente houve um overfitting de parâmetros da rede no modelo preto, 
dessa forma, tornou a rede mais complexa. Como consequência, ocorreu um 
afastamento da função geradora e aproximação dos dados, fazendo com que a 
rede aprenda até mesmo a incerteza dos dados. Ou seja, a rede está 
superdimensionada. 
Já o modelo vermelho ocorreu um underfitting de parâmetros e, 
consequentemente, a complexidade da rede é menor do que a necessária. 
O baixo erro de treinamento não necessariamente implicará em melhor 
desempenho no longo prazo, uma vez que o baixo erro de treinamento não 
garante o baixo erro de teste. 
 
3) Aproximação Polinomial 
a. 
A seguir estão os polinômios dos respectivos graus: 
Grau 1: 𝑝(𝑥) = 1,42𝑥 + 43,16 
Grau 2: 𝑝(𝑥) = 0,47𝑥2 + 2,88𝑥 + 10,58 
Grau 3: 𝑝(𝑥) = 10,26𝑥3 + 2,7𝑥2 + 0,48𝑥 + 0,0021 
Grau 4: 𝑝(𝑥) = −4,7 ∗ 10−4𝑥4 − 1,78 ∗ 10−3𝑥3 + 0,53𝑥2 + 2,95𝑥 + 9,65 
Grau 5: 𝑝(𝑥) = 1,78 ∗ 10−5𝑥5 − 3,38 ∗ 10−4𝑥4 − 4,73 ∗ 10−3𝑥3 + 5,15 ∗
10−1𝑥2 + 3,07𝑥 + 9,78 
Grau 6: 𝑝(𝑥) = 6,35 ∗ 10−5𝑥6 + 9,34 ∗ 10−4𝑥5 − 7,98 ∗ 10−3𝑥4 − 1,29 ∗
10−1𝑥3 + 6,8 ∗ 10−1𝑥2 + 6,97𝑥 + 1,25 ∗ 10 
Grau 7: 𝑝(𝑥) = 1,09 ∗ 10−5𝑥7 + 1,83 ∗ 10−4𝑥6 − 1,37 ∗ 10−3𝑥5 − 2,81 ∗
10−2𝑥4 + 4,67 ∗ 10−2𝑥3 + 1,57𝑥2 + 1,98𝑥 + 7,68 
Grau 8: 𝑝(𝑥) = 3,47 ∗ 10−6𝑥8 + 5,16 ∗ 10−5𝑥7 − 5,93 ∗ 10−4𝑥6 − 9,36 ∗
10−3𝑥5 + 3,18 ∗ 10−2𝑥4 + 5,16 ∗ 10−1𝑥3 + 1,06 ∗ 10−2𝑥2 − 5,25𝑥 + 3,4 
Percebe-se que os polinômios de grau 5, 6, 7 e 8 têm overfitting. E o de grau 1 
tem underfitting. 
b. 
A seguir estão os polinômios dos respectivos graus: 
Grau 1: 𝑝(𝑥) = −0,15𝑥 + 30,48 
Grau 2: 𝑝(𝑥) = 0,49𝑥2 + 2,82𝑥 + 9,8 
Grau 3: 𝑝(𝑥) = 3,76 ∗ 10−3𝑥3 + 0,49𝑥2 + 2,82𝑥 + 9,8 
Grau 4: 𝑝(𝑥) = 5,17 ∗ 10−4𝑥4 + 5,97 ∗ 10−4𝑥3 + 4,46 ∗ 10−3𝑥2 + 2,48𝑥 +
10,37 
Grau 5: 𝑝(𝑥) = 2,55 ∗ 10−5𝑥5 + 8,86 ∗ 10−4𝑥4 + 3,7 ∗ 10−3𝑥3 + 4,14 ∗
10−1𝑥2 + 2,52𝑥 + 1,07 
Grau 6: 𝑝(𝑥) = 2,05 ∗ 10−6𝑥6 + 5,87 ∗ 10−5𝑥5 + 6,85 ∗ 10−4𝑥4 + 9,02 ∗
10−6𝑥3 + 4,19 ∗ 10−1𝑥2 + 2,6𝑥 + 1,06 
Grau 7: 𝑝(𝑥) = 5,7 ∗ 10−6𝑥7 + 7,47 ∗ 10−5𝑥6 − 1,31 ∗ 10−3𝑥5 − 1,44 ∗
10−2𝑥4 + 1,07 ∗ 10−1𝑥3 + 1,27𝑥2 − 3,3 ∗ 10−2𝑥 + 1,09 ∗ 10−1 
Grau 8: 𝑝(𝑥) = 7,57 ∗ 10−8𝑥8 − 6,21 ∗ 10−6𝑥7 − 1,84 ∗ 10−4𝑥6 − 1,34 ∗
10−4𝑥5 + 2,23 ∗ 10−2𝑥4 + 8,84 ∗ 10−2𝑥3 − 4,98 ∗ 10−3𝑥2 + 5,15 ∗ 10−3𝑥 −
1,86 ∗ 10−4 
Os polinômios de grau 8 e 7 ocorrem overfitting. Já no polinômio de grau 1 
ocorreu underfitting. 
 
Código: 
Para a parte B do exercício 3, foi apenas alterado o valor de ‘n’ na linha 9 de 10 
para 100.