T_picos_em_Computa__o_Aplicada___PPGCC002___2020_2___Cap_tulo_3

Prévia do material em texto

Tópicos em Computação Aplicada
PPGCC002 - 2020.2
Respostas Caṕıtulo III
Aluno: Ênio Rodrigues Viana
Novembro 2020
1 Explique como se processa a regra de Hebb no contexto do
algoritmo de aprendizado do Perceptron.
R → Se dois neurônios em cada lado de uma sinapse são ativados simultaneamente, então a ’força’ daquela
sinapse deve ser aumentad; Caso dois neurônios em cada lado de uma sinapse sejam ativados assinscrona-
mente, então aquela sinapse deve ser enfraquecida. Conclui-se que a modificação nas sinapses tem relação
com a correlação entre as atividades dos dois neurônios envolvidos na conexão, sendo a sáıda reforçada a
cada apresentação do padrão (padrões frequentes terão maior influência no vetor de pesos do neurônio) [2].
2 Mostre por intermédio de gráficos ilustrativos como pode ocor-
rer a instabilidade no processo de convergência do Perceptron
quando da utilização de valores inapropriados para a taxa de
aprendizado.
R → A taxa de aprendizagem exprime o quão rápido o processo de treinamento da rede estará sendo
conduzido rumo à sua convergência (estabilização). A escolha de n deve ser realizada com cautela para
evitar instabilidades no processo de treinamento, sendo que normalmente se adotam valores pertencentes ao
intervalo compreendido em 0 < n < 1 [3].
Figure 1: Evolução das retas ao longo das épocas. Fonte: Adaptado de [3].
De acordo com a Figura 1 pode-se observar uma evolução do deslocamento da reta de separabilidade ger-
ada pelo Perceptron, esse ’passo’ da evolução da reta ao longo das épocas ocorrido por meio do deslocamento
1
da mesma entre o plano cartesiano pode ser regulado/ajustado por meio da taxa de aprendizado. Uma taxa
de aprendizado de elevado valor é capaz de gerar um passo logo e, com isso, ir de um ponto a outro de
maneira muito abrupta, ou seja, sair de uma região onde existem apenas classes do tipo B para uma região
onde só existam classes A e permanecer assim por dezenas, centenas até milhares de épocas. Quando tem-se
uma taxa de aprendizado de valor muito pequeno, ocorre que esses passos de deslocamento da reta, torna-se
muito ’devagar’, atrasando o processo de ’migração’ da reta de uma região onde tem-se apenas classes do
tipo ’B’ pra outra onde tem-se apenas classes do tipo ’A’ [1].
3 Explique por que o Perceptron somente consegue classificar
padrões cuja fronteira de separação entre as classes seja linear.
R→ Como as desigualdades apresentadas pelas expressões matemáticas para a sáıda y do Perceptron são de
primeira grau, portanto linear, a fronteira de decisão para esta instância (duas entradas) serão representadas
por uma reta. Na possibilidade de mais de 2 entradas, poderemos ter 1 ou mais hiperplanos de separabilidade,
mas ainda sim, irão separar, apenas, fronteiras linearmente separáveis [3].
4 Em termos de implementação computacional descreva a im-
portância de tratarmos o limiar de ativação θ como um dos
elementos do vetor de pesos w.
R → Uma implementação desse tipo é importante para registro histórico da evolução da rede além de ser
de fácil localização do termos do tipo n− 1 e tornar os cálculos matriciais mais simples.
5 Seja um problema de classificação de padrões que se descon-
hece a priori se as suas duas classes são ou não-separáveis
linearmente. Elabore uma estratégia para verificar a posśıvel
aplicação do Perceptron em tal problema.
R → Eu faria uma plotagem do tipo scatter plot para verificação visual dos dados no plano. Havendo,
visualmente uma separabilidade linear, aplicaria o Perceptron, do contrário não.
6 Dois projetistas de instituições diferentes estão aplicando uma
rede Perceptron para mapear o mesmo problema de classificação
de padrões. Discorra se é correto afirmar que ambas as redes
convergirão com o mesmo número de épocas.
R→ Não é correto afirmar tal fato uma vez que a fronteira de decisão final pode ser mais de uma, dependendo
bastante, inclusive, dos valores dos peso iniciais (atribúıdos aleatoriamente).
Page 2
x1 x2 Classe
0,75 0,75 A
0,75 0,25 B
0,25 0,75 B
0,25 0,25 A
7 Em relação ao exerćıcio anterior, considere-se que ambas as re-
des já estão devidamente treinadas. Para um conjunto contendo
10 novas amostras que devem ser identificadas, explique se os
resultados produzidos por ambas serão os mesmos.
R → Não serão os mesmos pois os pesos finais podem ser diferentes, portanto, geram retas diferentes.
Dependendo da amostra testada, uma ou outra pode estar de um lado ou de outro da reta produzida pelos
pesos de cada instituição.
8 Seja um problema de classificação de padrões que seja linear-
mente separável composto de 50 amostras. Em determinada
época de treinamento observou-se que somente para uma dessas
amostras a rede não estava produzindo a resposta desejada. Dis-
corra se é então necessário apresentar novamente todas as 50
amostras na próxima época de treinamento.
R → Sim, pois além da forma de geração aleatória dos pesos iniciais, a taxa de aprendizado pode e vai
contribuir na convergência da reta de separabilidade para um ponto ótimo ou sub-ótimo. Pode haver uma
reta, na iteração k + 1 por exemplo, que separe com uam taxa de acerto melhor que a reta atual.
9 Considere um problema de classificação de padrões composto de
duas entradas x1 e x2, cujo conjunto de treinamento é composto
pelas seguintes amostras de treinamento:
Mostre se é posśıvel aplicar o Perceptron na resolução deste problema.
R → Não é posśıvel. Pode-se verificar na Figura 2 que os dados não são linearmente separáveis.
10 Explique de forma detalhada quais seriam as eventuais limitações
do Perceptron se considerarmos o seu limiar de ativação nulo.
R → O bias possibilita que um neurônio apresente sáıda não nula ainda que todas as suas entradas sejam
nulas. Por exemplo, caso não houvesse o bias e todas as entradas de um neurônio fossem nulas, então o
valor da função de ativação seria nulo. desta forma não podeŕıamos, por exemplo, fazer com que o neurônio
apredesse a relação pertinente ao ”ou exclusivo” da lógica.
É posśıvel se observar na Figura 3 uma variação:
• Em A: do ponto que corta o eixo Y da reta representada pela função de 1º grau gerada após o ajuste
dos pesos sinápticos de determinado problema e manutenção do ângulo de inclinação dessas retas;
• Em B: do coeficiente angular das retas e uma manutenção do ponto que corta a reta no eixo y.
Page 3
–0.3–0.3–0.3–0.2–0.2–0.2–0.1–0.1–0.1 0.10.10.10.20.20.20.30.30.30.40.40.40.50.50.50.60.60.60.70.70.70.80.80.80.90.90.9111 1.11.11.11.21.21.21.31.31.31.41.41.41.51.51.51.61.61.61.71.71.71.81.81.81.91.91.9222 2.12.12.12.22.22.22.32.32.32.42.42.42.52.52.5
–0.2–0.2–0.2
–0.1–0.1–0.1
0.10.10.1
0.20.20.2
0.30.30.3
0.40.40.4
0.50.50.5
0.60.60.6
0.70.70.7
0.80.80.8
0.90.90.9
111
1.11.11.1
1.21.21.2
000
A1A1A1
A2A2A2
B1B1B1
B2B2B2
Figure 2: Plotagem das classes A e B. Fonte: Autoria própria.
x
y
A
x
y
B
Figure 3: Retas. Fonte: Autoria própria
A alteração desses dois ponto de extrema importância para as retas de 1º grau faz com que o deslocamento
e rotação da mesma no eixo cartesiano seja posśıvel. Isso gera uma possibilidade de maior liberdade para
uma aproximação da função para um ponto de melhor separabilidade de classes linearmente separáveis.
Ao se anular o limiar de ativação teremos uma manutenção do ponto no eixo Y cortado pela reta gerada
pelos pesos sinápticos ao fim do processo de aprendizagem. Ao adotarmos o limiar de ativação como nulo a
movimentação da reta fica limitada apenas à variação do coeficiente angular da mesma.
References
[1] Caṕıtulo 4 – O Neurônio, Biológico e Matemático - Deep learning book.
http://deeplearningbook.com.br/o-neuronio-biologico-e-matematico/, note = Accessado: 02-12-2020.
[2] SI-Perceptron. http://www.inf.ufsc.br/ mauro.roisenberg/ine5377/Cursos-ICA/SI-Perceptron.pdf. Ac-
cessado: 02-12-2020.
[3]Ivan Nunes Da Silva, Danilo Hernane Spatti, and Rogério Andrade Flauzino. Redes neurais artificiais
para engenharia e ciências aplicadas curso prático. São Paulo: Artliber, 2010.
Page 4