Introdução a Redes Neurais

Prévia do material em texto

ICMC-USP
Lista de Exerćıcios 2
SCC-0570 - Introdução a Redes Neurais
1o. Semestre de 2018 - Prof. João Lúıs
1. Identifique os pontos fortes e fracos do teorema de Cover:
Um problema de classificação de padrões complexos que “cai”, de forma não-
linear, num espaço de alta dimensão é mais provável ser linearmente separável
do que em um espaço de baixa dimensão, desde que o espaço não seja densa-
mente povoado.
2. Na figura 1 apresenta-se uma solução ao problema do XOR usando uma rede RBF com
duas unidades escondidas. Considere uma solução exata do problema do XOR usando
uma rede RBF com quatro unidades escondidas, com cada centro da função de base
radial sendo determinado por cada porção dos dados de entrada. Os quatro padrões de
entrada posśıveis são definidos por (0,0), (0,1), (1,1) e (1,0), que representam os cantos
de um quadrado ordenados ciclicamente.
(a) Construa a matriz de interpolação Φ para a rede RBF resultante. Depois, compute
a matriz inversa Φ−1.
(b) Calcule os pesos lineares da camada de sáıda da rede.
Figura 1: Rede Neural para resolução do problema do XOR. Fonte: [1].
3. Considere uma rede de Hopfield com cinco neurônios, para armazenar as seguintes três
memórias fundamentais:
ξ1 = [+1,+1,+1,+1,+1]
T (1)
ξ2 = [+1,−1,−1,+1,−1]T (2)
ξ3 = [−1,+1,−1,+1,+1]T (3)
(a) Avalie a matriz 5-por-5 de pesos sinápticos da rede.
(b) Use atualização asśıncrona para demonstrar que todas as três memórias fundamen-
tais satisfazem a condição de alinhamento.
(c) Investigue a performance de recuperação da rede quando é apresentada uma versão
ruidosa de ξ1 na qual o segundo elemento é revertido em polaridade.
Página 1 de 3 Continua na próxima página. . .
ICMC-USP
Lista de Exerćıcios 2
SCC-0570 (continuação)
4. (a) Mostre que
ξ1 = [−1,−1,−1,−1,−1]T (4)
ξ2 = [−1,+1,+1,−1,+1]T (5)
ξ3 = [+1,−1,+1,−1,−1]T (6)
também são memórias fundamentais da rede de Hopfield descrita no problema 3.
Como essas memórias fundamentais estão relacionadas às do problema 3?
(b) Suponha que o primeiro elemento da memória fundamental ξ3 no problema 3 esteja
mascarado (reduzido a zero). Determine o padrão resultante produzido pela rede
de Hopfield. Compare esse resultado com a forma original de ξ3.
5. Considere a rede de Hopfield simples constitúıda de dois neurônios. A matriz de pesos
sinápticos da rede é
W =
[
0 −1
−1 0
]
(7)
O bias aplicado a cada neurônio é zero. Os quatro estados posśıveis da rede são
x1 = [+1,+1]
T (8)
x2 = [−1,+1]T (9)
x3 = [−1,−1]T (10)
x4 = [+1,−1]T (11)
Demonstre que os estados x2 e x4 são estáveis. Para fazer essa demonstração use o
seguinte:
1. A condição de alinhamento (estabilidade).
2. A função energia.
6. O que é recozimento simulado?
7. Explique o funcionamento da máquina de Boltzmann.
8. Quais prinćıpios da auto-organização estão relacionados com a Hipótese de Hebb? Ex-
plique.
9. Explique, de forma objetiva, o modelo de Linsker.
10. Algumas vezes diz-se que o algoritmo SOM preserva os relacionamentos topológicos que
existem no espaço de entrada. Estritamente falando, essa propriedade pode ser garantida
apenas para um espaço de entrada de dimensionalidade igual ou menor que a do ret́ıculo
neural. Discuta a validade dessa afirmação.
Página 2 de 3 Continua na próxima página. . .
ICMC-USP
Lista de Exerćıcios 2
SCC-0570 (continuação)
11. É dito que o algoritmo SOM baseado em aprendizado competitivo não apresenta to-
lerância contra falha de hardware, ainda que o algoritmo seja tolerante a erros, ou seja,
uma pequena perturbação aplicada ao vetor de entrada faz a sáıda saltar do neurônio
vencedor para um vizinho. Discuta a implicação dessas duas afirmações.
12. Considere o ret́ıculo de neurônios bidimensional treinado com uma distribuição de en-
trada de três dimensões. O ret́ıculo consiste de 10× 10 neurônios.
(a) A entrada é uniformemente distribúıda em um estreito volume definido por {(0 <
x1 < 1), (0 < x2 < 1), (0 < x3 < 0.2)}. Use o algoritmo SOM para computar uma
projeção bidimensional do espaço de entrada depois de 50, 1.000 e 10.000 iterações
do algoritmo.
(b) Repita a computação para o caso da entrada ser uniformemente distribúıda em um
largo volume de paraleleṕıpedo definido por {(0 < x1 < 1), (0 < x2 < 1), (0 < x3 <
0.4)}.
(c) Repita, mais uma vez, a computação para o caso da entrada ser uniformemente
distribúıda em um cubo definido por {(0 < x1 < 1), (0 < x2 < 1), (0 < x3 < 1)}.
Discuta as implicações dos resultados das suas simulações computacionais.
13. No que consiste a Teoria da Ressonância Adaptativa? Explique o funcionamento da rede
ART.
14. Explique o dilema estabilidade-plasticidade. Como a rede ART resolve esse dilema?
Referências
[1] S. Haykin, Neural networks - a comprehensive foundation, 2nd. ed. Prentice Hall, 1999.
Página 3 de 3 Final da Lista.