rn semana 6

Prévia do material em texto

P E RG U NT A 1 
1. O treinamento da máquina de Boltzmann depende de duas fases distintas, que são: 
 
 
fase positiva, na qual todos os neurônios podem operar livremente; fase negativa, 
na qual os neurônios, da camada oculta, permanecem f ixos em um dado estado. 
 
 
 fase positiva, na qual os neurônios visíveis permanecem f ixos em um dado 
estado; e fase negativa, na qual todos os neurônios podem operar livremente. 
 
 
fase positiva, na qual os neurônios ocultos permanecem f ixos em um dado 
estado; fase negativa, na qual todos os neurônios podem operar livremente. 
 
 
fase positiva, na qual todos os neurônios podem operar livremente; fase negativa, 
na qual os neurônios da camada visível permanecem f ixos em um dado estado. 
 
 
fase de propagação, na qual o sinal se propaga da camada visível para a camada 
oculta; fase de retropropagação, na qual o sinal se propaga no sentido inverso. 
1,42 pontos 
P E RG U NT A 2 
1. Assinale a alternativa correta em relação à rede de Hopf ield. 
 
 
A rede de Hopf ield consiste em uma versão recorrente da rede Multilayer 
Perceptron. Por possuir diversas camadas, o seu treinamento é realizado via 
algoritmo de retropropagação. 
 
 
 A rede de Hopf ield consiste em um conjunto de neurônios totalmente conectados 
entre si, porém sem laços de autorealimentação. As conexões entre os neurônios 
possuem pesos simétricos. 
 
 
A rede de Hopf ield é uma rede neural com múltiplas camadas de neurônios não 
lineares e alta capacidade de memória. 
 
 
A rede de Hopf ield é uma rede neural estocástica, totalmente conectada e com 
laços de autorrealimentação. As conexões entre os neurônios possuem pesos 
simétricos. 
 
 
A rede de Hopf ield consiste em um modelo supervisionado dese Boltzmann 
depende de nvolvida para solucionar o problema de classif icação com múltiplas 
classes. 
1,42 pontos 
P E RG U NT A 3 
1. O treinamento da máquina restrita de Boltzmann é comumente realizado pelo algoritmo 
CD, denominado divergência contrastiva (do inglês: Contrastive Divergence). Qual é a 
vantagem desse algoritmo em relação ao algoritmo original de treinamento dessas 
redes? 
 
 
O algoritmo CD consiste em uma adaptação do algoritmo de treinamento da RBM 
utilizando temperatura decrescente durante as iterações, por essa razão, a rede 
converge mais rapidamente reduzindo o custo associado a amostragem de Gibbs. 
 
 
 O cálculo das correlações (expectativas) na fase negativa via amostragem de 
Gibbs é muito custo computacionalmente, o algoritmo CD reduz esse custo 
realizando o cálculo das correlações com apenas um passo da amostragem de 
Gibbs após a fase positiva. 
 
 
O algoritmo CD realiza a fusão das fases positiva e negativa utilizando o método 
da divergência contrastiva. Como consequência, o custo computacional associado 
ao treinamento é reduzido. 
 
 
O algoritmo CD elimina a necessidade da fase negativa do algoritmo original de 
treinamento das RBMs. Como consequência, o custo computacional associado ao 
treinamento é reduzido. 
 
 
O cálculo das correlações (expectativas) na fase negativa via amostragem de 
Gibbs é muito custo computacionalmente, o algoritmo CD agrega uma fase de 
retropropagação do sinal de erro com o objetivo de reduzir esse custo e acelerar a 
convergência do treinamento. 
1,42 pontos 
P E RG U NT A 4 
1. O que é um atrator em um sistema dinâmico? 
 
 
Um atrator é representado pelo conjunto de pontos instáveis do sistema dinâmico, 
isto é, pontos que nunca serão atingidos durante a evolução do sistema. 
 
 É def inido como um subconjunto limitado do espaço de fases para o qual o 
sistema converge a partir de uma dada condição inicial. 
 
 
Representa o comportamento divergente de um sistema dinâmico. 
 
 
Um atrator é representado pelo conjunto de órbitas caóticas associados ao 
sistema dinâmico em estudo. 
 
 
É def inido como a condição inicial a partir da qual o sistema dinâmico evolui no 
tempo. Um atrator pode ser considerado instável ou estável. 
1,42 pontos 
P E RG U NT A 5 
1. A máquina restrita de Boltzmann (RBM) representa uma versão da máquina de 
Boltzmann na qual as ligações intracamadas são suprimidas. Qual é o benef ício gerado 
por essa restrição? 
 
 
As ligações intracamadas são responsáveis por gerar dinâmicas complexas na 
evolução do modelo, logo, ao eliminá-las, o modelo sempre irá convergir para um 
ponto f ixo, melhorando a estabilidade do modelo f inal. 
 
 
O equilíbrio térmico da máquina restrita de Boltzmann, em sua fase negativa, 
pode ser obtido a partir de um número pequeno de iterações, dessa forma, em 
comparação à máquina de Boltzmann original, o custo computacional para se 
calcular as correlações entre estados nessa fase é bastante reduzido. 
 
 
Ao restringir o número de conexões, o custo computacional associado ao 
treinamento da máquina de Boltzmann é drasticamente reduzido. 
 
 
A redução do número de ligações permite a aplicação direta do algoritmo de 
retropropagação para treinamento das RBM. 
 
 
 Na máquina de Boltzmann padrão, o equilíbrio térmico na fase positiva requer um 
número elevado de iterações. Ao eliminar as ligações intercamadas, o equilíbrio 
térmico pode ser atingido com apenas um passo. 
1,42 pontos 
P E RG U NT A 6 
1. Considere a rede de Hopf ield com três neurônios def inida abaixo. Os pesos estão 
representados nas arestas (ligações) da rede. Qual será o estado no tempo t+1 
assumindo que no tempo t o estado da rede é: x=[N1, N2, N3]=[1, 1, 1]? Obs.: assuma 
o limiar zero (theta=0). 
 
 
 
c 
 
 
[1, -1, 1] 
 
 
[-1, -1, -1] 
 
 
[-1, 1, 1] 
 
 
[1, -1, -1] 
1,45 pontos 
P E RG U NT A 7 
1. Qual é a função dos neurônios visíveis e ocultos na máquina de Boltzmann? 
 
 
O/s neurônios visíveis representam a interface com o ambiente. Os neurônios 
ocultos são responsáveis pela captura de correlações a partir dos padrões 
apresentados na camada visível. 
 
 
A máquina de Boltzmann, assim como a rede de Hopf ield, não possui neurônios 
ocultos. 
 
 
Os neurônios visíveis representam a interface com o ambiente de operação da 
rede. Os neurônios ocultos, por sua vez, são responsáveis pelo mapeamento 
das entradas na camada de saída da rede. 
 
 
Os neurônios visíveis representam a camada de saída da rede. Os neurônios 
ocultos representam a interface entre as entradas e os neurônios visíveis 
representando a camada de saída da rede. 
 
 
Os neurônios visíveis representam a camada de entrada da máquina de 
Boltzmann. Os neurônios ocultos, por sua vez, processam a informação recebida 
pela camada visível e projeta os resultados na camada de saída. 
 
 
 
PERGUNTA EXTRA 
1. Considere a máquina de Boltzmann abaixo: 
 
Neste exemplo, o estado ligado é representado por (1) e o estado desligado é 
representado por (0). Assuma que as arestas ausentes representam ligações com peso 
zero. 
Qual é a probabilidade do neurônio N1 ligar considerando o estado atual da rede e a 
temperatura T=1? Qual é a probabilidade de subirmos a temperatura para T=100? 
 
 
Para T=1 a probabilidade é de 88,3%, para T=100 é de 50,0%. 
 
 
Para T=1 a probabilidade é de 88,3%, para T=100 é de 100,0%. 
 
 
Para T=1 a probabilidade é de 73,1%, para T=100 é de 50,0%. 
 
 
Para T=1 a probabilidade é de 73,1%, para T=100 é de 100,0%. 
 
 
Para T=1 a probabilidade é de 30,1%, para T=100 é de 100,0%.