Correção da AvaliaçãoIA2

Prévia do material em texto

1. As redes neurais de arquitetura ART1 foram desenvolvidas para agrupar vetores de 
entrada binários, ou seja, vetores cujo conteúdo seja formado apenas por 0’s e 1’s. Sua 
arquitetura é formada por unidades computacionais e suplementares. 
Sobre as unidades pertencentes à arquitetura ART1, é correto afirmar que: 
Resposta correta. 
B.as unidades complementares de uma rede de arquitetura ART1 têm o objetivo de prover as 
principais funções da rede. 
A arquitetura de uma rede neural do tipo ART1 é formada por unidades complementares e 
suplementares. As unidades complementares são posicionadas em duas camadas, F1 e F2. A 
camada F1 contém unidades de entrada e de interface. Já a camada F2 contém unidades 
representando os clusters (agrupamentos) que são formados ao longo da aprendizagem. Uma 
unidade de reset é conectada a todos os elementos da camada F1 e tem a função de controlar 
o grau de similaridade entre elementos de um mesmo cluster . As unidades suplementares de 
uma rede neural do tipo ART1 são formadas pelas unidades de ganho G1 e G2 que têm a 
função de receber e enviar sinais de/para todas as camadas. Em contrapartida, as unidades 
complementares são responsáveis por prover as necessidades básicas da rede neural, 
englobando as principais unidades. 
2. O funcionamento de uma rede de arquitetura ART2 é muito semelhante ao da rede 
ART1. Entretanto, como a primeira recebe como entrada vetores de valores contínuos, 
algumas adaptações e ajustes são necessários. 
Sobre o assunto, assinale a alternativa correta: 
Resposta correta. 
E. A camada F1 de uma rede ART2 tem 5 tipos de unidades a mais que uma rede ART1 com a 
função de normalização e aplicação de pesos nos vetores. 
A camada F1 de uma rede neural ART2 tem 6 tipos de unidades, sendo elas a unidade Xi, 
também comum à rede ART1, e outras 5 unidades adicionais necessárias para o 
processamento de vetores contínuos. A quantidade de instâncias das unidades da camada F1 
de uma rede ART2 é proporcional ao tamanho dos vetores de entrada. As unidades Xi e Qj 
funcionam aplicando uma função de ativação as suas entradas na rede. Já a unidade Ui 
trabalha aplicando um peso a sob seu vetor ui. 
3. A arquitetura de rede neural ARTMAP é um exemplo de rede da família ART que 
trabalha com aprendizagem supervisionada, ou seja, seu treinamento considera os 
rótulos dos vetores para a realização da aprendizagem. 
Sobre a rede neural ARTMAP, assinale a alternativa correta: 
Resposta correta. 
C. O módulo ARTa tem como função principal aprender a classificar padrões de entrada que 
são apresentados a sua camada. 
A arquitetura de uma rede neural ARTMAP é composta por dois módulos do tipo ART1 e um 
módulo denominado inter-ART. Um módulo ART1, o ARTa, manipula os padrões de entrada. 
Já o outro, ARTb, leva os dados ao padrão de saída. O módulo inter-ART, que contém uma 
memória associativa, é o responsável por ligar e mapear os módulos ARTa e ARTb. O método 
“match tracking” confirma os pares de entrada associados aos módulos ARTa e ARTb. Uma 
estratégia de votação é implementada em uma rede neural ARTMAP de modo a solucionar o 
fato de que entradas em ordem diferentes levam a diferentes categorias em seu treinamento. 
4. Redes neurais do tipo ART1 agrupam vetores binários em clusters (agrupamentos) de 
acordo com a similaridade entre os dados. Um dos passos em seu algoritmo é o teste de 
vigilância, que consiste em verificar se o vetor de entrada atende ao critério de 
similaridade exigido por determinado cluster. Suponha que o vetor de entrada seja x1 = 
[1 0 1], o protótipo do cluster em questão seja tj = [1 1 1] e o valor de ρ seja igual a 0,9. 
Assinale a alternativa que corresponde a uma afirmativa verdadeira sobre o teste de 
vigilância nesse caso: 
Você acertou! 
B. O valor final do teste é igual a 1, o que leva a um resultado positivo. 
O teste de vigilância é composto pelos seguintes passos: primeiramente, calcula-se a norma do 
vetor de entrada: |x1| = |[1 0 1]| = 2; em seguida, calcula-se o and lógico entre tj e a entrada: | tj 
∧ x1| = |[1 1 1 ] ∧ [1 0 1]| = |[1 0 1]| = 2; por fim, verifica-se |tj∧x1| / | x1| = 1 ≥ ρ?. Portanto, o 
teste de vigilância termina com resultado positivo com valor final igual a 1. 
5. A Teoria da Ressonância Adaptativa ou Adaptative Resonance Theory (ART) foi 
proposta por Grossberg em 1976 e trouxe uma grande contribuição para a literatura ao 
resultar em um método eficiente para o agrupamento de vetores utilizando o conceito de 
redes neurais. 
Assinale a alternativa correta sobre as redes neurais ART: 
Resposta correta. 
A. Redes neurais ART permitem que a aprendizagem seja realizada em modo supervisionado 
e não supervisionado. 
Redes neurais ART agrupam vetores de mesmo tamanho e de mesmo tipo em agrupamentos 
ou clusters. Caso haja necessidade de adicionar novas classes, ou nós, à rede, não é 
necessário reconstruí-la. No algoritmo de uma rede neural ART, existe um parâmetro pelo qual 
o usuário pode controlar o grau de similaridade para que diferentes vetores pertençam a um 
mesmo cluster (agrupamento). Esse parâmetro pode ser ajustado em redes ART1, que 
trabalham com vetores binários, bem como em redes ART2, que trabalham com vetores de 
valores contínuos. O modo de funcionamento da família ART de redes neurais permite a 
aprendizagem tanto em modo supervisionado quanto em modo não supervisionado. 
----------------------------------------------- 
1. A Rede Neural de Elman tem uma estrutura simples, composta por quatro camadas. 
Quais são elas? 
Você acertou! 
A. Uma camada de entrada, uma camada oculta, uma camada de contexto e uma camada de 
saída. 
A estrutura de rede neural proposta por Elman é simples, composta por uma camada de 
entrada, uma oculta, uma de saída e uma de contexto, que é responsável por realizar a 
realimentação da camada oculta. 
2. As Redes Neurais de Elman e Jordan têm muitas características em comum, entre elas 
suas camadas: ambas as redes têm uma camada chamada de unidade de contexto. 
Qual o objetivo das camadas de contexto em uma Rede de Elman? 
 
Você acertou! 
C. Memorizar as ativações que foram realizadas nas camadas ocultas. 
As unidades de contexto realizam o armazenamento das saídas dos neurônios da camada 
oculta por um determinado passo de tempo e utilizam esses dados para realimentar a camada 
de entrada da rede. Dessa forma, os neurônios ocultos têm um registro de suas ativações 
passadas. 
 
3. Para tornar uma rede dinâmica, a rede neural necessita armazenar suas informações 
durante o tempo, existindo duas formas de se aplicar memória na rede. 
Quais as formas de tornar uma rede neural em uma rede dinâmica? 
Resposta correta. 
B. Introduzir atraso no tempo e implementar a técnica e backpropagation por meio do tempo. 
Para se tornar dinâmica, a rede neural necessita armazenar suas informações durante o 
tempo, existindo duas formas de se aplicar memória na rede: a primeira diz respeito a introduzir 
atraso no tempo, em que existem técnicas de time delay neural network (TDNN); a segunda 
representação é por meio de redes recorrentes, com a implementação da técnica de 
backpropagation por meio do tempo, redes com aprendizagem em tempo real, Redes de Elman 
e Redes de Jordan. 
A introdução de loop na camada de entrada ou a quantidade de camadas ocultas não tornam 
uma rede em uma rede dinâmica. Além disso, a aplicação do backpropagation é aplicada sobre 
o tempo, e não em relação à dimensão. 
4. Existe uma grande diversidade de tipos de redes neurais, como as redes neurais 
dinâmicas. Considerando as redes dinâmicas, a topologia de rede a seguir se trata de 
qual rede? 
 
Resposta correta. 
A. Rede de Jordan. 
Nas Redes de Jordan, as recorrências ocorrem por meio das saídas dos neurônios das 
camadas de saída. Os valores de saída compõem as camadas de contexto, como na imagem a 
seguir:Assim, a topologia apresentada não se trata de uma Rede de Elman, pois a 
realimentação da Rede de Elman ocorre pelas camadas ocultas, enão pelas de saída. 
As redes com retardo de tempo e de hopfield, apesar de serem redes recorrentes suas 
arquiteturas, diferem da arquitetura apresentada, seguindo outro fluxo de realimentação. Já as 
redes perceptron são redes de arquitetura bem simples e não têm realimentação. 
5. As Redes de Elman e Jordan são consideradas redes que realizam o tratamento de 
dados temporais. 
Qual é a principal diferença entre elas? 
Você acertou! 
E. Ambas as redes têm as mesmas camadas. No entanto, a forma de realimentação da rede é 
diferente: na Rede de Elman, as camadas ocultas alimentam as camadas de contexto, já na 
Rede de Jordan as camadas de contexto são alimentadas pela camada de saída. 
A principal diferença entre as Redes de Elman e Jordan é a forma como a rede é realimentada: 
na Rede de Elman, as unidades de contexto recebem as saídas das camadas ocultas, já na 
Rede de Jordan as unidades de contexto são alimentadas pela camada de saída. 
 
--------------------------------------------------- 
 
1. As redes neurais recorrentes (RNNs) apresentam características que as diferem de 
sua predecessora, a rede neural feedforward. Dessa forma, é importante saber 
diferenciar claramente esses tipos de redes. 
Indique a principal diferença entre as redes neurais recorrentes e as redes feedforward. 
Você acertou! 
A. As RNNs são utilizadas por sua capacidade de processar entradas de diferentes tamanhos. 
Esse processamento leva em conta os valores dos estados passados. 
A principal diferença entre as redes feedforward e as RNNs reside em sua estrutura. Enquanto 
as redes feedforward apresentam apenas um sentido para a informação, as RNNs são 
conhecidas por sua estrutura capaz de realimentar estados com informações de seu passado 
recente. Isso permite uma estrutura capaz de lidar com sequências de comprimento variável de 
entradas. 
2. Assim como no treinamento por retropropagação, o treinamento utilizando BPTT 
também é suscetível ao problema de vanishing/exploding do gradiente. 
Indique a alternativa que define corretamente esse problema. 
Você acertou! 
E. O problema de vanishing/exploding do gradiente está associado às diversas multiplicações 
ocasionadas pela regra da cadeia, que podem levar o valor do gradiente a se aproximar de 0 
ou aumentar infinitamente. 
O problema de vanishing/exploding do gradiente ocorre devido às diversas multiplicações 
geradas pela regra da cadeia; o gradiente pode diminuir até desaparecer, impedindo o modelo 
de aprender, ou aumentar infinitamente, o que gera uma divergência do modelo. 
3. Para o treinamento de RNNs, é necessária uma generalização do método de 
retropropagação tradicional, o algoritmo BPTT. Entender os princípios matemáticos que 
envolvem a construção desse método é fundamental para o desenvolvimento de redes 
neurais recorrentes. 
Indique a alternativa que descreve corretamente o processo utilizado pelo algoritmo 
BPTT. 
Você acertou! 
B. O BPTT é utilizado em uma rede recorrente desdobrada. Uma vez que todas as cópias da 
rede desdobrada apresentam os mesmos parâmetros, é possível utilizar a retropropagação 
para encontrar o gradiente que corrige os parâmetros ao longo da rede. 
O BPTT começa desenvolvendo uma rede neural recorrente no tempo. A rede desdobrada 
contém k entradas e saídas, mas todas as cópias da rede compartilham os mesmos 
parâmetros. Em seguida, o algoritmo de retropropagação é usado para encontrar o gradiente 
do custo em relação a todos os parâmetros da rede. 
4. Existem diferentes estratégias para o treinamento de RNNs. É importante o aluno estar 
atento às peculiaridades dos diferentes tipos de algoritmos, de modo a poder escolher o 
método mais eficiente para cada aplicação. Portanto, saber diferenciar os métodos 
estudados é fundamental. 
Sendo assim, indique a afirmativa correta em relação às diferenças entre o BPTT e o 
RTRL. 
Você acertou! 
A.O BPTT é um método em que se necessita o conjunto de pares de entrada/saída para 
realizar o treinamento, enquanto o RTRL é capaz de treinar a rede a partir de cada par de 
entrada/saída observado. 
 
BPTT: o algoritmo de retropropagação é usado para encontrar o gradiente do custo em relação 
a todos os parâmetros da rede desdobrada, de modo que é necessário conhecimento prévio 
dos pares de entrada/saída. 
RTRL: para qualquer instante de tempo, o algoritmo RTRL precisa somente do estado da 
camada oculta, da entrada e do gradiente do estado anterior, de maneira a calcular o gradiente 
atual. 
5. A complexidade computacional é critério importante no desenvolvimento de 
algoritmos e na escolha do método mais eficiente para determinado problema. 
Indique o cenário ideal para a aplicação de um algoritmo RTRL para o treinamento de 
uma rede recorrente. 
Você acertou! 
D. Devido ao alto custo computacional de processamento e de memória atrelado ao número de 
unidades da rede, esse algoritmo é indicado para redes pequenas. 
Para uma RNN totalmente conectada, o custo computacional, atrelado ao número de unidades 
de armazenamento, de modo a recalcular os parâmetros recursivamente, é extremamente alto. 
Esse alto custo computacional torna o RTRL útil para adaptação on-line apenas para 
problemas em que uma rede pequena será o suficiente.