AP Sem3 Atv10

Prévia do material em texto

PERGUNTA 1
Redes neurais recorrentes são caracterizadas pela presença de laços de realimentação
e são amplamente utilizadas para tratamento de dados sequenciais. Os laços de
realimentação permitem a criação do denominado “estado oculto” da rede, qual é o
papel do estado oculto no tratamento de dados sequenciais?
A. O estado oculto representa um estado opcional nas redes recorrente e devem
ser considerados quando dependências de longo prazo estiverem presentes nos
dados.
B. O estado oculto caracteriza o estado da rede antes do recebimento do primeiro
sinal, ou seja, o estado dos neurônios quando a rede ainda está inativa.
C. O estado oculto é responsável pela preservação da informação sequencial
recebida pela rede até o instante atual t.
D. O estado oculto é responsável por armazenar no instante t a informação externa
recebida pela rede no instante t-1.
E. O estado oculto consiste numa variável de estado associada às conexões
recorrentes da rede e é responsável pela criação de suas memórias.
PERGUNTA 2
Quais das afirmações abaixo representam, corretamente, as principais características
das redes neurais recorrentes bidirecionais?
I. As redes bidirecionais são formadas por unidades LSTM.
II. O estado oculto dos neurônios, para cada intervalo de tempo, é calculado
simultaneamente em ambas as direções da sequência.
III. As redes bidirecionais possuem alto custo de treinamento, uma vez eu o
gradiente deve ser calculado para toda a sequência em ambos os sentidos da
sequência.
IV. Por necessitar do processamento em ambas as direções, as redes bidirecionais
só podem ser constituídas de uma camada recorrente.
A. Apenas as afirmações II, III e IV estão corretas.
B. Todas as afirmações estão corretas.
C. Apenas as afirmações I, II e III estão corretas.
D. Apenas as afirmações II e III estão corretas.
E. Apenas as afirmações I, II e IV estão corretas.
PERGUNTA 3
Quais das afirmações abaixo estão corretas em relação ao papel e aplicação do
clipping do gradiente no treinamento das redes recorrentes?
I. Um problema comum no treinamento de redes recorrentes é o desaparecimento
ou explosão do gradiente. O clipping é uma forma de evitar que o gradiente
exploda durante a retropropagação.
II. O clipping consiste em estabelecer valores mínimos e máximos para o sinal
gradiente.
III. Ao restringir o valor do gradiente, evitamos oscilações bruscas e saturação das
sinapses durante a correção dos pesos.
A. Apenas as afirmações II e III estão corretas.
B. Apenas a afirmação I está correta.
C. Todas as afirmações estão corretas.
D. Apenas as afirmações I e III estão corretas.
E. Apenas as afirmações I e II estão corretas.
PERGUNTA 4
Considerando o problema de predição do próximo caractere em uma dada sequência,
indique qual das alternativas melhor responde às questões abaixo:
I. Qual o tipo de arquitetura de rede recorrente é mais adequado para esse
problema?
II. Qual seria a dimensionalidade de entrada e saída do modelo?
A. Uma rede neural recorrente não é capaz de resolver o problema de predição de
caracteres em uma sequência de texto.
B. Uma arquitetura muitos-para-um, pois, após recepção das letras anteriores
(muitos), a rede irá predizer apenas a próxima letra (um). A dimensão de entrada
e saída deve ser equivalente ao número de símbolos utilizados, i.e., número de
letras.
C. Uma arquitetura muitos-para-muitos, pois, para cada letra fornecida, a rede deve
indicar a probabilidade da próxima letra. A dimensão de entrada e saída deve
ser equivalente ao vocabulário considerado, i.e., o número de palavras contidas
no dicionário.
D. Uma arquitetura muitos-para-muitos, pois, para cada letra fornecida, a rede deve
indicar a probabilidade da próxima letra. A dimensão de entrada e saída deve
ser equivalente ao número de símbolos utilizados, i.e., número de letras.
E. Uma arquitetura muitos-para-um, pois, após recepção das letras anteriores
(muitos), a rede irá predizer apenas a próxima letra (um). A dimensão de entrada
e saída deve ser equivalente ao vocabulário considerado, i.e., o número de
palavras contidas no dicionário.
PERGUNTA 5
Considerando uma rede neural recorrente qualquer, o que podemos afirmar sobre a
relação entre o número de parâmetros do modelo e o tamanho da sequência utilizada
como entrada da rede?
I. O número de parâmetros não aumenta com o tamanho da sequência utilizada
na entrada.
II. O número de parâmetros está diretamente relacionado ao tamanho da
sequência utilizada.
III. O número de parâmetros livres do modelo não depende do tamanho da
sequência apresentada à rede, mas sim da complexidade dos dados.
A. Apenas a afirmação I está correta.
B. Apenas as afirmações I e II estão corretas.
C. Apenas as afirmações II e III estão corretas.
D. Apenas as afirmações I e III estão corretas.
E. Apenas a afirmação III está correta.
PERGUNTA 6
Sobre o algoritmo de retropropagação através do tempo, quais das afirmações abaixo
estão corretas?
I. O cálculo das derivadas das unidades ocultas depende tanto dos gradientes dos
neurônios posteriores no espaço quanto dos próprios neurônios ocultos no
instante posterior no tempo.
II. De forma distinta ao algoritmo de retropropagação padrão, o algoritmo através
do tempo não necessita calcular, de forma explícita, as derivadas das funções
de ativação.
III. Embora os parâmetros de um dado neurônio oculto sejam os mesmos para
todos os instantes do tempo, a correção dos pesos deste neurônio é dependente
do instante temporal durante a retropropagação.
A. Apenas as afirmações I e II estão corretas.
B. Apenas as afirmações I e III estão corretas.
C. Apenas a afirmação I está correta.
D. Apenas as afirmações II e III estão corretas.
E. Todas as afirmações estão corretas.
PERGUNTA 7
Quais das tarefas abaixo são comumente solucionadas com modelos de redes neurais
recorrentes?
I. Previsão do tempo.
II. Classificação de imagens.
III. Análise de sentimento em textos.
IV. Tradução.
V. Redução de ruído em imagens.
A. Apenas as afirmativas II e V estão corretas.
B. Apenas as afirmativas I, III e IV estão corretas.
C. Apenas as afirmativas III e IV estão corretas.
D. Apenas as afirmativas I e IV estão corretas.
E. Apenas as afirmativas I, II e III estão corretas.
EXTRA
O problema do desaparecimento ou explosão do gradiente é mais aparente em redes
neurais recorrente do que nas redes em redes alimentadas adiante. Quais das
afirmativas abaixo embasam, de forma correta, essa afirmação?
I. Ao contrário das redes alimentadas adiante, os parâmetros de neurônios de uma
dada camada são replicados ao longo da sequência (unrolling/unfolding), logo,
se um neurônio está saturado (derivada próxima a zero), esse valor será
replicado diversas vezes, conduzindo ao desaparecimento do gradiente.
II. A profundidade em uma rede alimentada adiante está diretamente relacionada
ao número de camadas, porém, em redes recorrentes a profundidade também
está associada ao tamanho da sequência utilizada, logo, considerando a
profundidade temporal (tamanho da sequência), uma rede recorrente pode ser
muito mais profunda que a sua contrapartida alimentada adiante.
III. As redes recorrentes possuem mais parâmetros que as redes alimentadas
adiante, o que agrava o problema do desaparecimento ou explosão do gradiente
durante o treinamento do modelo.
A. Apenas a afirmação I está correta.
B. Apenas as afirmações II e III estão corretas.
C. Apenas as afirmações I e II estão corretas.
D. Apenas a afirmação II está correta.
E. Apenas as afirmações I e III estão corretas.