Redes Neurais - COM510 semana 3 1010

Prévia do material em texto

<p>PERGUNTA 1 Sobre a composição da rede MLP para problemas de classificação e regressão é correto I. Um neurônio de saída é usado para representar cada escalar aprendido em um problema de regressão II. Um neurônio é utilizado para representar cada classe em um problema de classificação. Cada neurônio representa uma resposta indicando se 0 padrão pertence ou não classe. Para classificação um único neurônio de saída pode ser utilizado. III. Neurônios de saída podem assumir funções de ativação lineares para problemas de regressão. Assinale a alternativa correta: Apenas as afirmações e III estão corretas. Nenhuma afirmação está correta. Apenas as afirmações e estão Todas as afirmações estão corretas. Apenas as afirmações II e III estão corretas. 1,44 pontos Salva PERGUNTA 2 A definição de uma rede MLP é um processo bastante empírico e demanda customização da topologia da rede (hiperparâmetros: número de camadas, número de neurônios por camadas, taxas de aprendizagem e momentum etc.) a partir da sua resposta durante processo de treinamento (projeto do modelo). Quais das heurísticas abaixo podem ser utilizadas para melhorar 0 desempenho do algoritmo de Maximização do conteúdo da informação, escolha adequada da função de ativação, normalização dos dados e ajuste da taxa de aprendizagem conforme a densidade de entradas do neurônio. Redução do conjunto de exemplos para treinamento, escolha adequada da função de ativação, normalização dos dados e aumento do valor da taxa de aprendizagem. Escolha adequada da função de ativação, normalização dos dados e inclusão de laços de realimentação. Redução do conjunto de exemplos para treinamento, escolha adequada da função de ativação, normalização dos dados e ajuste da taxa de aprendizagem conforme a densidade de entradas do Maximização do conteúdo da informação, redução do conjunto de exemplos para treinamento, utilização de funções de ativação lineares e ajuste da taxa de aprendizagem conforme a densidade de entradas do 1,44 pontos Salva</p><p>PERGUNTA 3 Sobre os neurônios ocultos de uma rede MLP é correto I. Utilizam funções de ativação lineares com objetivo de produzir eixos não correlacionados. II. A função de ativação deve ser contínua e III. São equivalentes aos neurônios da rede Perceptron e respondem de forma binária ao estímulo recebido. IV. Os neurônios ocultos têm por finalidade extrair características dos dados de entrada, permitindo aprendizado de funções complexas. Assinale a alternativa correta: As afirmações I. II e III estão corretas. As afirmações II, III e IV estão corretas. As afirmações II e IV estão Todas as afirmações estão Apenas a afirmação II está correta. 1,44 pontos Salva PERGUNTA 5 Sobre a arquitetura tradicional da rede MLP podemos Todos os neurônios da rede possuem informação temporal e seu sinal de saída é computado a partir do sinal recebido e da previamente armazenada no fluxo de sinal se propaga nos dois sentidos da rede, ou seja, padrão é apresentado na camada de entrada, se propaga até a camada de saída. Posteriormente, 0 sinal de saída é propagado em sentido inverso até a camada de entrada e comparado ao sinal original. A rede pode incluir laços de realimentação, permitindo que memórias de curto prazo sejam adicionadas ao modelo. Em contraste ao a rede MLP possui uma camada oculta com vários neurônios e uma camada de saída com um único A rede é dita totalmente conectada, representando que todos os neurônios de uma dada camada são alimentados por todos os neurônios da camada anterior. 1,44 pontos Salva</p><p>PERGUNTA 7 o ajuste de pesos dos neurônios ocultos sem termo de momentum é definido por: A w n +1 A A w A w 1,4 pontos Salva PERGUNTA 6 o problema XOR (OU-Exclusivo) é um problema não-linearmente separável, logo, necessitamos adicionar neurônios ocultos à rede neural para que esta seja capaz de Sobre a rede MLP tradicionalmente utilizada para resolver XOR podemos Os neurônios da camada oculta são ortogonais entre Um neurônio é responsável por aprender os exemplos da classe 1 e segundo neurônio é responsável por aprender os exemplos da classe 0. Mesmo sendo capaz de aprender fronteiras de separação não-lineares problema XOR não pode ser aprendido por uma rede MLP sem uso de Há uma única configuração que permite aprendizado do problema XOR e consiste em uma rede com uma única camada oculta contendo dois neurônios e um neurônio de saída responsável pela classificação final do Por se tratar de um problema com saída binária (zero ou um), os neurônios da camada oculta podem assumir funções de ativação Os neurônios da camada oculta aprendem duas portas lógicas AND e OR e criam uma nova representação a partir dos dados originais. Essa nova representação é linearmente separável, permitindo que um único neurônio de saída seja capaz de separar as 1,4 pontos Salva</p><p>PERGUNTA 4 Qual foi a principal dificuldade observada pelos pesquisadores referente ao treinamento de redes neurais com múltiplas camadas (MLP)? Não é possível calcular 0 gradiente descendente nos neurônios ocultos da rede. Dessa forma, foi necessário desenvolver novas abordagens para se estimar 0 erro e a regra para ajuste de pesos destes Alto custo computacional para se calcular erro nas unidades ocultas da rede. Além do custo computacional elevado. Os laços de realimentação presentes na arquitetura da rede MLP dificultam 0 cálculo do gradiente descendente das unidades ocultas. ajuste dos pesos dos neurônios ocultos depende do cálculo paralelo das saídas de todos os neurônios da rede. Essa dependência inviabilizou treinamento destas redes antes do advento das GPUs. o erro é conhecido apenas na camada de saída da rede. Estimar erro e qual deveria ser a correção nos pesos dos neurônios das camadas ocultas foi a principal limitação no desenvolvimento de um algoritmo de treinamento para essas redes. 1,44 pontos Salva</p>