13- Atividade Objetiva 02 - Processamento Paralelo e Distribuído de Dados (2021)

Prévia do material em texto

Pontuação desta tentativa: 10 de 10
Enviado 5 set em 20:07
Esta tentativa levou 3 minutos.
2 / 2 ptsPergunta 1
Considerando o algoritmo MAP e REDUCE
Selecione a opção que representa a função REDUCE, exceto:
 Agrupar os dados; 
 Fazer compressão nos dados; 
 Ordenar as chaves; 
 Gerar resultado final agrupado; 
Letra: c
Justificativa:
A porção do framework que ordena as chaves finais é feita pelo
Name Node. A função reduce já recebe as chaves ordenadas e
agrupadas.
2 / 2 ptsPergunta 2
Considerando o algoritmo Map Reduce
As alternativas apresentam características, exceto:
 
Similar independente da linguagem. É necessário apenas preparar os
dados, escrever a função map e função reduce, para cada caso
tratado;
 
 Excelente para processamento em tempo real; 
 
É indicado para processamentos que envolvem cálculos de matrizes
e/ou SQL;
 
 É nativo no Hadoop; 
Letra b:
Justificativa: Map reduce é um algoritmo para processamento
em Batch, não em tempo real;
2 / 2 ptsPergunta 3
Considerando o algoritmo Map Reduce
São detalhes de funcionamento do Map Reduce, exceto
 
A ordenação e agrupamento das chaves é feito pelo Name Node, que
cópia todos os dados para uma única máquina e faz então toda a
ordenação nesta máquina;
 
 
O 'Name node' é responsável pela criação das tarefas de Map e
Reduce nos 'data nodes'
 
 
O número de tarefas reduce deve ser mais reduzido, a intenção é evitar
a explosão do número de arquivos gerados pela tarefa map ( um
arquivo para cada reduce)
 
 
Um conjunto de tarefas do tipo Map é criado, para cada Map existe um
ou mais blocos que serão processados; As tarefas Map vão transformar
o dado em um estrutura chave valor ou tuplas;
 
Letra: a
Justificativa: A ordenação não é feita em uma única máquina
2 / 2 ptsPergunta 4
Considerando o DFS.
Selecione quais afirmações estão corretas, exceto:
 
Arquivos são raramente atualizados (write-once read-many).
Adicionalmente dados são adicionados para os arquivos;
 
 
No Hadoop o Name node gerencia o sistema de arquivos (réplicas,
blocos, nós e racks): abrir, fechar, renomear arquivos;
 
 
O 'Google File System' (GFS) é uma das implementações do DFS,
assim como o HDFS;
 
 
O DFS possui um protocolo de transações distribuídas e pode e é
gerenciado pelos data nodes ;
 
Letra D:
Justificativa: O DFS não possui mecanismos de controle de
transação. Mesmo se tivesse, todo o gerenciamento é feito pelo
name node (versão hadoop 1.0, por exemplo)
 
2 / 2 ptsPergunta 5
Considerando o algoritmo MAP e REDUCE
Selecione a opção que melhor define o que função MAP faz :
 Gerenciar os dados para eles sejam executados de forma paralela; 
 
Aplica uma função, que deve ser executada de forma independente,
em cada membro de uma estrutura de dados, gerando uma estrutura
chave e valor;
 
 
Coleta e distribuição de dados, além da ordenação e agrupamento das
chaves de acordo com a estrutura da dados definida;
 
 
Paradigma da programação funcional que pode ser aplicada em
problemas gerais como contagem de palavras, multiplicação de
matrizes e processamento de transações ;
 
Letra: b
Justificativa: De acordo com as Notas de aula :
De forma geral:
O algoritmo pode ser usado sempre que houver uma lista;
Para cada elemento da lista uma função que a transforme;
Outra função que possa ser aplicada ao conjunto de dados
transformados de forma a agregá-los;
Pontuação do teste: 10 de 10