Frameworks para Big Data - Atividade 2

Prévia do material em texto

20/06/2020 Revisar envio do teste: ATIVIDADE 2 (A2) – SIM1366 ...
https://uniritter.blackboard.com/webapps/assessment/review/review.jsp?attempt_id=_35815364_1&course_id=_582197_1&content_id=_1321497… 1/5
Pergunta 1
Resposta Selecionada: 
Resposta Correta: 
Feedback
da
resposta:
O Hadoop possui ferramentas que auxiliam nas mais diversas atividades, como serviços de
integração, serviços de armazenamento e de processamento e análise de dados. Dentro deste, temos
a ferramenta MapReduce, que tem a característica de realizar o processamento paralelo.
A respeito de programas MapReduce, analise as afirmativas a seguir e assinale Vpara a(s)
verdadeira(s) e
F para a(s) falsa(s).
 
1. ( ) O núcleo da classe do job é o método run().
2. ( ) O centro das ações são suas funções map() e reduce().
3. ( ) O método run() não permite alteração de parâmetros.
4. ( ) Raramente escreve-se um programa MapReduce do zero.
 
Assinale a alternativa que apresenta a sequência correta.
V, V, F, V.
V, V, F, V.
Resposta correta. A sequência está correta. A afirmativa I é verdadeira, pois o núcleo da
classe do job é o método run(), que é o responsável por executar um job do Hadoop
MapReduce. A afirmativa II está correta, pois o centro das ações em ambas as classes
são suas funçõesmap() e reduce(). A afirmativa IV é verdadeira, pois raramente escreve-
se um programa MapReduce do zero, existe um template principal que é modificado para
que atenda as especificações do novo programa.
Pergunta 2
Resposta Selecionada: 
Resposta Correta: 
Feedback
da
resposta:
O Hadoop Streaming é uma API genérica e permite escrever mapeadores e redutores. Em qualquer
trabalho do MapReduce, temos entrada e saída como pares de chave/valor. O mesmo conceito é
verdadeiro para a API Streaming, onde entrada e saída são sempre representadas como texto.
Considerando o exposto, para executar o job no Hadoop Cluster , podemos usar a API de Streaming, 
que possui as funções:
 
Stdin e Stdout.
Stdin e Stdout.
Resposta correta. A alternativa está correta, pois para executar o job noHadoop Cluster,
podemos usar a API de Streaming para que os dados possam ser transmitidos entre
o Mapper e o Reducer usando stdin estdout. Depois que o trabalho for concluído, caso
não apresente lançamento de exceções ou erros, será visto um log do console com a
última linha mencionando o caminho em que a saída do job está armazenada.
Pergunta 3
A respeito do Hadoop Streaming , da Apache Foundation, independente da linguagem a ser utilizada,
alguns pré-requisitos precisam ser respeitados como forma de organizar o ambiente antes da
execução dos scripts iniciais. Esses pré-requisitos, aplicados de forma correta, facilitam a utilização da
ferramenta. 
A partir do apresentado, analise as asserções a seguir e a relação proposta entre elas. 
 
1. A tarefa redutora converte pares de linhas alimentando a entrada do processo reduce.
Pois:
2. O redutor coleta as saídas orientadas linha a linha a partir da saída padrão do processo stdout.
 
1 em 1 pontos
1 em 1 pontos
0 em 1 pontos
20/06/2020 Revisar envio do teste: ATIVIDADE 2 (A2) – SIM1366 ...
https://uniritter.blackboard.com/webapps/assessment/review/review.jsp?attempt_id=_35815364_1&course_id=_582197_1&content_id=_1321497… 2/5
Resposta
Selecionada:
Resposta Correta:
Feedback
da
resposta:
A seguir, assinale a alternativa correta.
 
As asserções I e II são proposições verdadeiras, mas a II não é uma justificativa
correta da I.
A asserção I é uma proposição falsa e a II é uma proposição verdadeira.
Sua resposta está incorreta. A alternativa está incorreta, pois a asserção I é uma
proposição incorreta, pois à medida que a tarefa redutora é executada, ela converte seus
pares de chave-valores de entrada em linhas e alimenta as linhas para a entrada do
processo Reduce.
Pergunta 4
Resposta Selecionada:
Resposta Correta:
Feedback
da
resposta:
Uma das ferramentas do framework 
da Apache é o Hadoop Streaming . Este utilitário ajuda a criar e executar tarefas específicas do
MadReduce com um executável e também a reduzir trabalhos. O Hadoop Streaming possui em sua
composição um mapeador e um redutor, com suas funções map() e reduce(), respectivamente.
 Sobre o mapeador e redutor do Hadoop Streaming, é correto afirmar que:
 
após ser executado, o redutor pega o stdin e converte em chave-valores.
o mapeador e o redutor devem ler entradas stdin e emitir saídas stdout.
Sua resposta está incorreta. A alternativa está incorreta, pois na inicialização de cada
tarefa Map ou Reduce, um novo processo será iniciado com o executável
correspondente. Após a execução do redutor, ele novamente pega a linha de stdout 
e a converte no par de chave-valores a ser passado como o resultado final. A tarefa do
mapeador pega a entrada linha por linha e alimenta as linhas para o stdin 
do executável do mapeador. O redutor pega o par de chave-valores e o converte em
linhas, alimentando o executável do redutor usando stdin.
Pergunta 5
Resposta
Selecionada:
Resposta Correta:
Feedback
da
resposta:
O Hadoop Streaming possui algumas características ao ser executado, como, por exemplo, funções
chamadas mapeador (map()) e o redutor (reduce()), que precisam ser executáveis e devem poder ler
as entradas chamadas stdin , linha por linha, e emitir a saída chamada stdout . 
A partir do apresentado, analise as asserções a seguir e a relação proposta entre elas. 
 
1. O Hadoop Streaming armazena os dados gerando um conjunto de pares chave-valor.
 Pois:
2. Uma chave representa unicamente cada valor associado.
 
A seguir, assinale a alternativa correta.
As asserções I e II são proposições verdadeiras, e a II é uma justificativa correta
da asserção I.
As asserções I e II são proposições verdadeiras, e a II é uma justificativa correta
da asserção I.
Resposta correta. A alternativa está correta, pois a asserção I é uma proposição
verdadeira, visto que esse modelo armazena os dados gerando um conjunto de pares
chave-valor, onde cada chave funciona como identificador exclusivo. A asserção II
também é verdadeira e justifica a I, pois uma chave representa unicamente cada valor
associado, algo semelhante ao conceito de chave primária em bancos de dados no
modelo Relacional.
0 em 1 pontos
1 em 1 pontos
20/06/2020 Revisar envio do teste: ATIVIDADE 2 (A2) – SIM1366 ...
https://uniritter.blackboard.com/webapps/assessment/review/review.jsp?attempt_id=_35815364_1&course_id=_582197_1&content_id=_1321497… 3/5
Pergunta 6
Resposta
Selecionada:
Resposta Correta:
Feedback
da
resposta:
O Hadoop, da Apache Foundation, é um Framework destinado ao processamento e armazenamento
de grandes dados, que possui um modelo de processamento conhecido como MapReduce. Por ter a
característica de manipular grandes volumes de dados, é muito utilizado no Big Data. 
A partir do apresentado, analise as asserções a seguir e a relação proposta entre elas.
 
1. No MapReduce, dados são transmitidos utilizando o stdin e stdout.
 Pois:
2. Caso não haja erros no trabalho, será apresentado um log do console.
 
A seguir, assinale a alternativa correta.
 
As asserções I e II são proposições verdadeiras, e a II é uma justificativa
correta da I.
As asserções I e II são proposições verdadeiras, e a II é uma justificativa
correta da I.
Resposta correta. A alternativa está correta, pois a asserção I é uma proposição
verdadeira, uma vez que para executar o job 
no Hadoop Cluster, podemos usar a API de Streaming para que os dados possam ser
transmitidos entre o Mapper e o Reducer usandostdin 
e stdout. A asserção II também é verdadeira e justifica/complementa a I, pois depois
que o trabalho for concluído, caso não apresente lançamento de exceções ou erros, será
visto um log do console com a última linha mencionando o caminho em que a saída
do job 
está armazenada.
Pergunta 7
Resposta Selecionada: 
Resposta Correta: 
Feedback
da
resposta:
O Hadoop Streaming faz parte dos componentes da ferramenta Hadoop,do projeto Apache Hadoop. É
um utilitário que permite ao MapReduce, e às suas funções map() e reduce(), realizar a codificação em
qualquer linguagem de programação, como por exemplo, a C, C++, Python e outros.
Sobre o Hadoop Streaming, assinale a alternativa que representa a sua principal função.
 
Desenvolver executáveis.
Desenvolver executáveis.
Resposta correta. A alternativa está correta, pois o Hadoop é uma das ferramentas
do framework 
da Apache, denominada Hadoop Streaming. De maneira simples, oHadoop Streaming é
um utilitário que acompanha o Hadoop e permite que você desenvolva executáveis
do MapReduce em linguagens diferentes de Java.
Pergunta 8
O Hadoop, ao contrário do que as pessoas acham, não é um tipo de banco de dados. Ele é formado
por diversos softwares com um sistema de arquivos conhecido como Hadoop Distributed Files System.
Como características podemos destacar que é tolerante a falhas e possui escalabilidade. Dentre as
ferramentas existentes, podemos destacar a Hadoop Streaming.
Considerando o trecho apresentado e as características da ferramenta Hadoop Streaming, analise as
afirmativas a seguir:
 
1 em 1 pontos
1 em 1 pontos
1 em 1 pontos
20/06/2020 Revisar envio do teste: ATIVIDADE 2 (A2) – SIM1366 ...
https://uniritter.blackboard.com/webapps/assessment/review/review.jsp?attempt_id=_35815364_1&course_id=_582197_1&content_id=_1321497… 4/5
Resposta Selecionada: 
Resposta Correta: 
Feedback
da
resposta:
1. O Hadoop Streaming é um utilitário que dá aos usuários a possibilidade de escrever
tarefas MapReduce.
2. Conforme a tarefa do Reduce é executada, ela converte suas entradas em linhas e alimenta a
entrada do processo em stdout.
3. No MapReduce o texto nas linhas até a primeira guia é considerado a chave e o restante da
linha o valor.
4. Depois de executado, as linhas do stdin são obtidas pelo mapeador e convertidas em um outro
tipo de linhas maiores.
 
Está correto o que se afirma em:
I e III, apenas.
I e III, apenas.
Resposta correta. A alternativa está correta, pois a afirmativa I é verdadeira, sendo que
o Hadoop Streaming é apenas um utilitário fornecido pela distribuição Hadoop
MapReduce que dá aos usuários a possibilidade de escrever tarefas MapReduce em
outras linguagens de programação além do Java, como Python, 
por exemplo. A afirmativa III está correta, pois no MapReduce, por padrão, o texto nas
linhas até a primeira guia será considerado a chave e o restante da linha como valor.
Caso não exista caractere de tabulação presente na linha, a linha inteira será usada
como a chave e o valor será nulo.
Pergunta 9
Resposta Selecionada: 
Resposta Correta: 
Feedback
da
resposta:
O Hadoop é um framework que pode ser utilizado em diversas linguagens, como, por exemplo, Java e
Python. No framework há ferramentas importantes, podemos citar o MapReduce, que contém um
mapeador e uma redutor. Um exemplo muito utilizado para expor o funcionamento do MapReduce é
por meio de um contador de palavras.
 
A respeito deste exemplo do contador de palavras, analise as afirmativas a seguir e assinale V para
a(s) verdadeira(s) e F para a(s) falsa(s).
 
1. ( ) É utilizado o stdin e stdout para ler e gravar dados.
2. ( ) O redutor gera palavra como chave e número de contagens como valor.
3. ( ) A função Mapper divide chave-valores em palavras complexas.
4. ( ) O redutor recebe linhas de entrada e conta o número de instâncias.
 
Assinale a alternativa que apresenta a sequência correta.
V, V, F, F.
V, V, F, F.
Resposta correta. A sequência está correta. A afirmativa I é verdadeira, pois no exemplo
é utilizado o sys.stdin e sys.stdout em Python para ler os dados e gravar os dados de
saída, o restante será tratado peloStreaming API em si. A afirmativa II é verdadeira, pois
o redutor recebeu a entrada como o par chave-valor e conta o número de instâncias de
uma palavra específica no texto de entrada fornecido, gerando os pares de chave-valores
com a palavra como chave e o número de contagens como o valor.
Pergunta 10
O framework Hadoop, da Apache Foundation, pode ser utilizado em diversas linguagens, incluindo o
Python. Dentro do Hadoop, temos a ferramenta MapReduce, composta por duas funções, sendo um
mapeador, chamado de Mapper, e um redutor, chamado de Reduce.
A partir do apresentado, analise as asserções a seguir e a relação proposta entre elas.
 
1. No Python, a função Mapper lerá linhas a partir de uma função chamada stdin.
1 em 1 pontos
1 em 1 pontos
20/06/2020 Revisar envio do teste: ATIVIDADE 2 (A2) – SIM1366 ...
https://uniritter.blackboard.com/webapps/assessment/review/review.jsp?attempt_id=_35815364_1&course_id=_582197_1&content_id=_1321497… 5/5
Resposta
Selecionada:
Resposta Correta:
Feedback
da
resposta:
 Pois:
2. A função Mapper produzirá uma palavra chave-valor a partir da divisão das linhas lidas.
 
A seguir, assinale a alternativa correta.
 
As asserções I e II são proposições verdadeiras, e a II é uma justificativa
correta da I.
As asserções I e II são proposições verdadeiras, e a II é uma justificativa
correta da I.
Resposta correta. A alternativa está correta, pois a asserção I é uma proposição
verdadeira, uma vez que a linguagem Python, utilizando o Hadoop, possui a função
Mapper que lerá a linha de stdin. A asserção II também é verdadeira e
justifica/complementa a I, pois após a leitura da linha, a função dividirá a linha nas
palavras individuais e produzirá a palavra como par chave-valor, com valor 1 e palavra
sendo a chave, por exemplo: <palavra, 1>