ATV2 GRA0749 FRAMEWORKS PARA BIG DATA BIGDA201 - 202010 ead

Prévia do material em texto

13/06/2020 Blackboard Learn
https://fmu.blackboard.com/webapps/late-Course_Landing_Page_Course_100-BBLEARN/Controller# 1/5
Curso
GRA0749 FRAMEWORKS PARA BIG DATA BIGDA201 - 202010.ead-29770518.06
Teste ATIVIDADE 2 (A2)
Iniciado 05/05/20 20:03
Enviado 13/06/20 11:33
Status Completada
Resultado da tentativa 10 em 10 pontos 
Tempo decorrido 927 horas, 30 minutos
Resultados exibidos Respostas enviadas, Respostas corretas, Comentários
Pergunta 1
Resposta
Selecionada:
Resposta Correta:
Feedback
da
resposta:
O Hadoop Streaming possui algumas características ao ser executado, como, por exemplo, funções
chamadas mapeador (map()) e o redutor (reduce()), que precisam ser executáveis e devem poder ler
as entradas chamadas stdin , linha por linha, e emitir a saída chamada stdout . 
A partir do apresentado, analise as asserções a seguir e a relação proposta entre elas. 
 
1. O Hadoop Streaming armazena os dados gerando um conjunto de pares chave-valor.
 Pois:
2. Uma chave representa unicamente cada valor associado.
 
A seguir, assinale a alternativa correta.
As asserções I e II são proposições verdadeiras, e a II é uma justificativa correta
da asserção I.
As asserções I e II são proposições verdadeiras, e a II é uma justificativa correta
da asserção I.
Resposta correta. A alternativa está correta, pois a asserção I é uma proposição
verdadeira, visto que esse modelo armazena os dados gerando um conjunto de pares
chave-valor, onde cada chave funciona como identificador exclusivo. A asserção II
também é verdadeira e justifica a I, pois uma chave representa unicamente cada valor
associado, algo semelhante ao conceito de chave primária em bancos de dados no
modelo Relacional.
Pergunta 2
Resposta Selecionada: 
O Hadoop é um framework que pode ser utilizado em diversas linguagens, como, por exemplo, Java e
Python. No framework há ferramentas importantes, podemos citar o MapReduce, que contém um
mapeador e uma redutor. Um exemplo muito utilizado para expor o funcionamento do MapReduce é
por meio de um contador de palavras.
 
A respeito deste exemplo do contador de palavras, analise as afirmativas a seguir e assinale V para
a(s) verdadeira(s) e F para a(s) falsa(s).
 
1. ( ) É utilizado o stdin e stdout para ler e gravar dados.
2. ( ) O redutor gera palavra como chave e número de contagens como valor.
3. ( ) A função Mapper divide chave-valores em palavras complexas.
4. ( ) O redutor recebe linhas de entrada e conta o número de instâncias.
 
Assinale a alternativa que apresenta a sequência correta.
V, V, F, F.
1 em 1 pontos
1 em 1 pontos
13/06/2020 Blackboard Learn
https://fmu.blackboard.com/webapps/late-Course_Landing_Page_Course_100-BBLEARN/Controller# 2/5
Resposta Correta: 
Feedback
da
resposta:
V, V, F, F.
Resposta correta. A sequência está correta. A afirmativa I é verdadeira, pois no exemplo
é utilizado o sys.stdin e sys.stdout em Python para ler os dados e gravar os dados de
saída, o restante será tratado pelo Streaming API em si. A afirmativa II é verdadeira, pois
o redutor recebeu a entrada como o par chave-valor e conta o número de instâncias de
uma palavra específica no texto de entrada fornecido, gerando os pares de chave-valores
com a palavra como chave e o número de contagens como o valor.
Pergunta 3
Resposta
Selecionada:
Resposta Correta:
Feedback
da
resposta:
Hadoop Streaming 
é uma das ferramentas do Hadoop. Por mais que tenha esse nome, o streaming 
não tem características de fluxos de dados contínuos. Ele é um utilitário que permite o
desenvolvimento de executáveis do MapReduce em linguagens diferentes de Java.
A partir do apresentado, analise as asserções a seguir e a relação proposta entre elas. 
 
1. Quando falamos sobre o uso de outras linguagens de programação, não queremos dizer que o
código escrito nessas linguagens precise ser convertido.
Pois:
2. Os códigos podem ser executados direto no ecossistema Hadoop usando o Hadoop Streaming.
 
A seguir, assinale a alternativa correta.
 
As asserções I e II são proposições verdadeiras, e a II é uma justificativa
correta da I.
As asserções I e II são proposições verdadeiras, e a II é uma justificativa
correta da I.
Resposta correta. A alternativa está correta, uma vez que a asserção I é uma proposição
verdadeira, pois quando falamos sobre o uso de outras linguagens de programação, não
necessariamente o código escrito precisa ser convertido para Java. Por exemplo, se o
código estiver em Python, não é necessário converter para Java usando ferramentas
como Jython ou outro programa. A asserção II também é verdadeira e justifica a I, pois o
código pode ser executado direto no ecossistema Hadoop usando o Hadoop Streaming.
Por mais que o Hadoop MapReduce tenha sido idealizado para ser configurado e
executado em Java, nada impede que outras linguagens possam ser utilizadas.
Pergunta 4
Resposta
Selecionada:
Resposta
Correta:
Feedback
da
resposta:
O Hadoop Streaming é utilizado para o consumo de dados em tempo real, sendo utilizando em
diferentes aplicativos executados em tempo real. Existem diversos aplicativos que utilizam o streaming
do Hadoop, como, por exemplo, boletins meteorológicos. Alguns destes aplicativos utilizam a
linguagem Python.
Sobre o mapeador em Python, é correto afirmar que:
 
lerá a linha de stdin, dividirá a linha nas palavras individuais e produzirá a palavra
como par chave-valor.
lerá a linha de stdin, dividirá a linha nas palavras individuais e produzirá a palavra
como par chave-valor.
Resposta correta. A alternativa está correta, pois a função Mapper 
presente no Python lerá a linha de stdin (que realiza a entrada de dados), dividirá a linha
nas palavras individuais e produzirá a palavra como par chave-valor com valor 1 e
palavra como sendo a chave, por exemplo: <palavra, 1>.
1 em 1 pontos
1 em 1 pontos
13/06/2020 Blackboard Learn
https://fmu.blackboard.com/webapps/late-Course_Landing_Page_Course_100-BBLEARN/Controller# 3/5
Pergunta 5
Resposta
Selecionada:
Resposta Correta:
Feedback
da
resposta:
 Uma tarefa MapReduce, no Hadoop, divide o conjunto de dados de entrada em partes independentes
que são processadas pelas tarefas de mapa de uma maneira completamente paralela. A estrutura
classifica as sápidas dos mapas, que são inseridas nas tarefas de redução. 
A partir do apresentado, analise as asserções a seguir e a relação proposta entre elas. 
 
1. A entrada e saída do trabalho são armazenados em um sistema de arquivos.
Pois:
2. A estrutura MapReduce e o Hadoop Distributed File System estão em execução no mesmo
conjunto de nós.
 
A seguir, assinale a alternativa correta.
 
As asserções I e II são proposições verdadeiras, e a II é uma justificativa
correta da I.
As asserções I e II são proposições verdadeiras, e a II é uma justificativa
correta da I.
Resposta correta. A alternativa está correta, pois a asserção I é uma proposição
verdadeira, visto que normalmente a entrada e a saída do trabalho são armazenadas em
um sistema de arquivos. A estrutura cuida de agendar tarefas, monitorando-as e
executando novamente as tarefas com falha. A asserção II também é verdadeira e
justifica/complementa a I, pois normalmente os nós de computação e os de
armazenamento são os mesmos, ou seja, a estrutura MapReduce e o Hadoop Distributed
File System estão em execução no mesmo conjunto de nós. Isso permite que a estrutura
agende tarefas nos nós em que os dados já estão presentes.
Pergunta 6
Resposta
Selecionada:
Resposta Correta:
Feedback
da
O Hadoop, da Apache Foundation, é um Framework destinado ao processamento e armazenamento
de grandes dados, que possui um modelo de processamento conhecido como MapReduce. Por ter a
característica de manipular grandes volumes de dados, é muito utilizado no Big Data. 
A partir do apresentado, analise as asserções a seguir e a relação proposta entre elas.
 
1. No MapReduce, dados são transmitidos utilizando o stdin e stdout.
 Pois:
2. Caso não haja erros no trabalho, será apresentadoum log do console.
 
A seguir, assinale a alternativa correta.
 
As asserções I e II são proposições verdadeiras, e a II é uma justificativa
correta da I.
As asserções I e II são proposições verdadeiras, e a II é uma justificativa
correta da I.
Resposta correta. A alternativa está correta, pois a asserção I é uma proposição
verdadeira, uma vez que para executar o job 
1 em 1 pontos
1 em 1 pontos
13/06/2020 Blackboard Learn
https://fmu.blackboard.com/webapps/late-Course_Landing_Page_Course_100-BBLEARN/Controller# 4/5
resposta: no Hadoop Cluster, podemos usar a API de Streaming para que os dados possam ser
transmitidos entre o Mapper e o Reducer usando stdin 
e stdout. A asserção II também é verdadeira e justifica/complementa a I, pois depois
que o trabalho for concluído, caso não apresente lançamento de exceções ou erros, será
visto um log do console com a última linha mencionando o caminho em que a saída
do job 
está armazenada.
Pergunta 7
Resposta Selecionada: 
Resposta Correta: 
Feedback
da
resposta:
O Hadoop, ao contrário do que as pessoas acham, não é um tipo de banco de dados. Ele é formado
por diversos softwares com um sistema de arquivos conhecido como Hadoop Distributed Files System.
Como características podemos destacar que é tolerante a falhas e possui escalabilidade. Dentre as
ferramentas existentes, podemos destacar a Hadoop Streaming.
Considerando o trecho apresentado e as características da ferramenta Hadoop Streaming, analise as
afirmativas a seguir:
 
1. O Hadoop Streaming é um utilitário que dá aos usuários a possibilidade de escrever
tarefas MapReduce.
2. Conforme a tarefa do Reduce é executada, ela converte suas entradas em linhas e alimenta a
entrada do processo em stdout.
3. No MapReduce o texto nas linhas até a primeira guia é considerado a chave e o restante da
linha o valor.
4. Depois de executado, as linhas do stdin são obtidas pelo mapeador e convertidas em um outro
tipo de linhas maiores.
 
Está correto o que se afirma em:
I e III, apenas.
I e III, apenas.
Resposta correta. A alternativa está correta, pois a afirmativa I é verdadeira, sendo que
oHadoop Streaming é apenas um utilitário fornecido pela distribuição Hadoop
MapReduce que dá aos usuários a possibilidade de escrever tarefas MapReduce em
outras linguagens de programação além do Java, como Python, 
por exemplo. A afirmativa III está correta, pois no MapReduce, por padrão, o texto nas
linhas até a primeira guia será considerado a chave e o restante da linha como valor.
Caso não exista caractere de tabulação presente na linha, a linha inteira será usada
como a chave e o valor será nulo.
Pergunta 8
Resposta Selecionada: 
Resposta Correta: 
Feedback
da
resposta:
O Hadoop Streaming possui duas fases, o mapeador e o redutor. Uma tarefa importante realizada é o
teste do código para confirmação de funcionamento do mesmo. Esta é uma tarefa que não é muito
complicada, mas exige que seja feita conforme a determinação de algumas etapas.
Sobre o MapReduce, podemos afirmar corretamente que as etapas são:
 
Código do Mapeador e Código do Redutor.
Código do Mapeador e Código do Redutor.
Resposta correta. A alternativa está correta, pois uma etapa importante, antes de enviar
o códigoPython como tarefa MapReduce para um cluster Hadoop, é o teste do código
para confirmar se ele funciona como deveria. Podemos realizar os dois testes seguindo
as seguintes etapas: Código do mapeador e Código do redutor.
Pergunta 9
O Hadoop pertence ao Apache e possibilita realizar o processamento de grandes volumes de dados
se utilizando de uma característica importante, a programação simples. No processamento e análise
dos dados, temos ferramentas como o MapReduce, que pode ser aplicado em diversas linguagens,
1 em 1 pontos
1 em 1 pontos
1 em 1 pontos
13/06/2020 Blackboard Learn
https://fmu.blackboard.com/webapps/late-Course_Landing_Page_Course_100-BBLEARN/Controller# 5/5
Sábado, 13 de Junho de 2020 11h33min59s BRT
Resposta Selecionada: 
Resposta Correta: 
Feedback
da
resposta:
como o Python.
 Considerando o trecho apresentado e conceitos relacionados à linguagem Python, analise as
afirmativas a seguir:
 
1. Python é uma linguagem de programação orientada a objetos, open-source, e, atualmente,
bastante popular.
2. A linguagem foi lançada em 1994, no entanto, ela se tornou popular somente a partir de 2016.
3. É uma linguagem closed source, ou seja, código fechado, não podendo ser alterada.
4. É muito utilizada na linguagem de programação web para a análise de ciência de dados.
 
Está correto o que se afirma em:
 
I e IV, apenas.
I e IV, apenas.
Resposta correta. A afirmativa I está correta, pois Python é uma linguagem de
programação orientada a objetos e bastante dinâmica. Por ser open-source, a linguagem
começou a se tornar bastante popular como linguagem de programação para web. A
afirmativa IV está correta, pois a linguagem começou a se tornar bastante popular tanto
como linguagem de programação para web como para análise de dados, estatística e
ciências de dados.
Pergunta 10
Resposta
Selecionada:
Resposta
Correta:
Feedback
da
resposta:
O Hadoop Streaming, do projeto Apache Hadoop, é um utilitário que permite ao usuário criar e
executar trabalhos a partir de um arquivo executável, ou, ainda, por meio de um script, conforme o
mapa ou redutor, pois são essas as duas fases/funções existentes na ferramenta.
Sobre o redutor em Python, é correto afirmar que:
 
somará a ocorrência de cada palavra e saída do arquivo saída, reduzindo na
forma de par de chave-valor.
somará a ocorrência de cada palavra e saída do arquivo saída, reduzindo na
forma de par de chave-valor.
Resposta correta. A alternativa está correta, pois o Redutor levará a entrada do
mapper.py através do stdin. O Redutor então soma a ocorrência de cada palavra e saída
do arquivo saída, reduzida na forma de par de chave-valor, tendo a palavra específica
como chave e o total de ocorrências da palavra como o valor. Por exemplo, <palavra, 5>.
A tarefa Reduce é um pouco mais extensa, pois requer tratamento de dados que estão
sendo recebidos.
1 em 1 pontos