Atividade 2 - FRAMEWORKS PARA BIGDATA

Prévia do material em texto

5/30/2020 Minha Disciplina
https://anhembi.blackboard.com/webapps/late-Course_Landing_Page_Course_100-BBLEARN/Controller# 1/5
Pergunta 1
Resposta Selecionada: 
Resposta Correta: 
Feedback
da
resposta:
O Hadoop pertence ao Apache e possibilita realizar o processamento de grandes volumes de dados
se utilizando de uma característica importante, a programação simples. No processamento e análise
dos dados, temos ferramentas como o MapReduce, que pode ser aplicado em diversas linguagens,
como o Python.
 Considerando o trecho apresentado e conceitos relacionados à linguagem Python, analise as
afirmativas a seguir:
 
1. Python é uma linguagem de programação orientada a objetos, open-source, e, atualmente,
bastante popular.
2. A linguagem foi lançada em 1994, no entanto, ela se tornou popular somente a partir de 2016.
3. É uma linguagem closed source, ou seja, código fechado, não podendo ser alterada.
4. É muito utilizada na linguagem de programação web para a análise de ciência de dados.
 
Está correto o que se afirma em:
 
I e IV, apenas.
I e IV, apenas.
Resposta correta. A afirmativa I está correta, pois Python é uma linguagem de
programação orientada a objetos e bastante dinâmica. Por ser open-source, a linguagem
começou a se tornar bastante popular como linguagem de programação para web. A
afirmativa IV está correta, pois a linguagem começou a se tornar bastante popular tanto
como linguagem de programação para web como para análise de dados, estatística e
ciências de dados.
Pergunta 2
Resposta Selecionada: 
Resposta Correta: 
Feedback
da
resposta:
O Hadoop possui características como escalabilidade, consistência, tolerância a falhas e capacidade
de recuperação. Essas características quando bem implementadas garantem uma boa arquitetura. A
arquitetura do Hadoop é composta por elementos como: MapReduce, Spark, Streaming, Cluster e
outros.
A respeito das características do Hadoop Streaming, analise as afirmativas a seguir e assinale V para
a(s) verdadeira(s) e F para a(s) falsa(s). 
 
1. ( ) O modelo chave-valor é bastante empregado em bancos de dados não relacionais ou
NoSQL.
2. ( ) Quando um executável é especificado para reducers (redutores), as tarefas iniciam
como um processo separado.
3. ( ) Quando um executável é especificado para mapeadores, cada tarefa deve iniciar o
redutor repetidamente.
4. ( ) Na sequência lógica do Hadoop Streaming, a tarefa do mapeador é pegar a entrada
linha por linha.
 
Assinale a alternativa que apresenta a sequência correta.
V, V, F, V.
V, V, F, V.
Resposta correta. A sequência está correta. A afirmativa I é verdadeira, pois o modelo
chave-valor é bastante empregado em bancos de dados não relacionais ou NoSQL.
Assim, um banco de dados de chave-valor é considerado um tipo de banco de dados
com característica não relacional e que usa um método de chave-valor simples para
armazenar dados. A afirmativa II é verdadeira, pois quando um executável é especificado
para reducers (redutores), cada tarefa reduce 
inicia seu programa como um processo separado e o redutor é inicializado. A afirmativa
IV é verdadeira, pois na sequência lógica do Hadoop Streaming, para cada dado de
entrada, a tarefa do mapeador pega a entrada linha por linha e alimenta as linhas para
o stdin do executável do mapeador.
1 em 1 pontos
1 em 1 pontos
5/30/2020 Minha Disciplina
https://anhembi.blackboard.com/webapps/late-Course_Landing_Page_Course_100-BBLEARN/Controller# 2/5
Pergunta 3
Resposta Selecionada: 
Resposta Correta: 
Feedback
da
resposta:
O Hadoop Streaming possui duas fases, o mapeador e o redutor. Uma tarefa importante realizada é o
teste do código para confirmação de funcionamento do mesmo. Esta é uma tarefa que não é muito
complicada, mas exige que seja feita conforme a determinação de algumas etapas.
Sobre o MapReduce, podemos afirmar corretamente que as etapas são:
 
Código do Mapeador e Código do Redutor.
Código do Mapeador e Código do Redutor.
Resposta correta. A alternativa está correta, pois uma etapa importante, antes de enviar
o códigoPython como tarefa MapReduce para um cluster Hadoop, é o teste do código
para confirmar se ele funciona como deveria. Podemos realizar os dois testes seguindo
as seguintes etapas: Código do mapeador e Código do redutor.
Pergunta 4
Resposta Selecionada: 
Resposta Correta: 
Feedback
da
resposta:
A respeito do Hadoop Streaming , da Apache Foundation, independente da linguagem a ser utilizada,
alguns pré-requisitos precisam ser respeitados como forma de organizar o ambiente antes da
execução dos scriptsiniciais. Esses pré-requisitos, aplicados de forma correta, facilitam a utilização da
ferramenta. 
A partir do apresentado, analise as asserções a seguir e a relação proposta entre elas. 
 
1. A tarefa redutora converte pares de linhas alimentando a entrada do processo reduce.
Pois:
2. O redutor coleta as saídas orientadas linha a linha a partir da saída padrão do processo stdout.
 
A seguir, assinale a alternativa correta.
 
A asserção I é uma proposição falsa e a II é uma proposição verdadeira.
A asserção I é uma proposição falsa e a II é uma proposição verdadeira.
Resposta correta. A alternativa está correta, pois a asserção II é uma proposição
verdadeira, uma vez que o redutor coleta as saídas orientadas linha a linha a partir da
saída padrão do processostdout, convertendo cada linha em um par de chave-valor, que
é coletado como a saída do redutor.
Pergunta 5
Resposta Selecionada:
O Hadoop é um projeto da Apache Foundation que possibilita que sejam processados grandes
volumes de forma distribuída e tem distribuições que possuem um módulo de segurança maduro.
Podemos destacar entre os módulos o de processamento e análise de dados.
Considerando o trecho apresentado e conceitos relacionados ao Hadoop MapReduce, analise as
afirmativas a seguir:
 
1. No MapReduce, as estruturas de dados utilizadas são linhas e colunas.
2. É um modelo de programação para processamento paralelo.
3. No MapReduce, a entrada da aplicação é uma lista de linhas paralelas.
4. É uma solução para problemas com análise de dados em larga escala.
 
Está correto o que se afirma em:
 
1 em 1 pontos
1 em 1 pontos
0 em 1 pontos
5/30/2020 Minha Disciplina
https://anhembi.blackboard.com/webapps/late-Course_Landing_Page_Course_100-BBLEARN/Controller# 3/5
 
Resposta Correta: 
Feedback
da
resposta:
I, II e IV, apenas. 
 
II e IV, apenas.
Sua resposta está incorreta. A alternativa está incorreta. A afirmativa I está incorreta, pois
no caso do MapReduce as estruturas utilizadas são listas e pares chave/valor. A
alternativa III está incorreta, pois no MapReduce a entrada da aplicação é uma lista de
pares chave/valor.
Pergunta 6
Resposta Selecionada: 
Resposta Correta: 
Feedback
da
resposta:
O Hadoop é um framework que pode ser utilizado em diversas linguagens, como, por exemplo, Java e
Python. No framework há ferramentas importantes, podemos citar o MapReduce, que contém um
mapeador e uma redutor. Um exemplo muito utilizado para expor o funcionamento do MapReduce é
por meio de um contador de palavras.
 
A respeito deste exemplo do contador de palavras, analise as afirmativas a seguir e assinale V para
a(s) verdadeira(s) e F para a(s) falsa(s).
 
1. ( ) É utilizado o stdin e stdout para ler e gravar dados.
2. ( ) O redutor gera palavra como chave e número de contagens como valor.
3. ( ) A função Mapper divide chave-valores em palavras complexas.
4. ( ) O redutor recebe linhas de entrada e conta o número de instâncias.
 
Assinale a alternativa que apresenta a sequência correta.
F, F, F, F.
V, V, F, F.
Sua resposta está incorreta. A sequência está incorreta. A afirmativa IV é falsa, pois o
redutor recebe a entrada como o par chave-valor e conta o número de instâncias de uma
palavra específica no texto de entrada fornecido. A afirmativa III é falsa, pois no
programa de contagem de palavras um monte de entrada de texto é fornecido paraa
função Mapper, que divide as linhas de texto em palavras simples e passa essas
palavras como um par de chave-valores para as funções do Redutor.
Pergunta 7
Resposta
Selecionada:
Resposta Correta:
Feedback
O Hadoop Streaming possui algumas características ao ser executado, como, por exemplo, funções
chamadas mapeador (map()) e o redutor (reduce()), que precisam ser executáveis e devem poder ler
as entradas chamadas stdin , linha por linha, e emitir a saída chamada stdout . 
A partir do apresentado, analise as asserções a seguir e a relação proposta entre elas. 
 
1. O Hadoop Streaming armazena os dados gerando um conjunto de pares chave-valor.
 Pois:
2. Uma chave representa unicamente cada valor associado.
 
A seguir, assinale a alternativa correta.
As asserções I e II são proposições verdadeiras, e a II é uma justificativa correta
da asserção I.
As asserções I e II são proposições verdadeiras, e a II é uma justificativa correta
da asserção I.
Resposta correta. A alternativa está correta, pois a asserção I é uma proposição
0 em 1 pontos
1 em 1 pontos
5/30/2020 Minha Disciplina
https://anhembi.blackboard.com/webapps/late-Course_Landing_Page_Course_100-BBLEARN/Controller# 4/5
da
resposta:
verdadeira, visto que esse modelo armazena os dados gerando um conjunto de pares
chave-valor, onde cada chave funciona como identificador exclusivo. A asserção II
também é verdadeira e justifica a I, pois uma chave representa unicamente cada valor
associado, algo semelhante ao conceito de chave primária em bancos de dados no
modelo Relacional.
Pergunta 8
Resposta
Selecionada:
Resposta
Correta:
Feedback
da
resposta:
O Hadoop Streaming é utilizado para o consumo de dados em tempo real, sendo utilizando em
diferentes aplicativos executados em tempo real. Existem diversos aplicativos que utilizam o streaming
do Hadoop, como, por exemplo, boletins meteorológicos. Alguns destes aplicativos utilizam a
linguagem Python.
Sobre o mapeador em Python, é correto afirmar que:
 
lerá a linha de stdin, dividirá a linha nas palavras individuais e produzirá a palavra
como par chave-valor.
lerá a linha de stdin, dividirá a linha nas palavras individuais e produzirá a palavra
como par chave-valor.
Resposta correta. A alternativa está correta, pois a função Mapper 
presente no Python lerá a linha de stdin (que realiza a entrada de dados), dividirá a linha
nas palavras individuais e produzirá a palavra como par chave-valor com valor 1 e
palavra como sendo a chave, por exemplo: <palavra, 1>.
Pergunta 9
Resposta Selecionada: 
Resposta Correta: 
Feedback
da
resposta:
O Hadoop Streaming faz parte dos componentes da ferramenta Hadoop, do projeto Apache Hadoop. É
um utilitário que permite ao MapReduce, e às suas funções map() e reduce(), realizar a codificação em
qualquer linguagem de programação, como por exemplo, a C, C++, Python e outros.
Sobre o Hadoop Streaming, assinale a alternativa que representa a sua principal função.
 
Desenvolver executáveis.
Desenvolver executáveis.
Resposta correta. A alternativa está correta, pois o Hadoop é uma das ferramentas
doframework 
da Apache, denominada Hadoop Streaming. De maneira simples, o Hadoop Streaming é
um utilitário que acompanha o Hadoop e permite que você desenvolva executáveis
do MapReduceem linguagens diferentes de Java.
Pergunta 10
Resposta Selecionada: 
O MapReduce é uma ferramenta do framework Hadoop e possui as funções mapeador (Mapper) e
redutor (Reduce). Na linguagem Python, por exemplo, estas funções utilizam stdin e stdout para
realizar tarefas relacionadas a entrada e saída de dados. 
A partir do apresentado, analise as asserções a seguir e a relação proposta entre elas.
 
1. O redutor lerá linhas e produzirá uma palavra chave-valor.
 Pois:
2. O redutor utiliza o stdin e soma a ocorrência de cada palavra.
 
A seguir, assinale a alternativa correta.
 
A asserção I é uma proposição falsa e a II é uma proposição verdadeira.
1 em 1 pontos
1 em 1 pontos
1 em 1 pontos
5/30/2020 Minha Disciplina
https://anhembi.blackboard.com/webapps/late-Course_Landing_Page_Course_100-BBLEARN/Controller# 5/5
Resposta Correta: 
Feedback
da
resposta:
A asserção I é uma proposição falsa e a II é uma proposição verdadeira.
Resposta correta. A alternativa está correta, pois a asserção II é uma proposição
incorreta, uma vez que o redutor levará a entrada do mapper.py através do stdin. O
redutor então soma a ocorrência de cada palavra e saída do arquivo saída, reduzida na
forma de par de chave-valor, tendo a palavra específica como chave e o total de
ocorrências da palavra como o valor. Por exemplo, <palavra, 5>. A tarefa Reduce é um
pouco mais extensa, pois requer tratamento de dados que estão sendo recebidos.