A2 FRAMEWORKS PARA BIG DATA

Prévia do material em texto

 Pergunta 1 
1 em 1 pontos
	
	
	
	O MapReduce é uma ferramenta do framework Hadoop e possui as funções mapeador (Mapper) e redutor (Reduce). Na linguagem Python, por exemplo, estas funções utilizam stdin e stdout para realizar tarefas relacionadas a entrada e saída de dados. 
A partir do apresentado, analise as asserções a seguir e a relação proposta entre elas.
  
I. O redutor lerá linhas e produzirá uma palavra chave-valor. 
            Pois: 
II. O redutor utiliza o stdin e soma a ocorrência de cada palavra. 
 
A seguir, assinale a alternativa correta.
  
	
	
	
	
		Resposta Selecionada: 
	
A asserção I é uma proposição falsa e a II é uma proposição verdadeira. 
	Resposta Correta: 
	
A asserção I é uma proposição falsa e a II é uma proposição verdadeira. 
	Comentário da resposta: 
	Resposta correta. A alternativa está correta, pois a asserção II é uma proposição incorreta, uma vez que o redutor levará a entrada do mapper.py através do stdin. O redutor então soma a ocorrência de cada palavra e saída do arquivo saída, reduzida na forma de par de chave-valor, tendo a palavra específica como chave e o total de ocorrências da palavra como o valor. Por exemplo, <palavra, 5>. A tarefa Reduce é um pouco mais extensa, pois requer tratamento de dados que estão sendo recebidos. 
	
	
	
 Pergunta 2 
1 em 1 pontos
	
	
	
	O Hadoop, ao contrário do que as pessoas acham, não é um tipo de banco de dados. Ele é formado por diversos softwares com um sistema de arquivos conhecido como Hadoop Distributed Files System. Como características podemos destacar que é tolerante a falhas e possui escalabilidade. Dentre as ferramentas existentes, podemos destacar a Hadoop Streaming.
Considerando o trecho apresentado e as características da ferramenta Hadoop Streaming, analise as afirmativas a seguir:
  
I. O Hadoop Streaming é um utilitário que dá aos usuários a possibilidade de escrever tarefas MapReduce. 
II. Conforme a tarefa do Reduce é executada, ela converte suas entradas em linhas e alimenta a entrada do processo em stdout. 
III. No MapReduce o texto nas linhas até a primeira guia é considerado a chave e o restante da linha o valor. 
IV. Depois de executado, as linhas do stdin são obtidas pelo mapeador e convertidas em um outro tipo de linhas maiores. 
 
Está correto o que se afirma em: 
	
	
	
	
		Resposta Selecionada: 
	
I e III, apenas. 
	Resposta Correta: 
	
I e III, apenas. 
	Comentário da resposta: 
	Resposta correta. A alternativa está correta, pois a afirmativa I é verdadeira, sendo que o Hadoop Streaming é apenas um utilitário fornecido pela distribuição Hadoop MapReduce que dá aos usuários a possibilidade de escrever tarefas MapReduce em outras linguagens de programação além do Java, como Python, 
por exemplo. A afirmativa III está correta, pois no MapReduce, por padrão, o texto nas linhas até a primeira guia será considerado a chave e o restante da linha como valor. Caso não exista caractere de tabulação presente na linha, a linha inteira será usada como a chave e o valor será nulo. 
	
	
	
 Pergunta 3 
1 em 1 pontos
	
	
	
	O Hadoop é um framework que pode ser utilizado em diversas linguagens, como, por exemplo, Java e Python. No framework há ferramentas importantes, podemos citar o MapReduce, que contém um mapeador e uma redutor. Um exemplo muito utilizado para expor o funcionamento do MapReduce é por meio de um contador de palavras.
 
A respeito deste exemplo do contador de palavras, analise as afirmativas a seguir e assinale V para a(s) verdadeira(s) e F para a(s) falsa(s).
  
I. (           ) É utilizado o stdin e stdout para ler e gravar dados. 
II. (           )  O redutor gera palavra como chave e número de contagens como valor. 
III. (           ) A função Mapper divide chave-valores em palavras complexas. 
IV. (           ) O redutor recebe linhas de entrada e conta o número de instâncias. 
  
Assinale a alternativa que apresenta a sequência correta. 
	
	
	
	
		Resposta Selecionada: 
	
V, V, F, F. 
	Resposta Correta: 
	
V, V, F, F. 
	Comentário da resposta: 
	Resposta correta.  A sequência está correta. A afirmativa I é verdadeira, pois no exemplo é utilizado o sys.stdin e sys.stdout em Python para ler os dados e gravar os dados de saída, o restante será tratado pelo Streaming API em si. A afirmativa II é verdadeira, pois o redutor recebeu a entrada como o par chave-valor e conta o número de instâncias de uma palavra específica no texto de entrada fornecido, gerando os pares de chave-valores com a palavra como chave e o número de contagens como o valor. 
	
	
	
 Pergunta 4 
1 em 1 pontos
	
	
	
	O Hadoop Streaming é utilizado para o consumo de dados em tempo real, sendo utilizando em diferentes aplicativos executados em tempo real. Existem diversos aplicativos que utilizam o streaming do Hadoop, como, por exemplo, boletins meteorológicos. Alguns destes aplicativos utilizam a linguagem Python.
Sobre o mapeador em Python, é correto afirmar que:
  
	
	
	
	
		Resposta Selecionada: 
	
lerá a linha de stdin, dividirá a linha nas palavras individuais e produzirá a palavra como par chave-valor. 
	Resposta Correta: 
	
lerá a linha de stdin, dividirá a linha nas palavras individuais e produzirá a palavra como par chave-valor. 
	Comentário da resposta: 
	Resposta correta. A alternativa está correta, pois a função Mapper 
presente no Python lerá a linha de stdin (que realiza a entrada de dados), dividirá a linha nas palavras individuais e produzirá a palavra como par chave-valor com valor 1 e palavra como sendo a chave, por exemplo: <palavra, 1>. 
	
	
	
 Pergunta 5 
1 em 1 pontos
	
	
	
	O Hadoop Streaming possui algumas características ao ser executado, como, por exemplo, funções chamadas mapeador (map()) e o redutor (reduce()), que precisam ser executáveis ​​e devem poder ler as entradas chamadas stdin , linha por linha, e emitir a saída chamada stdout . 
A partir do apresentado, analise as asserções a seguir e a relação proposta entre elas.  
  
I. O Hadoop Streaming armazena os dados gerando um conjunto de pares chave-valor. 
            Pois: 
II. Uma chave representa unicamente cada valor associado. 
 
A seguir, assinale a alternativa correta. 
	
	
	
	
		Resposta Selecionada: 
	
As asserções I e II são proposições verdadeiras, e a II é uma justificativa correta da asserção I. 
	Resposta Correta: 
	
As asserções I e II são proposições verdadeiras, e a II é uma justificativa correta da asserção I. 
	Comentário da resposta: 
	Resposta correta. A alternativa está correta, pois a asserção I é uma proposição verdadeira, visto que esse modelo armazena os dados gerando um conjunto de pares chave-valor, onde cada chave funciona como identificador exclusivo. A asserção II também é verdadeira e justifica a I, pois uma chave representa unicamente cada valor associado, algo semelhante ao conceito de chave primária em bancos de dados no modelo Relacional. 
	
	
	
 Pergunta 6 
1 em 1 pontos
	
	
	
	A respeito do Hadoop Streaming , da Apache Foundation, independente da linguagem a ser utilizada, alguns pré-requisitos precisam ser respeitados como forma de organizar o ambiente antes da execução dos scripts iniciais. Esses pré-requisitos, aplicados de forma correta, facilitam a utilização da ferramenta. 
A partir do apresentado, analise as asserções a seguir e a relação proposta entre elas. 
  
I. A tarefa redutora converte pares de linhas alimentando a entrada do processo reduce. 
Pois: 
II. O redutor coleta as saídas orientadas linha a linha a partir da saída padrão do processo stdout. 
 
A seguir, assinale a alternativa correta.
  
	
	
	
	
		Resposta Selecionada: 
	
A asserção I é uma proposição falsa e a II é uma proposição verdadeira. 
	Resposta Correta: 
	
A asserção I é uma proposição falsa e a II é uma proposição verdadeira. 
	Comentário da resposta: 
	Resposta correta. A alternativa está correta, pois a asserção II é uma proposição verdadeira, uma vez que o redutor coleta as saídas orientadas linha a linha a partir da saída padrão do processostdout, convertendo cada linha em um par de chave-valor, que é coletado como a saída do redutor. 
	
	
	
 Pergunta 7 
1 em 1 pontos
	
	
	
	O Hadoop Streaming é uma API genérica e permite escrever mapeadores e redutores. Em qualquer trabalho do MapReduce, temos entrada e saída como pares de chave/valor. O mesmo conceito é verdadeiro para a API Streaming, onde entrada e saída são sempre representadas como texto.
Considerando o exposto, para executar o job no Hadoop Cluster , podemos usar a API de Streaming, 
que possui as funções:
  
	
	
	
	
		Resposta Selecionada: 
	
Stdin e Stdout. 
	Resposta Correta: 
	
Stdin e Stdout. 
	Comentário da resposta: 
	Resposta correta. A alternativa está correta, pois para executar o job no Hadoop Cluster, podemos usar a API de Streaming para que os dados possam ser transmitidos entre o Mapper e o Reducer usando stdin e stdout. Depois que o trabalho for concluído, caso não apresente lançamento de exceções ou erros, será visto um log do console com a última linha mencionando o caminho em que a saída do job está armazenada. 
	
	
	
 Pergunta 8 
1 em 1 pontos
	
	
	
	Uma das ferramentas do framework 
da Apache é o Hadoop Streaming . Este utilitário ajuda a criar e executar tarefas específicas do MadReduce com um executável e também a reduzir trabalhos. O Hadoop Streaming possui em sua composição um mapeador e um redutor, com suas funções map() e reduce(), respectivamente.
 Sobre o mapeador e redutor do Hadoop Streaming, é correto afirmar que:
  
	
	
	
	
		Resposta Selecionada: 
	
o mapeador e o redutor devem ler entradas stdin e emitir saídas stdout. 
	Resposta Correta: 
	
o mapeador e o redutor devem ler entradas stdin e emitir saídas stdout. 
	Comentário da resposta: 
	Resposta correta. A alternativa está correta, pois para usar o Hadoop Streaming, o mapeador e o redutor precisam ser executáveis ​​e devem poder ler as entradas chamadas stdin, linha por linha, e emitir a saída chamada stdout. A API de streaming do Hadoop 
criará e enviará uma tarefa Map/Reduce a partir dos executáveis ​​definidos para o Mapper (mapeadores) e Reducers 
(redutores). 
	
	
	
 Pergunta 9 
1 em 1 pontos
	
	
	
	 Uma tarefa MapReduce, no Hadoop, divide o conjunto de dados de entrada em partes independentes que são processadas pelas tarefas de mapa de uma maneira completamente paralela. A estrutura classifica as sápidas dos mapas, que são inseridas nas tarefas de redução. 
A partir do apresentado, analise as asserções a seguir e a relação proposta entre elas. 
  
I. A entrada e saída do trabalho são armazenados em um sistema de arquivos. 
Pois: 
II. A estrutura MapReduce e o Hadoop Distributed File System estão em execução no mesmo conjunto de nós. 
 
A seguir, assinale a alternativa correta.
  
	
	
	
	
		Resposta Selecionada: 
	
As asserções I e II são proposições verdadeiras, e a II é uma justificativa correta da I. 
	Resposta Correta: 
	
As asserções I e II são proposições verdadeiras, e a II é uma justificativa correta da I. 
	Comentário da resposta: 
	Resposta correta. A alternativa está correta, pois a asserção I é uma proposição verdadeira, visto que normalmente a entrada e a saída do trabalho são armazenadas em um sistema de arquivos. A estrutura cuida de agendar tarefas, monitorando-as e executando novamente as tarefas com falha. A asserção II também é verdadeira e justifica/complementa a I, pois normalmente os nós de computação e os de armazenamento são os mesmos, ou seja, a estrutura MapReduce e o Hadoop Distributed File System estão em execução no mesmo conjunto de nós. Isso permite que a estrutura agende tarefas nos nós em que os dados já estão presentes. 
	
	
	
 Pergunta 10 
0 em 1 pontos
	
	
	
	O Hadoop possui características como escalabilidade, consistência, tolerância a falhas e capacidade de recuperação. Essas características quando bem implementadas garantem uma boa arquitetura. A arquitetura do Hadoop é composta por elementos como: MapReduce, Spark, Streaming, Cluster e outros.
A respeito das características do Hadoop Streaming, analise as afirmativas a seguir e assinale V para a(s) verdadeira(s) e F para a(s) falsa(s). 
  
I. (           ) O modelo chave-valor é bastante empregado em bancos de dados não relacionais ou NoSQL. 
II. (           ) Quando um executável é especificado para reducers (redutores), as tarefas iniciam como um processo separado. 
III. (           ) Quando um executável é especificado para mapeadores, cada tarefa deve iniciar o redutor repetidamente. 
IV. (           ) Na sequência lógica do Hadoop Streaming, a tarefa do mapeador é pegar a entrada linha por linha. 
 
Assinale a alternativa que apresenta a sequência correta. 
	
	
	
	
		Resposta Selecionada: 
	
V, V, F, F. 
	Resposta Correta: 
	
V, V, F, V. 
	Comentário da resposta: 
	Sua resposta está incorreta. A sequência está incorreta. A afirmativa III é falsa, pois, de acordo com a própria documentação do Hadoop Streaming, quando um executável é especificado para mapeadores, cada tarefa do mapeador inicia o executável como um processo separado quando o mapeador é inicializado.