Apache Hadoop: Comandos, Instalação e Distribuidores

Prévia do material em texto

24/11/22, 22:19 Avaliação II - Individual
about:blank 1/5
Prova Impressa
GABARITO | Avaliação II - Individual (Cod.:770130)
Peso da Avaliação 1,50
Prova 58059709
Qtd. de Questões 10
Acertos/Erros 10/0
Nota 10,00
Entre as muitas implementações do MapReduce disponíveis nos dias de hoje, o Apache Hadoop 
é o mais popular e possui código aberto. Hadoop também é usado amplamente como motor de muitos 
sistemas de processamento de consultas básicas. Sobre os comandos do Hadoop A, classifique V para 
as sentenças verdadeiras e F para as falsas: 
( ) O comando copyfromlocal put copia o arquivo ou diretório no sistema de arquivos local 
identificado por localSrc ao destino dentro do HDFS. 
( ) O comando put é idêntico ao copy no sistema de arquivos local identificado por localSrc ao dest 
a HDFS, e, em seguida, o exclui a cópia local de sucesso. 
( ) O comando movefromlocal copia o arquivo ou diretório em HDFS identificados pelo src para o 
caminho do sistema de arquivos local identificado pelo localDest. 
( ) O comando get exibe o conteúdo do stdout. 
Assinale a alternativa que apresenta a sequência CORRETA:
A F - F - V - V.
B F - F - F - F.
C V - F - V - V.
D V - V - F - F.
O Hadoop é um poderoso framework para Big Data. Sua instalação pode acontecer em diversos 
ambientes em cloud computing, bem como em diversos sistemas operacionais. Dentre eles o linux 
ubuntu. Sobre os passos necessários para instalar o Apache Hadoop, classifique V para as sentenças 
verdadeiras e F para as falsas: 
( ) É necessária a instalação do OpenSSH. 
( ) É necessário criar um grupo de usuários para o Hadoop. 
( ) É necessário configurar o arquivo bashrhc. 
( ) É necessário instalar o PostgreSQL. 
Assinale a alternativa que apresenta a sequência CORRETA:
A F - F - F - V.
B V - F - V - F.
C V - V - V - F.
D V - F - F - V.
 VOLTAR
A+ Alterar modo de visualização
1
2
24/11/22, 22:19 Avaliação II - Individual
about:blank 2/5
Surgido como uma plataforma voltada ao armazenamento e ao processamento de dados em 
larga escala, o framework Apache Hadoop é uma tecnologia amplamente difundida e consolidada, 
tanto em termos comerciais quanto no ambiente acadêmico. Considerando os comandos em ambiente 
Hadoop, associe os itens, utilizando o código a seguir: 
I- lsr. 
II- du. 
III- mv. 
IV- dus. 
( ) Exibe as entradas em todos os subdiretórios do caminho. 
( ) Mostra o uso de disco, em bytes, para todos os arquivos que correspondem ao caminho; os 
nomes de arquivos são relatados com o protocolo completo HDFS prefixo. 
( ) Imprime um resumo da utilização do disco de todos os arquivos/diretórios no path. 
( ) Move o arquivo ou diretório indicado pelo src para dest, dentro do HDFS. 
Assinale a alternativa que apresenta a sequência CORRETA: 
FONTE: SANTOS, Carlos Eduardo Domingues dos. Processamento de imagens distribuído usando o 
Hadoop e HIPI. 2017. Trabalho de Conclusão de Curso. Universidade Tecnológica Federal do Paraná.
A IV - III - II - I.
B I - II - IV - III.
C II - I - III - IV.
D III - I - IV - II.
Como processar grandes quantidades de dados de forma rápida e a baixo custo? A resposta é 
Hadoop! Esta framework distribuída, direcionada para clusters, foi criada pela Apache em 2011 e é 
usada por vários players à escala mundial como, por exemplo, o Facebook, Yahoo, Amazon, Netflix, 
eBay, Google, entre outros, com o objetivo de gerir e processar grandes quantidades de dados 
(estruturados e não estruturados). O Apache Hadoop é uma Framework/Plataforma desenvolvida em 
Java, para computação distribuída, usada para processamento de grandes quantidades de informação 
(usando modelos de programação simples). Sobre Apache Hadoop, assinale a alternativa CORRETA: 
FONTE: https://pplware.sapo.pt/linux/apache-hadoop-hoje-vai-instalar-primeiro-cluster/. Acesso em: 
1º jun. 2021.
A O Apache Hadoop pode ser utilizado apenas através de máquinas virtuais.
B O Apache Hadoop quando utilizado em máquinas virtuais é sempre utilizado na versão pseudo-
distribuída.
C O Apache Hadoop pode ser utilizado on-line através de qualquer domínio na Web.
D O Apache Hadoop pode ser obtido em máquinas virtuais fornecidas por empresas, bem como
pode ser instalado diretamente em um computador.
3
4
24/11/22, 22:19 Avaliação II - Individual
about:blank 3/5
Inicialmente, as máquinas virtuais permitem a criação de um ambiente de execução, 
possivelmente com um conjunto de bibliotecas e sistemas operacionais próprios, onde uma aplicação 
pode executar sobre uma plataforma de hardware comum junto a outras máquinas. Sobre os nomes de 
distribuidores de máquinas virtuais com Apache Hadoop, assinale a alternativa CORRETA:
A NoSQL, Oracle e Microsoft.
B Cloudera, Hortonworks, MapR e Bitnami.
C Coursera, Hortonworks, MapReduce e Bitnami.
D Google, Amazon AWS, IBM.
O Apache Spark é implementado em conjunto, com um cluster do Hadoop, e o Spark pode se 
beneficiar de vários recursos, como resultado. Por si só, o Spark é uma ferramenta poderosa para 
processar grandes volumes de dados, mas ainda não é adequado para cargas de trabalho de produção 
na empresa. Acerca da relação entre Spark e Hadoop, classifique V para as sentenças verdadeiras e F 
para as falsas: 
( ) Fazem as mesmas coisas. 
( ) Você pode usar um sem o outro. 
( ) O Spark é uma linguagem de programador. 
( ) O Hadoop é um banco de dados. 
Assinale a alternativa que apresenta a sequência CORRETA:
A F - V - V - F.
B V - V - F - F.
C F - V - F - V.
D F - V - F - F.
O Apache Hadoop é um framework de computação paralela e distribuída para processamento de 
grandes conjuntos de dados, dentre os fatores que permeiam sua arquitetura foi desenvolvido 
seguindo o paradigma de programação MapReduce. Sobre os comandos do Hadoop, classifique V 
para as sentenças verdadeiras e F para as falsas: 
( ) O comando cat recupera todos os arquivos que correspondem ao caminho src, HDFS, e copia-os 
para um único arquivo mesclado no sistema de arquivos local identificado por localDest. 
( ) O comando getmerge exibe o conteúdo do arquivo no stdout. 
( ) O comando moveToLocal funciona como o get, mas exclui o HDFS cópia de sucesso. 
( ) O comando mkdir cria um diretório chamado caminho HDFS. 
Assinale a alternativa que apresenta a sequência CORRETA:
A F - F - F - V.
B F - F - V - V.
5
6
7
24/11/22, 22:19 Avaliação II - Individual
about:blank 4/5
C V - F - V - V.
D V - V - V - F.
As soluções do Cloudera para clusters oferecem escalabilidade, flexibilidade, integração da 
plataforma que torna fácil o gerenciamento de grandes volumes e variedades de dados na maioria dos 
empreendimentos. Esta ferramenta permite a implantação e o gerenciamento do Apache Hadoop e de 
projetos relacionados para manipular e analisar os dados, bem como mantê-los. Sobre as soluções 
Cloudera, associe os itens, utilizando o código a seguir: 
I- CDH. 
II- Cloudera Impala. 
III- Cloudera Manager. 
IV- Cloudera Navigator. 
( ) Uma ferramenta de gerenciamento de dados de ponta a ponta para uma plataforma CDH. Essa 
ferramenta permite administradores, gerentes de dados, e análise para explorar grandes amontoados 
de dados no Hadoop. 
( ) Uma aplicação sofisticada usada para implantação, gerenciamento, monitoramento, e 
diagnóstico de problemas com a implantação do CDH. Este produto fornece um console Admin, em 
uma aplicação com interface web para o usuário, que torna a administração dos dados do 
empreendimento mais simples e diretos. 
( ) Uma engine SQL de processamento paralelo massivo de análise interativa e para BI. Possui 
arquitetura altamente otimizada que o torna ideal para queries estilo BI tradicionais com joins, 
agregations e subqueries. 
( ) A distribuição do Apache Hadoop do Cloudera e outros projetos open source relacionados 
incluem Cloudera Impala e Cloudera Search, sem contar da segurança e integração de várias soluções 
em hardware e software. 
Assinale a alternativa que apresenta a sequência CORRETA:A IV - III - II - I.
B I - II - IV - III.
C III - I - IV - II.
D II - I - III - IV.
No meio da análise de dados, um conceito que ganha força e no qual grande parte do 
MapReduce está baseado é o Big Data. Trata-se de um termo empregado para descrever o 
crescimento, o uso e a disponibilidade das informações, sejam elas estruturadas ou não. Para o Big 
Data, o importante não é a coleta de grandes quantidades de dados, mas sim como eles são 
processados. O potencial que ele traz para as empresas é imenso e para utilizá-lo, elas precisam ser 
capazes de aproveitar as informações contidas em suas gigantescas bases de dados para tomar as 
melhores decisões. Sobre o MapReduce, assinale a alternativa CORRETA:
A MapReduce é a linguagem de programação nativa do Hadoop, que permite com que sejam
armazenados dados distribuídos.
MapReduce é um modelo de programação, no qual o modelo usa chaves e valores para vincular
8
9
24/11/22, 22:19 Avaliação II - Individual
about:blank 5/5
B dados de entrada à função Map, responsável por reconhecer as entradas e a função Reduce para
agrupar e diminuir a saída.
C MapReduce é um componente do Hadoop, não sendo necessário para sua execução.
D MapReduce é o banco de dados nativo do Hadoop, que permite com que sejam armazenados
dados distribuídos.
Dentre suas funcionalidades, o apache Hadoop também é usado amplamente como motor de 
muitos sistemas de processamento de consultas básicas, bem como para processamento de grandes 
volumes de dados. Sobre os comandos do framework Apache Hadoop, classifique V para as 
sentenças verdadeiras e F para as falsas: 
( ) O comando setrep define o alvo fator replicação de arquivos identificados pelo caminho para 
replicar (o verdadeiro fator replicação irá se mover para a meta ao longo do tempo) 
( ) O comando touchz cria um arquivo no caminho que contém o tempo atual como um carimbo. 
Não se um arquivo já existente no caminho, a menos que o arquivo já está tamanho 0. 
( ) O comando test retorna 1 se existe caminho; possui comprimento zero; ou é um diretório ou 0 
caso contrário. 
( ) O comando stat imprime as informações sobre o caminho. Formato é uma string que aceita 
tamanho do arquivo em blocos (%b), ficheiro (%n), tamanho de bloco ( %s), a replicação (%r), e data 
de modificação (%y, %Y).
Assinale a alternativa que apresenta a sequência CORRETA:
A F - V - F - V.
B V - F - V - V.
C V - F - V - F.
D V - V - V - V.
10
Imprimir