Uniasselvi - Big Data Stream Arquitetura de Coleta e Armazenamento (19369) - Avaliacao II

Prévia do material em texto

07/12/21, 09:24 AVA
https://ava2.uniasselvi.com.br/subject/grades-and-tests/answer-book/eyJ0ZXN0Ijp7InRlc3RDb2RlIjoiNjg5MjIxIiwiZGVzY3JpcHRpb24iOiJBdmFsaWHDp8OjbyBJSSAtIEluZGl2aWR1YWwiLCJwYXJhbWV0ZXIiOjU0O… 1/7
GABARITO | Avaliação II - Individual (Cod.:689221)
Peso da Avaliação
1,50
Prova
39868760
Qtd. de Questões
10
Acertos/Erros
7/3
Nota
7,00
Como processar grandes quantidades de dados de forma rápida e a baixo custo? A resposta é Hadoop! Esta framework distribuída, direcionada para
clusters, foi criada pela Apache em 2011 e é usada por vários players à escala mundial como, por exemplo, o Facebook, Yahoo, Amazon, Netflix, eBay,
Google, entre outros, com o objetivo de gerir e processar grandes quantidades de dados (estruturados e não estruturados). O Apache Hadoop é uma
Framework/Plataforma desenvolvida em Java, para computação distribuída, usada para processamento de grandes quantidades de informação (usando
modelos de programação simples). Sobre Apache Hadoop, assinale a alternativa CORRETA:
 
FONTE: https://pplware.sapo.pt/linux/apache-hadoop-hoje-vai-instalar-primeiro-cluster/. Acesso em: 1º jun. 2021.
A O Apache Hadoop quando utilizado em máquinas virtuais é sempre utilizado na versão pseudo-distribuída.
B O Apache Hadoop pode ser utilizado apenas através de máquinas virtuais.
C O Apache Hadoop pode ser obtido em máquinas virtuais fornecidas por empresas, bem como pode ser instalado diretamente em um
computador.
D O Apache Hadoop pode ser utilizado on-line através de qualquer domínio na Web.
Surgido como uma plataforma voltada ao armazenamento e ao processamento de dados em larga escala, o framework Apache Hadoop é uma
tecnologia amplamente difundida e consolidada, tanto em termos comerciais quanto no ambiente acadêmico. Considerando os comandos em ambiente
Hadoop, associe os itens, utilizando o código a seguir:
 
I- lsr.
 II- du.
 III- mv.
 IV- dus.
 
( ) Exibe as entradas em todos os subdiretórios do caminho.
 
A+ Alterar modo de visualização
1
2
07/12/21, 09:24 AVA
https://ava2.uniasselvi.com.br/subject/grades-and-tests/answer-book/eyJ0ZXN0Ijp7InRlc3RDb2RlIjoiNjg5MjIxIiwiZGVzY3JpcHRpb24iOiJBdmFsaWHDp8OjbyBJSSAtIEluZGl2aWR1YWwiLCJwYXJhbWV0ZXIiOjU0O… 2/7
( ) Mostra o uso de disco, em bytes, para todos os arquivos que correspondem ao caminho; os nomes de arquivos são relatados com o protocolo
completo HDFS prefixo.
( ) Imprime um resumo da utilização do disco de todos os arquivos/diretórios no path.
( ) Move o arquivo ou diretório indicado pelo src para dest, dentro do HDFS.
Assinale a alternativa que apresenta a sequência CORRETA:
FONTE: SANTOS, Carlos Eduardo Domingues dos. Processamento de imagens distribuído usando o Hadoop e HIPI. 2017. Trabalho de Conclusão de
Curso. Universidade Tecnológica Federal do Paraná.
A IV - III - II - I.
B I - II - IV - III.
C II - I - III - IV.
D III - I - IV - II.
O Apache Spark é implementado em conjunto, com um cluster do Hadoop, e o Spark pode se beneficiar de vários recursos, como resultado. Por si
só, o Spark é uma ferramenta poderosa para processar grandes volumes de dados, mas ainda não é adequado para cargas de trabalho de produção na
empresa. Acerca da relação entre Spark e Hadoop, classifique V para as sentenças verdadeiras e F para as falsas:
( ) Fazem as mesmas coisas.
( ) Você pode usar um sem o outro.
( ) O Spark é uma linguagem de programador.
( ) O Hadoop é um banco de dados.
Assinale a alternativa que apresenta a sequência CORRETA:
A F - V - V - F.
B F - V - F - F.
C F - V - F - V.
D V - V - F - F.
3
07/12/21, 09:24 AVA
https://ava2.uniasselvi.com.br/subject/grades-and-tests/answer-book/eyJ0ZXN0Ijp7InRlc3RDb2RlIjoiNjg5MjIxIiwiZGVzY3JpcHRpb24iOiJBdmFsaWHDp8OjbyBJSSAtIEluZGl2aWR1YWwiLCJwYXJhbWV0ZXIiOjU0O… 3/7
O Apache Hadoop é um framework de computação paralela e distribuída para processamento de grandes conjuntos de dados, dentre os fatores que
permeiam sua arquitetura foi desenvolvido seguindo o paradigma de programação MapReduce. Sobre os comandos do Hadoop, classifique V para as
sentenças verdadeiras e F para as falsas:
( ) O comando cat recupera todos os arquivos que correspondem ao caminho src, HDFS, e copia-os para um único arquivo mesclado no sistema de
arquivos local identificado por localDest.
( ) O comando getmerge exibe o conteúdo do arquivo no stdout.
( ) O comando moveToLocal funciona como o get, mas exclui o HDFS cópia de sucesso.
( ) O comando mkdir cria um diretório chamado caminho HDFS.
Assinale a alternativa que apresenta a sequência CORRETA:
A V - V - V - F.
B F - F - V - V.
C V - F - V - V.
D F - F - F - V.
O Hadoop é um ótimo exemplo de software utilizado para esse fim, sendo usado em clusters computacionais para criar um ambiente que permita o
processamento distribuído de dados, o Hadoop é executado por meio de clusters que permitem com que sejam utilizados hardware de mais baixo custo.
Considerando os comandos em ambiente Hadoop, associe os itens, utilizando o código a seguir:
I- setrep.
II- touchz.
III- test.
IV- stat.
( ) Imprime as informações a respeito do caminho. O formato é uma string que aceita tamanho do arquivo em blocos, pasta, tamanho de bloco,
replicação e data de modificação.
( ) Cria um arquivo no caminho que contém o tempo atual, como um carimbo. Não se um arquivo já existe no caminho, a menos que o arquivo tenha o
4
5
07/12/21, 09:24 AVA
https://ava2.uniasselvi.com.br/subject/grades-and-tests/answer-book/eyJ0ZXN0Ijp7InRlc3RDb2RlIjoiNjg5MjIxIiwiZGVzY3JpcHRpb24iOiJBdmFsaWHDp8OjbyBJSSAtIEluZGl2aWR1YWwiLCJwYXJhbWV0ZXIiOjU0O… 4/7
tamanho 0.
( ) Retorna 1 se existe caminho; possui comprimento zero; é um diretório ou 0, caso contrário.
( ) Copia o arquivo ou diretório identificado pela origem para o destino, dentro do HDFS.
Assinale a alternativa que apresenta a sequência CORRETA:
A II - I - III - IV.
B II - III - I - IV.
C I - II - III - IV.
D IV - II - I - III.
No meio da análise de dados, um conceito que ganha força e no qual grande parte do MapReduce está baseado é o Big Data. Trata-se de um termo
empregado para descrever o crescimento, o uso e a disponibilidade das informações, sejam elas estruturadas ou não. Para o Big Data, o importante não é
a coleta de grandes quantidades de dados, mas sim como eles são processados. O potencial que ele traz para as empresas é imenso e para utilizá-lo, elas
precisam ser capazes de aproveitar as informações contidas em suas gigantescas bases de dados para tomar as melhores decisões. Sobre o MapReduce,
assinale a alternativa CORRETA:
A MapReduce é um componente do Hadoop, não sendo necessário para sua execução.
B MapReduce é um modelo de programação, no qual o modelo usa chaves e valores para vincular dados de entrada à função Map,
responsável por reconhecer as entradas e a função Reduce para agrupar e diminuir a saída.
C MapReduce é o banco de dados nativo do Hadoop, que permite com que sejam armazenados dados distribuídos.
D MapReduce é a linguagem de programação nativa do Hadoop, que permite com que sejam armazenados dados distribuídos.
Dentre suas funcionalidades, o apache Hadoop também é usado amplamente como motor de muitos sistemas de processamento de consultas
básicas, bem como para processamento de grandes volumes de dados. Sobre os comandos do framework Apache Hadoop, classifique V para as
sentenças verdadeiras e F para as falsas:
6
7
07/12/21, 09:24 AVA
https://ava2.uniasselvi.com.br/subject/grades-and-tests/answer-book/eyJ0ZXN0Ijp7InRlc3RDb2RlIjoiNjg5MjIxIiwiZGVzY3JpcHRpb24iOiJBdmFsaWHDp8OjbyBJSSAtIEluZGl2aWR1YWwiLCJwYXJhbWV0ZXIiOjU0O… 5/7
( ) O comando setrep define o alvo fator replicação de arquivos identificados pelo caminho para replicar (o verdadeiro fator replicação irá se mover
para a meta ao longo do tempo)
( ) O comando touchz cria um arquivo no caminho que contém o tempo atual como um carimbo. Não se um arquivo já existente no caminho, a menos
que o arquivo já está tamanho 0.
( ) O comando test retorna 1 se existecaminho; possui comprimento zero; ou é um diretório ou 0 caso contrário.
( ) O comando stat imprime as informações sobre o caminho. Formato é uma string que aceita tamanho do arquivo em blocos (%b), ficheiro (%n),
tamanho de bloco ( %s), a replicação (%r), e data de modificação (%y, %Y).
Assinale a alternativa que apresenta a sequência CORRETA:
A V - V - V - V.
B V - F - V - F.
C V - F - V - V.
D F - V - F - V.
Embora o Hadoop seja o núcleo da redução de dados para alguns dos maiores mecanismos de pesquisa, ele é melhor descrito como uma estrutura
para o processamento de dados distribuídos. Dentre as opções de instalação o Hadoop, pode ser instalado em sistema operacional linux ubuntu. Sobre os
passos necessários para instalar o Apache Hadoop, classifique V para as senteças verdadeiras e F para as falsas:
( ) É necessário instalar o java antes de instalar o Hadoop.
( ) É necessário criar um grupo de usuários para o Hadoop.
( ) É necessário formatar o computador.
( ) É necessário criar um usuário e adicionar ao grupo criado.
Assinale a alternativa que apresenta a sequência CORRETA:
A V - V - V - F.
B F - V - F - V.
C V - F - V - V.
D V - V - F - V.
8
07/12/21, 09:24 AVA
https://ava2.uniasselvi.com.br/subject/grades-and-tests/answer-book/eyJ0ZXN0Ijp7InRlc3RDb2RlIjoiNjg5MjIxIiwiZGVzY3JpcHRpb24iOiJBdmFsaWHDp8OjbyBJSSAtIEluZGl2aWR1YWwiLCJwYXJhbWV0ZXIiOjU0O… 6/7
O Hadoop é um poderoso framework para Big Data. Sua instalação pode acontecer em diversos ambientes em cloud computing, bem como em
diversos sistemas operacionais. Dentre eles o linux ubuntu. Sobre os passos necessários para instalar o Apache Hadoop, classifique V para as sentenças
verdadeiras e F para as falsas:
( ) É necessária a instalação do OpenSSH.
( ) É necessário criar um grupo de usuários para o Hadoop.
( ) É necessário configurar o arquivo bashrhc.
( ) É necessário instalar o PostgreSQL. 
Assinale a alternativa que apresenta a sequência CORRETA:
A V - F - F - V.
B V - F - V - F.
C F - F - F - V.
D V - V - V - F.
Entre as muitas implementações do MapReduce disponíveis nos dias de hoje, o Apache Hadoop é o mais popular e possui código aberto. Hadoop
também é usado amplamente como motor de muitos sistemas de processamento de consultas básicas. Sobre os comandos do Hadoop A, classifique V
para as sentenças verdadeiras e F para as falsas:
( ) O comando copyfromlocal put copia o arquivo ou diretório no sistema de arquivos local identificado por localSrc ao destino dentro do HDFS.
( ) O comando put é idêntico ao copy no sistema de arquivos local identificado por localSrc ao dest a HDFS, e, em seguida, o exclui a cópia local de
sucesso.
( ) O comando movefromlocal copia o arquivo ou diretório em HDFS identificados pelo src para o caminho do sistema de arquivos local identificado
pelo localDest.
( ) O comando get exibe o conteúdo do stdout.
Assinale a alternativa que apresenta a sequência CORRETA:
9
10
07/12/21, 09:24 AVA
https://ava2.uniasselvi.com.br/subject/grades-and-tests/answer-book/eyJ0ZXN0Ijp7InRlc3RDb2RlIjoiNjg5MjIxIiwiZGVzY3JpcHRpb24iOiJBdmFsaWHDp8OjbyBJSSAtIEluZGl2aWR1YWwiLCJwYXJhbWV0ZXIiOjU0O… 7/7
A F - F - V - V.
B V - F - V - V.
C V - V - F - F.
D F - F - F - F.