Hadoop

Prévia do material em texto

Hadoop 
 
Hadoop é uma estrutura de software de código aberto usada para armazenar e 
processar grandes volumes de dados em um ambiente distribuído. Desenvolvido para 
aproveitar o poder de processamento de clusters de computadores, ele permite a 
análise e o armazenamento de dados em larga escala por meio do uso de vários 
componentes, como o Hadoop Distributed File System (HDFS) e o MapReduce. O 
HDFS gerencia o armazenamento distribuído dos dados, enquanto o MapReduce 
divide as tarefas de processamento e executa em paralelo, melhorando a eficiência do 
sistema. Seu design tolerante a falhas e a capacidade de escalabilidade horizontal 
fazem do Hadoop uma ferramenta amplamente utilizada em aplicações de big data.
Pergunta Discursiva: 
1. Explique como o Hadoop processa grandes volumes de dados em um 
ambiente distribuído e quais são os principais componentes que o tornam 
eficiente para essa tarefa. Quais são as vantagens e limitações do uso do 
Hadoop em um ambiente de big data?
Resposta:
O Hadoop processa grandes volumes de dados usando uma arquitetura 
distribuída que se baseia em dois componentes principais: o Hadoop 
Distributed File System (HDFS) e o modelo de programação MapReduce. O 
HDFS armazena os dados de forma distribuída em vários nós de um cluster, 
replicando os dados em diferentes máquinas para garantir a tolerância a 
falhas. Quando uma tarefa de processamento é solicitada, o sistema divide o 
trabalho entre diferentes nós para que eles possam processar os dados de 
forma paralela, o que é realizado pelo modelo MapReduce. Esse modelo de 
programação divide as tarefas em duas fases, Map e Reduce, o que permite 
que diferentes partes dos dados sejam processadas simultaneamente, 
aumentando a eficiência e reduzindo o tempo de processamento.
As principais vantagens do Hadoop incluem sua escalabilidade, permitindo 
que novos nós sejam adicionados ao cluster conforme o volume de dados 
cresce, e sua tolerância a falhas, pois, caso um nó falhe, as tarefas são 
redistribuídas automaticamente. Além disso, como é uma ferramenta de 
código aberto, permite que empresas reduzam custos de infraestrutura. No 
entanto, Hadoop também apresenta limitações: ele não é ideal para 
processamento de dados em tempo real, pois foi projetado para análise de 
dados em batch, e a configuração e manutenção de clusters podem ser 
complexas e demandar expertise técnica.
af://n5407
af://n5410
af://n5416
Perguntas de Múltipla Escolha: 
2. Qual dos seguintes componentes é responsável por gerenciar o 
armazenamento distribuído dos dados no Hadoop?
A) YARN
B) MapReduce
C) HDFS
D) Hive
Resposta: C) HDFS
3. Qual das alternativas abaixo descreve corretamente a função do 
MapReduce no Hadoop?
A) Armazenar os dados de maneira distribuída em clusters
B) Gerenciar o acesso ao cluster e a segurança dos dados
C) Realizar o processamento paralelo de grandes volumes de 
dados, dividindo-os em tarefas Map e Reduce
D) Organizar a estrutura de diretórios e partições de dados no 
cluster
Resposta: C) Realizar o processamento paralelo de grandes volumes de 
dados, dividindo-os em tarefas Map e Reduce
4. Uma das vantagens do Hadoop em ambientes de big data é:
A) A capacidade de processar dados em tempo real com baixa 
latência
B) A tolerância a falhas, replicando dados entre diferentes nós do 
cluster
C) A execução de processos exclusivamente em máquinas físicas 
dedicadas
D) O uso de uma interface gráfica para configurar a estrutura do 
cluster
Resposta: B) A tolerância a falhas, replicando dados entre diferentes nós do 
cluster
 
af://n5416