Aula2 - TEMA 1 O ECOSSISTEMA HADOOP

Prévia do material em texto

O Ecossistema Hadoop: Uma Visão 
Geral
Hadoop é uma plataforma de software open source para armazenamento e processamento distribuído de grandes 
conjuntos de dados em clusters de computadores. Em outras palavras, é um conjunto de software projetado para rodar em 
um grupo de computadores, conhecidos como clusters, em vez de em um único computador.
https://gamma.app
Armazenamento Distribuído: A Base do Hadoop
Escalabilidade Horizontal
O Hadoop permite aumentar a capacidade de 
armazenamento de forma horizontal, adicionando mais 
servidores ao cluster. Isso torna o armazenamento 
mais barato e fácil de expandir.
Tolerância a Falhas
O HDFS (Hadoop Distributed File System) mantém 
cópias redundantes dos dados em diferentes 
servidores. Se um servidor falhar, os dados ainda 
podem ser recuperados de outros servidores.
https://gamma.app
Processamento Distribuído: Potência em 
Paralelo
O Hadoop processa dados de forma distribuída, utilizando a capacidade de vários servidores ao mesmo tempo. Isso torna 
o processamento mais rápido e eficiente, especialmente para grandes volumes de dados.
https://gamma.app
Um Breve Histórico: As Origens do Hadoop
1
Nutch
O Hadoop foi criado no Yahoo! durante o 
desenvolvimento de um novo motor de busca chamado 
Nutch.
2
Inspiração do Google
Os desenvolvedores Doug Cutting e Tom White se 
inspiraram em tecnologias descritas pelo Google, como 
o GFS (Google File System) e o MapReduce.
3
Projeto Open Source
Hoje, o Hadoop é um projeto open source mantido pela 
Apache Software Foundation.
https://gamma.app
Componentes Essenciais: O Coração do Hadoop
HDFS (Hadoop Distributed 
File System)
É a base do Hadoop, responsável por 
armazenar grandes volumes de 
dados em um cluster.
YARN (Yet Another Resource 
Negotiator)
Gerencia os recursos do cluster, 
decidindo qual servidor executará 
qual tarefa e balanceando a carga 
entre os servidores.
MapReduce
Modelo de programação que 
processa os dados no cluster, 
utilizando mapeadores e redutores 
para transformar e agregar os 
resultados.
https://gamma.app
Componentes Adicionais: 
Expansão de Funcionalidades
1 Pig
API de alto nível que permite criar scripts semelhantes ao SQL para 
consultas complexas.
2 Hive
Semelhante ao Pig, mas se parece mais com um banco de dados SQL, 
permitindo consultas SQL sobre os dados no HDFS.
3 Ambari
Interface de usuário (UI) que permite visualizar e gerenciar os recursos 
do cluster, além de executar consultas e importar bancos de dados.
4 Spark
Alternativa ao MapReduce, mais eficiente e poderoso, capaz de 
manipular consultas SQL, realizar operações de aprendizado de 
máquina, e processar fluxos de dados em tempo real.
https://gamma.app
Ferramentas de Ingestão de 
Dados: Conectando o Hadoop 
ao Mundo
1
Sqoop
Conecta o Hadoop a bancos de dados relacionais, importando 
dados para o HDFS.
2
Flume
Transporta logs da web para o Hadoop, coletando dados de 
diversas fontes.
3
Kafka
Coleta dados de diversas fontes para o Hadoop, ideal para 
processamento de dados em tempo real.
https://gamma.app
O Poder do Hadoop: Uma Plataforma Completa
O ecossistema Hadoop oferece uma plataforma completa para armazenamento e processamento de grandes volumes de 
dados, aproveitando a capacidade distribuída de clusters de servidores. Com seus diversos componentes e ferramentas, o 
Hadoop se tornou uma solução essencial para empresas que precisam lidar com grandes quantidades de dados e extrair 
insights valiosos.
https://gamma.app