Logo Passei Direto
Buscar
Material
páginas com resultados encontrados.
páginas com resultados encontrados.

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Prévia do material em texto

INTRODUÇÃO À 
CIÊNCIA DE 
DADOS 
Wheslley Rimar Bezerra
O ecossistema de big data
Objetivos de aprendizagem
Ao final deste texto, você deve apresentar os seguintes aprendizados:
  Descrever o conceito de data lake.
  Reconhecer as camadas que compõem o ecossistema de big data.
  Identificar as ferramentas que compõem cada camada do ecossistema 
de big data.
Introdução
O termo “big data” tornou-se amplamente conhecido no mundo: nunca 
houve tanta produção de dados como nos últimos anos. Estamos mais 
conectados, e as informações podem ser consideradas como moedas 
de troca nesse oceano de dados. Muitos conceitos e ferramentas estão 
incluídos no contexto de big data e, portanto, entender como funciona 
esse ecossistema é essencial para um bom desempenho dos profissionais 
que atuam nessa área.
Neste capítulo, você vai aprender conceitos primordiais que permeiam 
o big data, como data lake, segurança, armazenamento e processamento 
de dados. Além disso, conhecerá algumas das principais ferramentas 
adotadas pela indústria no tratamento dos dados que são gerados 
diariamente.
1 O que é data lake?
Em algum momento, você já deve ter ouvido a frase “os dados representam 
o novo petróleo”. De fato, os dados estão em todo lugar. Organizações e 
pessoas de todo o mundo geram bilhões e bilhões de dados a cada minuto, 
e quanto mais informações são geradas, mais poder e valor são agregados a 
quem as detém.
Nesse sentido, sabendo do incrível potencial que temos para produzir, 
analisar e manipular dados, uma questão importante é como armazenar, 
processar e analisar os grandes conjuntos de dados gerados por empresas e 
pessoas. Muitas são as ferramentas disponíveis, e você verá algumas delas 
ao longo deste capítulo.
Para Couto et al. (2019), o conceito de data lake surgiu justamente no 
contexto de big data. Na prática, trata-se de um repositório para o processa-
mento de gigantescos volumes de dados. Em outras palavras, um data lake 
se caracteriza como um local que armazena grandes datasets (ou conjuntos 
de dados) no seu formato nativo (original e sem alterações): os chamados 
dados brutos.
Dizer que os dados estão em formato nativo ou bruto significa que eles ainda 
não passaram por qualquer tipo de processamento, análise ou manipulação, 
ou seja, não foram destinados para uma função específica, nem sofreram 
alterações. Nesse formato, é provável que alguns dados adicionados ao data 
lake não sejam de boa qualidade. Assim, como os dados encontram-se no seu 
estado original, podem ser acessados via ferramentas específicas de análises 
e, então, são destinados para fins específicos.
Como benefícios, os usuários de um data lake podem ter os seus dados 
combinados em profundas análises que auxiliam na obtenção de insights para 
tomadas de decisão mais assertivas. Além disso, os dados contidos em um 
data lake não são excluídos: tudo é retido e permanece armazenado. Dessa 
forma, quando necessário, o cientista de dados pode realizar novas análises e 
reutilizar os dados para diferentes propósitos quantas vezes forem necessárias.
Conforme Sharda, Delen e Turban (2019), entre algumas definições do 
termo data lake (que, em tradução literal para o português, significa “lago 
de dados”), a mais aceita pelo mercado é a de James Dixon, CTO da empresa 
Pentaho Corporation. Para ele, a representação desse tipo de repositório como 
um lago de dados é adequada porque a ideia é armazenar conjuntos de dados 
nos seus formatos originais.
De maneira análoga, poderíamos dizer que o data lake é como um lago que 
não sofreu alteração no seu fluxo de água ou cuja água não passou por filtra-
gem ou intervenção humana. Isso significa que os dados podem ser oriundos 
de diversas fontes, como bancos de dados relacionais (dados estruturados), 
arquivos CSV (dados semiestruturados) ou e-mails, documentos de textos, entre 
outros (dados não estruturados). Assim, em um data lake, os dados só passam 
por qualquer tipo de manipulação e transformação quando são utilizados em 
análises e quando têm propósitos de uso bem definidos.
Vale ressaltar também que esses repositórios de dados brutos precisam ser 
gerenciados continuamente, passando por manutenções constantes, para que os 
dados continuem íntegros e possam ser utilizados em momentos oportunos. Para 
O ecossistema de big data2
Vermeulen (2018), data lakes sem manutenção são chamados de data swamps (em 
português, pântanos de dados) e não devem ser temidos, mas devem ser domados 
(ou seja, gerenciados). Caso contrário, esses dados acabam se deteriorando e 
tornam-se inacessíveis, agregando pouco ou nenhum valor aos seus usuários.
É importante lembrar que data lake é um conceito, isto é, uma estratégia para 
armazenamento massivo de dados, e não uma ferramenta exclusiva. Portanto, 
podem ser necessárias junções de diversas tecnologias e ferramentas para se criar 
um data lake. Algumas das principais empresas de tecnologia fornecem serviços 
de construção desses repositórios. Exemplos são a Amazon, com o AWS Lake 
Formation, e o Google, que possui um serviço semelhante na sua plataforma de 
cloud computing, denominada Google Cloud Platform (GCP). O serviço de cloud 
storage da plataforma pode ser utilizado como um componente destinado ao data 
lake, na tratativa de dados não estruturados. Para dados estruturados, o GCP 
fornece algumas ferramentas como CloudSQL, Spanner, BigTable e BigQuery.
A Microsoft também oferece uma possibilidade: o seu serviço em nuvem 
chamado de Azure permite a criação de data lakes. Na Figura 1, você pode ver 
quais são as ferramentas que compõem a estrutura de data lake da Microsoft.
Figura 1. Microsoft Azure (data lake).
Fonte: Microsoft (2020, documento on-line).
A estrutura do Azure Data Lake está dividida em três partes essenciais: 
HDInsight, Data Lake Analytics e Azure Data Lake Store:
  HDInsight – na prática, implementa o Apache Hadoop em nuvem, 
viabilizando clusters otimizados para os serviços Spark, Hive, Map 
Reduce, Kafka, entre outros (vamos falar sobre essas tecnologias mais 
adiante neste capítulo).
3O ecossistema de big data
  Data Lake Analytics – contempla ferramentas de análise e processa-
mento de big data.
  Data Lake Store – é o data lake em si, capaz de armazenar dados sem 
limites.
Data lake e data warehouse
Muitas pessoas confundem os conceitos de data lake e data warehouse, 
pensando que são a mesma coisa ou que têm funções muito semelhantes, 
mas na verdade eles possuem diferenças bastante signifi cativas. Tanto o 
data lake quanto o data warehouse são repositórios e armazenam grandes 
conjuntos de dados —talvez essa seja a única coisa que há em comum entre 
os dois conceitos.
Porém, enquanto os dados são brutos no data lake, no data warehouse eles 
já passaram por filtros, foram analisados, processados e têm uma finalidade. 
Veja no Quadro 1 algumas das principais diferenças entre data lake e data 
warehouse.
Fonte: Adaptado de Patrizio (2017).
Data Lake Data Warehouse
Dados Dados brutos (estruturados, 
semiestruturados e não 
estruturados)
Dados processados (dados 
estruturados)
Propósito Não definido Finalidade definida 
Usuários Cientistas/analistas de dados Profissionais de negócios e 
gestores 
Agilidade Rápido para atualizar e de fácil 
acesso
Complexo e caro para realizar 
modificações 
Segurança Ainda em evolução Bem consolidada 
Armazenamento Desenvolvido para baixo custo Alto custo em grandes volu-
mes de dados
Quadro 1. Diferenças entre data lake e data warehouse
O ecossistema de big data4
Pearlman (2019) afirma que tanto um data lake quanto um data warehouse 
podem ser aplicados em diferentes setores. Veja alguns exemplos a seguir:
  Saúde – dados clínicos, históricos de pacientes e notas médicas são 
ideais para serem armazenados em data lakes, visto que a grande maioria 
das informações produzidas pelo setor são de natureza não estruturada.
  Finanças – dados financeiros geralmente são acessados e processados 
por diversos profissionais em uma organização,não sendo necessária a 
intervenção de um cientista de dados. Nesse sentido, o ideal seria utilizar 
um data warehouse como repositório, uma vez que, por já estarem 
processados, os dados podem ser organizados para serem acessados 
por toda a empresa. Geralmente são de natureza estruturada.
  Transporte – como os dados de um data lake são flexíveis, a pro-
babilidade de se realizar previsões é alta. Isso significa que, no setor 
de transportes, por exemplo, é possível reduzir custos na entrega de 
suprimentos a clientes finais. A partir das previsões feitas por análises 
de dados, eles podem demonstrar para onde os gastos estão sendo 
direcionados, identificando se há excessos ou desperdícios.
  Educação – data lakes podem ajudar a entender o comportamento de 
alunos de uma instituição. Com base em avaliações, frequência e outros 
dados sobre os alunos, é possível identificar quais deles apresentam 
baixo aproveitamento, a fim de poder ajudá-los e minimizar problemas 
na educação.
2 Camadas do ecossistema de big data
Sistemas de big data podem ser divididos em camadas, cada uma com as 
suas responsabilidades. Ecossistemas de big data são complexos e reúnem 
técnicas de processamento, análise e armazenamento de dados. Portanto, ter 
um entendimento sobre as suas camadas facilita as atividades profi ssionais 
de um cientista de dados. Esse mesmo ecossistema é utilizado para embasar 
tomadas de decisão.
De acordo com Couto et al. (2019), as ferramentas que fazem parte desse 
ecossistema podem ser categorizadas em camadas. Entre elas, destacam-se 
as de ingestão, armazenamento, processamento, apresentação e segurança. 
A seguir, veja mais detalhes sobre cada uma delas:
5O ecossistema de big data
  Ingestão – as ferramentas dessa camada são responsáveis por trabalhar 
na coleta e aquisição de dados de inúmeras fontes. Assim, os dados 
são oriundos de sistemas empresariais, documentos de texto, planilhas 
eletrônicas, sistemas gerenciadores de bancos de dados relacionais, 
dispositivos móveis, e-mails, sensores, redes sociais, entre muitos outros 
(GOOGLE CLOUD, 2019).
  Armazenamento – nessa camada, atuam as ferramentas de software 
responsáveis por armazenar, integrar e organizar o big data. Os dados 
são recebidos da camada de ingestão e armazenados conforme o seu 
tipo. Dados estruturados podem ser armazenados em um banco de 
dados relacional, e os dados não estruturados podem ser armazenados 
em um sistema de arquivos.
  Processamento – nessa camada, as ferramentas responsáveis por 
processar os dados atuam transformando-os de modo que seja pos-
sível extrair insights a partir deles. Na prática, as ferramentas da 
camada de processamento buscam entender o comportamento dos 
dados utilizando diversos tipos de análises e, ao final, extraindo 
informações úteis.
  Apresentação – nessa camada, encontram-se as ferramentas que dão 
feedback visual para as tratativas dos dados. Isso significa que é nessa 
camada que o resultado do processamento é observado por meio de 
gráficos, relatórios ou outros recursos visuais. Em outras palavras, após a 
finalização das análises, os resultados são apresentados para recursos de 
saída, que podem ser aplicativos ou espectadores humanos, por exemplo.
  Segurança – essa camada é muito importante, pois nela estão as fer-
ramentas responsáveis por toda a segurança dos dados, verificando 
questões de criptografia, autenticação de usuários, além de auditoria, 
a fim de verificar a integridade dos dados.
3 Ferramentas do ecossistema de Big Data
Cada camada que forma o ecossistema de big data possui tecnologias que 
a suportam. Uma dessas ferramentas é o Apache Hadoop. Trata-se de uma 
estrutura de software extremamente poderosa, sendo responsável por ar-
mazenar grandes conjuntos de dados. Além disso, tem um grande poder de 
processamento, projetado para ambientes de computação distribuída.
O ecossistema de big data6
Computação distribuída se refere ao poder computacional gerado por diversos com-
putadores interconectados por meio de uma rede. O conceito se estende ao sistema 
de arquivos distribuídos, que consiste no armazenamento massivo de arquivos em 
hardwares diferentes, mas que estão conectados entre si por meio de uma rede de 
computadores.
O Hadoop é um software de código aberto (em inglês, open source) cons-
truído na linguagem de programação Java e mantido pela Apache Foundation. 
Ele é considerado um framework, em função da sua grande variedade de 
ferramentas (APACHE HADOOP, 2020).
Muitas pessoas acreditam equivocadamente que o Hadoop seja o big data 
em si, mas na verdade ele embasa todo um ecossistema para tratamento de 
big data. Ele é projetado para trabalhar em cluster (arquitetura computacional 
com a capacidade de interligar computadores para trabalharem em conjunto). 
A sua estrutura é formada por um sistema de armazenamento chamado de 
Hadoop Distributed File System (HDFS) e por um sistema de processamento 
denominado MapReduce. Além disso, há o Common, que traz as bibliotecas 
mais utilizadas, e o Yarn, para o gerenciamento dos processos do cluster.
Na Figura 2, você pode observar essas e algumas outras ferramentas que 
atuam em conjunto com o Hadoop, formando o ecossistema de big data.
Figura 2. Big data e o ecossistema Hadoop.
Fonte: Brum (2017, documento on-line).
7O ecossistema de big data
No Quadro 2, observe algumas dessas tecnologias separadas pelas suas 
respectivas camadas.
Fonte: Adaptado de Couto et al. (2019).
Camada Ferramenta 
Ingestão Apache Kafka
Apache Sqoop
Armazenamento Apache Cassandra
MySQL
Processamento Apache Spark
Apache Hive
Apresentação Tableau
Microsoft Power BI
Segurança Apache Ranger
Apache Ambari
Quadro 2. Camadas do ecossistema big data e respectivas ferramentas
Na sequência, você verá cada uma das ferramentas, de acordo com a sua 
respectiva camada.
Ferramentas da camada de ingestão
  Apache Kafka: essa é uma plataforma de streaming distribuída, que 
pode facilitar a moção de grandes volumes de dados entre sistemas — 
tudo isso em tempo real.
  Apache Sqoop: ferramenta utilizada para a transferência de dados 
entre o Apache Hadoop e bancos de dados relacionais. O propósito do 
Apache Sqoop é fazer a importação e exportação de grandes quantidades 
de dados entre um sistema gerenciador de banco de dados relacional 
e o Hadoop Distributed File System. Na Figura 3, veja esse fluxo de 
funcionamento do Sqoop.
O ecossistema de big data8
Figura 3. Funcionamento do Apache Sqoop.
A ferramenta importa tabelas do banco de dados (como MySQL, Oracle, DB2, 
entre outros) e armazena no HDFS, geralmente em formato texto ou binário. Já 
a ferramenta de exportação exporta arquivos do HDFS para o banco de dados.
Ferramentas da camada de armazenamento
  Apache Cassandra: essa ferramenta é um banco de dados não relacional 
projetado para atuar em cluster (modo distribuído), que tem como uma 
das suas características a integração com o Apache Hadoop. Além disso, 
possui tolerância a falhas e linguagem de consulta própria, chamada de 
CQL (Cassandra Query Language), uma alternativa à linguagem SQL 
(Structured Query Language) utilizada em bancos de dados relacionais.
  MySQL: esse é um sistema gerenciador de banco de dados relacional gra-
tuito, que utiliza a linguagem SQL para a realização de consultas e transações 
de dados. Embora seja um banco de dados relacional, alguns estudos apontam 
que também pode fazer parte de um data lake (COUTO et al, 2009).
Ferramentas da camada de processamento
  Apache Spark: é uma ferramenta open source responsável pelo proces-
samento de dados que foi incorporada ao Apache Hadoop, melhorando 
significativamente o poder e a velocidade de processamento do big data. 
A ideia do Spark é ser uma alternativa ao uso do MapReduce, visto 
que este utiliza a escrita em disco rígido, fazendo várias chamadas de 
entrada e saída, que podem gerar lentidão. Já o Spark utiliza a memória, 
gerando maior agilidade. Conforme o seu site oficial, o Spark é umaengine de análise unificada para processamento massivo de dados 
(APACHE SPARK, 2018). Na estrutura do Spark, algumas bibliotecas 
9O ecossistema de big data
adicionais compõem a sua arquitetura e adicionam poder computacional 
ao processamento de big data. São elas:
 ■ Spark Streaming: biblioteca utilizada para processar dados de 
streaming em tempo real.
 ■ Spark SQL: biblioteca utilizada para a execução de consultas nos 
conjuntos de dados por meio da linguagem SQL.
 ■ Spark MLlib: biblioteca usada para o aprendizado de máquina, 
utilizando, por exemplo, técnicas de regressão e classificação.
  Apache Hive: essa ferramenta é um software para data warehouse 
que permite gerenciamento (leitura e escrita) em grandes conjuntos de 
dados, tendo como linguagem o SQL.
Ferramentas da camada de apresentação
  Tableau: essa é uma ferramenta que atua na camada de apresentação, 
responsável pela visualização de dados e muito utilizada pelas empre-
sas. Com essa plataforma, que pode ser facilmente manuseada após a 
instalação no seu sistema operacional ou acessada on-line na nuvem, 
é possível construir inúmeros tipos de gráficos ou mapas interativos.
  Microsoft Power BI: além do Tableau, há ainda uma ferramenta da 
Microsoft que pode ser utilizada para fornecer visualizações interativas, 
com recursos de inteligência de negócios para análises de dados. Por 
possuir uma interface de manipulação simples, usuários finais podem 
fazer uso da aplicação com facilidade (Figura 4).
Figura 4. Interface do Microsoft Power BI Desktop.
O ecossistema de big data10
Ferramentas da camada segurança
  Apache Ranger: ferramenta utilizada para administrar a segurança 
de dados na plataforma Hadoop.
  Apache Ambari: ferramenta utilizada para gerenciar e monitorar 
clusters do Hadoop.
O panorama de ferramentas e tecnologias disponíveis para trabalhar com 
Big Data é imenso, e certamente é quase impossível dominar todas elas. 
Porém, é importante conhecer o funcionamento do ecossistema para saber 
quais ferramentas escolher em cada cenário. Segundo Turk (2018), uma das 
grandes preocupações que se tem é em relação à privacidade e à segurança 
dos dados que são coletados mundialmente.
Quando trabalhamos com sistemas distribuídos, a preocupação com a 
segurança precisa ser aumentada, ou seja, inicialmente deve-se determinar 
políticas que viabilizem a segurança em cada nó que faz parte de uma estru-
tura distribuída. Uma boa saída é manter o registro de logs em operações que 
ocorrem no big data. Assim, é possível saber se houve alterações nos dados 
e, em caso afirmativo, determinar o horário e obter a informação de qual foi 
o usuário que realizou a operação.
Neste capítulo, você estudou sobre as camadas que envolvem ecossis-
temas de big data, entendendo as complexidades do tema, bem como as 
ferramentas que auxiliam no processo de tratamento de grandes volumes 
de dados. Sem dúvida, o ecossistema de big data ainda vai evoluir muito 
nos próximos anos, com o surgimento de novas ferramentas e o aumento 
do poder computacional.
APACHE HADOOP. [Site]. 2020. Disponível em: https://hadoop.apache.org/. Acesso 
em: 21 abr. 2020.
APACHE SPARK. [Site]. 2018. Disponível em: https://spark.apache.org/. Acesso em: 21 
abr. 2020.
BRUM, A. Big data e o ecossistema Hadoop. 2017. Disponível em: https://www.kietec.
com.br/big-data-e-o-ecossistema-hadoop/. Acesso em: 21 abr. 2020.
11O ecossistema de big data
Os links para sites da web fornecidos neste capítulo foram todos testados, e seu fun-
cionamento foi comprovado no momento da publicação do material. No entanto, a 
rede é extremamente dinâmica; suas páginas estão constantemente mudando de 
local e conteúdo. Assim, os editores declaram não ter qualquer responsabilidade 
sobre qualidade, precisão ou integralidade das informações referidas em tais links.
COUTO, J. et al. A mapping study about data lakes: an improved definition and possible 
architectures. 2019. Disponível em: http://ksiresearchorg.ipage.com/seke/seke19paper/
seke19paper_129.pdf. Acesso em: 21 abr. 2020.
GOOGLE CLOUD. Cloud Storage como um data lake. 2019. Disponível em: https://cloud.
google.com/solutions/build-a-data-lake-on-gcp. Acesso em: 21 abr. 2020.
MICROSOFT. Data lake. 2020. Disponível em: https://azure.microsoft.com/pt-br/solutions/
data-lake/. Acesso em: 21 abr. 2020.
PATRIZIO, A. Data lake vs data warehouse. 2017. Disponível em: https://www.datamation.
com/big-data/data-lake-vs-data-warehouse.html. Acesso em: 21 abr. 2020.
PEARLMAN, S. Data lake vs data warehouse. 2019. Disponível em: https://www.talend.
com/resources/data-lake-vs-data-warehouse/. Acesso em: 21 abr. 2020.
SHARDA, R.; DELEN, D.; TURBAN, E. Business intelligence e análise de dados para gestão 
do negócio. 4. ed. Porto Alegre: Bookman, 2019.
TURK, M. Great power, great responsibility: the 2018 big data & AI landscape. 2018. Dis-
ponível em: https://mattturck.com/bigdata2018/. Acesso em: 21 abr. 2020.
VERMEULEN, A. F. Practical data science: a guide to building the technology stack for 
turning data lakes into business assets. West Kilbride: Apress, 2018.
O ecossistema de big data12

Mais conteúdos dessa disciplina