Prévia do material em texto
INTRODUÇÃO À CIÊNCIA DE DADOS Wheslley Rimar Bezerra O ecossistema de big data Objetivos de aprendizagem Ao final deste texto, você deve apresentar os seguintes aprendizados: Descrever o conceito de data lake. Reconhecer as camadas que compõem o ecossistema de big data. Identificar as ferramentas que compõem cada camada do ecossistema de big data. Introdução O termo “big data” tornou-se amplamente conhecido no mundo: nunca houve tanta produção de dados como nos últimos anos. Estamos mais conectados, e as informações podem ser consideradas como moedas de troca nesse oceano de dados. Muitos conceitos e ferramentas estão incluídos no contexto de big data e, portanto, entender como funciona esse ecossistema é essencial para um bom desempenho dos profissionais que atuam nessa área. Neste capítulo, você vai aprender conceitos primordiais que permeiam o big data, como data lake, segurança, armazenamento e processamento de dados. Além disso, conhecerá algumas das principais ferramentas adotadas pela indústria no tratamento dos dados que são gerados diariamente. 1 O que é data lake? Em algum momento, você já deve ter ouvido a frase “os dados representam o novo petróleo”. De fato, os dados estão em todo lugar. Organizações e pessoas de todo o mundo geram bilhões e bilhões de dados a cada minuto, e quanto mais informações são geradas, mais poder e valor são agregados a quem as detém. Nesse sentido, sabendo do incrível potencial que temos para produzir, analisar e manipular dados, uma questão importante é como armazenar, processar e analisar os grandes conjuntos de dados gerados por empresas e pessoas. Muitas são as ferramentas disponíveis, e você verá algumas delas ao longo deste capítulo. Para Couto et al. (2019), o conceito de data lake surgiu justamente no contexto de big data. Na prática, trata-se de um repositório para o processa- mento de gigantescos volumes de dados. Em outras palavras, um data lake se caracteriza como um local que armazena grandes datasets (ou conjuntos de dados) no seu formato nativo (original e sem alterações): os chamados dados brutos. Dizer que os dados estão em formato nativo ou bruto significa que eles ainda não passaram por qualquer tipo de processamento, análise ou manipulação, ou seja, não foram destinados para uma função específica, nem sofreram alterações. Nesse formato, é provável que alguns dados adicionados ao data lake não sejam de boa qualidade. Assim, como os dados encontram-se no seu estado original, podem ser acessados via ferramentas específicas de análises e, então, são destinados para fins específicos. Como benefícios, os usuários de um data lake podem ter os seus dados combinados em profundas análises que auxiliam na obtenção de insights para tomadas de decisão mais assertivas. Além disso, os dados contidos em um data lake não são excluídos: tudo é retido e permanece armazenado. Dessa forma, quando necessário, o cientista de dados pode realizar novas análises e reutilizar os dados para diferentes propósitos quantas vezes forem necessárias. Conforme Sharda, Delen e Turban (2019), entre algumas definições do termo data lake (que, em tradução literal para o português, significa “lago de dados”), a mais aceita pelo mercado é a de James Dixon, CTO da empresa Pentaho Corporation. Para ele, a representação desse tipo de repositório como um lago de dados é adequada porque a ideia é armazenar conjuntos de dados nos seus formatos originais. De maneira análoga, poderíamos dizer que o data lake é como um lago que não sofreu alteração no seu fluxo de água ou cuja água não passou por filtra- gem ou intervenção humana. Isso significa que os dados podem ser oriundos de diversas fontes, como bancos de dados relacionais (dados estruturados), arquivos CSV (dados semiestruturados) ou e-mails, documentos de textos, entre outros (dados não estruturados). Assim, em um data lake, os dados só passam por qualquer tipo de manipulação e transformação quando são utilizados em análises e quando têm propósitos de uso bem definidos. Vale ressaltar também que esses repositórios de dados brutos precisam ser gerenciados continuamente, passando por manutenções constantes, para que os dados continuem íntegros e possam ser utilizados em momentos oportunos. Para O ecossistema de big data2 Vermeulen (2018), data lakes sem manutenção são chamados de data swamps (em português, pântanos de dados) e não devem ser temidos, mas devem ser domados (ou seja, gerenciados). Caso contrário, esses dados acabam se deteriorando e tornam-se inacessíveis, agregando pouco ou nenhum valor aos seus usuários. É importante lembrar que data lake é um conceito, isto é, uma estratégia para armazenamento massivo de dados, e não uma ferramenta exclusiva. Portanto, podem ser necessárias junções de diversas tecnologias e ferramentas para se criar um data lake. Algumas das principais empresas de tecnologia fornecem serviços de construção desses repositórios. Exemplos são a Amazon, com o AWS Lake Formation, e o Google, que possui um serviço semelhante na sua plataforma de cloud computing, denominada Google Cloud Platform (GCP). O serviço de cloud storage da plataforma pode ser utilizado como um componente destinado ao data lake, na tratativa de dados não estruturados. Para dados estruturados, o GCP fornece algumas ferramentas como CloudSQL, Spanner, BigTable e BigQuery. A Microsoft também oferece uma possibilidade: o seu serviço em nuvem chamado de Azure permite a criação de data lakes. Na Figura 1, você pode ver quais são as ferramentas que compõem a estrutura de data lake da Microsoft. Figura 1. Microsoft Azure (data lake). Fonte: Microsoft (2020, documento on-line). A estrutura do Azure Data Lake está dividida em três partes essenciais: HDInsight, Data Lake Analytics e Azure Data Lake Store: HDInsight – na prática, implementa o Apache Hadoop em nuvem, viabilizando clusters otimizados para os serviços Spark, Hive, Map Reduce, Kafka, entre outros (vamos falar sobre essas tecnologias mais adiante neste capítulo). 3O ecossistema de big data Data Lake Analytics – contempla ferramentas de análise e processa- mento de big data. Data Lake Store – é o data lake em si, capaz de armazenar dados sem limites. Data lake e data warehouse Muitas pessoas confundem os conceitos de data lake e data warehouse, pensando que são a mesma coisa ou que têm funções muito semelhantes, mas na verdade eles possuem diferenças bastante signifi cativas. Tanto o data lake quanto o data warehouse são repositórios e armazenam grandes conjuntos de dados —talvez essa seja a única coisa que há em comum entre os dois conceitos. Porém, enquanto os dados são brutos no data lake, no data warehouse eles já passaram por filtros, foram analisados, processados e têm uma finalidade. Veja no Quadro 1 algumas das principais diferenças entre data lake e data warehouse. Fonte: Adaptado de Patrizio (2017). Data Lake Data Warehouse Dados Dados brutos (estruturados, semiestruturados e não estruturados) Dados processados (dados estruturados) Propósito Não definido Finalidade definida Usuários Cientistas/analistas de dados Profissionais de negócios e gestores Agilidade Rápido para atualizar e de fácil acesso Complexo e caro para realizar modificações Segurança Ainda em evolução Bem consolidada Armazenamento Desenvolvido para baixo custo Alto custo em grandes volu- mes de dados Quadro 1. Diferenças entre data lake e data warehouse O ecossistema de big data4 Pearlman (2019) afirma que tanto um data lake quanto um data warehouse podem ser aplicados em diferentes setores. Veja alguns exemplos a seguir: Saúde – dados clínicos, históricos de pacientes e notas médicas são ideais para serem armazenados em data lakes, visto que a grande maioria das informações produzidas pelo setor são de natureza não estruturada. Finanças – dados financeiros geralmente são acessados e processados por diversos profissionais em uma organização,não sendo necessária a intervenção de um cientista de dados. Nesse sentido, o ideal seria utilizar um data warehouse como repositório, uma vez que, por já estarem processados, os dados podem ser organizados para serem acessados por toda a empresa. Geralmente são de natureza estruturada. Transporte – como os dados de um data lake são flexíveis, a pro- babilidade de se realizar previsões é alta. Isso significa que, no setor de transportes, por exemplo, é possível reduzir custos na entrega de suprimentos a clientes finais. A partir das previsões feitas por análises de dados, eles podem demonstrar para onde os gastos estão sendo direcionados, identificando se há excessos ou desperdícios. Educação – data lakes podem ajudar a entender o comportamento de alunos de uma instituição. Com base em avaliações, frequência e outros dados sobre os alunos, é possível identificar quais deles apresentam baixo aproveitamento, a fim de poder ajudá-los e minimizar problemas na educação. 2 Camadas do ecossistema de big data Sistemas de big data podem ser divididos em camadas, cada uma com as suas responsabilidades. Ecossistemas de big data são complexos e reúnem técnicas de processamento, análise e armazenamento de dados. Portanto, ter um entendimento sobre as suas camadas facilita as atividades profi ssionais de um cientista de dados. Esse mesmo ecossistema é utilizado para embasar tomadas de decisão. De acordo com Couto et al. (2019), as ferramentas que fazem parte desse ecossistema podem ser categorizadas em camadas. Entre elas, destacam-se as de ingestão, armazenamento, processamento, apresentação e segurança. A seguir, veja mais detalhes sobre cada uma delas: 5O ecossistema de big data Ingestão – as ferramentas dessa camada são responsáveis por trabalhar na coleta e aquisição de dados de inúmeras fontes. Assim, os dados são oriundos de sistemas empresariais, documentos de texto, planilhas eletrônicas, sistemas gerenciadores de bancos de dados relacionais, dispositivos móveis, e-mails, sensores, redes sociais, entre muitos outros (GOOGLE CLOUD, 2019). Armazenamento – nessa camada, atuam as ferramentas de software responsáveis por armazenar, integrar e organizar o big data. Os dados são recebidos da camada de ingestão e armazenados conforme o seu tipo. Dados estruturados podem ser armazenados em um banco de dados relacional, e os dados não estruturados podem ser armazenados em um sistema de arquivos. Processamento – nessa camada, as ferramentas responsáveis por processar os dados atuam transformando-os de modo que seja pos- sível extrair insights a partir deles. Na prática, as ferramentas da camada de processamento buscam entender o comportamento dos dados utilizando diversos tipos de análises e, ao final, extraindo informações úteis. Apresentação – nessa camada, encontram-se as ferramentas que dão feedback visual para as tratativas dos dados. Isso significa que é nessa camada que o resultado do processamento é observado por meio de gráficos, relatórios ou outros recursos visuais. Em outras palavras, após a finalização das análises, os resultados são apresentados para recursos de saída, que podem ser aplicativos ou espectadores humanos, por exemplo. Segurança – essa camada é muito importante, pois nela estão as fer- ramentas responsáveis por toda a segurança dos dados, verificando questões de criptografia, autenticação de usuários, além de auditoria, a fim de verificar a integridade dos dados. 3 Ferramentas do ecossistema de Big Data Cada camada que forma o ecossistema de big data possui tecnologias que a suportam. Uma dessas ferramentas é o Apache Hadoop. Trata-se de uma estrutura de software extremamente poderosa, sendo responsável por ar- mazenar grandes conjuntos de dados. Além disso, tem um grande poder de processamento, projetado para ambientes de computação distribuída. O ecossistema de big data6 Computação distribuída se refere ao poder computacional gerado por diversos com- putadores interconectados por meio de uma rede. O conceito se estende ao sistema de arquivos distribuídos, que consiste no armazenamento massivo de arquivos em hardwares diferentes, mas que estão conectados entre si por meio de uma rede de computadores. O Hadoop é um software de código aberto (em inglês, open source) cons- truído na linguagem de programação Java e mantido pela Apache Foundation. Ele é considerado um framework, em função da sua grande variedade de ferramentas (APACHE HADOOP, 2020). Muitas pessoas acreditam equivocadamente que o Hadoop seja o big data em si, mas na verdade ele embasa todo um ecossistema para tratamento de big data. Ele é projetado para trabalhar em cluster (arquitetura computacional com a capacidade de interligar computadores para trabalharem em conjunto). A sua estrutura é formada por um sistema de armazenamento chamado de Hadoop Distributed File System (HDFS) e por um sistema de processamento denominado MapReduce. Além disso, há o Common, que traz as bibliotecas mais utilizadas, e o Yarn, para o gerenciamento dos processos do cluster. Na Figura 2, você pode observar essas e algumas outras ferramentas que atuam em conjunto com o Hadoop, formando o ecossistema de big data. Figura 2. Big data e o ecossistema Hadoop. Fonte: Brum (2017, documento on-line). 7O ecossistema de big data No Quadro 2, observe algumas dessas tecnologias separadas pelas suas respectivas camadas. Fonte: Adaptado de Couto et al. (2019). Camada Ferramenta Ingestão Apache Kafka Apache Sqoop Armazenamento Apache Cassandra MySQL Processamento Apache Spark Apache Hive Apresentação Tableau Microsoft Power BI Segurança Apache Ranger Apache Ambari Quadro 2. Camadas do ecossistema big data e respectivas ferramentas Na sequência, você verá cada uma das ferramentas, de acordo com a sua respectiva camada. Ferramentas da camada de ingestão Apache Kafka: essa é uma plataforma de streaming distribuída, que pode facilitar a moção de grandes volumes de dados entre sistemas — tudo isso em tempo real. Apache Sqoop: ferramenta utilizada para a transferência de dados entre o Apache Hadoop e bancos de dados relacionais. O propósito do Apache Sqoop é fazer a importação e exportação de grandes quantidades de dados entre um sistema gerenciador de banco de dados relacional e o Hadoop Distributed File System. Na Figura 3, veja esse fluxo de funcionamento do Sqoop. O ecossistema de big data8 Figura 3. Funcionamento do Apache Sqoop. A ferramenta importa tabelas do banco de dados (como MySQL, Oracle, DB2, entre outros) e armazena no HDFS, geralmente em formato texto ou binário. Já a ferramenta de exportação exporta arquivos do HDFS para o banco de dados. Ferramentas da camada de armazenamento Apache Cassandra: essa ferramenta é um banco de dados não relacional projetado para atuar em cluster (modo distribuído), que tem como uma das suas características a integração com o Apache Hadoop. Além disso, possui tolerância a falhas e linguagem de consulta própria, chamada de CQL (Cassandra Query Language), uma alternativa à linguagem SQL (Structured Query Language) utilizada em bancos de dados relacionais. MySQL: esse é um sistema gerenciador de banco de dados relacional gra- tuito, que utiliza a linguagem SQL para a realização de consultas e transações de dados. Embora seja um banco de dados relacional, alguns estudos apontam que também pode fazer parte de um data lake (COUTO et al, 2009). Ferramentas da camada de processamento Apache Spark: é uma ferramenta open source responsável pelo proces- samento de dados que foi incorporada ao Apache Hadoop, melhorando significativamente o poder e a velocidade de processamento do big data. A ideia do Spark é ser uma alternativa ao uso do MapReduce, visto que este utiliza a escrita em disco rígido, fazendo várias chamadas de entrada e saída, que podem gerar lentidão. Já o Spark utiliza a memória, gerando maior agilidade. Conforme o seu site oficial, o Spark é umaengine de análise unificada para processamento massivo de dados (APACHE SPARK, 2018). Na estrutura do Spark, algumas bibliotecas 9O ecossistema de big data adicionais compõem a sua arquitetura e adicionam poder computacional ao processamento de big data. São elas: ■ Spark Streaming: biblioteca utilizada para processar dados de streaming em tempo real. ■ Spark SQL: biblioteca utilizada para a execução de consultas nos conjuntos de dados por meio da linguagem SQL. ■ Spark MLlib: biblioteca usada para o aprendizado de máquina, utilizando, por exemplo, técnicas de regressão e classificação. Apache Hive: essa ferramenta é um software para data warehouse que permite gerenciamento (leitura e escrita) em grandes conjuntos de dados, tendo como linguagem o SQL. Ferramentas da camada de apresentação Tableau: essa é uma ferramenta que atua na camada de apresentação, responsável pela visualização de dados e muito utilizada pelas empre- sas. Com essa plataforma, que pode ser facilmente manuseada após a instalação no seu sistema operacional ou acessada on-line na nuvem, é possível construir inúmeros tipos de gráficos ou mapas interativos. Microsoft Power BI: além do Tableau, há ainda uma ferramenta da Microsoft que pode ser utilizada para fornecer visualizações interativas, com recursos de inteligência de negócios para análises de dados. Por possuir uma interface de manipulação simples, usuários finais podem fazer uso da aplicação com facilidade (Figura 4). Figura 4. Interface do Microsoft Power BI Desktop. O ecossistema de big data10 Ferramentas da camada segurança Apache Ranger: ferramenta utilizada para administrar a segurança de dados na plataforma Hadoop. Apache Ambari: ferramenta utilizada para gerenciar e monitorar clusters do Hadoop. O panorama de ferramentas e tecnologias disponíveis para trabalhar com Big Data é imenso, e certamente é quase impossível dominar todas elas. Porém, é importante conhecer o funcionamento do ecossistema para saber quais ferramentas escolher em cada cenário. Segundo Turk (2018), uma das grandes preocupações que se tem é em relação à privacidade e à segurança dos dados que são coletados mundialmente. Quando trabalhamos com sistemas distribuídos, a preocupação com a segurança precisa ser aumentada, ou seja, inicialmente deve-se determinar políticas que viabilizem a segurança em cada nó que faz parte de uma estru- tura distribuída. Uma boa saída é manter o registro de logs em operações que ocorrem no big data. Assim, é possível saber se houve alterações nos dados e, em caso afirmativo, determinar o horário e obter a informação de qual foi o usuário que realizou a operação. Neste capítulo, você estudou sobre as camadas que envolvem ecossis- temas de big data, entendendo as complexidades do tema, bem como as ferramentas que auxiliam no processo de tratamento de grandes volumes de dados. Sem dúvida, o ecossistema de big data ainda vai evoluir muito nos próximos anos, com o surgimento de novas ferramentas e o aumento do poder computacional. APACHE HADOOP. [Site]. 2020. Disponível em: https://hadoop.apache.org/. Acesso em: 21 abr. 2020. APACHE SPARK. [Site]. 2018. Disponível em: https://spark.apache.org/. Acesso em: 21 abr. 2020. BRUM, A. Big data e o ecossistema Hadoop. 2017. Disponível em: https://www.kietec. com.br/big-data-e-o-ecossistema-hadoop/. Acesso em: 21 abr. 2020. 11O ecossistema de big data Os links para sites da web fornecidos neste capítulo foram todos testados, e seu fun- cionamento foi comprovado no momento da publicação do material. No entanto, a rede é extremamente dinâmica; suas páginas estão constantemente mudando de local e conteúdo. Assim, os editores declaram não ter qualquer responsabilidade sobre qualidade, precisão ou integralidade das informações referidas em tais links. COUTO, J. et al. A mapping study about data lakes: an improved definition and possible architectures. 2019. Disponível em: http://ksiresearchorg.ipage.com/seke/seke19paper/ seke19paper_129.pdf. Acesso em: 21 abr. 2020. GOOGLE CLOUD. Cloud Storage como um data lake. 2019. Disponível em: https://cloud. google.com/solutions/build-a-data-lake-on-gcp. Acesso em: 21 abr. 2020. MICROSOFT. Data lake. 2020. Disponível em: https://azure.microsoft.com/pt-br/solutions/ data-lake/. Acesso em: 21 abr. 2020. PATRIZIO, A. Data lake vs data warehouse. 2017. Disponível em: https://www.datamation. com/big-data/data-lake-vs-data-warehouse.html. Acesso em: 21 abr. 2020. PEARLMAN, S. Data lake vs data warehouse. 2019. Disponível em: https://www.talend. com/resources/data-lake-vs-data-warehouse/. Acesso em: 21 abr. 2020. SHARDA, R.; DELEN, D.; TURBAN, E. Business intelligence e análise de dados para gestão do negócio. 4. ed. Porto Alegre: Bookman, 2019. TURK, M. Great power, great responsibility: the 2018 big data & AI landscape. 2018. Dis- ponível em: https://mattturck.com/bigdata2018/. Acesso em: 21 abr. 2020. VERMEULEN, A. F. Practical data science: a guide to building the technology stack for turning data lakes into business assets. West Kilbride: Apress, 2018. O ecossistema de big data12