Prévia do material em texto
PÓS-GRADUAÇÃO Interações entre Big Data e Cloud Computing PÓS-GRADUAÇÃO Gerenciamento de Big Data: coleta e processamento de dados Bloco 1 Aimar Martins Lopes Introdução • Compreender a arquitetura Hadoop. • Capacitar para descrever o funcionamento do sistema de arquivo HDFS e os programas MapReduce. • Descrever como opera os componentes integrados do Hadoop. • Modelo de programação MapReduce - NameNode, DataNode e SecondaryNameNode. • HDFS – JobTracker e TaskTracker. • Conhecer e identificar a aplicabilidade de projetos para Hadoop. Gerenciamento de Big Data • O Big Data requer: gerenciamento dos dados: coleta, armazenamento e processamento. • A plataforma Hadoop é indicada para análise de dados semiestruturados e não estruturados ou quando se deseja atender uma necessidade, ou resolver um problema não específico. Fonte: Hadoop (2019). Figura 1 – Gráfico futurístico de análise de dados Arquitetura Hadoop • O Hadoop foi baseado: • No sistema de arquivo distribuído da Google, o Google File System (GFS). • No processamento distribuído MapReduce. • A arquitetura Hadoop: • Hadoop Distributed File System (HDFS). • Modelo de programação MapReduce. HDFS – Sistema de arquivo distribuído Hadoop • O HDFS armazena centenas de dados em formato de blocos pequenos nos agrupamentos de servidores (clusters) distribuídos em milhares de nós da rede. Fonte: Hanson (2013). Figura 2 – Arquitetura do HDFS MapReduce - Sistema de arquivo distribuído Hadoop • A lógica do MapReduce é o processamento de volume enorme de dados, de forma distribuída e paralela. Processa petabytes de dados, tanto estruturados como não estruturados, armazenados no HDFS. Fonte: adaptado de Hortonworks (2019). Figura 3 – Caracterização do MapReduce Simplici dade • Fácil execução, algumas linguagens: Java, C ++ ou Python. Escalabi lidade • Processa petabytes de dados, armazenados no HDFS em um cluster. Veloci dade • Processamento paralelo distribuído, resolve problemas em horas ou minutos. Recupe ração • Tolerante a falhas. Se uma máquina estiver indisponível, o dado pode ser obtido de outra máquina. Movimento de dados • Move os processos de computação para os dados no HDFS e não o contrário. Arquitetura Hadoop e seus processos integrados • Composição MapReduce: • NameNode. • DataNode. • SecondaryNameNode. • HDFS: • JobTracker. • TaskTracker. Fonte: Hanson (2013). Figura 4 – NameNode e DataNode Outros componentes do Hadoop • Devido ao seu desempenho e ser aberto para uso, o Hadoop foi facilmente aceito pela comunidade da computação, que desenvolve novos projetos com propostas adaptadas a algumas necessidades de mercado. • Hadoop Common Components • É uma ampla lista de comandos e um conjunto de bibliotecas, que dá suporte aos projetos e interfaces para outros sistemas de arquivos. • Linguagem de desenvolvimento de aplicações: Pig e Jaql e outras. Outros componentes do Hadoop • HYVE: são softwares que manipulam volume grande de dados e utilizam a linguagem HiveQL para consulta e análise desses dados. • Hadoop Stream: permite que a gravação de mapeamento e redução dos blocos de dados sejam realizadas por outras linguagens e também por meio de APIs. • Avro: esse projeto prove serviço em JSON para estruturar e seriar dados, é executado remotamente em formato compactado e binário. Os dados gravados pelo serviço remoto (RPC) do Avro. Outros componentes do Hadoop • Hbase: é um software de gerenciamento de banco de dados orientado a coluna, faz manipulação em tempo real em tabelas distribuídas. • Flume: é um canal de direcionamento de fluxo de dados, o sistema opera por meio de processamento distribuído na ação de coletar, juntar e mover dados. • Lucene: é um projeto que realiza pesquisa de texto, formado por um conjunto de biblioteca de engenharia de busca de texto de alto desempenho. • ZooKeeper: prove a centralização de infraestrutura e serviços para sincronização e coordenação de tarefas das diversas aplicações no cluster, dentre elas: a configuração de nós, hierarquia, nome do nó, sincronização de processos e outras. PÓS-GRADUAÇÃO Gerenciamento de Big Data: coleta e processamento de dados Bloco 2 Aimar Martins Lopes Relação do Big Data com o Hadoop • Big Data requer uma estrutura para gerenciamento dos dados: a) Banco de dados relacional para análise de dados estruturada (campos conhecidos e determinados), provenientes de vários sistemas e com capacidade de produzir insights descritivos conhecidos. b) Hadoop para análise de dados semiestruturado e não estruturado ou quando se deseja atender uma necessidade ou resolver um problema não específico. Arquitetura Hadoop e seus processos integrados • Composição MapReduce: • NameNode. • DataNode. • SecondaryNameNode. • HDFS: • JobTracker. • TaskTracker. Fonte: Hanson (2013). Figura 4 – NameNode e DataNode PÓS-GRADUAÇÃO Teoria em Prática Bloco 3 Aimar Martins Lopes Big Data e Hadoop na tomada de decisão • O Haddop é importante, atualmente, pois pode auxiliar as organizações em suas decisões baseadas em dados em tempo real, visto que possibilita execução de atividades com vários formatos de dados (streaming de áudio, vídeo, sentimento de mídia social e dados de fluxo de cliques) e outros formatos, seja dado semi e não estruturados. • Permite transformar os dados do datawarehouse local para um armazenamento distribuído, consolidar os dados em toda a organização para aumentar a acessibilidade, diminuir os custos e acelerar as decisões com mais precisão. (IBM, 2019) • Baseado no texto, qual a importância da arquitetura Hadoop? Importância do Hadoop • NA SOLUÇÃO • Processamento e armazenamento distribuído. • Flexível e de baixo custo. • Tolerante a falhas. • Alto desempenho no processamento e armazenamento. • Poder de processamento: mais nós, mais força. • NO USO • Pode ser utilizada em Cloud Computing. • Qualquer empresa pode utilizar – código aberto. • É útil para qualquer área de negócio. PÓS-GRADUAÇÃO Dica do Professor Bloco 4 Aimar Martins Lopes Indicação de filme Fonte: Pinterest (2019). • SNOWDEN EUA, 2016, 134 min. Diretor: Oliver Stone. O filme narra a história de Edward Snowden (Joseph Gordon- Levitt), um funcionário da NSA, agência de segurança dos EUA, que durante seu trabalho descobre que o governo americano espiou ilegalmente sua população e denuncia a respeito. Nesse filme, podemos observar como são poderosos os softwares que atuam na Internet e processam dados. Indicação de artigo • An introduction to the Hadoop Distributed File System. • Explorar a estrutura e subsistemas do HDFS. • Hanson (2013). • O autor descreve os principais recursos do sistema e apresenta uma visualização de alto nível da arquitetura do HDFS. Referências Bibliográficas HADOOP. 2019. Apache Hadoop 3.1.2. Disponível em: <https://hadoop.apache.org/docs/r3.1.2/index.html>. Acesso em: 25 jun. 2019. HANSON, J. J. An introduction to the Hadoop Distributed File System. Explore HDFS framework and subsystems. IBM. 2013 PINTEREST. 2019. Disponível em: <https://br.pinterest.com/pin/91197961187493635/>. Acesso em: 31/05/2019. %3chttps:/hadoop.apache.org/docs/r3.1.2/index.html%3e. https://br.pinterest.com/pin/91197961187493635/