Prévia do material em texto
Desafio Para que a manutenção de grandes conjuntos de dados seja efe�va, é importante exis�r alto poder de processamento, além de so�wares que atendam à alta demanda. Em regra, sistemas gerenciadores de bancos de dados comuns podem não ser tão sa�sfatórios, sendo necessário o uso de ferramentas mais robustas. Observe a seguinte situação: Anterior Apresentação Próximo Infográfico Apresentação Desafio Infográfico Conteúdo do Livro Dica do Professor Exercícios Na prá�ca Saiba mais O ecossistema de Big Data Avalie esta aula VN De acordo com o cenário apresentado, você deve especificar: a) Qual ou quais tecnologias poderiam ser adotadas pela empresa? Jus�fique sua resposta com o maior número de detalhes possível. b) Com base em sua resposta, anexe o desenho da arquitetura ideal imaginada por você para atender à empresa. Sua resposta a) Qual ou quais tecnologias poderiam ser adotadas pela empresa? Jus�fique sua resposta com o maior número de Anterior Apresentação Próximo Infográfico Apresentação Desafio Infográfico Conteúdo do Livro Dica do Professor Exercícios Na prá�ca Saiba mais O ecossistema de Big Data Avalie esta aula VN detalhes possível. Data Lake: Armazena a grande massa de dados em geral (não estruturados); Ambiente Hapdoop trabalhar com a estruturação, processamento, analise e armazenamento dos dados. b) Com base em sua resposta, anexe o desenho da arquitetura ideal imaginada por você para atender à empresa. Ingestão (Apache Ka�a) Armazenamento (Apache Cassandra) Processamento (Apache Spark) Apresentação (Microso� P. BI) Segurança (Apache Ranger) Enviado em: 23/08/2022 10:18 Padrão de resposta esperado a) Muitas podem ser as possibilidades de arquitetura. Como sugestão, uma delas seria o uso do Apache Hadoop, visto que ele conta com ferramentas de armazenamento massivo de dados, como o HDFS, além de ferramentas des�nadas ao processamento, como é o caso do Spark e do Hive. Os dados seriam captados das diversas fontes, como websites, sistemas gerenciadores de conteúdo, planilhas eletrônicas, etc., e, em seguida, processados pelo Apache Spark, no qual seria possível extrair os insights necessários. Por fim, seriam apresentados visualmente pelo Tableau ou Power BI, por exemplo. Além disso, como vantagens, a empresa teria baixo custo de inves�mento, pois a maioria das ferramentas é open source, com exceção do Power BI e do Tableau. Na camada de segurança, por sua vez, pode-se u�lizar o Apache Ranger e o Apache Ambari para garan�r a integridade dos dados. b) O desenho anexo representa a arquitetura mencionada na questão A, porém você pode representar outra arquitetura diferente desta, desde que atenda às camadas de ingestão, armazenamento, processamento, apresentação e segurança. Anterior Apresentação Próximo Infográfico Apresentação Desafio Infográfico Conteúdo do Livro Dica do Professor Exercícios Na prá�ca Saiba mais O ecossistema de Big Data Avalie esta aula VN Anterior Apresentação Próximo Infográfico Apresentação Desafio Infográfico Conteúdo do Livro Dica do Professor Exercícios Na prá�ca Saiba mais O ecossistema de Big Data Avalie esta aula VN