N1 - COLETA E INTEGRAÇÃO DE DADOS

Prévia do material em texto

Nome: Fernando Tomi Yamashita 
Matrícula: 2020321845 
Matéria: COLETA E INTEGRAÇÃO DE DADOS 
Resolução de Caso N1: 
 
 
As ações estratégicas de ingestão de dados para a empresa 
Alimentos Ltda. 
 
Pensando nas ações estratégicas de ingestão de dados para a melhoria do 
negócio da empresa Alimentos Ltda. buscamos de forma coesa, utilizar da melhor 
arquitetura possível e respeitar padrões de qualidade e segurança dos dados. 
A ingestão de dados se baseia na aquisição de diversas fontes de dados, 
transferindo para um local de destino, sendo armazenados (podendo ser data mart, 
data warehouse, armazenamento de documentos entre outros) e analisados. As 
fontes de dados para a melhoria de dados devem ser baseadas em diversas fontes 
como internet, documentos, Twitter, logs, sensores, dados estruturados de sistemas 
de bancos de dados relacionais, aplicativos internos e SaaS dados. Como esses 
dados se originam de diferentes locais, eles devem ser limpos e convertido em uma 
forma que pode ser facilmente analisada para a tomada de decisão usando uma 
ferramenta de ingestão de dados fácil de usar. 
Para o armazenamento de dados de dados previamente coletados, estes 
passaram por processo de extração, transformação e carregamento. Esse processo 
é conhecido como ETL – Extract, Transform and Load, porém diferente do utilizado 
em Big Data, para ingestão de dados teremos apenas diferença na ordem e 
tecnologia. Algumas vantagens de sua utilização na otimização e integração de dados, 
tem condições de solucionar problemas de maior complexidade, facilidade e rapidez 
para codificação, os metadados (informações úteis para identificar, localizar, entender 
e gerenciar os dados) são gerados e mantidos de forma automática com a ferramenta, 
e grandes volumes conseguem extrair, transformar e carregar dados com maior 
velocidade e menos recursos. 
A ingestão de dados pode ser realizada de diferentes maneiras, comunicação 
síncrona, assíncrona, real-time ou batch, dependendo dos requisitos de negócios. 
https://www.astera.com/pt/tipo/blog/ferramentas-de-convers%C3%A3o-de-dados/
• Real-time: conhecida como dados de streaming é útil quando os dados 
coletados são extremamente sensíveis ao tempo. Os dados são 
extraídos, processados e armazenados assim que são gerados para a 
tomada de decisões em tempo real. 
• Batch: Quando a ingestão ocorre em lotes, os dados são movidos em 
intervalos agendados de forma recorrente. Essa abordagem é benéfica 
para processos repetíveis. 
• Síncrona: o dispositivo emissor e o dispositivo receptor devem estar num 
estado de sincronia antes da comunicação iniciar e permanecer em 
sincronia durante a transmissão. 
• Assíncrona: um bit especial é inserido no início e no fim da transmissão 
de um caractere e assim permite que o receptor entenda o que foi 
realmente transmitido. 
 
Pensaremos também na utilização de arquitetura Fast Data, utilizando sistemas 
e abordagens que fornecem processamento de dados real-time (ou near real-time), 
reduzem o tempo entre os dados que chegam e a extração de valor desses dados. 
 
• Aquisição e ingestão de dados atualizados e confiáveis 
• Armazenamento e consulta flexíveis 
• Ferramentas de análise sofisticadas 
 
 O foco principal aqui é o desempenho, pois esta etapa afeta a quantidade de 
dados que todo o sistema pode receber em qualquer momento. A transferência de 
dados deve ser assíncrona (é muito útil para a troca de dados quando há a 
necessidade de orquestrar muitas aplicações, formatos heterogêneos de dados, 
transformações e roteamento de dados) e evitar a contrapressão. Assim podemos ver 
abaixo que o Fast Data é uma evolução do Big Data. 
 
 
 
 
 
 
Figura 1. Projetando Arquiteturas de Fast Data 
 
Portanto para o Fast Data, os sistemas de dados são modelados com base em 
casos de uso pois cada solução de armazenamento possui suas características, 
vantagens e desvantagens, tudo dependendo da arquitetura e do objetivo final. As 
opções que mais se destacam hoje no mercado são com a utilização do Mongo DB e 
Apache por serem open-source (a tendência é adotar soluções open-source e evitar 
duas dependências: fornecedores e suporte externo de entidades) mas também não 
podemos esquecer que o Amazon DynamoDB vem crescendo de forma exponencial 
por ter gerenciamento em nuvem. Além disso, pensando na atualidade e na ingestão 
de dados, o processamento deve ser híbrido, ou seja, com processamento tanto em 
batch quanto em streaming de dados em tempo real 
 
 
 
 
 
 
 
 
 
Figura 2. Arquitetura de Fast Data 
Por fim, a ingestão de dados tem inúmeros benefícios permitindo que a 
empresa Alimentos Ltda. tome a melhores decisões, através de um serviço 
aprimorado ao cliente e com resultados superiores. Isso ajuda a empresa a se manter 
no meio competitivo e entender melhor as necessidades de seu público-alvo. No 
geral, a ingestão de dados é uma das maneiras mais eficazes de lidar com dados 
imprecisos e não confiáveis. 
 
 
Referência Bibliográfica 
 
Associação Brasileira de Normas Técnicas. “Normas Técnicas”. 
http://www.abnt.org.br/normas-tecnicas/normas-abnt. Acessado em 15.11.2021 
 
NAEEM, T. “Ingestão de dados - definição, desafios e práticas recomendadas”. 
https://www.astera.com/pt/type/blog/data-ingestion/. Acessado em 14.11.2021 
 
SCHUNCKE, A. “Comunicação de dados Síncrona x Assíncrona”. 
https://www.oficinadanet.com.br/post/9978-comunicacao-de-dados-sincrona-x-
assincona. Acessado em 14.11.2021 
 
DATA SCIENCE ACADEMY, “Fast Data – A Evolução do Big Data”. 
https://blog.dsacademy.com.br/fast-data-a-evolucao-do-big-data/. Acessado em 
14.11.2021 
 
JOEL, A. CAVIGUE, L. “NoSQL no suporte à análise de grande volume de dados”. 
https://core.ac.uk/download/pdf/61423439.pdf. Acessado em 14.11.2021 
 
Autor desconhecido. “COMO APLICAR O BIG DATA EM TODAS AS ÁREAS DA 
EMPRESA” - https://www.a10br.com/blog/como-aplicar-o-big-data-em-todas-as-
areas-da-empresa. Acessado em 14.11.2021 
 
 
 
https://www.oficinadanet.com.br/post/9978-comunicacao-de-dados-sincrona-x-assincona
https://www.oficinadanet.com.br/post/9978-comunicacao-de-dados-sincrona-x-assincona
https://core.ac.uk/download/pdf/61423439.pdf
https://www.a10br.com/blog/como-aplicar-o-big-data-em-todas-as-areas-da-empresa
https://www.a10br.com/blog/como-aplicar-o-big-data-em-todas-as-areas-da-empresa