N1 Coleta e Integracao de Dados

Prévia do material em texto

As ações estratégicas de ingestão de dados para a empresa Alimentos Ltda
Pensando nas ações estratégicas de ingestão de dados para a melhoria do negócio da empresa Alimentos Ltda. buscamos de forma coesa, utilizar da melhor arquitetura possível e respeitar padrões de qualidade e segurança dos dados.
A ingestão de dados se baseia na aquisição de diversas fontes de dados, transferindo para um local de destino, sendo armazenados (podendo ser data mart, data warehouse, armazenamento de documentos entre outros) e analisados. As fontes de dados para a melhoria de dados devem ser baseadas em diversas fontes como internet, documentos, Twitter, logs, sensores, dados estruturados de sistemas de bancos de dados relacionais, aplicativos internos e SaaS dados. Como esses dados se originam de diferentes locais, eles devem ser limpos e convertido em uma forma que pode ser facilmente analisada para a tomada de decisão usando uma ferramenta de ingestão de dados fácil de usar.
Para o armazenamento de dados de dados previamente coletados, estes passaram por processo de extração, transformação e carregamento. Esse processo é conhecido como ETL - Extract, Transform and Load, porém diferente do utilizado em Big Data, para ingestão de dados teremos apenas diferença na ordem e tecnologia. Algumas vantagens de sua utilização na otimização e integração de dados, tem condições de solucionar problemas de maior complexidade, facilidade e rapidez para codificação, os metadados (informações úteis para identificar, localizar, entender e gerenciar os dados) são gerados e mantidos de forma automática com a ferramenta, e grandes volumes conseguem extrair, transformar e carregar dados com maior velocidade e menos recursos.
A ingestão de dados pode ser realizada de diferentes maneiras, comunicação síncrona, assíncrona, real-time ou batch, dependendo dos requisitos de negócios.
• Real-time: conhecida como dados de streaming é útil quando os dados coletados são extremamente sensíveis ao tempo. Os dados são extraídos, processados e armazenados assim que são gerados para a tomada de decisões em tempo real.
• Batch: Quando a ingestão ocorre em lotes, os dados são movidos em intervalos agendados de forma recorrente. Essa abordagem é benéfica para processos repetíveis.
• Síncrona: o dispositivo emissor e o dispositivo receptor devem estar num estado de sincronia antes da comunicação iniciar e permanecer em sincronia durante a transmissão.
• Assíncrona: um bit especial é inserido no início e no fim da transmissão de um caractere e assim permite que o receptor entenda o que foi realmente transmitido.
Pensaremos também na utilização de arquitetura Fast Data, utilizando sistemas e abordagens que fornecem processamento de dados real-time (ou near real-time), reduzem o tempo entre os dados que chegam e a extração de valor desses dados.
• Aquisição e ingestão de dados atualizados e confiáveis
• Armazenamento e consulta flexíveis
• Ferramentas de análise sofisticadas
O foco principal aqui é o desempenho, pois esta etapa afeta a quantidade de dados que todo o sistema pode receber em qualquer momento. A transferência de dados deve ser assíncrona (é muito útil para a troca de dados quando há a necessidade de orquestrar muitas aplicações, formatos heterogêneos de dados, transformações e roteamento de dados) e evitar a contrapressão. Assim podemos ver abaixo que o Fast Data é uma evolução do Big Data.
Portanto para o Fast Data, os sistemas de dados são modelados com base em casos de uso pois cada solução de armazenamento possui suas características, vantagens e desvantagens, tudo dependendo da arquitetura e do objetivo final. As opções que mais se destacam hoje no mercado são com a utilização do Mongo DB e Apache por serem open-source (a tendência é adotar soluções open-source e evitar duas dependências: fornecedores e suporte externo de entidades) mas também não podemos esquecer que o Amazon Dynamo DB vem crescendo de forma exponencial por ter gerenciamento em nuvem. Além disso, pensando na atualidade e na ingestão de dados, o processamento deve ser híbrido, ou seja, com processamento tanto em batch quanto em streaming de dados em tempo real.
Por fim, a ingestão de dados tem inúmeros benefícios permitindo que a empresa Alimentos Ltda. tome a melhores decisões, através de um serviço aprimorado ao cliente e com resultados superiores. Isso ajuda a empresa a se manter no meio competitivo e entender melhor as necessidades de seu público-alvo. No geral, a ingestão de dados é uma das maneiras mais eficazes de lidar com dados imprecisos e não confiáveis.