Arquitetura de Dados Estruturados e Não Estruturados

Prévia do material em texto

Humberto Benedito Augusto dos Santos
Arquitetura de Dados Estruturados e Não Estruturados
Resolução do Caso
"Qual seria o modelo ideal de arquitetura de dados formado por um conjunto de ferramentas e artefatos para a resolução do problema?"
É fundamental que ao início de qualquer projeto seja realizado a análise de dados, para isso, é preciso entender como os dados serão armazenados, processados e utilizados e quais análises serão esperadas para o projeto.
Para a empresa em questão vamos utilizar para o armazenamento de dados o banco de dados NoSQL, pois é um banco de dados não relacional onde toda a informação é agrupada e guardada em um mesmo registro, onde temos uma performance melhor e uma escalabilidade mais horizontal para suprir necessidades onde os bancos relacionais não são eficazes.
Existem quatro pontos principais que diferenciam os bancos de dados NoSQL dos relacionais:
Modelos de dados: Um banco de dados NoSQL permite criar um aplicativo sem precisar definir o esquema primeiro, diferentemente dos bancos de dados relacionais, que fazem com que você defina seu esquema antes de poder adicionar dados ao sistema. 
Estrutura de dados: Os bancos de dados relacionais foram construídos em uma era em que os dados eram razoavelmente estruturados e claramente definidos por seus relacionamentos. Os bancos de dados NoSQL são projetados para manipular dados não estruturados (por exemplo, textos, postagens de mídia social, vídeo, e-mail), que compõem grande parte dos dados que existem hoje.
Dimensionamento: É muito mais barato dimensionar um banco de dados NoSQL do que um banco de dados relacional, pois é possível aumentar a capacidade dimensionando servidores de commodities baratos. Bancos de dados relacionais, por outro lado, requerem um único servidor para hospedar seu banco de dados inteiro. 
Modelo de desenvolvimento: Os bancos de dados NoSQL são de código aberto, enquanto os bancos de dados relacionais geralmente são de código fechado, com taxas de licenciamento embutidas no uso de seu software.
 
Os dados em fluxos velozes podem ser coletados e analisados em tempo real por meio de análises das transmissões. Essa abordagem apresenta a oportunidade de agir imediatamente, com base no que está acontecendo em um dado momento.
E para isso será utilizado o método ETL que é um tipo de data integration em três etapas (extração, transformação, carregamento) usado para combinar dados de diversas fontes. Nesse processo, os dados são retirados (extraídos) de um sistema-fonte, convertidos (transformados) em um formato que possa ser analisado, e armazenados (carregados) em um armazém ou outro sistema. 
Ferramentas centrais de ETL e ELT trabalham em conjunto com outras ferramentas de data integration e com outros vários aspectos do gerenciamento de dados – como data quality, data governance, virtualização e metadados.
As ferramentas de análises de dados são responsáveis por transformar um conjunto de números soltos em informações que podem ser transformadas em planos de ação estratégicos. Um número isolado é só um número, quando ao lado de outros valores, ou apresentado em um gráfico, por exemplo, pode se transformar em informação valiosa.
As ferramentas para análises de dados apresentadas abaixo, tem a função de auxiliar, gestores em tomadas de decisão estratégicas.
O SAS é a principal ferramenta para análise de dados do mundo, usada pelas principais empresas, com ela é possível realizar análises avançadas e produzir gráficos bastante elaborado.
Python: A facilidade para aprender a linguagem, fez com que o Python ganhasse popularidade entre os desenvolvedores, principalmente os que migraram da programação para a análise de dados.
O Tableau é uma ferramenta para análise de dados com um posicionamento extremamente focado em business intelligence.
Há uma gama de diferentes ferramentas para análise de dados disponíveis, e cada uma oferece algo um pouco diferente, qual ferramenta será escolhida dependerá de uma série de fatores.