A Transformação de Dados em ETL x ELT

Prévia do material em texto

Material Complementar:
 
A Transformação de Dados em ETL x ELT
A Transformação de Dados em ETL x ELT 
ETLETL 
O ETL está estruturado em três etapas. 
Extract (Extração):Extract (Extração): é a etapa de extração dos dados de várias fontes, como bancos 
de dados, arquivos, aplicativos e APIs, em que são reunidos em um repositório. 
Durante essa etapa, é importante garantir a integridade e qualidade dos dados. 
Sendo assim, ações para identificar dados duplicados, dados nulos ou incompletos, 
inconsistentes ou incorretos devem ser realizadas. A extração dos dados de forma 
adequada permite que os dados obtidos sejam precisos para serem utilizados com 
eficácia na próxima etapa do processo ETL: a transformação dos dados. 
Transform (Transformação): Transform (Transformação): é uma etapa fundamental do processo para análise de 
dados, que envolve a manipulação dos dados para torná-los adequados, precisos e 
confiáveis para análise. Essa etapa pode incluir a limpeza dos dados, a agregação de 
informações, a combinação de dados de várias fontes e a normalização dos dados. 
A transformação de dados é uma etapa crítica no processo de análise de dados, 
considerando a premissa que os dados geralmente não estão em um formato ideal 
para análise direta. 
Load (Carregamento): Load (Carregamento): é a etapa em que os dados que já passaram pelo processo 
de transformação dos dados são carregados em um destino, como por exemplo 
um banco de dados, Data Warehouse ou Data Lake. O carregamento dos dados 
geralmente é a última etapa do processo de ETL. O processo de carregamento 
também pode incluir a validação dos dados carregados para garantir que não haja 
erros ou problemas de integridade dos dados. 
O carregamento de dados pode ser realizado de forma manual, em lote, em 
tempo real e por APIs, por exemplo. A escolha da melhor opção depende das 
necessidades específicas do projeto e dos recursos disponíveis. Por fim, o processo 
de carregamento de dados deve ser monitorado e otimizado para assegurar a 
eficiência, a confiabilidade e a integridade dos dados carregados. 
ELTELT 
O processo ELT é uma variação do processo ETL que inverte a ordem das etapas 
para transformação de dados. No processo ELT, a extração e o carregamento de 
dados são feitos primeiro, e a transformação é a terceira etapa do processo. 
Os dados são extraídos de suas fontes, carregados em um ambiente como um Data 
Warehouse, e só então transformados. Essa transformação compreende a limpeza, 
agregação, enriquecimento e normalização dos dados para análise. 
No processo ELT pode ser mais eficiente do que o processo ETL em alguns casos, já 
que os dados são carregados primeiro e, na sequência, transformados localmente, 
diminuindo o tempo de processamento de transformações de dados em larga 
escala. No entanto, esse processo pode exigir mais recursos de processamento e 
armazenamento, para realizar transformações mais complexas.