Prévia do material em texto

MANUTENÇÃO DO DATA WAREHOUSE 
DESAFIO 
É altamente recomendada a implementação de DW em empresas que necessitam 
de análises mais avançadas utilizando grandes volumes de dados estratégicos. 
Assim, as empresas passaram a investir cada vez mais na implantação de projetos 
DW em seus negócios. Por outro lado, a grande maioria subestima as atividades 
de manutenção, que é um fator decisivo para o sucesso do projeto. 
Diante dessa situação, seu desafio é responder as seguintes questões: 
a) A quais etapas da manutenção do DW você precisa dar mais atenção nesse 
momento? 
b) Quais ferramentas você sugere para diminuir esforços na implementação das 
tarefas? Cite, pelo menos, cinco ferramentas e suas principais vantagens. 
R: A) OS PROBLEMAS DE RETRABALHO E IDENTIFICAÇÃO DAS FONTES 
DOS DADOS SÃO REFERENTES À ETAPA DE EXTRAÇÃO. OS 
RELACIONADOS A DADOS INCONSISTENTES, SEM PADRÃO, 
INCOMPLETOS OU DUPLICADOS SOBRE OS CLIENTES SÃO TRATADOS 
NA ETAPA DE LIMPEZA. JÁ A FALTA DE AVISO QUANDO O PROJETO 
APRESENTA FALHAS É TRATADA NA ETAPA DE NOTIFICAÇÃO. 
B) ALGUMAS FERRAMENTAS QUE PODERIAM SER INDICADAS 
SÃO: APACHE AIRFLOW, AMAZON REDSHIFT, QLIKVIEW, PENTAHO E 
BIGQUERY. 
 
INDICO O USO DA FERRAMENTA APACHE AIRFLOW, POIS, COM ELA, A 
EMPRESA PODERÁ TER AS SEGUINTES VANTAGENS: 
- BAIXO CUSTO (FERRAMENTA GRATUITA). 
- INSTALAÇÃO E MANUTENÇÃO FÁCEIS. 
- FACILIDADE PARA CONFIGURAR FLUXOS DE TRABALHO. 
- GERENCIAMENTO PROGRAMÁTICO DO FLUXO DE TRABALHO. 
- BUGS CORRIGIDOS RAPIDAMENTE E NOVOS RECURSOS 
ADICIONADOS A TODO MOMENTO. 
- AUTOMATIZAÇÃO DE QUERIES E CÓDIGOS DO PYTHON OU 
JUPYTER NOTEBOOK. 
- POSSIBILIDADE DE CRIAR PIPELINES SIMPLES E COMPLEXOS. 
- INTERFACE INTUITIVA E DE FÁCIL INTERAÇÃO COM LOGS. 
- FORNECIMENTO DE UM SISTEMA DE ALERTA PADRÃO E A 
POSSIBILIDADE DE USÁ-LO POR MEIO DO SLACK. 
 
INDICO O USO DA FERRAMENTA AMAZON REDSHIFT, POIS, COM ELA, A 
EMPRESA PODERÁ TER AS SEGUINTES VANTAGENS: 
- AUMENTO NA VELOCIDADE NAS CONSULTAS. 
- FACILIDADE DE USO E ACESSIBILIDADE. 
- ESCALONAMENTO RÁPIDO. 
- CUSTOS BAIXOS. 
- FERRAMENTAS DE SEGURANÇA ROBUSTAS. 
 
INDICO O USO DA FERRAMENTA QLIKVIEW, POIS, COM ELA, A EMPRESA 
PODERÁ TER AS SEGUINTES VANTAGENS: 
- RÁPIDO RETORNO DO INVESTIMENTO. 
- PRODUTO É DISPONIBILIZADO COM TODAS AS SUAS FUNÇÕES EM 
VERSÃO PARA AVALIAÇÃO. 
- FACILIDADE DE USO. 
- FLEXIBILIDADE. 
- INTEGRAÇÃO DE FERRAMENTAS PARA A ANÁLISE DE NEGÓCIOS. 
- TEMPO DE RESPOSTA PRATICAMENTE IMEDIATO COM GRANDES 
VOLUMES DE DADOS. 
- AMBIENTE DE DESENVOLVIMENTO DE APLICAÇÕES COMPLETO, COM 
INTEGRAÇÃO TOTAL DE FERRAMENTAS ETL. 
- TEMPO DE IMPLEMENTAÇÃO É 75% INFERIOR SE COMPARADO ÀS 
SOLUÇÕES DE BUSINESS INTELLIGENCE (BI) TRADICIONAIS DE 
MERCADO E SUA INTERFACE É INTUITIVA E FÁCIL DE USAR. 
 
INDICO O USO DA FERRAMENTA PENTAHO, POIS, COM ELA, A EMPRESA 
PODERÁ TER AS SEGUINTES VANTAGENS: 
- FÁCIL CUSTOMIZAÇÃO. 
- BAIXO CUSTO. 
- FLEXIBILIDADE. 
- CONSIDERADO UM DOS SOFTWARES COM MAIS QUALIDADE. 
 
INDICO O USO DA FERRAMENTA BIGQUERY, POIS, COM ELA, A EMPRESA 
PODERÁ TER AS SEGUINTES VANTAGENS: 
- ARQUITETURA FLEXÍVEL, QUE ACELERA CONSULTAS. 
- ESTRUTURA DE PREÇOS ESCALÁVEL. 
- USO DE INTELIGÊNCIA ARTIFICIAL PARA OTIMIZAR OS CONJUNTOS DE 
DADOS. 
EXERCÍCIOS: 
1)_ A fase de preparação de dados é a primeira etapa no processo de 
manutenção de projetos DW. Ela envolve a coleta de dados brutos de uma 
ou mais fontes e transforma em um banco de dados para, antes do seu 
uso em uma análise de negócios, melhorar sua qualidade. 
Assinale a alternativa que apresenta as etapas da fase de preparação dos 
dados da manutenção de um DW: 
R: EXTRAÇÃO > TRANSPORTE > LIMPEZA > AUDITORIA. 
2)_ Nessa etapa, trabalha-se na solução de transações orfanadas, que são 
aquelas que podem perder elementos importantes, como um pedido sem 
um cliente, por exemplo. 
A qual etapa do fluxo de trabalho para a manutenção de DW o enunciado 
se refere? 
R: LIMPEZA. 
3)_ Geralmente, faz-se a coleta de dados em proporções astronômicas em 
um DW. Quanto mais informações são armazenadas no DW, mais difícil 
será para encontrar as informações corretas no momento certo. Espera-
se que a função da tarefa para manter o DW trabalhe na resolução desse 
problema. A qual tarefa o enunciado se refere? 
R: FUSÃO> 
4)_ Os dados transacionais de uma grande empresa estão disponíveis em 
bases de diferentes fontes. Para que dados carregados no DW sejam 
considerados adequados à formação de tabelas fato e dimensionais, a 
etapa de limpeza pode realizar procedimentos para melhorar a qualidade 
nesses dados. 
Assinale a alternativa que indica um problema tratado nessa etapa: 
R: EXISTÊNCIA DE VALORES NÃO PREVISTOS. 
5)_ Transporte é a segunda etapa da fase de preparação de dados para 
manter um DW. Essa etapa refere-se à movimentação dos dados extraídos 
para uma área de concentração. 
Assinale a alternativa que indica uma função que corresponde àquelas 
executadas na etapa de transporte: 
R: TRANSFERÊNCIA DE GRANDES VOLUMES DE DADOS A PARTIR DE 
FONTES DE SISTEMAS OPERACIONAIS.