Data Warehouse v3

Prévia do material em texto

SISTEMAS DE APOIO A DECISÃO 
 
DATA WAREHOUSE 
Prof. Nilton Takagi 
O QUE É UM DATA WAREHOUSE? 
 “É uma coleção de dados orientados por assunto, 
integrado, variável com o tempo e não-volátil, que 
tem por objetivo dar suporte aos processos de 
tomada de decisão.” (Inmon) 
Laudon, 2010 
POR QUE UTILIZAR UM DATA 
WAREHOUSE? 
 Várias plataformas de hardware e software; 
 
 Existência de sistemas de 
 fornecedores diferentes; 
 
 
 Constantes alterações nos sistemas corporativos; 
Machado, 2004 
POR QUE UTILIZAR UM DATA 
WAREHOUSE? 
 Dificuldade de recuperação de dados históricos 
em períodos superiores ao ano atual de operações; 
 
 
 
 
 
 
 Falta de padronização e integração dos dados 
existentes nos diversos sistemas. 
 
Machado, 2004 
CARACTERÍSTICAS DO DATA WAREHOUSE? 
 Extração de dados 
 de fontes heterogêneas; 
 
 
 
 
 
 Transformação e integração dos dados antes de 
sua carga final; 
 Normalmente requer máquina e suporte próprio; 
Machado, 2004 
CARACTERÍSTICAS DO DATA WAREHOUSE? 
 Visualização de dados em diferentes níveis; 
 Dados são somente inseridos (cargas iniciais e 
incrementais), “sem updates”. 
Machado, 2004 
CARACTERÍSTICAS DO DATA WAREHOUSE? 
 Orientados a Assunto 
 Agrupadas em assuntos mais importantes da 
empresa, diferente dos SPTs que são orientados ao 
processo diário; 
 Foco em dados úteis para a tomada de decisão. 
Machado, 2004 
CARACTERÍSTICAS DO DATA WAREHOUSE? 
 Variação do tempo 
 É essencial, pois é necessário a projeção em janelas 
de tempo; 
 Horizonte de tempo satisfatório em um SPT é de 60 a 
90 dias. Em um DW entre 5 a 10 anos. 
Machado, 2004 
CARACTERÍSTICAS DO DATA WAREHOUSE? 
 Não volátil 
 Há operações somente de inclusão e consulta; 
 Nada se “evapora”. 
Machado, 2004 
CARACTERÍSTICAS DO DATA WAREHOUSE? 
 Integração 
 Dados (convenção de nomes, valores de variáveis, ...) 
são convergidos em uma base única. 
Machado, 2004 
ARQUITETURA DO DATA WAREHOUSE? 
 Conjunto de ferramentas que correspondem da 
carga até o processamento das consultas; 
 As ferramentas podem ser divididas em 2 grupos. 
Machado, 2004 
Carga inicial e atualizações Consultas orientadas ao usuário final 
ARQUITETURA DO DATA WAREHOUSE? 
 Data Warehouse = Conjunção de múltiplos Data 
Marts; 
 Data Marts visões direcionadas de uma 
determinada área. 
Machado, 2004 
ARQUITETURA DO DATA WAREHOUSE? 
 Data Marts são como prateleiras em um 
armazém de dados 
 
Machado, 2004 
PAPÉIS NO DATA WAREHOUSE? 
 Analistas responsáveis pela carga dos dados; 
 Analistas responsáveis pelo desenvolvimento e 
manutenção do DW e DMs; 
 Administradores de Dados (ADs); 
 Usuários finais. 
Machado, 2004 
PAPÉIS NO DATA WAREHOUSE? 
 Atividade!!! 
 Em um processo de criação de data warehouse 
existem alguns tipos de pessoas nas quais precisamos 
levantar requisitos. Quais tipos existem e quais são 
suas características? 
 Existem diversos tipos de usuários finais. Quais tipos 
existem e quais são suas características? 
 O que devemos ter para construir uma solução de DW 
e termos as aceitação da sua utilização? 
Machado, 2004 
FORMAS DE ARMAZENAMENTO 
 ROLAP; 
 MOLAP; 
 HOLAP. 
Josiel 
ROLAP – OLAP RELACIONAL 
 Armazenamento na estrutura ROLAP 
 A base e as agregações são armazenadas na 
estrutura relacional; 
 Cada nível de uma dimensão é armazenada e 
indexada em uma tabela e cada medida em uma 
coluna; 
 Seu uso é indicado para dados pouco consultados 
 dados mais antigos do DW 
 Vantagens 
 Consultas SQL comuns podem ser realizadas nas tabelas; 
 Elimina dados duplicados, diminuindo o espaço em disco 
utilizado; 
 Ferramentas OLAP podem criar índices automaticamente; 
 Administração semelhante à do SGBD. 
Josiel 
ROLAP – OLAP RELACIONAL 
 Exemplos de esquemas ROLAP 
 Esquema estrela; 
 Esquema floco de neve. 
Machado, 2004 
ROLAP – OLAP RELACIONAL 
 Esquema estrela 
Machado, 2004 
ROLAP – OLAP RELACIONAL 
 Esquema flocos de neve 
Machado, 2004 
MOLAP – OLAP MULTIDIMENSIONAL 
 Armazenamento na estrutura MOLAP 
 Os dados e agregações são armazenados em 
uma estrutura multidimensional; 
 As células vazias não são armazenadas; 
 Indicado para cubos com alta freqüência de 
consultas; 
 Vantagens 
 Operações de junções não são realizadas; 
 Acesso à estrutura multidimensional só não é feita para 
consultas em detalhes. 
Josiel 
HOLAP – OLAP HÍBRIDO 
 Armazenamento na estrutura HOLAP 
 A base é armazenada na estrutura relacional; 
 As agregações são armazenadas em cubos; 
 Indicado para consultas frequentes em dados 
agregados que são baseados em grande 
quantidade de dados na base; 
 Vantagens 
 Consome menos espaço em disco que MOLAP; 
 Consultas podem ser feitas utilizando o processador de 
consultas MOLAP; 
 Administração semelhante à do SGBD. 
Josiel 
COMPARATIVO 
Josiel 
O PROCESSO DE DW 
Josiel 
 Granularidade 
 
 
 
 
 
 
 
 Quais outras granularidades poderíamos gerar 
dos 100 registros/mês? 
 
CONCEITOS PARA MODELAGEM DE DW 
Machado, Inmon 
100 registros/mês 
Alto nível de detalhes 
Baixo nível de granularidade 
1 registros/mês 
Baixo nível de detalhes 
Alto nível de granularidade 
Data 
Hora 
Vendedor 
Valor 
Mês 
Vendedor 
Valor 
 Fatos 
 Cada fato representa um item, uma transação ou 
evento de negócio; 
 É tudo aquilo que reflete a evolução dos negócios no 
dia-a-dia em uma organização; 
 Existem fatos abaixo? 
CONCEITOS PARA MODELAGEM DE DW 
Machado, Inmon 
Data 
Hora 
Vendedor 
Valor 
Mês 
Vendedor 
Valor 
 Dimensões 
 Elementos que participam de um fato; 
 Possíveis formas de visualizar os dados (por mês, por 
país, por região, por produto, ...); 
 
 
 
 
 
 Quais seriam as dimensões possíveis? 
CONCEITOS PARA MODELAGEM DE DW 
Machado, Inmon 
Data 
Hora 
Vendedor 
Valor 
 Hierarquia de uma Dimensão 
 
CONCEITOS PARA MODELAGEM DE DW 
Machado, Inmon 
 Medidas (variáveis) 
 São medidas numéricas que representam um fato; 
 Exemplo: valor reais de vendas, número de produtos 
vendidos, ... 
 
 
 ??? ??? ??? ??? 
CONCEITOS PARA MODELAGEM DE DW 
Machado, Inmon 
 Exemplo modelagem (estrela) 
CONCEITOS PARA MODELAGEM DE DW 
Machado, Inmon 
 Exemplo Cubo 
CONCEITOS PARA MODELAGEM DE DW 
Machado, Inmon 
MODELAGEM DE DW 
Josiel 
MODELAGEM DE DW 
Josiel 
Quais são as possíveis visões que podemos ter da base de dados? 
 
MODELAGEM DE DW 
Josiel 
 Possíveis cubos 
 Abertura de filiais 
 Cidade dos clientes que mais compraram um determinado 
produto. 
 Atender as entregas de forma mais rápida verificando a 
sazonalidade das compras 
 Região de maior venda em determinado mês 
 Realização de promoções para produtos específicos 
 Categoria de produto mais vendida no último trimestre 
 Definir uma política de promoção dos funcionários 
 Funcionário que mais vendeu em determinado período (mês, 
ano); 
 Faça um modelo estrela no qual contempla os 
possíveis cubos baseado na estrutura transacional do 
exemplo. 
ARQUITETURA DOS DMS 
Machado 
TIPOS DE IMPLEMENTAÇÃO 
Machado 
 Influenciada por 
 Disponibilidade de infra-estrutura de TI; 
 Arquitetura escolhida; Escopo da implementação; 
 Recursos disponíveis; 
 Necessidade de acesso corporativo; 
 ROI. 
A principais formas são: 
 Top down; 
 Bottom up; 
 Intermediária. 
TIPOS DE IMPLEMENTAÇÃO 
Machado 
Top down 
 Requer mais planejamento; 
 Definições conceituais completos; 
 Antes de iniciar a implementação, deve: 
 Definição das fontes de dados; 
 Nível de segurança; 
 Estrutura de dados; 
 Nível de qualidade de dados; 
 Padrões e modelos dos SPTs. 
 
TIPOS DE IMPLEMENTAÇÃO 
Machado 
Top down 
Imagem: http://imasters.com.br/artigo/11417/gerencia/arquitetura_de_data_warehouse_-_parte_01/ 
TIPOS DE IMPLEMENTAÇÃO 
Machado 
Top down 
 Vantagens 
 Herança de arquitetura: DM com mesma arquitetura; 
 Visão de empreendimento: DW concentra todos os negócios 
da empresa; 
 Repositório centralizado: DW provê um repositório de 
metadados central do sistema; 
 Controle e centralização de regras: Único conjunto de 
aplicações para extração, limpeza e manutenção. 
 Desvantagens 
 Longa implementação: Média de 15 ou + meses para a 
primeira área de assunto estar pronta; 
 Alta taxa de risco: Sem garantias de ROI; 
 Expectativas frustradas: Por conta da demora e falta de 
retorno, pode não estar alinhado com a expectativa dos 
usuários. 
TIPOS DE IMPLEMENTAÇÃO 
Machado 
Bottom up 
 Pode ser realizado sem que esteja definido a infra-
estrutura corporativa do DW; 
 ROI rápido (faster pay back); 
 DW incremental a partir de DMs independentes; 
 Em virtude das dificuldades da Top down, tem se 
utilizado a estratégia do Bottom up; 
 Construção incremental gera falta de padronização e 
inconsistência entre os DMs. 
TIPOS DE IMPLEMENTAÇÃO 
Machado 
Bottom up 
Imagem: http://imasters.com.br/artigo/11721/gerencia-de-ti/arquitetura-de-data-warehouse-parte-02/ 
TIPOS DE IMPLEMENTAÇÃO 
Machado 
Bottom up 
 Vantagens 
 Implementação rápida: DM Altamente direcionada. Um DM 
pode entrar em produção de seis a nove meses; 
 Retorno rápido: Retorno rápido permite mais investimentos; 
 Foco nas áreas essenciais: Como é incremental, o foco se 
mantém nas áreas mais agregadoras a empresa; 
 Herança incremental: Equipe cresce e aprende passo a 
passo, reduzindo os riscos. 
 Desvantagens 
 Desafio de possuir uma visão de empreendimento; 
 Múltiplas equipes: Geralmente o desenvolvimento é em 
paralelo, o que aumenta o grau de complexidade de gestão; 
 Maldição do sucesso: Quem tem quer mais, e os que não 
tem? 
TIPOS DE IMPLEMENTAÇÃO 
Machado 
 Intermediária 
 Combinação de top down com bottom up; 
 Implementação 
 Planejamento Top down. 
 Desenvolvimento Bottom up 
 Um DM de cada vez; 
 Cada DM encarado de forma evolutiva: 
 Complexidade do modelo; 
 Volume de dados; 
 Investimentos. 
 Gestão de metadados 
 Coerência entre os vários DMs. 
ANALISE DIMENSIONAL 
Machado 
Um exemplo com 5W2H 
ANALISE DIMENSIONAL 
Machado 
Como encontrar as dimensões 
Foi comprado, 
produzido... 
Comprou, produziu, 
vendeu, ... 
Foi comprado, 
produzido, vendido, ... 
TIPOS DE IMPLEMENTAÇÃO 
Machado 
Exemplos 
 Compras em uma organização; 
 Produção em uma indústria. 
 ... 
BIBLIOGRAFIA 
 Sistemas de Informações Gerenciais. Kenneth 
Laudo e Jane Laudon, 9ª Edição, Ed. Pearson, 
2010; 
 Tecnologia e Projetos de Data Warehouse. Felipe 
Nery Rodrigues Machado, 1ª Edição, Ed. Érica, 
2004; 
 Notas de aulas do Prof. Josiel Maimone de 
Figueiredo. 
 Building the Data Warehouse. William H. Inmon, 
4ª Edição, Ed. Wiley, 2005.