Baixe o app para aproveitar ainda mais
Prévia do material em texto
SISTEMAS DE APOIO A DECISÃO DATA WAREHOUSE Prof. Nilton Takagi O QUE É UM DATA WAREHOUSE? “É uma coleção de dados orientados por assunto, integrado, variável com o tempo e não-volátil, que tem por objetivo dar suporte aos processos de tomada de decisão.” (Inmon) Laudon, 2010 POR QUE UTILIZAR UM DATA WAREHOUSE? Várias plataformas de hardware e software; Existência de sistemas de fornecedores diferentes; Constantes alterações nos sistemas corporativos; Machado, 2004 POR QUE UTILIZAR UM DATA WAREHOUSE? Dificuldade de recuperação de dados históricos em períodos superiores ao ano atual de operações; Falta de padronização e integração dos dados existentes nos diversos sistemas. Machado, 2004 CARACTERÍSTICAS DO DATA WAREHOUSE? Extração de dados de fontes heterogêneas; Transformação e integração dos dados antes de sua carga final; Normalmente requer máquina e suporte próprio; Machado, 2004 CARACTERÍSTICAS DO DATA WAREHOUSE? Visualização de dados em diferentes níveis; Dados são somente inseridos (cargas iniciais e incrementais), “sem updates”. Machado, 2004 CARACTERÍSTICAS DO DATA WAREHOUSE? Orientados a Assunto Agrupadas em assuntos mais importantes da empresa, diferente dos SPTs que são orientados ao processo diário; Foco em dados úteis para a tomada de decisão. Machado, 2004 CARACTERÍSTICAS DO DATA WAREHOUSE? Variação do tempo É essencial, pois é necessário a projeção em janelas de tempo; Horizonte de tempo satisfatório em um SPT é de 60 a 90 dias. Em um DW entre 5 a 10 anos. Machado, 2004 CARACTERÍSTICAS DO DATA WAREHOUSE? Não volátil Há operações somente de inclusão e consulta; Nada se “evapora”. Machado, 2004 CARACTERÍSTICAS DO DATA WAREHOUSE? Integração Dados (convenção de nomes, valores de variáveis, ...) são convergidos em uma base única. Machado, 2004 ARQUITETURA DO DATA WAREHOUSE? Conjunto de ferramentas que correspondem da carga até o processamento das consultas; As ferramentas podem ser divididas em 2 grupos. Machado, 2004 Carga inicial e atualizações Consultas orientadas ao usuário final ARQUITETURA DO DATA WAREHOUSE? Data Warehouse = Conjunção de múltiplos Data Marts; Data Marts visões direcionadas de uma determinada área. Machado, 2004 ARQUITETURA DO DATA WAREHOUSE? Data Marts são como prateleiras em um armazém de dados Machado, 2004 PAPÉIS NO DATA WAREHOUSE? Analistas responsáveis pela carga dos dados; Analistas responsáveis pelo desenvolvimento e manutenção do DW e DMs; Administradores de Dados (ADs); Usuários finais. Machado, 2004 PAPÉIS NO DATA WAREHOUSE? Atividade!!! Em um processo de criação de data warehouse existem alguns tipos de pessoas nas quais precisamos levantar requisitos. Quais tipos existem e quais são suas características? Existem diversos tipos de usuários finais. Quais tipos existem e quais são suas características? O que devemos ter para construir uma solução de DW e termos as aceitação da sua utilização? Machado, 2004 FORMAS DE ARMAZENAMENTO ROLAP; MOLAP; HOLAP. Josiel ROLAP – OLAP RELACIONAL Armazenamento na estrutura ROLAP A base e as agregações são armazenadas na estrutura relacional; Cada nível de uma dimensão é armazenada e indexada em uma tabela e cada medida em uma coluna; Seu uso é indicado para dados pouco consultados dados mais antigos do DW Vantagens Consultas SQL comuns podem ser realizadas nas tabelas; Elimina dados duplicados, diminuindo o espaço em disco utilizado; Ferramentas OLAP podem criar índices automaticamente; Administração semelhante à do SGBD. Josiel ROLAP – OLAP RELACIONAL Exemplos de esquemas ROLAP Esquema estrela; Esquema floco de neve. Machado, 2004 ROLAP – OLAP RELACIONAL Esquema estrela Machado, 2004 ROLAP – OLAP RELACIONAL Esquema flocos de neve Machado, 2004 MOLAP – OLAP MULTIDIMENSIONAL Armazenamento na estrutura MOLAP Os dados e agregações são armazenados em uma estrutura multidimensional; As células vazias não são armazenadas; Indicado para cubos com alta freqüência de consultas; Vantagens Operações de junções não são realizadas; Acesso à estrutura multidimensional só não é feita para consultas em detalhes. Josiel HOLAP – OLAP HÍBRIDO Armazenamento na estrutura HOLAP A base é armazenada na estrutura relacional; As agregações são armazenadas em cubos; Indicado para consultas frequentes em dados agregados que são baseados em grande quantidade de dados na base; Vantagens Consome menos espaço em disco que MOLAP; Consultas podem ser feitas utilizando o processador de consultas MOLAP; Administração semelhante à do SGBD. Josiel COMPARATIVO Josiel O PROCESSO DE DW Josiel Granularidade Quais outras granularidades poderíamos gerar dos 100 registros/mês? CONCEITOS PARA MODELAGEM DE DW Machado, Inmon 100 registros/mês Alto nível de detalhes Baixo nível de granularidade 1 registros/mês Baixo nível de detalhes Alto nível de granularidade Data Hora Vendedor Valor Mês Vendedor Valor Fatos Cada fato representa um item, uma transação ou evento de negócio; É tudo aquilo que reflete a evolução dos negócios no dia-a-dia em uma organização; Existem fatos abaixo? CONCEITOS PARA MODELAGEM DE DW Machado, Inmon Data Hora Vendedor Valor Mês Vendedor Valor Dimensões Elementos que participam de um fato; Possíveis formas de visualizar os dados (por mês, por país, por região, por produto, ...); Quais seriam as dimensões possíveis? CONCEITOS PARA MODELAGEM DE DW Machado, Inmon Data Hora Vendedor Valor Hierarquia de uma Dimensão CONCEITOS PARA MODELAGEM DE DW Machado, Inmon Medidas (variáveis) São medidas numéricas que representam um fato; Exemplo: valor reais de vendas, número de produtos vendidos, ... ??? ??? ??? ??? CONCEITOS PARA MODELAGEM DE DW Machado, Inmon Exemplo modelagem (estrela) CONCEITOS PARA MODELAGEM DE DW Machado, Inmon Exemplo Cubo CONCEITOS PARA MODELAGEM DE DW Machado, Inmon MODELAGEM DE DW Josiel MODELAGEM DE DW Josiel Quais são as possíveis visões que podemos ter da base de dados? MODELAGEM DE DW Josiel Possíveis cubos Abertura de filiais Cidade dos clientes que mais compraram um determinado produto. Atender as entregas de forma mais rápida verificando a sazonalidade das compras Região de maior venda em determinado mês Realização de promoções para produtos específicos Categoria de produto mais vendida no último trimestre Definir uma política de promoção dos funcionários Funcionário que mais vendeu em determinado período (mês, ano); Faça um modelo estrela no qual contempla os possíveis cubos baseado na estrutura transacional do exemplo. ARQUITETURA DOS DMS Machado TIPOS DE IMPLEMENTAÇÃO Machado Influenciada por Disponibilidade de infra-estrutura de TI; Arquitetura escolhida; Escopo da implementação; Recursos disponíveis; Necessidade de acesso corporativo; ROI. A principais formas são: Top down; Bottom up; Intermediária. TIPOS DE IMPLEMENTAÇÃO Machado Top down Requer mais planejamento; Definições conceituais completos; Antes de iniciar a implementação, deve: Definição das fontes de dados; Nível de segurança; Estrutura de dados; Nível de qualidade de dados; Padrões e modelos dos SPTs. TIPOS DE IMPLEMENTAÇÃO Machado Top down Imagem: http://imasters.com.br/artigo/11417/gerencia/arquitetura_de_data_warehouse_-_parte_01/ TIPOS DE IMPLEMENTAÇÃO Machado Top down Vantagens Herança de arquitetura: DM com mesma arquitetura; Visão de empreendimento: DW concentra todos os negócios da empresa; Repositório centralizado: DW provê um repositório de metadados central do sistema; Controle e centralização de regras: Único conjunto de aplicações para extração, limpeza e manutenção. Desvantagens Longa implementação: Média de 15 ou + meses para a primeira área de assunto estar pronta; Alta taxa de risco: Sem garantias de ROI; Expectativas frustradas: Por conta da demora e falta de retorno, pode não estar alinhado com a expectativa dos usuários. TIPOS DE IMPLEMENTAÇÃO Machado Bottom up Pode ser realizado sem que esteja definido a infra- estrutura corporativa do DW; ROI rápido (faster pay back); DW incremental a partir de DMs independentes; Em virtude das dificuldades da Top down, tem se utilizado a estratégia do Bottom up; Construção incremental gera falta de padronização e inconsistência entre os DMs. TIPOS DE IMPLEMENTAÇÃO Machado Bottom up Imagem: http://imasters.com.br/artigo/11721/gerencia-de-ti/arquitetura-de-data-warehouse-parte-02/ TIPOS DE IMPLEMENTAÇÃO Machado Bottom up Vantagens Implementação rápida: DM Altamente direcionada. Um DM pode entrar em produção de seis a nove meses; Retorno rápido: Retorno rápido permite mais investimentos; Foco nas áreas essenciais: Como é incremental, o foco se mantém nas áreas mais agregadoras a empresa; Herança incremental: Equipe cresce e aprende passo a passo, reduzindo os riscos. Desvantagens Desafio de possuir uma visão de empreendimento; Múltiplas equipes: Geralmente o desenvolvimento é em paralelo, o que aumenta o grau de complexidade de gestão; Maldição do sucesso: Quem tem quer mais, e os que não tem? TIPOS DE IMPLEMENTAÇÃO Machado Intermediária Combinação de top down com bottom up; Implementação Planejamento Top down. Desenvolvimento Bottom up Um DM de cada vez; Cada DM encarado de forma evolutiva: Complexidade do modelo; Volume de dados; Investimentos. Gestão de metadados Coerência entre os vários DMs. ANALISE DIMENSIONAL Machado Um exemplo com 5W2H ANALISE DIMENSIONAL Machado Como encontrar as dimensões Foi comprado, produzido... Comprou, produziu, vendeu, ... Foi comprado, produzido, vendido, ... TIPOS DE IMPLEMENTAÇÃO Machado Exemplos Compras em uma organização; Produção em uma indústria. ... BIBLIOGRAFIA Sistemas de Informações Gerenciais. Kenneth Laudo e Jane Laudon, 9ª Edição, Ed. Pearson, 2010; Tecnologia e Projetos de Data Warehouse. Felipe Nery Rodrigues Machado, 1ª Edição, Ed. Érica, 2004; Notas de aulas do Prof. Josiel Maimone de Figueiredo. Building the Data Warehouse. William H. Inmon, 4ª Edição, Ed. Wiley, 2005.
Compartilhar