Baixe o app para aproveitar ainda mais
Prévia do material em texto
INTELIGÊNCIA EMPRESARIAL Aula 10 - Processo Datawarehousing Conteúdo Programático desta aula Processo de construção do Data Warehouse INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL PROCESSO DATAWAREHOUSING Gerenciador de Processos (cargas, manutenções) Metadados (funções) BDs operacionais Fontes externas Metadados (repositório) DW Queries Relatórios, OLAP, Mining Simulação CRM DBM A c e s s o à i n f o r m a ç ã o Extração Transform. Carga INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL PROCESSO ETL (Extração, Tratamento e Loader(carga)) Responsável por integrar, transformar e salvar dados, não importando sua fonte nem seu destino. Os dados são submetidos a severas transformações e disponibilizados de forma normalizada Dependendo da periodicidade de atualização dos dados devem ser estabelecidos mecanismos de sincronização de dados para garantir a integridade dos dados INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL PROCESSO ETL (Extração, Tratamento e Loader(carga)) Extração Transformação Carga Extração Transformação Carga Extração Transformação Carga EXTRAÇÃO TRANSFORMAÇÃO CARGA INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL EXTRAÇÃO DE DADOS Primeiro passo na obtenção de dados para o ambiente do DW Busca dados nas diversas fontes de origem e os transporta para a área de transformação de dados - Na construção deste processo é fundamental o acesso e a clara compreensão dos dados de origem. INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL TRANSFORMAÇÃO DE DADOS - Após a extração de dados deve existir o tratamento destes dados. O primeiro passo deste tratamento refere-se à limpeza, ou filtragem dos dados, cujo objetivo é garantir a integridade dos dados através de programas ou rotinas especiais que tentam identificar anomalias e resolve-las. É maior preocupação da área de TI pois, se não existir uma estratégia adequada, o Data Warehouse pode falhar INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL TRANSFORMAÇÃO DE DADOS - LIMPEZA Tem por objetivo deixar os elementos de dados padronizados (uniformizados), não duplicados, corretos, consistentes e espelhando a realidade. Dentre as atividades executadas podemos citar a correção de inconsistências de códigos e caracteres especiais, solução de problemas de conflito de domínios, recuperação de dados perdidos e a correção de valores duplicados ou errados. INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL CARGA DE DADOS Depois de transformados e “limpos” os dados estão aptos para serem carregados no Data Warehouse. Esta etapa também demanda muita atenção de TI pois exige uma série de cuidados, por exemplo: Integridade dos dados Tipo de carga a ser realizada Otimização do processo de carga Suporte completo ao processo de carga INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL CARGA DE DADOS Integridade dos dados: Assim como nos bancos de dados operacionais, é preciso assegurar que as regras de integridade das chaves estrangeiras sejam respeitadas no momento da carga. Tipo de carga a ser realizada: incremental ou total A carga incremental normalmente é feita para tabelas de fatos e a carga total é feita em tabelas de dimensão onde o analista terá que excluir os dados existentes e incluí-los novamente INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL CARGA DE DADOS Otimização do processo de carga: Todo banco de dados possui um conjunto de técnicas para otimizar o processo de carga, tais como evitar a geração de log durante o processo, criar índices e agregar dados. Suporte completo ao processo de carga: O serviço de carga também precisa suportar as exigências antes e depois da carga atual, como eliminar e recriar índices e particionamento físico de tabelas e índices. INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Externas : Prazos muito curtos; Relacionamento com outras equipes: falta de tempo dos analistas OLTP falta de paciência dos usuários; Falta de documentação; Necessidade de reduzir custos do projeto. INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Internas: Extração Transporte Transformação Carga do Dados INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Extração: Erros humanos como troca de nomes e tipos de variáveis; Uso de regras de extração em desarmonia com as regras necessárias; Dados não esperados sendo extraídos (tipo, tamanho, formato e conteúdo). INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Transporte: Incompatibilidade entre ambientes operacionais diferentes; Necessidade de quebrar o processo em etapas gerando dados estocados. INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Transformação: Inserção de erros de transformação (escala de valor ou unidade); Uso de equações matemáticas. INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL DIFICULDADES DO PROCESSO ETL Carga do Dados: Aplicação de seleções não planejadas no momento da carga; Erros de codificação, tipo e formato de dados; Diferença entre modelagens de dados. INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL TIPOS DE IMPLEMENTAÇÃO DO DW As abordagens de implementação de Data Warehouse em uso pelas organizações são três: Top down, Bottom up e Intermediária. A escolha de um destes tipos é influenciada por fatores como: infra-estrutura de TI, arquitetura escolhida, escopo da implementação, recursos disponíveis e, principalmente, pela necessidade ou não de acesso aos dados corporativos, recursos disponíveis e velocidade de implementação. INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO TOP DOWN Padrão inicial do conceito de Data Warehouse Exige maior planejamento e demanda um trabalho maior de definições conceituais de tecnologia antes de iniciar-se o projeto propriamente dito. As decisões sobre fontes de dados que serão utilizadas, segurança, estruturas de dados, qualidade de dados, padrões de dados e os vários modelos de dados dos sistemas transacionais atuais devem estar completos antes do início da implementação. INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO TOP DOWN O processo se inicia com a extração, a transformação e a integração das informações dos sistemas transacionais e dados externos para um ODS ou diretamente das fontes operacionais. A seguir, os dados e metadados são transferidos para o Data Warehouse, a partir do qual são extraídos para os Data Marts. INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO TOP DOWN Fontes Externas Sistemas Transacionais DM 1 DM 2 DM N OLAP Server Data Mining DW ETL (Fonte: Adaptado de Oliveira, S.R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO BOTTOM UP Permite o planejamento dos Data Marts sem esperar que a infra-estrutura corporativa do Data Warehouse seja definida. Tem por objetivo a construção de um Data Warehouse incremental a partir do desenvolvimento de Data Marts independentes. Bem aceita pelos executivos por possuir um retorno de investimento rápido. Seu processo inicia com a extração, a transformação e a integração dos dados para um ou mais Data Marts.INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO TOP DOWN DM 1 DM 2 DM N DM DM DM DM DM Sistemas Transacionais (Fonte: Adaptado de Oliveira, S.R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO INTERMEDIÁRIA Integra a implementação Top Down com a Bottom Up. Efetua-se a modelagem de dados do Data Warehouse com visão macro. A partir daí, cada Data Mart pode ser gerado a partir do macromodelo de dados do Data Warehouse e integrado ao modelo físico do Data Warehouse. INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL IMPLEMENTAÇÃO INTERMEDIÁRIA DM DM DM DM DM Data Warehouse (Fonte: Adaptado de Oliveira, S.R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Planejamento Levantamento das Necessidades Modelagem Dimensional Projeto Físico dos BD’s Projeto de ETL Desenvolvimento de Aplicações Validação e Testes Treinamento Implantação Passos Críticos Passos passíveis de muitos problemas (Fonte: Adaptado de Oliveira, S.R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Planejamento definição do escopo do projeto, considerando-se as áreas críticas da empresa e as necessidades mais permanentes de informações gerenciais. (Fonte: Adaptado de Oliveira, S.R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Levantamento de Necessidades Identificados os modelos de projeto: o modelo dimensional e o modelo relacionado às fontes das informações. Modelo dimensional: representa os blocos conceituais de dados necessários para atender os objetivos do sistema de suporte à decisão. Modelo relacionado às fontes das informações: permite avaliar a qualidade e a integridade dos dados-fonte, além da sua duração histórica. (Fonte: Adaptado de Oliveira, S.R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Modelagem Dimensional Projeto de quais os indicadores (medidas) que serão analisados, e as dimensões de análise, considerando quais indicadores são necessários para gerenciar o negócio. Deve considerar quais são os dados disponíveis para gerar os indicadores, e aqueles que precisam serem disponibilizados (Fonte: Adaptado de Oliveira, S.R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Projeto Físico dos BDs Definição das tabelas Fato e Dimensão e seus relacionamentos e indices Implantação de regras associadas. (Fonte: Adaptado de Oliveira, S.R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Projeto ETL Definição dos vários elementos que irão compor as atividades do processo de ETL: Filtro de Dados procedimentos e condições para se eliminar os elementos de dados indesejáveis no modelo dimensional (Fonte: Adaptado de Oliveira, S.R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Projeto ETL Integração de Dados define a forma de se correlacionar informações existentes em fontes distintas, e que deverão ser integradas no Data Warehouse Condensação de Dados define a forma de se reduzir volumes de dados visando a obter informações resumidas e sumarizadas (Fonte: Adaptado de Oliveira, S.R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Projeto ETL Conversão/Integração de Dados define os procedimentos para padronizar dados que se encontram com unidades, formatos e dimensões diferentes. Exemplo: vendas de produtos no mês, produção de componentes por dia e compra de materiais por semana Derivação de Dados define os meios e fórmulas para produzir dados virtuais, a partir de dados existentes. (Fonte: Adaptado de Oliveira, S.R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Desenvolvimento de Aplicações O objetivo final do Data Warehouse é o ambiente de consultas OLAP. Este ambiente deve ter uma interface amigável e simples, onde o usuário pode construir suas consultas, de acordo com sua necessidade ou intuição. As aplicações ou ferramentas deste ambente devem possibilitar a visualização de dados em formas variadas e a importação dos dados obtidos para ferramentas do usuário final, como por exemplo, planilhas e processadores de textos. (Fonte: Adaptado de Oliveira, S.R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Validação e Teste Teste do sistema é testado considerando-se, o máximo possível, as simulações de volume e de processamentos. (Fonte: Adaptado de Oliveira, S.R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Treinamento Todos os usuários envolvidos com a atividade gerencial de negócio deverão ser treinados, não apenas nas ferramentas/aplicações, mas também nos conceitos associados ao Data Warehouse. (Fonte: Adaptado de Oliveira, S.R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE Etapa: Implantação Acompanhamento de uso das aplicações disponibilizadas. A equipe do projeto deverá incentivar os usuários a apresentarem críticas e sugestões de melhorias para as próximas versões do sistema. (Fonte: Adaptado de Oliveira, S.R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação) INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL PROJETO DE DATA WAREHOUSE - MITOS Os dados não mudam na migração; Os dados são migrados apenas uma vez; Tudo está bem documentado; Toda a documentação está disponível; A conversão e a movimentação de dados é fácil; A transformação é uma pequena parte do projeto. INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL PROJETO DE DATA WAREHOUSE - FATOS Os dados antigos não são conhecidos ou entendidos; Muitas aplicações encontram-se em sistemas proprietários; A data de entrega é normalmente estabelecida antes da análise do problema; Há uma complexidade e diversidade de sistemas e de culturas; Não há controle dos processos do negócio; Não há especialização em muitas das linguagens e banco de dados; Fontes de dados externas são necessárias INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL Registro de Frequência Qual das alternativas abaixo apresenta uma das vantagens da Implementação Top Down? a demorado projeto e a falta de retorno podem aumentar as expectativas dos usuários. a construção dos Data Marts é altamente direcionada, permitindo um rápido desenvolvimento. durante a construção dos Data Marts incrementais, é necessário que se mantenha um rígido controle do negócio como um todo. todos os negócios da empresa estão concentrados no Data Warehouse; é a garantia da consistência dos dados, pois o modelo de dados para os Data Marts é único. INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL Registro de Frequência Qual das alternativas abaixo apresenta uma das vantagens da Implementação Top Down? a demora do projeto e a falta de retorno podem aumentar as expectativas dos usuários. a construção dos Data Marts é altamente direcionada, permitindo um rápido desenvolvimento. durante a construção dos Data Marts incrementais, é necessário que se mantenha um rígido controle do negócio como um todo. todos os negócios da empresa estão concentrados no Data Warehouse; é a garantia da consistência dos dados, pois o modelo de dados para os Data Marts é único. INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL Registro de Frequência Em relação às afirmações abaixo quanto ao Data Warehouse, indique quais as que são Fato (F) e quais as que são Mito (M). ( ) Toda a documentação está disponível; ( ) Há uma complexidade e diversidade de sistemas e de culturas; ( ) Não há controle dos processos do negócio; ( ) A conversão e a movimentação de dados é fácil; ( ) Fontes de dados externas. ( ) A transformação é uma pequena parte do projeto ( ) Não há especialização em muitas das linguagens e banco de dados; INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL Registro de Frequência Em relação às afirmações abaixo quanto ao Data Warehouse, indique quais as que são Fato (F) e quais as que são Mito (M). ( M ) Toda a documentação está disponível; ( ) Há uma complexidade e diversidade de sistemas e de culturas; ( ) Não há controle dos processos do negócio; ( ) A conversão e a movimentação de dados é fácil; ( ) Fontes de dados externas. ( ) A transformação é uma pequena parte do projeto ( ) Não há especialização em muitas das linguagens e banco de dados; INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL Registro de Frequência Em relação às afirmações abaixo quanto ao Data Warehouse, indique quais as que são Fato (F) e quais as que são Mito (M). ( M ) Toda a documentação está disponível; ( F ) Há uma complexidade e diversidade de sistemas e de culturas; ( ) Não há controle dos processos do negócio; ( ) A conversão e a movimentação de dados é fácil; ( ) Fontes de dados externas. ( ) A transformação é uma pequena parte do projeto ( ) Não há especialização em muitas das linguagens e banco de dados; INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL Registro de Frequência Em relação às afirmações abaixo quanto ao Data Warehouse, indique quais as que são Fato (F) e quais as que são Mito (M). ( M ) Toda a documentação está disponível; ( F ) Há uma complexidade e diversidade de sistemas e de culturas; ( F ) Não há controle dos processos do negócio; ( ) A conversão e a movimentação de dados é fácil; ( ) Fontes de dados externas. ( ) A transformação é uma pequena parte do projeto ( ) Não há especialização em muitas das linguagens e banco de dados; INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL Registro de Frequência Em relação às afirmações abaixo quanto ao Data Warehouse, indique quais as que são Fato (F) e quais as que são Mito (M). ( M ) Toda a documentação está disponível; ( F ) Há uma complexidade e diversidade de sistemas e de culturas; ( F ) Não há controle dos processos do negócio; ( M ) A conversão e a movimentação de dados é fácil; ( ) Fontes de dados externas. ( ) A transformação é uma pequena parte do projeto ( ) Não há especialização em muitas das linguagens e banco de dados; INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL Registro de Frequência Em relação às afirmações abaixo quanto ao Data Warehouse, indique quais as que são Fato (F) e quais as que são Mito (M). ( M ) Toda a documentação está disponível; ( F ) Há uma complexidade e diversidade de sistemas e de culturas; ( F ) Não há controle dos processos do negócio; ( M ) A conversão e a movimentação de dados é fácil; ( F ) Fontes de dados externas. ( ) A transformação é uma pequena parte do projeto ( ) Não há especialização em muitas das linguagens e banco de dados; INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL Registro de Frequência Em relação às afirmações abaixo quanto ao Data Warehouse, indique quais as que são Fato (F) e quais as que são Mito (M). ( M ) Toda a documentação está disponível; ( F ) Há uma complexidade e diversidade de sistemas e de culturas; ( F ) Não há controle dos processos do negócio; ( M ) A conversão e a movimentação de dados é fácil; ( F ) Fontes de dados externas. ( M ) A transformação é uma pequena parte do projeto ( ) Não há especialização em muitas das linguagens e banco de dados; INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL Registro de Frequência Em relação às afirmações abaixo quanto ao Data Warehouse, indique quais as que são Fato (F) e quais as que são Mito (M). ( M ) Toda a documentação está disponível; ( F ) Há uma complexidade e diversidade de sistemas e de culturas; ( F ) Não há controle dos processos do negócio; ( M ) A conversão e a movimentação de dados é fácil; ( F ) Fontes de dados externas. ( M ) A transformação é uma pequena parte do projeto ( F ) Não há especialização em muitas das linguagens e banco de dados; INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL Registro de Frequência O processo responsável por capturar os dados nos bancos de dados de origem e transformar estes dados de acordo com as necessidades de utilização pelo negócio é chamado de: Data Mart Modelagem Dimensional; Levantamentamento de Necessidades. ETL BI INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL Registro de Frequência O processo responsável por capturar os dados nos bancos de dados de origem e transformar estes dados de acordo com as necessidades de utilização pelo negócio é chamado de: Data Mart Modelagem Dimensional; Levantamentamento de Necessidades. ETL BI INTELIGÊNCIA EMPRESARIAL – AULA 10 INTELIGÊNCIA EMPRESARIAL
Compartilhar