Baixe o app para aproveitar ainda mais
Prévia do material em texto
28/09/2014 1 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento Parte 2 Introdução à Data Warehouse 31 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento BI e Gestão Estratégica • Identificação dos indicadores de negócio Quais processos de negócio são importantes Conhecimento de tendência dos fatos Comportamento dos processos de negócio Segmentação da informação • Acesso a Informações Análise Multidimensional Informação disponível e fácil Implementação de Data Warehouse 32 28/09/2014 2 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento • Novo Ambiente de Negócios Competição Global Mais e mais qualidade requerida Achatamento da hierarquia nas empresa • A chave para o sucesso Alta qualidade Baixo Custo Flexibilidade Agilidade • Apoio à decisão Produção e distribuição de Informação Útil para gerentes, executivos e analistas do conhecimento 33 Organizações Inteligentes A informação está no centro de toda organização inteligente! O que aconteceria se... Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento Data WareHouse • O Data Warehouse (DW) – uma arquitetura de Banco de Dados com informações de caráter gerencial voltado para suporte à decisão. • Funciona como um provedor de informações de uma organização, pois concentra todas as informações estratégicas e históricas, extraídas dos sistemas transacionais relativos a clientes e produtos. • Um Data Warehouse permite a geração de dados integrados e históricos auxiliando os executivos das empresas decidirem, embasados em fatos e não em intuições ou especulações, o que reduz a probabilidade de erros aumentado a velocidade na hora da decisão. 34 28/09/2014 3 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento • Por que um ambiente DW? Integrar dados de múltiplas fontes Facilitar o processo de análise sem impacto para o ambiente de dados operacionais Obter informação de qualidade Atender diferentes tipos de usuários finais Flexibilidade e agilidade para atender novas análises 35 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento • A proposta principal do Data Warehouse é a democratização das informações para a área de negócios, através do fácil acesso aos dados para análise. O data warehouse, sem a conexão com ferramentas de análise/extração, é simplesmente um banco de dados sem utilidade; • Data Warehouses devem conter apenas os dados que os usuários necessitam para tomar decisões táticas e estratégicas, no formato que eles necessitam. • Um projeto de Data Warehouse tem por objetivo organizar os dados transacionais de uma empresa, em um local onde o ambiente operacional não seja afetado, da melhor forma possível, para que possam ser aplicadas técnicas de análise e extração de dados. 36 28/09/2014 4 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento • Um DW considera que os analistas precisam de informações para montarem seus planos táticos e estratégicos. • Por exemplo, um sistema de análise de vendas, para fins de funcionamento, não precisa de taxa de dólar do ano passado, porém o analítico pode querer avaliar a evolução do dólar frente ao volume de compras de seus produtos e portanto precisará. 37 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento DW´s Características • Orientado por assuntos – Os dados armazenados são organizados por assuntos específicos importantes para o negócio da empresa. Exemplos típicos de assuntos são: produtos, atividades, contas, clientes, etc. • Integrado – Refere-se à consistência de nomes, das unidades das variáveis, etc. Por exemplo, considerando sexo como um elemento de dado. Uma aplicação pode codificar sexo como M/F, outra como 1/0 e uma terceira como H/M. 38 28/09/2014 5 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento • Variante no Tempo – Refere-se ao fato do dado em um Data Warehouse pertencer a algum momento específico, significando que ele não é atualizável, enquanto que o dado de produção é atualizado de acordo com as mudanças de estado do objeto em questão, refletindo, em geral, o estado do objeto no momento do acesso. Em um Data Warehouse, a cada ocorrência de uma mudança, uma nova entrada é criada, para marcar esta mudança. • Não Volátil – Significa que o Data Warehouse permite apenas carga de dados e consultas aos mesmos. Após serem integrados e transformados, os dados são carregados em bloco para o Data Warehouse, para que estejam disponíveis aos usuários para acesso. 39 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento Data Marts • Data Mart é um subconjunto do Data Warehouse. Construído com um escopo menor de informações, segmentado para uma determinada área de negócios ou assunto. Por se menor, aumenta a velocidade na consulta das informações. 40 Data Warehouse Data Mart Financeiro Data Mart Marketing Data Mart Compras Data Mart RH . . . 28/09/2014 6 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento • Os projetos de DW demoravam mais do que o suportado pelas gerências para que ficassem completamente disponíveis para utilização. • O investimento para estes projetos era muito alto. • Desta forma, resolveram limitar os escopos destes dados para contemplar uma parte dos negócios da empresa, como por exemplo cliente, marketing, finanças, ... • Surgiram os Data Marts (DM), que são DW em menor escala e com escopo mais definido. DW e DM são espécies do mesmo tipo, sendo que a diferença está no escopo do projeto e nos limites das suas abrangências. • O DW corporativo ia sendo construído a partir do somatório e das integrações dimensionais entre os diversos DMs. • Estes DMs possuem custos e tempos razoáveis de implantação. • Desafio: garantir a coerência entre os diversos DMs. 41 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento • O data mart proporciona uma estrutura de sistemas de informações que permite que uma empresa disponha de acesso muito flexível aos dados, fatie e os agrupe de qualquer maneira, explorando dinamicamente o relacionamento entre os dados. O data mart oferece tanto flexibilidade quanto controle ao usuário final. • O data mart e o data warehouse devem ser vistos como tecnologias complementares. • O data warehouse deve ser a fonte para os dados gerenciados pelo data mart. • Os dados fluem, regularmente, do data warehouse para o data mart à medida que este precisa, periodicamente, ser renovado. 42 28/09/2014 7 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento • O data warehouse abriga dados em seu nível mais baixo, proporcionando dadosfundamentais para o mais baixo nível de análise a que qualquer usuário do data mart deseje chegar. • Assim o usuário desfruta da eficiência de operar na maior parte do tempo no mundo do data mart tendo, ao mesmo tempo, a possibilidade de, se necessário, descer ao nível mais baixo de detalhe. • As informações resumidas podem ser calculadas e agrupadas no data mart e, então, armazenadas no data warehouse • Ao relacionar os dados desse modo, os dados resumidos podem ser armazenados no data warehouse por um período de tempo muito mais longo do que se eles fossem armazenados no data mart. 43 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento • O data mart aloja dados por um modesto período de tempo de 12 a 15 meses, por exemplo, dependendo da aplicação • O data warehouse aloja dados por um horizonte de tempo muito mais longo de 5 a 10 anos, por exemplo. Dessa maneira, o data warehouse se transforma em uma fonte de pesquisa para os analistas do data mart. • Tais analistas sabem que enormes quantidades de dados estão disponíveis caso necessário, mas não precisam pagar o preço de armazenar todos esses dados em seu ambiente quando não necessário. 44 Data Mart X Data Warehouse 28/09/2014 8 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento Conceitos de DW´s • Granularidade 45 Alto nível de detalhe Baixo nível de detalhe Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento Conceitos de DW´s •Alto nível de detalhe Exemplo Os detalhes de cada chamada telefônica feita por um cliente em um mês Análise possível Sr. José telefonou para sua namorada no Rio de Janeiro na semana passada? Menor Granularidade 46 EVENTO RARO 28/09/2014 9 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento • Granularidade diz respeito ao nível de detalhe ou de resumo contido nas unidades de dados existentes no data warehouse. • Quanto maior o nível de detalhe, menor o nível de granularidade. O nível de granularidade afeta diretamente o volume de dados armazenado no data warehouse e ao mesmo tempo o tipo de consulta que pode ser respondida. 47 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento •Baixo nível de detalhe Exemplo O resumo das chamadas telefônicas feitas por cliente um mês Análise possível Em média, quantas chamadas telefônicas de longa distância foram feitas pelos habitantes do Rio de Janeiro no mês passado? Maior Granularidade 48 28/09/2014 10 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento 49 • Quando se tem um nível de granularidade muito alto o espaço em disco e o número de índices necessários se tornam bem menores, porém há uma correspondente diminuição da possibilidade de utilização dos dados para atender a consultas detalhadas [DAL99]. Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento Processo de Carga de um DW Arquitetura 50 28/09/2014 11 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento 51 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento Extração de Dados 52 – Camada ETC (Extração, Transformação e Carga), em inglês ETL (Extraction, Transformation & Loading): • Responsável pelas ações de coleta, limpeza, preparação e carga dos depósitos de informações. – Extração: • Coleta de dados nos sistemas existentes. • Operação demorada e complexa. • Sistemas utilizam formatos diferentes de dados; • A extração converte para um formato que será a entrada do processo de processamento da transformação; 28/09/2014 12 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento Extração de Dados 53 – Transformação • Fundamental para clareza e integração. • Recodificação de categorias: (1/0, m/f, male/female para M/F). • Alterações e uniformização de unidades de medida, nomes de campos, datas, ... • Aplicação de regras ou funções para derivar dados; • Exemplos de transformação: – Seleção de colunas; – Tradução de valores codificados, fase conhecida como limpeza de dados; – Derivação de valores calculados; – Junções de dados de diversas fontes; – Resumo de linhas de dados (totais, por exemplo); – Quebra de uma coluna em várias colunas através de listas separadas por vírgulas; Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento Extração de Dados 54 – Carga • Se fizer com muita freqüência, é caro. • Caso contrário, pode significar dados “velhos”. • Tipos: – Substituição de dados; – Agregação de dados; – Dados cumulativos; • Temporização dependerá de cada situação; – Ferrramentas ETL; • DataStage, MS DTS, Oracle Warehouse Builder, PowerMart, Pentaho, etc. 28/09/2014 13 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento ODS - Operational Data Store • Possui dados relacionais, voláteis ou correntes. • Está relacionado com o armazenamento e tratamento de dados operacionais. • Pode ser entendido como um cadastro consolidador de informações, no qual são mantidas ainda as características de granularidade e de estruturação não dimensional. • Fica na metade do caminho entre o legado e o DW. 55 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento ODS - Operational Data Store 56 28/09/2014 14 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento ODS - Operational Data Store 57 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento ODS - Operational Data Store • Esta base de dados "duplicada" é mantida com dados que abrangem de 30 a 60 dias de informações dos dados operacionais. • Este tipo de informação é bastante utilizada por profissionais que fazem determinadas consultas no DW e necessitam de informações mais detalhadas sobre os resultados obtidos. • Também chamada de Staging Area; • Ideal para trabalhar com várias fontes de dados; 58 28/09/2014 15 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento ODS X DW 59 ODS DW Armazenamento de informações recentes Armazenamento de informações históricas Informações detalhadas Informações sumariadas Atualização diária ou real time Atualização diária, semanal ou mensal Análise por transação Análise por dados sumariados Registros individuais Grupos de registros Suporta atividades operacionais Suporta atividades gerenciais Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento ODS - Arquitetura 60 28/09/2014 16 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor AndersonNascimento ODS - Arquitetura • o ODS é visto como uma arquitetura que é alimentada por programas de transformação e integração (i/t). • Estes programas de transformação e integração podem ser os mesmos programas que alimentam um DW ou programas separados. • O ODS, por sua vez, alimenta um DW. • Alguns dados operacionais podem ir direto para o DW, através da camada de programas de ETL, enquanto outros dados operacionais são enviados para o ODS e depois, do ODS para o Data Warehouse. 61 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento ODS - Arquitetura • Um ODS é integrado, orientado a assunto, volátil e estrutura tipo current-valued (valores atuais), desenhada para atender aos usuários operacionais, em grandes processos de integração, permitindo uma melhor performance. • A essência de um ODS é a de possibilitar um processo on-line de integração coletiva. • Um ODS resulta em uma performance consistente em grandes transações – de dois a três segundos. • Um ODS suporta atualizações on-line. Um ODS é integrado com várias aplicações. Um ODS fornece a fundação para visões coletivas e atualizadas do negócio. E, ao mesmo tempo, o ODS suporta os processos de apoio à decisão. 62 28/09/2014 17 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento OLAP – Online Analytical Processing • Front-End de um Data Warehouse. • É o conjunto de ferramentas que possibilita efetuar a exploração dos dados contidos no DW. • Neste tipo de ferramenta o usuário pode solicitar as mais variadas consultas, de acordo com as sumarizações desejadas, ficando a cargo deste usuário a definição de cada uma das visões que melhor se adequar à resposta esperada. • Algumas funções oferecidas pelas ferramentas OLAP são: – Navegação pelas hierarquias e seus elementos: permite selecionar as perspectivas sob as quais se deseja visualizar as variáveis ou medidas. – Drill-down: navegação ao longo das dimensões na direção de maior detalhe. – Drill-up ou Roll-up: navegação ao longo das dimensões na direção de menor detalhe. 63 Escola de Ciência e Tecnologia Curso: Sistemas de Informação Disciplina: Inteligência de Negócios – Professor Anderson Nascimento OLAP – Online Analytical Processing • As consultas ao DW utilizando ferramentas OLAP podem ser da seguinte forma: – Qual foi o número de atendimentos realizados em uma determinada unidade de internação no mês de janeiro? – Qual foi o número de atendimentos a pacientes de um determinado convênio no primeiro semestre do ano anterior? – Qual a especialidade médica que traz uma maior lucratividade para o hospital nos diversos meses do ano? • Existem diversos tipos de ferramentas OLAP: – ROLAP (Relational): armazena os dados em formato relacional. Ex: DSS Agent (Microestrategy), Power Dimension (Sybase). – MOLAP (Multidimensional): armazena os dados em formato multidimensional. Ex: Essbase (Hyperion), Metacube (Informix), Oracle Express (Oracle) e Plato (Microsoft). – HOLAP (Hybrid): mistura MOLAP com ROLAP. 64
Compartilhar