BI - Revisão AV2

Prévia do material em texto

INTELIGÊNCIA EMPRESARIAL
Aula - Revisão para AV2
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
VISÃO GERAL DO SAD – Sistema de Apoio à Decisão
Um SAD é um sistema de informação baseado em computador que 
utiliza conhecimentos para apoiar gerentes (ou pessoas autorizadas) 
que trabalham naquela área a solucionar problemas, ou seja, tomar 
decisões.
“... um SAD deve comandar um sistema interativo para 
auxiliar tomadores de decisão a utilizar dados e modelos para 
solucionar problemas não estruturados”
(Sprague Jr.)
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
SISTEMAS DE APOIO À DECISÃO
O SAD permite que o tomador de decisão possa:
 Buscar informações em bancos de dados diferentes, mesmo que
estejam em lugares distintos.
 Acessar a outras fontes de dados pela Internet ou por uma
Intranet da organização.
 Obter informações específicas sobre o determinado problema
para facilitar a análise de alternativas de solução.
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
COMPONENTES DOS SISTEMAS DE APOIO À DECISÃO
Os SAD’s são compostos pelos seguintes componentes:
- Subsistema de gerenciamento de dados
- Subsistema de gerenciamento de modelos
- Subsistema de interface com o usuário
Os SAD’s mais avançados possuem também, como componente, o
Subsistema de Gerenciamento de Conhecimento
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
O SAD E O SEU AMBIENTE
Dados externos 
e internos
Banco de 
Dados do SAD
Base de 
Conhecimento
Gerenciamento 
de dados
Modelos
Gestão de 
conhecimento
Interface com 
usuário
Outros 
sistemas
problema
solução
Melhores práticas
Funções do Excel
Modelos Padrão 
lineares (programação)
Modelos Customizados
Internet
Usuário é considerado como um dos 
componentes do SAD
(Fonte: Turban et all, Tecnologia da Informação para Gestão)
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
DATA WAREHOUSE
 Banco de dados que armazena dados sobre as operações da
empresa, como vendas e compras, extraídos de uma fonte única
ou múltipla, oferecendo enfoque histórico, para permitir um
suporte efetivo à tomada de decisão.
 Dados integrados e históricos que servem desde a alta
direção, que necessita de informações mais resumidas, até as
gerências de baixo nível, onde os dados detalhados ajudam a
observar aspectos mais táticos da empresa.
“conjunto de dados baseado em assuntos, integrado, não 
volátil e variável em relação o tempo, para dar suporte ao 
processo gerencial de tomada de decisão.” 
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
DATA WAREHOUSE
Data 
Warehouse
Orientação por assunto
Organizado de acordo com as principais
areas de negocio da organização
Não orientado a aplicação, permitindo a 
utilização dos dados de varias formas ao
longo do tempo
Integração
Unificação fisica dos dados em um mesmo 
repositório
Estruturas e formatos de dados comuns, 
independente dos sistemas fonte
A integracao é feita através dos principais 
processos de carrga
Variação temporal
Séries temporais de um conjunto de dados
Variações de estado (datas de mudança 
de status)
Datas de eventos(chamadas, 
faturas,pedidos, etc)
Não volatil
Não há atualização de registros
As alterações de informação são 
armazenadas a partir da captura de um 
novo retrato das informações
Informações detalhadas e 
agregadas
Dados atômicos
Mantem a flexibilidade dos dados, 
facilitando futuras mudanças no 
negócio
Deve-se tomar cuidado para não se 
tornar fonte de relatórios
operacionais
Visões agregadas montadas em função
das principais visões corporativas
Estruturas consolidadas de perfis –
utilizadas para facilitar analises de eventos
que são baseados em um grande volume 
de dados
Adaptado de: Prof. Fernando Nimer 
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
GRANULARIDADE DE DADOS
A granularidade diz respeito ao nível de detalhe dos dados existentes no 
Data Warehouse. Quanto maior o nível de detalhe, menor o nível de 
granularidade. 
(Fonte: Adaptado de Oliveira, S.R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação)
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
PRINCIPAIS TAREFAS EFETUADAS PELO DW
 Obter dados dos BD’s operacionais e externos;
 Armazenar os dados;
 Fornecer informações para tomada de decisão;
 Administrar o sistema e os dados
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
PRINCIPAIS COMPONENTES DO DW
 Mecanismos para acessar e transformar dados;
 Mecanismo para armazenamento de dados;
 Ferramentas para análise de dados;
 Ferramentas de gerência.
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
DATAMARTS
Muitas vezes, apesar do Data Warehouse possuir um grande volume de
dados de toda a empresa, é necessário trabalhar apenas com uma
parte destes dados, correspondente a um setor da empresa, ou fazer
a implantação do Data Warehouse de forma fracionada até se formar o
sistema corporativo.
Pode ser considerado como um subconjunto de dados que possui
regras de negócio e de cálculo específicas, sumarizados ou agregados
de um database maior.
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
METADADOS
A definição mais simples de metadados é que eles são dados sobre
dados – mais especificamente, informações (dados) sobre um
determinado conteúdo (os dados).
Os metadados são utilizados para facilitar o entendimento, o uso e o
gerenciamento de dados.
Um registro de metadados consiste de alguns elementos pré-
definidos que representam determinados atributos de um recurso,
sendo que cada elemento pode ter um ou mais valores.
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
METADADOS TÉCNICOS
Fornecem aos desenvolvedores e usuários técnicos a confiança de 
que os dados estão corretos;
São críticos para a manutenção e o crescimento contínuo do DW
Exemplos:
• Controles de auditoria;
• Tabelas com a estrutura do DW;
• Dependência dos programas;
• Nomes das tabelas do DW
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
METADADOS DE NEGÓCIO
São o elo de ligação entre os usuários de negócios e o DW;
Mostram que relatórios, consultas e dados estão no DW, a localização
dos dados, contexto dos dados, regras de transformação que foram
aplicados e as origens desses dados
Exemplos:
• Mapeamento dos campos das tabelas físicas do DW;
• Regras para drill-down, drill-up e drill-across;
• Informações sobre sumarizações e transformações dos dados;
• Estruturas dos dados com a nomenclatura que possa ser 
facilmente entendida pelo usuário final;
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
Tipos de Informação Metadados
Por serem considerados um dicionário de informações os metadados 
devem descrever:
• Fonte dos dados 
• Destino dos dados
• Formato dos dados
• Nome e Alias
• Definições de Negócios
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
Tipos de Informação Metadados
• Regras de Transformação
• Atualização dos dados
• Requisitos de Teste
• Processos Automáticos
• Propriedade e responsabilidade sobre os dados
• Acesso e Segurança
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
PROCESSO DATAWAREHOUSING
Gerenciador de Processos (cargas, manutenções)
Metadados (funções)
BDs
operacionais
Fontes
externas
Metadados
(repositório)
DW
Queries 
Relatórios,
OLAP, Mining
Simulação
CRM
DBM A
c
e
s
s
oà
i
n
f
o
r
m
a
ç
ã
o
Extração
Transform.
Carga
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
PROCESSO ETL (Extração, Tratamento e Loader(carga))
Responsável por integrar, transformar e salvar dados, não
importando sua fonte nem seu destino.
• Os dados são submetidos a severas transformações e
disponibilizados de forma normalizada
• Dependendo da periodicidade de atualização dos dados devem ser
estabelecidos mecanismos de sincronização de dados para garantir a
integridade dos dados
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
EXTRAÇÃO DE DADOS
- Primeiro passo na obtenção de dados para o ambiente do DW
- Busca dados nas diversas fontes de origem e os transporta para a
área de transformação de dados
- Na construção deste processo é fundamental o acesso e a clara
compreensão dos dados de origem.
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
TRANSFORMAÇÃO DE DADOS
- Após a extração de dados deve existir o tratamento destes dados.
- O primeiro passo deste tratamento refere-se à limpeza, ou
filtragem dos dados, cujo objetivo é garantir a integridade dos dados
através de programas ou rotinas especiais que tentam identificar
anomalias e resolve-las.
- É maior preocupação da área de TI pois, se não existir uma
estratégia adequada, o Data Warehouse pode falhar
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
CARGA DE DADOS
Depois de transformados e “limpos” os dados estão aptos para serem 
carregados no Data Warehouse.
Esta etapa também demanda muita atenção de TI pois exige uma 
série de cuidados, por exemplo:
• Integridade dos dados
• Tipo de carga a ser realizada
• Otimização do processo de carga
• Suporte completo ao processo de carga
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
DIFICULDADES DO PROCESSO ETL
Carga do Dados:
• Aplicação de seleções não planejadas no momento da carga;
• Erros de codificação, tipo e formato de dados;
• Diferença entre modelagens de dados.
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
OPERAÇÕES OLAP
Operação Definição
drill-down analisa os dados em níveis de agregação progressivamente
mais detalhados, ou de menor granularidade
roll-up analisa os dados em níveis de agregação progressivamente
menos detalhados, ou de maior granularidade
slice and
dice
restringe os dados sendo analisados a um subconjunto destes 
dados
slice: corte para um valor fixo
dice: seleção de faixas de valores
drill-across compara medidas numéricas distintas que são relacionadas
entre si através de pelo menos uma dimensão em comum
pivot reorienta a visão multidimensional dos dados, oferecendo
diferentes perspectivas dos mesmos dados
(Adaptado de : CIFERRI, C.A, CIFERRI, R.R. - Processamento Analítico de Dados -
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
MODELAGEM DE DADOS PARA O DW
A Modelagem Multidimensional é uma técnica de concepção e
visualização de um Modelo de Dados de um conjunto de medidas que
descrevem aspectos comuns de negócios.
É utilizada especialmente para sumarizar e reestruturar dados e
apresenta-los em visões que suportem a análise dos valores desses
dados.
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
UMA NOVA FORMA DE VER OS DADOS
http://www.inf.ufsc.br/~ronaldo/ine5342/6-dw.pdf, acesso em 24/03/2012
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
VISUALIZAÇÃO - EXEMPLO
Cubo do Fato Vendas
http://www.inf.ufsc.br/~ronaldo/ine5342/6-dw.pdf, acesso em 24/03/2012
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
Modelo Dimensional - Diagrama Estrela ( Star Schema )
Star Schema é o termo comum para designação de modelos de dados 
multidimensionais;
Como o termo esquema nos leva diretamente a uma idéia de modelo 
físico, o mais usual é denominarmos de modelo estrela;
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
Modelo Dimensional - Diagrama Estrela ( Star Schema )
O modelo estrela é a estrutura básica de um modelo de dados
multidimensional
Sua composição típica possui uma grande entidade central
denominada fato e um conjunto de entidades menores denominadas
dimensões, arranjadas ao redor dessa entidade central, formando
uma estrela
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
MODELAGEM DE DADOS PARA O DW
http://www.inf.ufsc.br/~ronaldo/ine5342/6-dw.pdf, acesso em 24/03/2012
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
Diagrama Floco de Neve ( Snowflake )
O modelo Snowflake é o resultado da decomposição de uma ou mais
dimensões que possuam hierarquias entre seus membros;
Podemos definir relacionamento muitos para um entre os membros
em uma dimensão, formando uma hierarquia por meio desses
relacionamentos entre entidades dimensões;
 O modelo floco de neve é resultado da aplicação da terceira forma
normal sobre as entidades dimensão
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
Diagrama Floco de Neve ( Snowflake )
http://www.inf.ufsc.br/~ronaldo/ine5342/6-dw.pdf, acesso em 24/03/2012
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
Diagrama Floco de Neve ( Snowflake )
 Variante do modelo estrela
Tabelas de dimensões estão normalizadas (3FN)
Representação explícita das hierarquias
 Vantagem
Evita redundância (mais economia de espaço)
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
Diagrama Floco de Neve ( Snowflake )
 Desvantagem
– maior número de tabelas (maior número de junções)
 Modelo estrela é considerado mais apropriado
- desperdício de espaço é menos crítico que tempo para
recuperação de dados em um DW
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
Esquema Constelação
União de esquemas estrela e/ou floco de neve
– esquema estrela: modela em geral um Data Mart
– esquema constelação: modela o DW
http://www.inf.ufsc.br/~ronaldo/ine5342/6-dw.pdf, acesso em 24/03/2012
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
TIPOS DE IMPLEMENTAÇÃO DO DW
As abordagens de implementação de Data Warehouse em uso pelas
organizações são três: Top down, Bottom up e Intermediária.
A escolha de um destes tipos é influenciada por fatores como: infra-
estrutura de TI, arquitetura escolhida, escopo da implementação,
recursos disponíveis e, principalmente, pela necessidade ou não de
acesso aos dados corporativos, recursos disponíveis e velocidade de
implementação.
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
IMPLEMENTAÇÃO TOP DOWN
 Padrão inicial do conceito de Data Warehouse
 Exige maior planejamento e demanda um trabalho maior de
definições conceituais de tecnologia antes de iniciar-se o projeto
propriamente dito.
 As decisões sobre fontes de dados que serão utilizadas, segurança,
estruturas de dados, qualidade de dados, padrões de dados e os
vários modelos de dados dos sistemas transacionais atuais devem
estar completos antes do início da implementação.
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
IMPLEMENTAÇÃO TOP DOWN
 O processo se inicia com a extração, a transformação e a
integração das informações dos sistemas transacionais e dados
externos para um ODS ou diretamente das fontes operacionais.
 A seguir, os dados e metadados são transferidos para o Data
Warehouse, a partir do qual são extraídos para os Data Marts.
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
IMPLEMENTAÇÃO BOTTOM UP
 Permite o planejamento dos Data Marts sem esperar que a infra-
estruturacorporativa do Data Warehouse seja definida.
 Tem por objetivo a construção de um Data Warehouse incremental
a partir do desenvolvimento de Data Marts independentes.
 Bem aceita pelos executivos por possuir um retorno de
investimento rápido.
 Seu processo inicia com a extração, a transformação e a
integração dos dados para um ou mais Data Marts.
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
IMPLEMENTAÇÃO INTERMEDIÁRIA
 Integra a implementação Top Down com a Bottom Up.
 Efetua-se a modelagem de dados do Data Warehouse com visão
macro. A partir daí, cada Data Mart pode ser gerado a partir do
macromodelo de dados do Data Warehouse e integrado ao modelo
físico do Data Warehouse.
INTELIGÊNCIA EMPRESARIAL – AULA RAV2
INTELIGÊNCIA EMPRESARIAL
METODOLOGIA PARA O PROJETO DE DATA WAREHOUSE 
Planejamento
Levantamento das Necessidades
Modelagem Dimensional
Projeto Físico dos BD’s
Projeto de ETL
Desenvolvimento de Aplicações
Validação e Testes
Treinamento
Implantação
Passos
Críticos
Passos passíveis
de muitos
problemas
(Fonte: Adaptado de Oliveira, S.R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação)