Introdução à teoria de Data Warehouse

Prévia do material em texto

Introdução à teoria de Data Introdução à teoria de Data 
WarehouseWarehouse
Prof. Rodrigo Leite Durães
rodrigo_l_d@yahoo.com.br
 
Introdução à teoria de DWIntrodução à teoria de DW
Organizações: necessidade de Organizações: necessidade de INFORMAÇÃO INFORMAÇÃO 
parapara tomada de decisões tomada de decisões
 Exemplos:Exemplos: 
 FACULDADE - FACULDADE - abertura de mais vagas para um abertura de mais vagas para um 
determinado cursodeterminado curso
 BIBLIOTECA - BIBLIOTECA - aquisição de mais exemplares de um aquisição de mais exemplares de um 
determinado livrodeterminado livro
 SUPERMERCADO - SUPERMERCADO - compra de um determinado produtocompra de um determinado produto
 
Introdução à teoria de DWIntrodução à teoria de DW
Informação Informação  registro de registro de fatosfatos do Mundo Real do Mundo Real 
 DadosDados 
 Exemplos:Exemplos: 
 FACULDADE FACULDADE - candidato se inscreve no vestibular -> - candidato se inscreve no vestibular -> 
Qtde de candidatos inscritos por vagaQtde de candidatos inscritos por vaga
 BIBLIOTECA BIBLIOTECA - usuário faz reserva de livro -> Livros mais - usuário faz reserva de livro -> Livros mais 
pedidos, menos pedidospedidos, menos pedidos
 SUPERMERCADO SUPERMERCADO - cliente compra produto -> Produtos - cliente compra produto -> Produtos 
mais vendidos em determinado período, produtos mais vendidos em determinado período, produtos 
menos vendidosmenos vendidos
 
Introdução à teoria de DWIntrodução à teoria de DW
Registro de fatos do mundo realRegistro de fatos do mundo real
 
Introdução à teoria de DWIntrodução à teoria de DW
MUNDO MUNDO 
REALREAL
ORGANIZAÇÃOORGANIZAÇÃO
INFORMAÇÃOINFORMAÇÃO
FERRAMENTASFERRAMENTAS
DECISÕESDECISÕESDECISÕESDECISÕES
UTILIZAÇÃOUTILIZAÇÃO
DADOSDADOSDADOSDADOS
FATOSFATOS
NEGÓCIOSNEGÓCIOS
 
Introdução à teoria de DWIntrodução à teoria de DW
Dado = Dado = É uma É uma representaçãorepresentação, um , um 
registroregistro de uma de uma informaçãoinformação. Ex.: 37. Ex.: 37
Informação = Informação = Aquilo que nos fornece Aquilo que nos fornece 
conhecimentoconhecimento sobre a realidade a ser sobre a realidade a ser 
analisada. Ex.: 37 é o número de analisada. Ex.: 37 é o número de 
alunos matriculados na disciplina BDIalunos matriculados na disciplina BDI
 Dado & InformaçãoDado & Informação
 
Introdução à teoria de DWIntrodução à teoria de DW
 ““Grande Grande base de dadosbase de dados capaz de capaz de integrarintegrar, de forma , de forma 
concisa e confiávelconcisa e confiável, as informações de interesse para , as informações de interesse para 
a organização, que se encontram pelos a organização, que se encontram pelos sistemas sistemas 
operacionais e em fontes externasoperacionais e em fontes externas, para posterior , para posterior 
utilização para o utilização para o apoio à tomada de decisãoapoio à tomada de decisão””
 ““.. é um .. é um armazém de dados históricosarmazém de dados históricos, cuja finalidade , cuja finalidade 
é apresentar as informações que permitam identificar é apresentar as informações que permitam identificar 
indicadoresindicadores, , evolução de valoresevolução de valores ao longo de uma ao longo de uma 
janela de tempojanela de tempo” (Machado, 2004)” (Machado, 2004)
 Data WarehouseData Warehouse
 
Introdução à teoria de DWIntrodução à teoria de DW
 ""AmbienteAmbiente de de suporte à decisãosuporte à decisão que que 
alavanca dados armazenados em alavanca dados armazenados em 
diferentes fontesdiferentes fontes e os e os organizaorganiza e e 
entregaentrega aos aos tomadores de decisãotomadores de decisão"" 
(Singh, 2001)(Singh, 2001)
 Data WarehouseData Warehouse
 
Introdução à teoria de DWIntrodução à teoria de DW
 Justificativas para utilização da Justificativas para utilização da 
tecnologia de DWtecnologia de DW
 Existência de sistemas de fornecedores Existência de sistemas de fornecedores 
diferentesdiferentes
 Falta de padronização e integração dos Falta de padronização e integração dos 
dados existentes nos diversos sistemasdados existentes nos diversos sistemas
 Dificuldade na recuperação de dados Dificuldade na recuperação de dados 
históricos em períodos superiores ao ano históricos em períodos superiores ao ano 
atual de operaçõesatual de operações
 Desempenho da consulta em bases de Desempenho da consulta em bases de 
dados OLTP extremamente fraco, dados OLTP extremamente fraco, 
prejudicando o desempenho dos sistemas prejudicando o desempenho dos sistemas 
aplicativosaplicativos
 
Introdução à teoria de DWIntrodução à teoria de DW
 Disponibiliza informações para o apoio a decisões na Disponibiliza informações para o apoio a decisões na 
organizaçãoorganização
 Orientado por assuntoOrientado por assunto
 Não-volátilNão-volátil
 Transforma e integra dados a partir de fontes Transforma e integra dados a partir de fontes 
heterogêneasheterogêneas
 Faz com que informações de uma organização possam Faz com que informações de uma organização possam 
ser facilmente acessadas ser facilmente acessadas 
 Determina padrões de comportamentoDetermina padrões de comportamento
 Características de um Data Características de um Data 
WarehouseWarehouse
 
Introdução à teoria de DWIntrodução à teoria de DW
 Informação disponível para gestãoInformação disponível para gestão
 Visão de curvas de comportamentoVisão de curvas de comportamento
 Agilidade de ferramentas para apoio à decisãoAgilidade de ferramentas para apoio à decisão
 Segurança de informações para decisãoSegurança de informações para decisão
 
 Resultado de um projeto de Data Resultado de um projeto de Data 
WarehouseWarehouse
 
Introdução à teoria de DWIntrodução à teoria de DW
 Qual o Qual o total de vendastotal de vendas de um de um 
determinado determinado produtoproduto foi verificada em foi verificada em 
determinada determinada regiãoregião no no último semestreúltimo semestre??
 Qual o Qual o total de comprastotal de compras de um de um 
determinado determinado produtoproduto um determinado um determinado 
clientecliente realizou no realizou no primeiro trimestre primeiro trimestre 
deste anodeste ano??
 Exemplos de informações obtidas Exemplos de informações obtidas 
utilizando DWutilizando DW
 
Introdução à teoria de DWIntrodução à teoria de DW
Sistemas Operacionais X Data WarehouseSistemas Operacionais X Data Warehouse
CaracterísticasCaracterísticas Sistemas Sistemas 
OperacionaisOperacionais
Data Data 
WarehouseWarehouse
UsoUso Local onde os dados Local onde os dados 
são colocadossão colocados
Local a partir de onde Local a partir de onde 
as informações são as informações são 
obtidasobtidas
Tipo de Tipo de 
processamentoprocessamento
OLTPOLTP OLAPOLAP
Unidade de trabalhoUnidade de trabalho Inclusão, alteração e Inclusão, alteração e 
exclusãoexclusão
Carga e consultaCarga e consulta
Número de usuáriosNúmero de usuários MilharesMilhares CentenasCentenas
Tipo de usuárioTipo de usuário OperadoresOperadores Comunidade gerencialComunidade gerencial
Contém estruturas de Contém estruturas de 
dados otimizadas paradados otimizadas para
Entradas e ediçõesEntradas e edições Extração e consultaExtração e consulta
Volume de dados Volume de dados 
históricoshistóricos
PequenoPequeno GrandeGrande
Interação com o Interação com o 
usuáriousuário
Pré-definidaPré-definida Pré-definida e Pré-definida e ad-hocad-hoc
 
Data WarehouseData Warehouse
Introdução à teoria de DWIntrodução à teoria de DW
 Representa um subconjunto de dados do Representa um subconjunto de dados do 
DWDW
 São direcionados a um departamento ou São direcionados a um departamento ou 
uma área específica de processos do uma área específicade processos do 
negócionegócio
 Data MartData Mart
Vendas
Pedidos
Mercado
Inventário
 
Introdução à teoria de DWIntrodução à teoria de DW
 Componentes de um DWComponentes de um DW
Data Warehouse
Acesso a dados
Acesso de dados
do usuárioFontes de Dados
 Entrada de dados
Staging
Area
Data Marts
 
Introdução à teoria de DWIntrodução à teoria de DW
 Bancos de dados relacionais 
 Contêm e gerenciam grandes quantidades de dados
 Suportam processos de limpeza, transformação e preparação de 
dados 
 Bancos de dados de Processamento Analítico Online 
(OLAP)
 Fornecem uma visão intuitiva e multidimensional dos dados
 Fornecem obtenção rápida de dados
 Ferramentas de Extração, Transformação e Carga
 Extraem dados a partir de fontes heterogêneas
 Transformam os dados de origem para carregar no destino
 Tecnologias de um Sistema de DWTecnologias de um Sistema de DW
 
Introdução à teoria de DWIntrodução à teoria de DW
 O esquema Estrela
 Tabelas de Fatos
 Tabelas de Dimensões
 O esquema Snowflake
 Entendendo o projeto de DWEntendendo o projeto de DW
 
O esquema EstrelaO esquema Estrela
Uma das estruturas de armazenamento dos dados de um DW 
Representam eventos ou processos específicos de negócio
Contém uma tabela de fatos cercada por várias tabelas de 
dimensões
Um Data Mart possui um ou mais esquemas Estrela
 
O esquema EstrelaO esquema Estrela
Tabela de Fatos
Tabela de Dimensões
Employee_DimEmployee_DimEmployee_DimEmployee_Dim
EmployeeKeyEmployeeKey
EmployeeID
...
EmployeeID
...
Time_DimTime_DimTime_DimTime_Dim
TimeKeyTimeKey
TheDate
...
TheDate
...
Product_DimProduct_DimProduct_DimProduct_Dim
ProductKeyProductKey
ProductID
...
ProductID
...
Customer_DimCustomer_DimCustomer_DimCustomer_Dim
CustomerKeyCustomerKey
CustomerID
...
CustomerID
...
Shipper_DimShipper_DimShipper_DimShipper_Dim
ShipperKeyShipperKey
ShipperID
...
ShipperID
...
Sales_FactSales_Fact
TimeKey
EmployeeKey
ProductKey
CustomerKey
ShipperKey
TimeKey
EmployeeKey
ProductKey
CustomerKey
ShipperKey
Sales Amount
Unit Sales ...
Sales Amount
Unit Sales ...
 
Introdução à teoria de DWIntrodução à teoria de DW
 Tabela central em um esquema Estrela, apresentando 
dados numéricos no contexto das entidades de negócio
 Descrevem os eventos específicos de negócio, como 
compras, vendas, pedidos etc.
 É composta basicamente por medidas e chaves 
estrangeiras
 Medidas
 Coluna numérica quantitativa da tabela de fatos
 Representam os valores que são analisados 
 Tabelas de fatosTabelas de fatos
 
 Componentes das Tabelas de fatosComponentes das Tabelas de fatos
Tabelas de 
Dimensões
Tabelas de 
Dimensões
customer_dimcustomer_dimcustomer_dimcustomer_dim
201 ALFI Alfreds201 ALFI Alfreds
 
product_dimproduct_dimproduct_dimproduct_dim
 25 123 Chai 25 123 Chai
 
Tabela sales_fact
Medidas
customer_keycustomer_key product_keyproduct_key time_keytime_key quantity_salesquantity_sales amount_salesamount_sales
Foreign Keys
201 25 134 400 10,789
134 1/1/2000134 1/1/2000
 
time_dimtime_dimtime_dimtime_dim
 
Introdução à teoria de DWIntrodução à teoria de DW
 Menor nível de detalhe armazenado em cada 
uma das dimensões associadas à tabela de 
fatos
 No exemplo anterior, a granularidade da tabela 
de fatos sales_fact são os dados de venda por 
ID do cliente, ID do produto e data do pedido.
 Todas as medidas da tabela de fatos respeitam 
sua granularidade
 Granularidade da Tabelas de fatosGranularidade da Tabelas de fatos
 
Introdução à teoria de DWIntrodução à teoria de DW
 Granularidade da Tabelas de fatosGranularidade da Tabelas de fatos
GRANULARIDADEGRANULARIDADEDETALHESDETALHES
DataData
HoraHora
ClienteCliente
ValorValor
DataData
HoraHora
ClienteCliente
ValorValor
ExemploExemplo
50 registros/mês50 registros/mês
GRANULARIDADEGRANULARIDADEDETALHESDETALHES
MêsMês
ClienteCliente
ValorValor
MêsMês
ClienteCliente
ValorValor
ExemploExemplo
1 registro/mês1 registro/mês
 
Introdução à teoria de DWIntrodução à teoria de DW
 Descrevem entidades do negócio, como um produto, 
cliente, vendedor, tempo
 Contêm atributos que fornecem contexto para os 
dados numéricos
 Apresentam os dados organizados em hierarquia 
(dias que são organizados em meses, meses que são 
organizados em trimestres e trimestres que são 
organizados em anos) 
Tabelas de dimensõesTabelas de dimensões
 
Introdução à teoria de DWIntrodução à teoria de DW
 Medidas numéricasMedidas numéricas
 Valores de dados, ou fatos, que os usuários analisam, como Valores de dados, ou fatos, que os usuários analisam, como 
total de vendas, unidades etc.total de vendas, unidades etc.
 Originam da tabela de fatosOriginam da tabela de fatos
 DimensõesDimensões
 Tipicamente organizadas em hierarquiasTipicamente organizadas em hierarquias
 Originam das tabelas de dimensõesOriginam das tabelas de dimensões
 CubosCubos
 Combinam as dimensões e medidas em um modelo conceitualCombinam as dimensões e medidas em um modelo conceitual
 Unidade lógica de armazenamento em um DB OLAPUnidade lógica de armazenamento em um DB OLAP
 Componentes de um banco de Componentes de um banco de 
dados OLAPdados OLAP
 
Introdução à teoria de DWIntrodução à teoria de DW
 Dimensões OLAPDimensões OLAP
 
Introdução à teoria de DWIntrodução à teoria de DW
Dimensões OLAPDimensões OLAP
Dimensões lhe permite
 Slice
 Dice
 Hierarquias lhe permite
 Drill Down
 Drill Up
 
Introdução à teoria de DWIntrodução à teoria de DW
 Cubos OLAPCubos OLAP
Q4Q1 Q2 Q3
Dimensão Tempo
Di
m
en
sã
o 
Re
gi
ão
Apples
Cherries
Melons
Dim
en
sã
o P
rod
uto
Detroit
Denver
Chicago
Atlanta
 
Introdução à teoria de DWIntrodução à teoria de DW
 Cubos OLAPCubos OLAP
Q4Q1 Q2 Q3
Dimensão Tempo
Dallas
Denver
Chicago
Apples
Cherries
Grapes
Atlanta
Fato
Vendas
Melons
Dim
en
sã
o P
rod
uto
Di
m
en
sã
o 
Re
gi
ão
 
Introdução à teoria de DWIntrodução à teoria de DW
 Definindo um cubo “Slice”Definindo um cubo “Slice”
Apples
Q4Q1 Q2 Q3
Dimension Tempo Dim
en
sã
o P
rod
utoDetroit
Denver
Chicago
Atlanta
Di
m
en
sã
o 
Re
gi
ão
Melons
Cherries
Grapes
	Slide 1
	Slide 2
	Slide 3
	Slide 4
	Slide 5
	Slide 6
	Slide 7
	Slide 8
	Slide 9
	Slide 10
	Slide 11
	Slide 12
	Slide 13
	Slide 14
	Slide 15
	Slide 16
	Slide 17
	Slide 18
	Slide 19
	Slide 20
	Slide 21
	Slide 22
	Slide 23
	Slide 24
	Slide 25
	Slide 26
	Slide 27
	Slide 28
	Slide 29
	Slide 30