Data werehouse

Prévia do material em texto

Eduarda Rizzotto 
Otobelli
Fundamentos 
computacionais
/DATA 
WEREHOUSE
INDEX.HTML
Fundamentos computacionais
INDEX.HTML
/O QUE É?
/01
Fundamentos computacionais
INDEX.HTML
Um data warehouse é um tipo de 
sistema de gerenciamento de dados 
projetado para ativar e fornecer 
suporte às atividades de business 
intelligence (BI), especialmente a 
análise avançada. Um data 
warehouse centraliza e consolida 
grandes quantidades de dados de 
várias fontes. Seus recursos 
analíticos permitem que as 
organizações obtenham informações 
de negócios úteis de seus dados 
para melhorar a tomada de 
decisões.
Fundamentos computacionais
INDEX.HTML
/COMO 
FUNCIONA?
/02
Fundamentos computacionais
INDEX.HTML
Um data warehouse pode conter 
vários bancos de dados. Dentro de 
cada banco de dados, os dados são 
organizados em tabelas e colunas. 
Dentro de cada coluna, você pode 
definir uma descrição dos dados, 
como número inteiro, campo de 
dados ou sequência. As tabelas 
podem ser organizadas dentro de 
esquemas, que você pode considerar 
como pastas. Quando os dados são 
consumidos, eles são armazenados 
em várias tabelas descritas pelo 
esquema. As ferramentas de 
consulta usam o esquema para 
determinar as tabelas de dados que 
serão acessadas e analisadas.
Uma arquitetura de data warehouses é composta de camadas. A 
camada superior é o cliente de front-end, que apresenta os 
resultados por meio de ferramentas de relatórios, análises e 
mineração de dados. A camada intermediária consiste no 
mecanismo de análises, usado para acessar e analisar os 
dados. A camada inferior da arquitetura é o servidor de banco 
de dados, onde os dados são carregados e armazenados. Os 
dados são armazenados de dois modos diferentes: 
1)os dados acessados com frequência são armazenados em 
armazenamento muito rápido (como unidades SSD) e 
2) os dados acessados com pouca frequência são armazenados em 
um armazenamento de objetos barato, como o Amazon S3.
O data warehouse garantirá automaticamente que os dados 
acessados com frequência sejam movidos para o armazenamento 
"rápido", para otimizar a velocidade da consulta.
Fundamentos computacionais
INDEX.HTML
/ARQUITETURA
Fundamentos computacionais
INDEX.HTML
/SIMPLES
Todos os data warehouses
compartilham um design 
básico no qual, dados de 
resumo e dados brutos são 
armazenados no repositório 
central do warehouse. O 
repositório é alimentado 
por fontes de dados em uma 
extremidade e acessado por 
usuários finais para 
análise, relatório e 
mineração na outra 
extremidade.
/SIMPLES COM AREA 
DE PREPARO
Os dados operacionais devem ser 
limpos e processados antes de 
serem colocados no warehouse. 
Embora isso possa ser feito de 
forma programática, adicionam uma 
área de preparo de dados antes que 
eles entrem no warehouse, para 
simplificar a preparação dos 
dados.
/ARQUITETURA
Fundamentos computacionais
INDEX.HTML
/HUB E SPOKE
A adição de data marts
entre o repositório central 
e os usuários finais 
permite que uma organização 
personalize seu data 
warehouse para atender a 
várias linhas de negócios. 
Quando os dados estiverem 
prontos para uso, eles 
serão movidos para o data 
mart apropriado.
/AREAS RESTRITAS
As áreas restritas são áreas 
privadas, seguras e protegidas que 
permitem às empresas explorar 
rápida e informalmente novos 
conjuntos de dados ou formas de 
analisar dados sem ter que 
obedecer ou cumprir as regras 
formais e o protocolo do data 
warehouse.
/ARQUITETURA
Fundamentos computacionais
INDEX.HTML
/BENEFICIOS
/03
Fundamentos computacionais
INDEX.HTML
/ORIENTADO A 
ASSUNTO
Podem analisar 
dados sobre um 
determinado 
assunto ou área 
funcional
/INTEGRADOS
Os data warehouses
criam consistência 
entre diferentes 
tipos de dados de 
fontes distintas.
/ VARIAVEIS DE 
ACORDO COM O TEMPO
A análise de data 
warehouse analisa 
as mudanças ao 
longo do tempo.
/FACILIDADE 
NA CONSULTA
É estruturada para 
permitir a consulta 
rápida e 
simplificada.
/NÃO VOLATIL
Quando os dados 
estão em um data 
warehouse, eles 
são estáveis e 
não mudam.
/PRODUÇÃO DE 
RELATORIOS
A produção de 
relatórios pode ser 
conduzida pelos 
próprios usuários
Fundamentos computacionais
INDEX.HTML
/DATA 
WEREHOUSE 
VS DATA LAKE
/04
/DATA WEREHOUSE
INDEX.HTML
• Todos os dados, incluindo 
estruturados, semiestruturados e 
não estruturados
• Gravado no momento da análise 
(esquema na leitura)
/DATA LAKE
• Dados relacionais de sistemas 
transacionais, bancos de dados 
operacionais e aplicativos de 
linha de negócios
• Geralmente projetado antes da 
implementação do data 
warehouse, mas também pode ser 
gravado no momento da análise
Fundamentos computacionais
/DATA WEREHOUSE
INDEX.HTML
• Resultados da consulta cada vez 
mais rápidos usando armazenamento 
de baixo custo e desacoplamento de 
computação e armazenamento
• Quaisquer dados, organizados ou não 
(ou seja, dados brutos)
• Analistas de negócios (usando dados 
organizados), cientistas de dados, 
desenvolvedores de dados, 
engenheiros de dados e arquitetos 
de dados
/DATA LAKE
• Resultados de consulta mais 
rápidos, usando armazenamento 
local
• Dados altamente organizados, 
que representam a versão 
central da verdade
• Analistas de negócios, 
cientistas de dados e 
desenvolvedores de dados
Fundamentos computacionais
Fundamentos computacionais
INDEX.HTML
DATA WEREHOUSE
Fundamentos computacionais
INDEX.HTML
DATA LAKE
Fundamentos computacionais
INDEX.HTML
/FIM!!
Qualquer duvida, estou a disposição.