2 Ambiente DW - banco de dados

Prévia do material em texto

Ambiente de Data Warehouse 
 
 
Ambiente de Data Warehouse 
 
 A tecnologia de Data Warehousing ( o processo de fazer 
Data Warehouse) é considerada por todos os autores a evolução 
natural do Ambiente de Apoio à Decisão. 
 Sua crescente utilização pelas empresas está relacionada à 
necessidade do domínio de informações estratégicas para 
garantir respostas e ações rápidas, assegurando a 
competitividade de um mercado altamente competitivo e 
mutável. 
 
3 
Ambiente de Data Warehouse 
 
 Dentre os fatores que contribuíram para essa absorção, 
merecem destaque os avanços tecnológicos, as mudanças 
organizacionais e estruturais nos negócios, a abertura de 
mercados e a globalização da economia. Com o advento da 
tecnologia de Data Warehousing, os Ambientes de Apoio à 
Decisão passaram a der denominados Ambientes de Data 
Warehouse, os quais contêm como repositório principais os 
Data Marts (DM) que, compõem o denominado Data 
Warehouse. 
 4 
Ambiente de Data Warehouse 
 
 Existem várias ideias, opiniões, definições, conceitos e 
ferramentas para criação e manutenção de um Data Warehouse, 
mas é importante ressaltar que não existe nenhum Data 
Warehouse pronto para ser utilizado sem um trabalho anterior 
de levantamento de necessidades da empresa e de seus 
executivos. 
 
5 
Ambiente de Data Warehouse 
 
 Consequentemente, o conceito de Data Warehouse exige 
estudo e envolvimento da empresa e de seus executivos na 
definição e construção dessa base de dados de utilização 
corporativa. 
 Tecnicamente a construção exige a transferência e 
transformação dos dados existentes em sistemas corporativos, 
utilizados nas operações diárias de controle e operações, para 
uma base de dados independentes. 
 
 
6 
Ambiente de Data Warehouse 
 
 
 
7 
Ambiente de Data Warehouse 
 
 A principal justificativa para a aplicação de tecnologia de 
Data Warehouse em uma organização é a existência na empresa 
de: 
• Várias plataformas de hardware e de software. 
• Constantes alterações nos sistemas transacionais 
corporativos. 
• Dificuldade acentuada na recuperação de dados históricos 
em períodos superiores ao ano atual de operações. 
 
 
8 
Ambiente de Data Warehouse 
 
 
• Existência de sistemas “pacotes” de fornecedores 
diferentes. 
• Falta de padronização e integração dos dados existentes 
nos diversos sistemas. 
• Carência de documentação e segurança no 
armazenamento dos dados. 
• Dificuldade de aplicação de sistemas EIS ou DSS devido 
a dependências múltiplas de sistemas corporativos. 
 
 
 
9 
Ambiente de Data Warehouse 
 
 
• Tomando como base o modelo de montagem de Data 
Warehouse apresentado, a empresa pode optar por construí-lo 
em uma base global ou em bases teoricamente locais de 
acordo com as áreas de negócios. 
• Isso implica na utilização de arquiteturas específicas para 
a construção de um Data Warehouse, as quais têm evoluído 
desde o princípio dos conceitos de DW até o momento atual 
sempre em busca do sucesso de sua utilização. 
 
 
 
 
10 
Características da Tecnologia de DW 
 
 DW proporciona uma sólida e concisa integração dos 
dados da empresa, para a realização de análises gerenciais 
estratégicas de seus principais processos de negócios. 
 Ele se preocupa em integrar e consolidar as informações 
de fontes internas, na maioria da vezes heterogêneas, e fontes 
externas, sumarizando, filtrando e limpando esses dados, 
preparando-os para análise e suporte à decisão. 
 
 
 
11 
Características da Tecnologia de DW 
 
 Atual X Budget (orçamento normalmente anual feito por 
uma empresa) 
 
 
12 
Características da Tecnologia de DW 
 
 Essa tecnologia originou o Data Warehouse, que possui um 
conjunto de características, conforme apresentado a seguir, 
que o distingue de outros ambientes de sistemas 
convencionais: 
• Extração de dados de fontes heterogêneas (existentes ou 
externas); 
• Transformação e integração dos dados antes de sua carga 
final; 
 
 
 
13 
Características da Tecnologia de DW 
 
• Normalmente requer máxima e suporte próprio; 
• Visualização dos dados em diferentes níveis. Os dados do 
Data Warehouse podem ou não ser extraídos para um nível 
mais específico, os Data Marts e a partir deste para um banco 
de dados individual; 
• Utilização de ferramentas voltadas para acesso com 
diferentes níveis de apresentação; 
• Dados somente são inseridos, não existindo atualização, 
ou melhor, updates. 
 
 
14 
Orientação por Assunto 
 
 
 
 
15 
Orientação por Assunto 
 
 Significa que um Data Warehouse armazena as informações 
agrupadas por assuntos de interesse da empresa que são mais 
importantes, em contraste com os sistemas operacionais que são 
orientados a processos desenvolvidos para manter as transações 
realizadas diariamente. 
 
 
16 
Não Volátil 
 
 Quando se ouve falar que um Data Warehouse é não 
volátil, imaginam-se muitas coisas, entretanto o que realmente 
isso significa? 
 Um Data Warehouse tem duas operações básicas: a carga 
dos dados (inicial e incremental) e o acesso a esses dados em 
modo de leitura. 
 Isso significa que a funcionalidade de um DW é 
completamente diferente de um sistema transacional; portanto, 
os requisitos do SGBD desses dois sistemas são diferentes. 
 
 
17 
Não Volátil 
 
 Os dados vêm de um ambiente operacional, e não são 
trazidos diretamente. 
 Eles são filtrados, limpos e transformados para satisfazer 
as necessidades de informação. Eles ficam no Data Warehouse até 
que seja decidido que não fazem mais parte dele, ou que se 
tornaram irrelevantes para a análise de tomada de Decisão. 
 
 
18 
Não Volátil 
 
 A figura apresenta a não volatilidade do Data Warehouse. 
Somente duas das operações de processamento são realizadas 
nesse ambiente: inclusão de novos registros e consulta aos 
registros existentes. 
 
 
19 
Integração 
 
 Esta é uma das características de suma importância em 
um Data Warehouse, pois todos os seus dados têm um alto nível 
de integração. 
 Mas o que significa isso? 
 Por ex.: as conversões de nomes, valores de variáveis, tais 
como sexo masculino e feminino, e outros atributos físicos de 
dados como data types são fortemente uniifcados e integrados 
nessa base única. 
 
 
20 
Integração 
 
 
 
21 
Arquitetura do Ambiente 
 
 A arquitetura do Data Warehouse inclui, além de estrutura 
de dados, mecanismo de comunicação, processamento e 
apresentação da informação para o usuário final. 
 
A figura no próximo slide apresenta a arquitetura padrão desse 
ambiente. 
 
22 
Arquitetura do Ambiente 
 
 
 
23 
Arquitetura do Ambiente 
 
 Esse ambiente de DW são constituídas por um conjunto 
de ferramentas que respondem desde a carga até o 
processamento de consultas, assim como por repositórios de 
dados, como o Data Warehouse e os Data Marts. 
 As ferramentas existentes podem ser divididas em dois grupos. 
 1) Ferramentas relacionadas a carga inicial e às 
atualizações periódicas do Data Warehouse, que são 
responsáveis pela extração dos dados de múltiplos sistemas 
operativos e fontes externas, assim como pelalimpeza 
transformação e integração dos dados. 
 
 
24 
Arquitetura do Ambiente 
 
 2) Ferramentas relacionadas às consultas orientadas para 
o usuário final que são responsáveis pela elaboração de 
relatórios, pesquisas informativas, análise de desempenho e 
mineração de dados (Data Mining). 
 Quanto aos repositórios, o DW funciona como um grande 
conjunto de todos os dados, enquanto os Data Marts são as 
prateleiras desse armazém de dados, que permitem uma cisão 
mais direcionada de um problema, funcionando como 
repositório menores, orientados a áreas específicas. 
 
 
25 
Arquitetura do Ambiente 
 
 
 
26 
Componentes 
 
 
 Com uma visão mais abrangente, é possível analisar os 
componentes do DW com relação aso seguintes aspectos: papéis 
exercidos por pessoas, processos e ou ferramentas e dados. 
 
 
 
 
 
 
 
 
27 
Papéis 
 Por sua abrangência, esse ambiente envolve desde 
profissionais de processamento de dados até analistas de 
negócios que podem ser considerados “usuários do ambiente”. 
 Esse ambiente inclui os administradores do projeto, os 
projetistas do banco, os administradores de banco de dados( 
DBAs) dos sistemas operacionais, os administradores de dados 
(Ads) que têm uma importância muito grande no processe de 
integração entre os ambientes transacionais e os ambiente 
dimensionais, os programadores e os analistas de Sistemas para 
a extração e limpeza dos dados, os analistas dos aplicativos que 
acessarão as informações e os usuários finais. 
 
 
 
 
 
 
 
 
28 
Papéis 
 
 Analistas responsáveis pela carga dos dados: 
representam os programadores que necessitam conhecer o 
mapeamento entre o DW e os sistemas operativos, além de todos 
os requisitos necessários à filtragem e à integração dos dados.
 
 
29 
Papéis 
 
 Usuários Finais: são os especialistas, gerentes, executivos 
e analistas de negócios, que utilizam a informação para apoio a 
tomada de decisão. Esses usuários apresentam uma grande 
familiaridade com os termos do negócio e estão sempre em busca 
da solução de um problema ou de novas oportunidades. 
 
 
30 
Papéis 
 
 Analistas responsáveis pelo desenvolvimento e 
manutenção do Data Warehouse e dos Data Marts: equivalem 
aos administradores de bancos de dados (DBA) e 
administradores de dados (DA) dos Sistemas Gerenciadores do 
Banco de Dados (SGBD) dos sistemas operacionais.Estabelecem 
o nível de preocupação como os metadados, com a arquitetura 
de armazenamento e com a estrutura dos dados, visando, 
principalmente, melhorar o desempenho das consultas. 
 
 31 
Papéis 
 
 Os Administradores de dados (DA): têm um papel de 
fundamental importância nesse contexto novo, pois seu papel de 
integrador dos ambientes transacional e dimensional é fator de 
garantia da qualidade e da existência íntegra do Data 
Warehouse, por meio de metodologias de acompanhamento e 
administração dos metadados entre os sistemas transacionais e 
seu processo de manutenção de extração, transformação e carga 
do Data Warehouse. 
 
 32 
Metadados 
 
 A definição mais simples de metadados é que eles são 
dados sobre dados – mais especificamente, informações (dados) 
sobre um determinado conteúdo (os dados). 
 Os metadados são utilizados para facilitar o 
entendimento, o uso e o gerenciamento de dados. Os metadados 
necessários para este fim variam conforme o tipo de dados e o 
contexto de uso. Assim, no contexto de uma biblioteca, onde os 
dados são o conteúdo dos títulos em estoque, os metadados a 
respeito de um título normalmente incluem uma descrição do 
conteúdo, o autor, a data de publicação e sua localização física.
 
 
33 
Metadados 
 
 No contexto de uma câmera, onde os dados são a imagem 
fotográfica, os metadados normalmente incluem a data na qual a 
foto foi tirada e detalhes da configuração da câmera. No contexto 
de um sistema de informações, onde os dados são o conteúdo de 
arquivos de computador, os metadados a respeito de um item de 
dados individual normalmente incluem o nome do arquivo, o 
tipo do arquivo e o nome do administrador dos dados. 
 
 
34 
Metadados 
 
 No contexto de uma câmera, onde os dados são a imagem 
fotográfica, os metadados normalmente incluem a data na qual a 
foto foi tirada e detalhes da configuração da câmera. 
 No contexto de um sistema de informações, onde os 
dados são o conteúdo de arquivos de computador, os metadados 
a respeito de um item de dados individual normalmente incluem 
o nome do arquivo, o tipo do arquivo e o nome do administrador 
dos dados. 
 
35