Oracle Data Integrator (ODI)

Prévia do material em texto

Workshop 
Oracle Data Integrator (ODI) 
Agenda do Curso 
• Visão Geral do Projeto 
• Overview da Ferramenta 
• Repositório / Topologia 
• Projeto / Metadados / Interface 
• Package / Cenários 
• Dimensões 
• Fatos 
• Qualidade 
• Plano de Cargas 
 
Visão Geral do Projeto 
Fonte dos 
Dados ETL1 
Staging 
Area 
ETL2 
Data Mart 
• Controle de Erros 
• Dimensão de Auditoria 
Oracle Data Integrator 
 Overview 
• O que é o Oracle Data Integrator? 
• Visão geral do ODI 11g 
• Visão geral dos componentes ODI 11g 
• Sobre módulos gráficos 
 
Agenda 
O que é o Oracle Data 
Integrator? 
 
• Oracle Data Integrator (ODI) é uma 
plataforma de integração de dados 
abrangente projetado para integrar grandes 
volumes de dados em alto desempenho. 
• O ODI é construído inteiramente em Java e 
em torno de uma arquitetura modular e de 
repositórios. 
 
Visão Geral do ODI 
Visão Geral dos Componentes 
Designer Navigator 
Operator Navigator 
Topology Navigator 
Security Navigator 
Agent ODI 
O Agent ou Agente ODI são processos 
Java que orquestram a execução de 
objetos em tempo de execução. 
Os Agentes podem: 
- Executar objetos sob demanda, ou 
- Executar de acordo com horários pré-
definidos. 
 
• Arquitetura dos repositórios 
• Criando e conectando-se ao repositório mestre 
• Criando e conectando-se ao repositório de 
trabalho 
 
Agenda 
Arquitetura de Repositório ODI 
Arquitetura dos Repositórios 
O Repositório ODI consiste em dois Schemas de banco de 
dados, um contendo o Repositório Master, e o outro o 
Repositório Work. 
 
Repositório Master: Armazena todas as informações de 
topologia, segurança e o mecanismo de versionamento. 
 
Repositório de Work: Sempre associado a um Repositório 
Mestre, contém informações de desenvolvimento como 
projeto, modelos e execução de dados. 
 
Uma arquitetura típica inclui um Repositório Mestre e 
possivelmente vários repositórios de trabalho (por exemplo, 
Desenvolvimento, Homologação/Q&A e Produção). 
 
 
Arquitetura dos Repositórios 
Criando Repositório Master 
1. Clicar no ODI 
Studio, Arquivo > 
Novo... 
Criando Repositório Master 
2. Inserir as 
informações de 
acesso ao Schema, 
definido para o 
Repositório Master 
Criando Repositório Master 
3. Inserir as 
informações usuário 
default Supervisor: 
 
User: SUPERVISOR 
Senha: SUNOPSIS 
Criando Repositório Master 
3. Clique em 
Internal Password 
Storage e Finish 
Conectando ao Repositório 
Master 
4. Solicite a criação de um Login 
para o Repositório, ODI Studio > 
Novo 
5. Ao definir as informações de 
conexão, na guia Work Repository 
marque a opção “Master 
Repository Only” 
Criando o Repositório Work 
1. Ao realizar o Login, na aba 
de Topologia e na guia 
Repositórios solicite a 
criação do Repositório Work 
Criando o Repositório Work 
1. Insira os dados de 
conexão do Schema 
definido para o 
Repositório Work 
Criando o Repositório Work 
2. Especifique o nome 
do Repositório Work, e 
ao finalizar a opção de 
criar login automático é 
exibido. 
Arquitetura de Topologia 
• Arquitetura de Topologia 
• Criando arquitetura física 
• Criando a arquitetura lógica 
• Vinculando arquitetura lógica e física 
• Testando uma conexão de servidor de dados 
Agenda 
Arquitetura de Topologia 
A Topologia é uma representação completa do acesso aos sistemas 
de informação, a Topologia é composta por: 
 
• Data Server (Servidor de Dados) 
– Objeto que define a conexão com banco de dados para 
Origem ou Destino. 
 
• Physical Schema (Esquema Físico) 
Define 2 banco de dados: 
- O esquema definido para acesso da Origem e Destino. 
- O Workschema ou Esquema de Trabalho é utilizado pelo ODI 
para manipular ou fazer a ponte entre os dados de Origem e 
Destino faz uso de tabelas temporárias caso preciso. 
• Contexto 
– Define um "ambiente", uma instância específica para a 
execução de código. O exemplo mais comum é o 
Desenvolvimento, Homologação e Produção. O contexto 
também realiza 
 
• Physical Schema (Esquema lógico) 
– Esquema lógico é o ponto final para compreender o fluxo. A 
ideia por trás de sua existência é permitir que o mesmo 
código possa ser usado em qualquer ambiente, uma vez que 
é um apelido, ou seja, contém o agrupamento de esquemas 
físicos. 
Arquitetura de Topologia 
Arquitetura de Topologia 
Visão Prática: 
 
Criando um Contexto 
1. Em Topologia, na aba de 
Contextos, solicite um Novo 
Conceito 
2. Preencha o Nome 
3. Salvar 
 
1. Right-click na Tecnologia Oracle 
selecione Novo Servidor de Dados 
2. Preencha o Nome 
3. Informe o Schema de Conexão: 
– Data Server 
– Usuário and Senha 
 
 
Criando um Data Server 
Criando um Data Server 
1. Selecione a aba JDBC 
2. Informe o driver JDBC 
3. Informe a URL JDBC 
4. Teste a Conexão 
5. Click Salvar 
Criando um Esquema Físico 
1. Right-Click no Data Server e 
selecione Novo Esquema Físico 
2. Selecione ou preencha o: 
– Esquema 
– Esquema de Trabalho 
3. Clique Salvar 
Criando um Esquema Lógico 
1. Right-Click no Data Server e selecione Novo 
Esquema Lógico 
2. Preencha com um nome 
3. Associe o Contexto ao Esquema Físico. 
Vinculando Arquitetura 
Lógica e Física 
1. O contexto é responsável por fazer essa 
ponte entre a arquitetura lógica e a 
arquitetura física, sendo assim é necessário 
vincular aos respectivos esquemas. 
2. Ir a Contextos>Esquemas 
3. Associar o Contexto em questão ao 
Esquema Físico 
Desejado. 
4. Clique em Salvar 
 
Configurando um novo projeto 
• Visão Geral dos Projetos ODI 
• Criando um novo Projeto ODI 
• Utilização e Organização de Pastas 
• Módulos de conhecimento 
• Exercícios 
 
 
Agenda 
Visão Geral dos Projetos ODI 
Um projeto no ODI é 
estruturado, por: 
 
• Pastas: 
- Pacotes 
- Interfaces 
- Procedimentos 
• Variáveis 
• Sequencias 
• Funções 
• Knowledge Modules 
• Marcadores 
Criação de um 
Novo Projeto 
Estrutura e 
Organização de Pastas 
Marcadores: 
Prioridade, Andamento 
e Smileys 
Módulos de Conhecimentos 
Importação dos 
Módulos de 
Conhecimento 
Workspace onde 
estão determinados 
os Steps para cada 
KM 
Tipos de Módulo de 
Conhecimento 
• LKM (Load Knowledge Module): É o KM responsável pela 
extração dos dados de origem. 
 
• CKM (Check Knowledge Module): É o KM responsável por 
realizar validações dos dados no processo de ETL. 
 
• IKM (Integration Knowledge Module): É o responsável pela 
integração dos dados efetivamente no banco de destino. Ele resolve 
as regras do ETL descritas nas interfaces e insere os dados finais 
na tabela de destino. 
Modelo de Dados 
• Definição de Modelos de dados 
• Engenharia Reversa 
• Exercícios 
Agenda 
Modelo de dados 
• Modelos são os objetos que irá armazenar os metadados no 
ODI. 
• Eles contêm a descrição de um modelo de dados relacional 
ou multidimensional. É um grupo de armazenamentos de 
dados armazenados em um determinado esquema de uma 
dada tecnologia. 
• Um modelo de dados obtém metadados através de 
engenharia reversa do "real" modelo de dados (Database, flat 
file, XML file, XLS etc…) 
 
Modelo de dados 
Criação de um 
novo modelo 
de dados 
Modelo de Dados 
Armazena 
Metadados, a nível 
de tabela e coluna 
Modelo de dados - 
Definição 
O Esquema Lógico 
determina qual o 
Esquema será 
consultado durante a 
Engenharia Reversa 
Nome do 
Modelo 
Define qual a 
Tecnologia de Banco 
de Dados será 
acessada. 
Modelo de dados – Engenharia 
Reversa 
Engenharia 
Reversa, determina 
o Contexto 
Opções de objetos 
para Engenharia 
Reversa 
Modelo de dados – Engenharia 
Reversa Seletiva 
Engenharia Reversa 
Seletiva, determina os 
objetos a serem 
convertidos a Metadados 
Conceitos de interfaces ODI 
 
• Definição de Interface 
• Seleção de Módulos de Conhecimento 
• Monitorando Sessões 
• ExercíciosAgenda 
Interface 
• Uma interface é um objeto em Oracle Data 
Integrator, que preenche um armazenamento de 
dados, chamado de Target/Destino, através de 
dados provenientes de um ou mais 
armazenamentos de dados, conhecidos como 
Source/Origem. 
• As colunas na fonte de armazenamento de dados 
estão ligados às colunas no armazenamento de 
dados alvo através de mapeamento. 
Interface 
Criação de 
Interface 
Tabela 
Origem/Source 
Tabela 
Destino/Target 
Editor de 
Expressões 
Mapeamento 
Origem x Destino 
Seleção Módulos de 
Conhecimentos 
Clique na Caixa de 
Destino para 
Visualizar as opções 
de KM 
Clique na Caixa de 
Destino para 
Visualizar as opções 
de KM 
Selecione o KM 
apropriado 
Monitorando Sessões (Operator) 
Passos Executados 
pelos KM 
selecionados 
 
• Definição de Pacote 
• Definição de Cenário 
• Versionamento 
 
Agenda 
Packages (Pacotes) 
Packages (Pacotes) 
• Um pacote é uma sequência pré-definida de 
etapas, concebidas para serem executadas em 
ordem. Existem muitos tipos de passos, e podem 
ser compostos por: 
• Interfaces 
• Procedimentos 
• Ações / avaliações sobre as variáveis 
• Ações em modelos, sub-modelos ou datastores 
• Comandos OS 
• Ferramentas Oracle Data Integrator 
Packages (Pacotes) 
Criação de 
Pacotes 
Workflow 
Workspace, onde se 
orquestram os 
passos, sejam eles 
(Interfaces, 
procedures, cenários 
etc...) 
Cenário 
• Um cenário é o código parcialmente 
gerado (SQL, shell, XML etc) para os 
objetos (interfaces, procedimentos, 
variáveis etc) contidos em um pacote. 
Cenário e Versionamento 
Right-Click em 
cima do Pacote 
desejado e gerar 
cenário e versão. 
Uma vez gerado, o código do 
cenário está congelado, e todas as 
modificações posteriores do pacote 
e / ou modelos de dados que 
contribuíram para a sua criação não 
vai afetá-lo. Se você deseja atualizar 
um cenário, porque uma de suas 
interfaces foi alterada então deve-se 
gerar uma nova versão do cenário 
do pacote ou simplesmente 
regenerar. 
 
Dimensão e Fato 
• Criando Interfaces para Dimensões e Fatos 
• Criando Joins 
• Criando Filtros 
• Criando Dimensão de Chave Lenta (SCD) 
• Exercícios 
Dimensão 
É comum uma Dimensão ser constituída por múltiplas 
fontes ou conjuntos de dados. A Dimensão de Cliente 
por exemplo é formada pelas tabelas de Cliente, 
Endereço, Bairro, Cidade e Estado. 
 
Para esta ocorrência é necessário uma Junção/Join 
para compor ou combinar as tabelas que dão origem a 
Dimensão. 
 
 
 
 
Joins 
 
 
 
 
O Join ou Junção é 
implementado como uma 
expressão SQL que liga 
as colunas (campos) de 
dois ou mais conjuntos 
de dados. 
No ODI o Join é 
implementado ligando 
uma coluna a outra 
clicando e arrastando, 
isso vai criar uma 
Junção entre as tabelas. 
Filtros 
 
 
 
 
Os Filtros/Filter estão 
ligados a Cláusula 
Where que permitem a 
restrição do volume de 
dados. 
No ODI basta selecionar 
a coluna que servirá de 
filtro clicar e arrastar 
para a área de trabalho. 
Nas propriedades do 
Filtro basta implementar 
o tipo de restrição. 
 
A SCD Type 2 propõe criar um novo registro para cada alteração 
criando um histórico ilimitado, para esta situação é comum utilizar 
data de vigência ou versionamento do dado. 
 
 
 
 
 
SCD (Slowly Change Dimension) 
TYPE 2 
Fornecedor_key Fornecedor_Code Fornecedor_Nome 
 Fornecedor_
Estado 
 Data_inicial Data_final 
001 ABC 
Phlogistical Sociedade de 
Abastecimento 
SP 01-Jan-2000 21-Dec-2004 
002 ABC 
 Phlogistical Sociedade de 
Abastecimento 
RJ 22-Dec-2004 
SCD (Slowly Change 
Dimension) TYPE 2 
Definição do 
Comportamento 
das Colunas. 
A SCD é 
implementada a 
nível de Colunas. 
A guia 
Descrição 
determina o 
Tipo de SCD 
Data Quality 
O Data Quality ou Qualidade de Dados segue uma série de restrições 
que devem ser obedecidas para garantir que os dados estejam 
apropriados para o uso específico. 
 
O recurso de Check Constraint gerenciado pelo CKM garante por 
intermédio de uma condição que haja a separação entre o dado bom e 
ruim. 
 
Nesta ordem, o ODI percorre o fluxo de dados normalmente enquanto 
o dado ruim é isolado em uma tabela cujo prefixo é E$. 
 
Faz parte do processo importar um CKM compatível com a tecnologia 
Oracle. 
Data Quality 
Criação da 
Condição 
Determinand
o a Condição Habilitando o 
CKM 
Auditoria 
A Auditoria, consiste no processo de conhecer e controlar a 
origem de um dado. 
 
Seguindo os conceitos de Ralph Kimball, designamos três 
tabelas para esse processo DIM_AUDIT, CTRL_MAPAS e 
CTRL_ERROS. 
A tabela DIM_AUDIT armazena informações de tempo de 
execução, quantidade de linhas inseridas, deletadas e 
atualizadas. 
A tabela CTRL_MAPAS armazena o cadastro das Interfaces 
existentes. 
A tabela CTRL_ERROS armazena informações de erro durante 
a execução dos mapas/interfaces. 
 
Auditoria 
A própria Arquitetura de Repositório garante rastrear a origem 
do dado, ao dispor todas as informações monitoradas pelo 
Operator. 
 
As informações de origem para essas tabelas estão localizadas 
no Repositório Work através das tabelas SNP_POP e 
SNP_SESSION. 
 
 
 
Plano de Carga 
O Plano de Carga é um objeto executável que pode 
conter uma hierarquia de medidas que podem ser 
executadas condicionalmente, em paralelo ou em 
série. 
 As folhas desta hierarquia são cenários. Pacotes, 
interfaces, variáveis ​​e procedimentos podem ser 
adicionados ao carregar Planos para execuções em 
forma de cenários. 
Criando Plano de Carga 
1. Na aba Cenários e Planos de Carga, novo 
plano de carga. 
2. Em seguida adicione os cenários definidos 
para o fluxo de carga geral. 
 
Dúvidas?