Visão Geral de Business Intelligence & Analytics, etc

Prévia do material em texto

Asterio K. Tanaka
Tópicos Avançados de Banco de Dados
(Business Intelligence)
Asterio K. Tanaka
http://www.uniriotec.br/~tanaka/SAIN
tanaka@uniriotec.br
Visão Geral de Business Intelligence 
& Analytics, etc.
Licença Creative Commons – Atribuição
Uso Não Comercial – Compartilhamento pela mesma Licença
Asterio K. Tanaka
Evolução dos Sistemas de Informação
• A.C. (Antes do Computador): pastas e arquivos em papel e 
outros meios físicos
• 1950’s: programas e dados armazenados em memória RAM
• 1960’s: sistemas de arquivos em memória secundária (discos 
magnéticos)
• 1970-80’s: sistemas de bancos de dados centralizados e 
distribuídos em redes
• 1990’s: WWW, integração de dados, Data Warehouse, Business 
Intelligence, Sistemas de Informação para a Web
• 2000's: Web Semântica, integração de informações e de 
aplicações, governança de dados, Business Intelligence em 
tempo real
• 2010's: Business Analytics, Big Data, Data Science, Internet of 
Things, ...
Asterio K. Tanaka
Sistemas de Informação
na Pirâmide Organizacional
(Sprague & Watson, 1991)
Asterio K. Tanaka
EAI
Enteprise Application
Integration
CRM PRM
B2C B2B
ERP Outros
OLTP
Business Intelligence
& Analyitics
Clientes Parceiros
Fornecedores 
Reguladores
Alta Gerência
Stakeholders
BSC
CI
KMS
Adaptado de (BI-Business Intelligence, C. Barbieri, 2001) → (BI2 Modelagem e Qualidade, C. Barbieri, 2011)
Visão Geral da Arquitetura ERM – Enterprise Relationship Management
BAM
KDD
Governança
Corporativa de
Processos
e Dados
Carlos Barbieri
http://blogdobarbi.blogspot.com.br/ 
OLAP
Dados Não 
Estruturados
e Externos
http://blogdobarbi.blogspot.com.br/
Asterio K. Tanaka
Arquitetura ERM
BSC
BI, CI, KMS, BAM, ...
CRM, PRM, ...
B2B, B2C, ERP,
outros sistemas
OLTP, ...
Asterio K. Tanaka
Enterprise Relationship Management (ERM)
• ERM - Enterprise Relationship Management is basically a 
business strategy for value creation that is not based on cost 
containment, but rather on the leveraging of network-enabled 
processes and activities to transform the relationships between 
the organization and all its internal and external constituencies 
in order to maximize current and future opportunities.
 — Galbreath, 2002
http://en.wikipedia.org/wiki/Enterprise_relationship_management 
http://en.wikipedia.org/wiki/Enterprise_relationship_management
Asterio K. Tanaka
Balanced scorecard (BSC)
• Balanced Scorecard é uma metodologia de medição e gestão de 
desempenho desenvolvida pelos professores da Harvard 
Business School Robert Kaplan e David Norton, em 1992. Os 
métodos usados na gestão do negócio, dos serviços e da 
infraestrutura baseiam-se normalmente em metodologias 
consagradas que podem utilizar a TI (tecnologia da informação) 
e os softwares de ERP como soluções de apoio, relacionando-a à 
gerência de serviços e garantia de resultados do negócio. Os 
passos dessas metodologias incluem: definição da estratégia 
empresarial, gerência do negócio, gerência de serviços e gestão 
da qualidade; passos estes implementados através de indicadores 
de desempenho.
http://pt.wikipedia.org/wiki/Balanced_scorecard 
http://pt.wikipedia.org/wiki/Balanced_scorecard
Asterio K. Tanaka
Perspectivas do 
Balanced Scorecard
http://www.balancedscorecard.org/ 
http://www.balancedscorecard.org/
Asterio K. Tanaka
Business Activity Monitoring (BAM)
• Business activity monitoring (BAM) is software that aids in 
monitoring of business activities, as those activities are 
implemented in computer systems.
• The term was originally coined by analysts at Gartner, Inc. and 
refers to the aggregation, analysis, and presentation of real-time 
information about activities inside organizations and involving 
customers and partners. A business activity can either be a 
business process that is orchestrated by business process 
management (BPM) software, or a business process that is a 
series of activities spanning multiple systems and applications. 
BAM is an enterprise solution primarily intended to provide a 
real-time summary of business activities to operations managers 
and upper management.
http://en.wikipedia.org/wiki/Business_activity_monitoring 
http://en.wikipedia.org/wiki/Business_activity_monitoring
Asterio K. Tanaka
Knowledge Management System (KMS)
• Os Sistemas de Gerenciamento de Conhecimento (Knowledge 
Management Systems) são soluções de tecnologia da informação 
que amparam as iniciativas empresariais típicas de Gestão do 
Conhecimento, como identificação, criação, apresentação e 
distribuição do conhecimento dentro do contexto corporativo.
– A Gestão do Conhecimento, do inglês KM - Knowledge Management, é uma 
disciplina que tem suscitado cada vez mais atenção nas últimas décadas, tendo 
originado inúmeros trabalhos de investigação e investimentos cada vez mais 
significativos por parte das organizações que reconhecem a sua crescente 
importância.
– Utilizando a gestão do conhecimento a empresa diminui os gastos em produtos e 
começa a investir em capital intelectual, o que tem um melhor custo-benefício, 
pois o maior capital que a empresa possui é o conhecimento de seus 
colaboradores. Os colaboradores quando são ouvidos e podem dividir suas 
opiniões, se sentem valorizados e trabalham com paixão. Dessa forma o trabalho 
flui com maior eficiência, qualidade e dedicação.
http://pt.wikipedia.org/wiki/Gestão_do_conhecimento 
http://pt.wikipedia.org/wiki/Sistema_de_gerenciamento_do_conhecimento 
http://pt.wikipedia.org/wiki/Gest%C3%A3o_do_conhecimento
http://pt.wikipedia.org/wiki/Sistema_de_gerenciamento_do_conhecimento
Asterio K. Tanaka
Competitive intelligence (CI)
• Competitive intelligence is the action of defining, gathering, 
analyzing, and distributing intelligence about products, 
customers, competitors, and any aspect of the environment 
needed to support executives and managers making strategic 
decisions for an organization.
• Competitive intelligence essentially means understanding and 
learning what's happening in the world outside your business so 
you can be as competitive as possible. It means learning as much 
as possible—as soon as possible—about your industry in 
general, your competitors, or even your county's particular 
zoning rules. In short, it empowers you to anticipate and face 
challenges head on.
http://en.wikipedia.org/wiki/Competitive_intelligence 
http://en.wikipedia.org/wiki/Competitive_intelligence
Asterio K. Tanaka
Extração de conhecimento (KDD)
• Extração de conhecimento (também conhecido como processo 
KDD, do inglês knowledge discovery in databases) é um 
processo de extração de informações de base de dados, que cria 
relações de interesse que não são observadas pelo especialista no 
assunto, bem como auxilia a validação de conhecimento 
extraído.
• Prospecção de dados (português europeu) ou mineração de 
dados (português brasileiro) (também conhecida pelo termo 
inglês data mining) é o processo de explorar grandes 
quantidades de dados à procura de padrões consistentes, como 
regras de associação ou sequências temporais, para detectar 
relacionamentos sistemáticos entre variáveis, detectando assim 
novos subconjuntos de dados.
http://pt.wikipedia.org/wiki/Extração_de_conhecimento
http://pt.wikipedia.org/wiki/Mineração_de_dados 
http://pt.wikipedia.org/wiki/Extra%C3%A7%C3%A3o_de_conhecimento
http://pt.wikipedia.org/wiki/Minera%C3%A7%C3%A3o_de_dados
Asterio K. Tanaka
EAI – Enterprise Aplication Integration
• EAI (do inglês Enterprise Application Integration) é uma referência aos meios 
computacionais e aos princípios de arquitetura de sistemas utilizados no processo 
de Integração de Aplicações Corporativas. Os procedimentos e ferramentas de 
EAI viabilizam a interação entre sistemas corporativos heterogêneos por meio 
da utilização de serviços.
• Os pontos básicos de uma arquitetura de EAI são:
– Integração de aplicações, sistemas de informação e processos de negócio de 
uma empresa.
– Integração com aplicações internas e externas da empresaque servem de 
suporte ao processo de negócio da mesma, como por exemplo processo 
financeiro, recursos humanos, dentre outros.
– Conjunto de ferramentas de análise e monitoração de processos em tempo 
real.
http://pt.wikipedia.org/wiki/EAI
http://en.wikipedia.org/wiki/Enterprise_application_integration
http://en.wikipedia.org/wiki/Comparison_of_business_integration_software 
http://pt.wikipedia.org/wiki/EAI
http://en.wikipedia.org/wiki/Enterprise_application_integration
http://en.wikipedia.org/wiki/Comparison_of_business_integration_software
Asterio K. Tanaka
CRM – Customer Relationship Management
• Customer Relationship Management (CRM) é uma expressão em inglês 
que pode ser traduzida para a língua portuguesa como Gestão de 
Relacionamento com o Cliente. 
• Foi criada para definir toda uma classe de ferramentas que automatizam as 
funções de contato com o cliente.
• Essas ferramentas compreendem sistemas informatizados e 
fundamentalmente uma mudança de atitude corporativa, que objetiva ajudar 
as companhias a criar e manter um bom relacionamento com seus clientes 
armazenando e inter-relacionando de forma inteligente, informações sobre 
suas atividades e interações com a empresa.
http://pt.wikipedia.org/wiki/Customer_relationship_management
http://pt.wikipedia.org/wiki/Customer_relationship_management
Asterio K. Tanaka
PRM – Partner Relationship Management
• PRM (Partner Relationship Management) ou Gerenciamento de 
Relacionamentos com parceiros é um sistema de gerenciamento de canais que 
visa construir relacionamentos de confiança e melhorias estratégicas entre a 
indústria e o canal de vendas indireto para que sejam construídos 
relacionamentos de longo prazo. 
• Uma comunicação limpa e rápida proporcionada através de um conjunto de 
ferramentas potencializados pela Internet.
http://pt.wikipedia.org/wiki/Partner_Relationship_Management
http://pt.wikipedia.org/wiki/Partner_Relationship_Management
Asterio K. Tanaka
Business Intelligence
• Hans Peter Luhn (1958): "A Business Intelligence System". 
IBM Journal
– Habilidade de apreender os inter-relacionamentos de fatos apresentado de forma 
a guiar ações na direção de um objetivo desejado. 
• Howard Dresner (1989) → Gartner Group 
– Um termo guarda-chuva para descrever conceitos e métodos para melhorar 
tomadas de decisão de negócios usando sistemas de apoio baseados em fatos.
• Sun Tsu (Século V A.C). “A Arte da Guerra”.
– Para obter sucesso na guerra, deve-se ter total conhecimento de suas próprias 
virtudes e fraquezas, assim como total conhecimento das principais virtudes e 
fraquezas de seus inimigos. A falta de um destes resulta na derrota. 
– Uma certa corrente de pensadores estabelece um paralelo entre os desafios de 
negócios e de guerra, especificamente:
» Coletando dados;
» Enxergando padrões e significado nos dados (gerando informação);
» Respondendo a informação resultante.
Asterio K. Tanaka
Business Intelligence
• Inteligência Aplicada ao Negócio
– Business intelligence (BI) é um conjunto de teorias, metodologias, 
processos, arquiteturas e tecnologias que transformam dados primários 
em informações significativas e úteis para o propósito do negócio. 
http://en.wikipedia.org/wiki/Business_intelligence
– As tecnologias de BI permitem o cruzamento de informações e suportam 
a análise dos indicadores de desempenho de um negócio, para tomada de 
decisão.
• BI vs BA
Monitoring and tracking metrics/KPIs in the form of reports/dashboards 
is ‘Business Intelligence’, but making meaningful sense of these metrics, 
co-relating them with other factors that influence them, understanding 
the trends and using statistical algorithms to predict outcomes is where 
the bang for the buck is…and that is ‘Business Analytics’
http://smartdatacollective.com/ 
http://en.wikipedia.org/wiki/Business_intelligence
http://smartdatacollective.com/
Asterio K. Tanaka
BI vs BA
BI Traditional: lida com dados armazenados sobre o passado e presente, para 
• Relatórios e dashboards padronizados 
• Relatórios Ad hoc sobre o desempenho atual da organização
• Consultas OLAP (Drill Down e Roll Up)
• Análise de Cubos OLAP – Slice and dice
• Alertas
Vs.
Business Analytics: lida com os dados armazenados do presente para predizer o futuro, 
usando
• Análise estatística
• Forecasting
• Modelagem preditiva
• Otimização
Asterio K. Tanaka
DSS – Decision Support Systems
• Apoio à Decisão
– Produção e distribuição de INFORMAÇÃO ÚTIL para 
analistas do conhecimento, gerentes e diretores.
– Informação útil pressupõe
» Agilidade
» Flexibilidade
» Precisão
– DSS podem variar desde sistemas desktop de um único usuário 
a sistemas empresariais multi-usuários ligados a grandes DW 
corporativos.
What is a DSS? (D.J. Power, 1998)
http://www.dssresources.com/papers/whatisadss/index.html
A brief History of DSS (D.J. Power, 2007)
http://www.dssresources.com/history/dsshistory.html 
http://www.dssresources.com/papers/whatisadss/index.html
http://www.dssresources.com/history/dsshistory.html
Asterio K. Tanaka
Ambiente de Sistemas de Aplicação
Operacionais
• Dão suporte às funções 
associadas à execução do 
negócio da empresa: 
– ERP, SCM
– B2C, B2B
– Sistemas transacionais legados
– etc. 
Informacionais
• Dão suporte às funções 
associadas à concepção 
do negócio da empresa
– DSS, EIS
– DW, CRM, PRM
– Ferramentas OLAP
– Ferramentas de Data Mining
– etc.
Asterio K. Tanaka
Otimizado para análises 
complexas, com tempos de 
respostas viáveis.
Otimizado para tempo de resposta 
(máximo 2 a 3 segundos); inviável 
para análises complexas.
Desempenho
Desestruturado, consultas sob 
diferentes perspectivas, permite 
descoberta de conhecimento.
Estruturado, repetitivo, solução para 
requisitos conhecidos
Uso
Dimensional, própria para 
processamento analítico 
(segundo Kimball)
Relacional, própria para 
processamento transacional
Estrutura de dados
Estática, atualização apenas 
com “refresh”
Dinâmica, sujeita a atualizações 
freqüentes
Natureza dos dados 
Por assunto, negócio; 
abrangência ampla.
Por aplicação, sistema de 
informação, disponível para poucos 
usuários; abrangência restrita
Organização dos 
dados
Valores históricos, sumarizadosValores correntes, detalhadosConteúdo
Dados informacionais
(analíticos)
Dados operacionais
(transacionais)
Características
OLTP x OLAP
Asterio K. Tanaka
Suporte à Decisão “Tradicional”
Ambiente OperacionalAmbiente Operacional
Analista do negócioAnalista do negócio
• Dados não estão adequados para suporte à decisão 
• Sistemas de suporte à decisão desenvolvidos ad-hoc
• Analista do Negócio vira “Programador” 
• Longo tempo de espera 
Asterio K. Tanaka
Por que Data Warehousing?
 Integrar dados de múltiplas fontes
 Facilitar o processo de análise sem 
impacto para o ambiente de dados 
operacionais
 Obter informação de qualidade
 Atender diferentes tipos de usuários 
finais 
 Flexibilidade e agilidade para 
atender novas análises
BDs Operacionais
DW
Aplicação 
SD
Ferramenta
 OLAP
Aplicação
 EIS
Asterio K. Tanaka
Data Warehousing - Definições 
• Processos, ferramentas e recursos para gerenciar e 
disponibilizar informações de negócios precisas e 
inteligíveis para que indivíduos possam tomar 
decisões efetivas. 
• Um ambiente para adequadamente organizar, 
gerenciar e disponibilizar informações oriundas de 
fontes diversas, fornecendo uma visão única de 
parte ou de todo o negócio com o objetivo de dar 
suporte a operações analíticas. 
• Processamento de informações consolidadas e 
históricas para análise e suporte à decisão.
Asterio K. Tanaka
Definição de Data Warehouse
“A Data Warehouse is a
 subject-oriented, 
 integrated,
time-variant, 
non-volatile 
collection of data in support
of management’s decision-making process.”
(W. Imnon)
Asterio K. Tanaka
Data Warehouse – Collection of Data
• Um Data Warehouse nada mais é do que um banco de dados 
contendo dados extraídos do ambiente de produção da empresa, 
que foram selecionadose depurados, tendo sido otimizados 
para processamento de consulta e não para processamento de 
transações. Em geral, um Data Warehouse requer a 
consolidação de outros recursos de dados, além dos 
armazenados em banco de dados relacionais, como 
informações provenientes de planilhas eletrônicas, documentos 
textuais, etc.” [INMON, 1999].
Asterio K. Tanaka
Data Warehouse – Subject-Oriented
• Organizado em torno de assuntos como Clientes, Produtos, 
Vendas.
• Focado na modelagem e análise de dados para tomadores de 
decisão, não em operações diárias ou processamento de 
transações
• Provê uma visão simples e concisa em torno de questões sobre 
um assunto particular, excluindo dados que não são úteis no 
processo de tomada de decisão.
Asterio K. Tanaka
Data Warehouse – Integrated
• Construído integrando fontes de dados múltiplas e 
heterogêneas.
– bancos de dados relacionais, arquivos comuns, registros de 
transações on line.
• Limpeza de dados e técnicas de integração de dados são 
aplicadas.
– Assegura consistência em convenções de nomes, 
estruturas de codificação, medidas de atributos, etc., entre 
diferentes fontes de dados.
» Por exemplo, Preço de Hotel: moeda, taxas, inclui café 
da manhã, etc.
– Quando os dados são carregados no Data Warehouse, são 
convertidos para o padrão adotado.
Asterio K. Tanaka
Data Warehouse – Time Variant
• O horizonte de tempo para o Data Warehouse é 
significativamente mais longo do que para as aplicações 
operacionais.
– Bases de dados operacionais: dados de valor corrente.
– Dados de data warehouse: provêem informação para uma 
perspectiva histórica (por exemplo, 5-10 anos)
• Toda estrutura chave no Data Warehouse
– contém um elemento de tempo, explicita ou implicitamente
– mas a chave para dados operacionais pode não conter 
elemento temporal.
Asterio K. Tanaka
Data Warehouse – Non-Volatile 
• Um armazenamento de dados transformados fisicamente 
separado do ambiente operacional
• Atualização operacional de dados não ocorre no ambiente 
de Data Warehouse.
– Não requer processamento de transações, restauração e 
mecanismos de controle de concorrência.
– Requer somente duas operações de acesso aos dados:
» carga e acesso para consulta.
Asterio K. Tanaka
Data Warehouse
Definições alternativas
• Um banco de dados destinado a sistemas de 
suporte à decisão, cujos dados são 
armazenados em estruturas lógicas 
dimensionais, possibilitando o seu 
processamento analítico por ferramentas OLAP 
e de mineração de dados. (segundo Kimball)
• Um banco de dados para suporte a decisão 
mantido separadamente do banco de dados 
operacional da organização.
Asterio K. Tanaka
Arquitetura Genérica de DW
(visão acadêmica)
BDs Operacionais
Fontes Externas
FONTES DE DADOS
Meta Dados
 Data Warehouse
Data Marts
FERRAMENTAS
DE CONSULTA
Análise
Data Mining
Relatórios
 OLAP
 OLAP
Extração
Transformação
Carga
Atualização
Chaudhri&Dayal, SIGMOD RECORD 1997
Asterio K. Tanaka
Arquitetura 
de DW
segundo 
Inmon
Corporate 
Information 
Factory de 
Inmon
Versão 2013
http://www.inmoncif.com/library/cif/ 
http://www.inmoncif.com/library/cif/
Asterio K. Tanaka
Arquitetura de DW
segundo Kimball (2002)
Ralph Kimball, Margy Ross: The Data Warehouse Toolkit, 2a Edição, Wiley, 2002
Asterio K. Tanaka
Data WareHouse (Kimball 2013)
http://www.kimballgroup.com/data-warehouse-and-business-intelligence-resources/kimball-core-concepts/
http://www.kimballgroup.com/data-warehouse-business-intelligence-resources/kimball-techniques/technical-dw-bi-system-architecture/ 
http://www.kimballgroup.com/data-warehouse-and-business-intelligence-resources/kimball-core-concepts/
http://www.kimballgroup.com/data-warehouse-business-intelligence-resources/kimball-techniques/technical-dw-bi-system-architecture/
Asterio K. Tanaka
Arquitetura de BI com Pentaho
http://www.pentaho.com/ 
http://community.pentaho.com/ 
it4biz é uma partner brasileira do Pentaho, liderada pelo Caio Moreno (Professor Coruja)
http://www.pentaho.com/
http://community.pentaho.com/
Asterio K. Tanaka
Arquitetura de BI com Pentaho
http://www.pentaho.com/ 
http://community.pentaho.com/ 
http://www.pentaho.com/
http://community.pentaho.com/
Asterio K. Tanaka
Arquitetura de BI com Pentaho
http://www.capgemini.com/blog/capping-it-off/2012/07/bi-30-the-journey-to-business-intelligence-what-does-it-mean 
http://www.capgemini.com/blog/capping-it-off/2012/07/bi-30-the-journey-to-business-intelligence-what-does-it-mean
Asterio K. Tanaka
Arquitetura de BI/DW
Inmon X Kimball
• Coming up soon
– Comparações, discordâncias, concordâncias
– Convergência de abordagens
– Novos rounds
• “Novas” Arquiteturas
– BI/DW 2.0? BI 3.0?
– ...
– ...
	Slide 1
	Slide 2
	Slide 3
	Slide 4
	Slide 5
	Slide 6
	Slide 7
	Slide 8
	Slide 9
	Slide 10
	Slide 11
	Slide 12
	Slide 13
	Slide 14
	Slide 15
	Slide 16
	Slide 17
	Slide 18
	Slide 19
	Slide 20
	Slide 21
	Slide 22
	Slide 23
	Slide 24
	Slide 25
	Data Warehouse—Subject-Oriented
	Slide 27
	Data Warehouse—Integrated
	Data Warehouse—Time Variant
	Data Warehouse—Non-Volatile
	Slide 31
	Slide 32
	Slide 33
	Slide 34
	Slide 35
	Slide 36
	Slide 37
	Slide 38
	Slide 39