docdownloader com-pdf-carlos-barbieri-auth-bi2-business-intelligenb-okcc-dd_eb94f4ea0907b76b4d71459051ba58b4

Prévia do material em texto

Preencha aPreencha a ficha de cadastroficha de cadastro no final deste livro no final deste livro
e receba gratuitamente informações sobree receba gratuitamente informações sobre
os lançamentos e promoções da Elsevier.os lançamentos e promoções da Elsevier.
Consulte também nosso catálogo completo,Consulte também nosso catálogo completo,
últimos lançamentos e serviços exclusivos no siteúltimos lançamentos e serviços exclusivos no site
 www www.elsevier.com.br.elsevier.com.br
CarlosCarlos
Barbieri Barbieri 
M o d e l a g e m & M o d e l a g e m & Q u a l i d a d e  Q u a l i d a d e  
BIBI22--Business Business IntelIntelligligenceence
      
            
__________________________________________________________________________________________________________________________________________________
B191b B191b   
                  
          
  
  
            
              
      
        
                oo      
                          
                    
      
Copidesque:Copidesque:    
Revisão:Revisão:      
Editoração Eletrônica:Editoração Eletrônica:          
    
    
            oo  
                    
        oo  
                  
        


  
Nota:Nota:                            
                        
                        
    
                          
                
                           - -
                        
      
A Beth, por tudo, por sempre.A Beth, por tudo, por sempre.
A Ana Luiza, Roberto, Flávio e Maria Alice, meus filhos, eA Ana Luiza, Roberto, Flávio e Maria Alice, meus filhos, e
Rodrigo, nossa paixão.Rodrigo, nossa paixão.
A Luiz Antônio, Geraldo (A Luiz Antônio, Geraldo (in memoriamin memoriam) e Inimá, participantes) e Inimá, participantes
fundamentais da minha família.fundamentais da minha família.
A Tibum, companheira felina que, ao meu lado, testemunhouA Tibum, companheira felina que, ao meu lado, testemunhou
por completo a escrita destas páginas e parpor completo a escrita destas páginas e partiu exatamente no dia em quetiu exatamente no dia em que
eu coloquei o ponto final no Capítulo 11.eu coloquei o ponto final no Capítulo 11.
 Agradecimentos Agradecimentos
A FabiA Fabia Russa Russano ano YYazaki, pela parcerazaki, pela parcer ia no Caia no Capítulo 7pítulo 7, , que eu nãque eu nãoo
teria teria escrito escrito sozinho.sozinho.
À À Sociedade Softex, nas figuras Sociedade Softex, nas figuras de Arnaldo de Arnaldo Bacha, JBacha, José Antônioosé Antônio
AntoniAntonioni, Kivoni, Kival al WWeber, eber, Ana Ana ReginRegina Roa Rocha cha e Nelse Nelson Fron Franco, anco, por tpor teremerem
me apresentado o programa MPS, de onde extraí as ideias seminais deme apresentado o programa MPS, de onde extraí as ideias seminais de
qualidade, transpostas para o BI2.qualidade, transpostas para o BI2.
A Welington Teixeira Santos, Wilson Lima, Mauro Lambert,A Welington Teixeira Santos, Wilson Lima, Mauro Lambert,
Márcio Tibo, Thiago Maia, Rosângela Mendonça, Isabella Fonseca,Márcio Tibo, Thiago Maia, Rosângela Mendonça, Isabella Fonseca,
Cláudio Filardi, Michele Horta, Cláudio Fróes, Marlene Ribeiro,Cláudio Filardi, Michele Horta, Cláudio Fróes, Marlene Ribeiro,
Rosane Matos, Daisy Melo e à equipe de comunicação (Pedro IvoRosane Matos, Daisy Melo e à equipe de comunicação (Pedro Ivo
MartMartins, Liliane Duarins, Liliane Duarte, Stefânia Faria te, Stefânia Faria e Gracielle Sante Gracielle Santos), por tereos), por teremm
me ajudado a alavancar uma estrutura de consultoria em qualidade deme ajudado a alavancar uma estrutura de consultoria em qualidade de
processos com MPS.BR na Fumsoft, que nos orgulha a todos.processos com MPS.BR na Fumsoft, que nos orgulha a todos.
A Flávio de Almeida Pires, Paulo Vasconcelos e MarceloA Flávio de Almeida Pires, Paulo Vasconcelos e Marcelo
OlivOliveira, eira, da Assesso – Engenharda Assesso – Engenharia de ia de Sistemas, Sistemas, uma das uma das grandes grandes empresasempresas
da área, pelas ricas discussões práticas sobre qualidade de dados, quandoda área, pelas ricas discussões práticas sobre qualidade de dados, quando
conversamos como velhos amigos, embora somente tivéssemos nosconversamos como velhos amigos, embora somente tivéssemos nos
encontrado naquela manhã encontrado naquela manhã cinzenta de outubro.cinzenta de outubro.
A Otávio Lanna, que me proporcionou os contatos com aA Otávio Lanna, que me proporcionou os contatos com a
Assesso Assesso – Engenharia de Sistemas e a QIBRAS– Engenharia de Sistemas e a QIBRAS, , e a Jamir e a Jamir Lopes (CIOLopes (CIO
da Cemig), pelas indicações nas da Cemig), pelas indicações nas entrevistas.entrevistas.
A Marco Antônio CaA Marco Antônio Canela, da Livrarinela, da Livraria Cultua Cultura – SPra – SP, , pela prestpela prestezaeza
na orientação a respeito das editoras que pudessem ter interesse nestana orientação a respeito das editoras que pudessem ter interesse nesta
obra.obra.
BI2 – BBI2 – BUSINESSUSINESS I INTELLIGENCENTELLIGENCE:: MODELAGEMMODELAGEM EE QUALIDADEQUALIDADE II CCARLOSARLOSB BARBIERIARBIERI
A Marcelo Lamounier, da MGInfo, ex-aluno e hoje um craqueA Marcelo Lamounier, da MGInfo, ex-aluno e hoje um craque
do BI, pelas discussões sobre modelos dimensionais para gerência dedo BI, pelas discussões sobre modelos dimensionais para gerência de
projetos.projetos.
A DárA Dário Arantes Nunes, io Arantes Nunes, amigoamigo, , irmão irmão e consultor e consultor renomado narenomado na
área de reputação corárea de reputação corporativa, porativa, pelas discussões a pelas discussões a respeito do tema.respeito do tema.
A Fernando Colares, ex-aluno, ex-consultor da minha equipe,A Fernando Colares, ex-aluno, ex-consultor da minha equipe,
hoje um brhoje um brilhante designer gráfico, ilhante designer gráfico, pelas sugestões da capa.pelas sugestões da capa.
A Marco Pace, editor da Elsevier, Silvia Barbosa Lima,A Marco Pace, editor da Elsevier, Silvia Barbosa Lima,
coordenadora de produção editorial, e Rachel Sant’Anna Murta, pelacoordenadora de produção editorial, e Rachel Sant’Anna Murta, pela
revisão criteriosa e profissional dos textos.revisão criteriosa e profissional dos textos.
A Adler A Adler Diniz, Diniz, Alex Alex Prado, Prado, AndrAndriele iele Ribeiro, Ribeiro, Carlos Carlos Pietrobom,Pietrobom,
César Ávila, Dhanyel Nunes, Fabiana Bigão, Fabiana Borges, FernandoCésar Ávila, Dhanyel Nunes, Fabiana Bigão, Fabiana Borges, Fernando
Moreira, Geovanne Nogueira, Isabella Fonseca, José Luis Braga, JulianoMoreira, Geovanne Nogueira, Isabella Fonseca, José Luis Braga, Juliano
SantosSantos, , Junilson SouzJunilson Souza, a, RosângRosângela Mendonçela Mendonça, a, RosilaRosilane Mota, ne Mota, João Righi,João Righi,
LucianLuciana Marta Martins e Bruno Sains e Bruno Satler, tler, consulconsultores da equipe do CCOMPtores da equipe do CCOMP.MG-.MG-
Fumsoft, e Ana Liddy Magalhães, da Quality Focus.Fumsoft, e Ana Liddy Magalhães, da Quality Focus.
A Celso Tolentino, Delcio Martins, Eduardo Vidal, FernandoA Celso Tolentino, Delcio Martins, Eduardo Vidal, Fernando
Cota, Cota, Joel Gerken, Joel Gerken, Milton Milton RamalhRamalho e o e WWagner Bagner Bernuernucci, cci, que, que, em todaem todas ass as
primeiras primeiras quintas-feiras do mês, quintas-feiras do mês, me orientam me orientam na resolução dos problemasna resolução dos problemas
transcendentais e quânticos da humanidade, entre cervejas, licores etranscendentais e quânticos da humanidade, entre cervejas, licores e
amizades duradouras.amizades duradouras.
IntroduçãoIntrodução
O livroO livro BI2-Business Intelligence: modelagBI2-Business Intelligence: modelagem e em e qualidade qualidade , que você, que você
folheia neste momento, teve três grandes motivações na sua concepção:folheia neste momento, teve três grandes motivações na sua concepção:
a primeira foi o ainda intenso interesse demonstrado pela comunidadea primeira foi o ainda intenso interesse demonstrado pela comunidade
de informações (acadêmica e técnica) pelo livro anteriorde informações (acadêmica e técnica) pelo livro anterior BI-BusinessBI-Business
Intelligence: modelagem e tecnologiaIntelligence: modelagem e tecnologia, esgotado. , esgotado. EsgotaEsgotado, do, diga-sdiga-se de e de passagpassagem,em,
não necessariamente por seus méritos, mas pelo desaparecimento danão necessariamente por seus méritos, mas pelo desaparecimento da
empresa que o editou. Que Deus a tenha...empresa que o editou. Que Deus a tenha...
Editado em 2001, o livro ainda continua sendo uma fonteEditado em 2001, o livro ainda continua sendo uma fonte
bastante citada, conforme evidencia o Dr. Google nas suas mais de 30bastante citada, conforme evidencia o Dr. Google nas suas mais de 30
páginas de links referenciados. Isso é reiterado por diversos e-mails quepáginas de links referenciados. Isso é reiterado por diversos e-mails que
recebo periodicamente, vindos de universidades e profissionais, a respeitorecebo periodicamente, vindos de universidades e profissionais, a respeito
de como obtê-lo, mesmo dez anos depois do seu lançamento. Assim, ode como obtê-lo, mesmo dez anos depois do seu lançamento. Assim, o
BI2BI2 cumprirá parte de seu objetivo, ampliando, revisando e atualizando cumprirá parte de seu objetivo, ampliando, revisando e atualizando
os conceitos existentes no seu irmão mais velho e trazendo novasos conceitos existentes no seu irmão mais velho e trazendo novas
discussões sobre altos volumes, discussões sobre altos volumes, novnovas foras formas de acesso mas de acesso e de estruturaçe de estruturaçãoão
de informações.de informações.
A segunda grande motivação se deu pela minha incursão,A segunda grande motivação se deu pela minha incursão,
ao longo destes últimos seis anos, na implementação de projetos deao longo destes últimos seis anos, na implementação de projetos de
qualidade, por meio do Programa MPS.BR da Softex. Foram mais de 50qualidade, por meio do Programa MPS.BR da Softex. Foram mais de 50
implementações através da Fumsoft-MG. Embora o movimento MPS.implementações através da Fumsoft-MG. Embora o movimento MPS.
BR seja fortemente focado em qualidade de processos de software eBR seja fortemente focado em qualidade de processos de software e
serviços correlatos, fui despertado por uma daquelas vozes internas queserviços correlatos, fui despertado por uma daquelas vozes internas que
nos sopram aos ouvidos, principalmente nas madrugadas insones quenos sopram aos ouvidos, principalmente nas madrugadas insones que
BI2 – BUSINESS INTELLIGENCE: MODELAGEM E QUALIDADE I CARLOS BARBIERI
qualidade de dados não ter ainda alcançado um patamar de importância
corporativa semelhante à qualidade dos processos. De pronto, respondi
“depende”, esfarelando qualquer resquício de lógica e me valendo do
clichê fundamental da indústria da consultoria. Mesmo assim, prometi
ao meu alter ego  cruzmaltino pensar, pesquisar e escrever a respeito.
Até porque em toda a minha vida profissional estive profundamente
envolvido com dados. Desde a minha tese de mestrado no Inpe, nos anos
70, passando pela minha carreira profissional de quase 30 anos na Cemig,
onde comecei como DBA, comandei a área de Dados e me aposentei
como responsável pela área de Tecnologia. Sempre me envolvi com eles.
Mesmo assim, os diversos trabalhos de consultoria por aí afora, a escrita
de um dos primeiros livros sobre Modelagem de Dados publicados no
Brasil, e o primeiro livro de BI , sempre me apontaram esse caminho, mas
nunca me ajudaram na resposta ao alter ego  insone. Quando ouvi pela
primeira vez sobre os movimentos de Governança de Dados, entendi que
o momento que eu sempre imaginara importante para os dados estava
prestes a chegar. E por que colocar num livro de BI assuntos de qualidade
e governança de dados? A resposta é clara e forte como a silhueta das
montanhas de Minas. As informações colocadas e estocadas nos grandes
depósitos hoje (sejam DW ou DMarts) têm oferecido um lado sombrio,
quando analisadas sob a luz da qualidade. Não são poucas as empresas
onde ouço que o BI  vai bem, porém a qualidade das informações por ele
produzidas, nem tanto.
A terceira motivação se dá pela minha paixão velada pelos
dados, sejam eles os cubinhos com faces enumeradas de 1 a 6, ou os
elementos atômicos de informações e geração de conhecimentos. A
língua portuguesa tem essa feliz coincidência semântica, inexistente
nas outras. Essa minha fixação em dados (informações) foi aguçada pela
perspectiva do crescimento absolutamente incontrolável do conteúdo
do universo digital. Com o aparecimento de celulares, redes sociais,
câmeras etc., o elemento “dado” passou a circundar as nossas vidas como
nunca antes, chamando atenção, não só pelo seu volume estonteante,
mas principalmente pela maneira pela qual nos impactarão. Essas novas
ELSEVIER
I INTRODUÇÃO
etc., também foram pesquisadas no que chamei de BHI (Behavior
Intelligence). Já se foi o tempo em que o BI  era somente dados de varejo
e transações comerciais. No lugar de transações, veremos interações e
atitudes.Enfim, o livro procura ser um pouco provocador no sentido
de que as empresas deverão se preocupar com os dados como um ativo
organizacional, da mesma forma com que nós, os human bits, estaremos
vivendo o lado doce e amargo da nossa nova personalidade de “seres
digitais”.
Para melhor orientá-los na leitura do BI2, gostaria de mostrar as
trilhas do volume. No Capítulo 1, vocês terão uma visão gerencial, com
o viés histórico sobre a evolução ou revolução dos aspectos de dados,
informação e conhecimento, testemunhado por esse escriba, desde o
momento em que rodei o primeiro programa Fortran, na época da CPU
à lenha.
No Capítulo 2, procurei associar o conceito de reputação
e de novos posicionamentos das empresas a respeito de competição,
virtualidade, marcas etc., com aspectos subliminares de qualidade.
No Capítulo 3, tangencio o assunto qualidade de processos,
muito mais com intuito de contextualização de uma qualidade parceira
do que com a pretensão de ser detalhista nesse domínio. No Capítulo
4, falamos sobre Qualidade e Governança de Dados, discutida num
viés condicional e fundamental para uma boa implementação de BI 
e a consequente assunção dos dados como ativos organizacionais
das empresas. Neste capítulo discutiremos os conceitos seminais de
Governança de Dados, algumas propostas para sua implantação e certos
modelos de maturidade aplicados. É um dos capítulos provocadores.
Os Capítulos 5 e 6 focam BI , com os seus conceitos estruturantes e
os aspectos correlacionados ao assunto, como Conhecimento, Inteligência
competitiva etc. Manteve a essência do livro anterior, focando aspectos
colaterais do BI .
No Capítulo 7, falamos sobre Data Mining, que escrevi com
Fábia Russano Yazaki, amiga e grande estatíst ica e que hoje trabalha na
BI2 – BUSINESS INTELLIGENCE: MODELAGEM E QUALIDADE I CARLOS BARBIERI
do originalmente publicado no primeiro livro, mas foi revisado
e ligeiramente expandido à luz das novas aplicações da matemática
computacional.
Os Capítulos 8, 9 e 10 são dedicados aos projetistas e arquitetos
de DW, DMart e soluções de bases de dados, tendo um conteúdo
caracteristicamente técnico. Não dá para escrever com graça e lirismo
parágrafos que versam sobre indexações multidimensionais, com mapas
de bits ou chaves randômicas. No Capítulo 8 falamos sobre conceitos
avançados de modelagem dimensional, que permanecem estáveis desde
Kimball e Inmon. No Capítulo 9, a discussão é sobre projetos de
aplicações de BI, com incursão em modelos iterativos, como forma de
encolher os grandes cronogramas de projetos dessa natureza. O Capítulo
10 tem um foco bem bit-byte  mesmo. Diversas formas de indexações e
suas evoluções foram pesquisadas e analisadas. Na parte final do capítulo,
focamos em grandes volumes, com soluções sendo desenvolvidas,
exatamente para estes novos cenários, como Hadoop, indexações
colunares etc.
O Capítulo 11 tem um sabor especial e, novamente, tenta
provocar e sugerir reflexões. Ele sintetiza os conceitos em torno do
que chamei de BI2, ou seja, as diversas alternativas de aplicações de BI
em domínios diferentes. Falamos do BHI (Behavior Intelligence), BI
aplicado a GP (Gerência de Projetos), Geo-BI, BI com agilidade etc.,
além dos aspectos de volumes de dados e seus impactos em segurança e
privacidade.
Este é o enredo do BI2: jogar algumas luzes em cima do BI 
estabilizado há mais de 15 anos, provocando reflexões sobre qualidade e
governança dos dados, altos volumes com “Big Data”, MDM, projetos
iterativos e novas formas de aplicações.
Espero que gostem. Boa leitura.
CAPÍTULO 1
 A revolução dos dados,
da informação e do conhecimento
Quando Seymour Pappert, um dos grandes gurus do mitológico MIT (Instituto
de Tecnologia de Massachussets), disse, nos idos dos anos 1970, que os dados e seus cor-
relatos seriam responsáveis por uma revolução na sociedade digna de se comparar com a
imprensa de Gutemberg, muitos duvidaram. Seria mais uma manifestação ufanista, própria
dos gurus de tecnologias herméticas, aos quais eram concedidas tolerantes licenças de
delírio em público? Ou seria uma sinalização de que a sociedade deveria se preparar para
algo, naquela época difícil de imaginar, principalmente para uma geração de informatas
 juniores que desembarcava dos cursos de engenharia, administração e economia, e se mos-
trava deslumbrada com os arquivos indexados-sequenciais que se avizinhavam?
Os dados, até então, eram, na realidade, meros coadjuvantes de um processo de
desenvolvimento de sistemas, em que o empirismo metodológico de muitos e a inspira-
ção de alguns definiam os caminhos a trilhar. A pr imeira geração de sistemas de gerência
de dados havia surgido com um modelo hierárquico que, sob certo ângulo, simulava o
estilo de relações que as empresas praticavam (rig idamente estruturadas em níveis) e, de
certa forma, também o que os sistemas de governo (militarismo) e a sociedade de en-
tão (ainda machista e patriarcal) compartilhavam. Essas estruturas sofisticadas de dados
permitiram que sistemas complexos fossem implantados, ainda que sob um foco mais
tecnológico do que negocial. Espaçonaves foram lançadas, suportadas por esses sistemas,
assim como sistemas de faturamento foram desenvolvidos substituindo vários arquivos
por uma (então) inédita estrutura de árvores e ponteiros de dados.
Nos anos 1980, com o surgimento dos novos movimentos metodológicos, que
tentavam espantar o empirismo culinário presente no desenvolvimento de sistemas, os
dados atingiram uma espécie de estrelato, pela primeira vez. Foi a época do surgimento
da administração de dados, da modelagem de dados, da engenharia da informação e da
análise de dados, tudo se contrapondo fortemente ao estilo “processista” vigente. Surgiu
o modelo relacional, trocando a rigidez das estruturas hierárquicas pela flexibilidade das
relações – algo, de certa forma, também emblemático.
Começou-se a falar em estruturas matriciais nas empresas e, por espelhamento,
nos bancos de dados relacionais, em que campos e registros se transformavam em ma-
trizes bidimensionais, e relações e relacionamentos ganharam ênfase. Ainda assim, o
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
Os anos 1990 chegaram para confirmar os vaticínios dos anos 1970. Com os da-
dos atingindo o status grã-fino de objetos e o casamento tecnológico entre informação
e comunicação festejado em todas as esquinas do planeta, a nossa sociedade começou a
fazer uma plástica cultural definitiva. Diferentemente da Revolução Industrial, quando
as benesses não chegavam a todos diretamente, a revolução dos dados e da informa-
ção, capitaneada pela internet, tornou-se democrática, invasiva e de amplo alcance. O
cidadão comum, com o trio micro-modem-telefone, podia navegar pela grande teia,
visitando a home page do seu time favorito, comprando livros na primeira loja virtual
do planeta ou discutindo a doença rara do sobrinho em um fórum virtual específico.
Perigava, por um lado, de se enrolar nos labirintos do excesso de opções, enquanto, por
outro, desfrutava de uma tecnologia que lhe concedeu um grau de liberdade e profun-
didade jamais imaginados. Tudo isso suportado por um arsenal que misturava compu-
tadores e redes, e lhe oferecia principalmente... dados que ele começava a transformar
no combustível mais precioso dos anos 2000: a informação. Era o início da cristalização
das visões de outro guru dos anos 1960 (Marshall McLuhan), que havia previsto algo
que ousara chamar de aldeia global. Uma espécie de comunidade virtual e globalmente
conectada, com possibilidades de relacionamentos remotos de amizade, flerte, compra,
venda, envio de mensagens etc. e que hoje identificamos como sistemas de comércio
eletrônico, e-mail, chats, Orkut, Twitter, Facebook etc. A decantada aldeia global chegou
e, hoje, formada de outras aldeias, resulta em um arco infinito de opções para discussão
de assuntos plurais, que vão do exótico ao desnecessário, do pífio ao fundamental.
No final dos anos 1990, esseprocesso evolutivo dos dados defrontou-se com o
primeiro obstáculo produzido pela interação romântica e libertária entre o homem e
a máquina que processava: o bug  do milênio. Os dados e seus metadados haviam sido
registrados de forma descuidada, sem a preocupação com a sua utilização para além
do século novo, que forçaria a transposição dos anos registrados como 98, 99 para um
esquisito 00. Sem grandes arranhões, as empresas, na média com muita diligência e
certa precaução, lanternaram os seus sistemas, corrigiram seus arquivos e espantaram
um problema que depois se mostrou um pouco menor do que fora imaginado. Menos
mal que todos tenham cumprido o seu dever de casa e preservado a funcionalidade
de seus sistemas e a integridade de seus dados fundamentais. Alguns países com forte
intimidade com catástrofes naturais (nevascas, enchentes, tufões, tsunamis etc.) e com
uma cultura mais ajustada ao alarmismo gastaram muito mais do que deviam. Outros,
como o nosso, mais adaptados à catástrofe dos homens públicos e dos políticos que
escolhemos, souberam lidar adequadamente com o problema, e todos saíram ilesos e
saltitantes. As empresas, passada a fase pós-bug , começaram a ser induzidas a oferecer
aos seus dirigentes melhores informações como forma de preparo para as disputas
cada vez mais árduas na arena da competitividade, sem o que, certamente, derrapar iam
nas curvas dos balancetes futuros. Aos seus consumidores e clientes, lhes coube, cada
vez mais, a obrigação de acenar com produtos e serviços com mais qualidade, opção,
menor preço e maior rapidez na entrega. Chegou a era da fidelização, da customiza-
ELSEVIER
CAPÍTULO 1 I A REVOLUÇÃO DO S DADOS, DA INFORMAÇÃO E DO  C ONHECIMENTO
ram a produzir variantes, como os depósitos de dados (data warehouse), exatamente
com a finalidade de entregar aos tomadores de decisão a informação na forma mais
precisa e palatável possível. Os volumes de dados cresciam, e os tratamentos anteri-Os volumes de dados cresciam, e os tratamentos anteri-
ormente dispensados não se mostravam os mais ajustados. O exagero das termino-O exagero das termino-
logias, produzindo nomes e rótulos diferentes, se fazia presente, alavancado por uma
indústria cada vez mais forte: o marketing. Uma empresa holandesa especializada em
sistemas e tecnologias para informações gerenciais criou o conceito de destilaria de
dados, o que sugeria informações, no mínimo, inebriantes, para decidir o futuro das
nossas empresas. Assim, você poderia optar por um data warehouse de 8 ou 12 anos
com dados estatísticos e gerenciais? Tim-tim, salute .
Hoje, a tecnologia dos dados e das informações apresenta o conceito de “mash
up”, que, traduzido de forma aberta e livre, seria “mistureba”. Você pode criar um site
formado de dados or iundos de vár ios outros, publicados através de APIs disponíveis e
fáceis de serem implementadas, abrigando e costurando textos e gráficos, como quem
mistura ingredientes em uma receita culinária inédita. Assim, enquanto nos anos 1990
ouvimos sobre as destilarias de dados, chegamos aos anos 201x com o mexidão de
dados e informações para consumo imediato e sem restrições geográficas. A internet,
considerada o maior instrumento social dos últimos séculos, tem grande participa-
ção nisso tudo. Espelho fiel do gênero humano, a internet se tornou um verdadeiro
simulador das nossas atitudes, e as empresas perceberam nela o canal perfeito de que
precisavam para que a aldeia global de Marshall pudesse comprar e vender. Assim, os
clientes, através dela, passaram a ter à sua disposição cada vez mais acesso a opções de
produtos e serviços, não só para escolher melhor o que desejam, mas também para
acompanhar seus pedidos, colocar os seus anseios e registrar as suas queixas. Algumas
empresas já haviam pensado nisso há algum tempo, quando a grande teia ainda era,
digamos, imberbe e adolescente. Uma grande empresa mundial de entrega de pacotes
(delivery) desde a metade dos anos 1990 permitia que se acompanhasse, via internet,
o trajeto de uma encomenda, enviada de Belo Horizonte a Kathmandu, no Nepal,
e, para isso, investiu na construção de um data warehouse de muitos terabytes de ar-
mazenamento e de vários megadólares de custo. Outra, do ramo mundial de varejo,
triplicou o seu data warehouse, levando-o ao (hoje não mais) estratosférico volume de
mais de 50 terabytes de dados. A sinalização de que o primeiro depósito informacio-
nal (data warehouse) de 1 petabytes (1 quatrilhão de bytes) estava previsto para chegar
na metade dos anos 2000 indicava que um volume crescente de informações, nas mais
variadas formas de mídia, deveria ser armazenado nos arquivos de depois de amanhã.
Indicava, também, que essas unidades numéricas assustadoramente grandes deixariam
as páginas das histórias de Tio Patinhas para chegar aos nossos data centers. Os bits e
bytes seriam contados em quinquilhões, como gostava de clamar o rabugento pato
milionário de Walt Disney. Os dados que outrora eram meros representativos de fatos
mundanos, como nome, endereço, telefone etc., hoje se sofisticam na representação de
imagens, vídeos, sons, registros temporais, indicadores econômicos, planilhas, páginas
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
Em 2010, o Google tinha quase 100 milhões de buscas por dia, e no YouTube
eram colocados aproximadamente 75.000 novos vídeos por dia, sendo que mais de
100 milhões de clipes eram vistos diariamente. O Twitter alcançou, no final de maio
de 2010, a incrível marca de 15 bilhões de  posts colocados na sua rede social. Tudo isso
transforma a grande rede em um mercado persa virtual e espacial, no qual milhares de
barraquinhas eletrônicas são disponibilizadas a cada instante em que você clica o seu
browser preferido. Você dá uma passadinha por lá para comprar, vender, namorar, rezar,
velar os mortos ou somente consumir os dados e as informações da nova era digital.
Até o lado mais escondido dos dados já está sendo, cada vez mais, alvo de inte-
ressantes aplicações. É o conceito de data mining (gar impagem de dados), que objetiva
melhorar o uso desses gigantescos arsenais de informação através da identificação de
padrões de correlação normalmente invisíveis em análises convencionais. Indicadores
de produtos comprados em conjunto, ou de padrões de fraudes praticadas, ajudarão os
gerentes de empresas, no seu cotidiano, a descobrir sinuosas correlações que certamente
o levarão a melhor dispor a gôndola do seu mercadinho “ brick, real” ou “click, virtual”,
ou modificar os critérios de análise de riscos de uma proposta de empréstimo. O web
usage mining  hoje já chegou para buscar padrões de comportamento dos internautas,
não mais no ato da compra pelas lojas virtuais, mas também das suas atitudes cotidianas,
expressões e preferências. Informações sobre blogs hoje são garimpadas pela indústria,
transformando a opinião livre e francamente expressa nos diários pessoais da web em
informações qualitativas de comportamento, via o web content mining. Esse tipo de cap-
tura espontânea de informações entrou até na fórmula dos planejadores de campanhas
políticas, que, hoje, já montam esquadrilhas de observadores virtuais prontos para inter-
vir em blogs, injetando antídotos em manifestações contrárias às de seus contratantes.
O conceito de text mining chegou para permitir pesquisas em textos, com bus-
cas semânticas, através de um processo sofisticado de categorização, criação de taxono-
mias, extração de conceitos e de entidades, e derivação de relacionamentos entre elas.
Essa técnica, por sua vez, vem ao encontro do BI aplicado sobre os dados textuais não
estruturados, como e-mails, relatórios, memorandos, atas etc., fechando um ciclo funda-
mental de ações que se iniciou com os dados estruturados e alcança os dados em todas
as suas variantes de manifestações.
BI2
Chegamos à era do BI2, com a inteligência de negócios, aprofundando em cam-
pos nos quais já pisava e entrando em outros que reclamam por suas aplicações. Dados
de projetos, de blogs e de redes sociais,e de comportamento das pessoas nos seus mais
variados papéis, vêm para se juntar ao mundo do varejo, onde tudo começou. O mundo
do BI2 também falará de BA-Business Analytics, que misturará o BI em tempo real
com mining e análises preditivas. Isso permitirá a criação de mecanismos inferenciais de
negócios com latência quase zero e exigirá maior conteúdo qualitativo das informações.
Como vimos, de início, a informática fez os dados. Depois transformou-os em infor-
ELSEVIER
CAPÍTULO 1 I A REVOLUÇÃO DO S DADOS, DA INFORMAÇÃO E DO  C ONHECIMENTO
Começamos com a gerência dos dados (data management ), tradicional nos anos
1970, logo no início da era de SGBD. Depois de amadurecida, chegamos à era da ge-
rência da informação (information management ), que cobre o período em que tivemos o
aparecimento dos primeiros depósitos de recursos informacionais, como data warehou-
se e data marts, que testemunhamos até os dias de hoje. Neste momento, estamos aden-
trando uma nova fronteira, a gerência do conhecimento ( knowledge management ), em que
algumas outras variáveis entram na fórmula de informação, gerando os conhecimentos,
classificados e catalogados segundo modelos taxonômicos definidos em domínios.
Cada empresa, com suas especialidades, gerará os seus modelos de conhecimento
e acumulará essa nova forma de informações em depósitos acessados e divulgados para
todos. A gerência de conhecimento entra com uma forte pitada de envolvimento de
um engine  complexo, o ser humano, responsável pelas interpretações e avaliações desse
novo tipo de acervo. As empresas que caminham hoje pelas trilhas de modelos de
qualidade no processo de desenvolvimento de sistemas já buscam a estruturação de
repositórios de conhecimentos, mecanismos de buscas e grupos de produção, desse que
se mostra o grande ativo organizacional e combustível imprescindível dos anos 201x:
o conhecimento. Mas isso não para por aí. Outras fronteiras estão sendo discutidas nas
trincheiras acadêmicas e, embora ainda mostrem pequena musculatura, já têm os seus
embriões em formação. Entre elas estão: gerência do entendimento ( understanding mana-
 gement ) e a gerência da sabedoria (wisdom management ), em que o componente intuição
será contemplado, além de outros conceitos, ainda por explorar. Essas formas ascenden-
tes de estruturação do saber levarão a sociedade a patamares maiores de compreensão
do homem nos seus diversos papéis, como empregado, empregador, cliente, paciente,
fornecedor, amante, internauta, participante de redes sociais, comprador on-line, escri-
tor de blog etc.
Como reflexão de final de capítulo, costumo dizer que, no Brasil, somos cam-
peões em uma outra fronteira ainda não detectada nos estudos avançados dessas uni-
versidades que pesquisam a escala do saber: a gerência da esperteza, que denominei
cheating management , na qual desenvolvemos técnicas e conceitos imbatíveis de como
levar vantagem em tudo. Infelizmente...
CAPÍTULO 2
Reputação corporativa e
uma nova ordem empresarial 
O que você acha da empresa Y? Você gosta do produto Z? Você já fez seguros
pela corretora W? Um dos pontos estratégicos mais importantes que uma empresa deve
observar, nesse mercado plural, capilar e cheio de informações e conhecimentos em
que vivemos hoje, é o conceito de reputação. A reputação é aquela percepção, intuição,
sentimento ou sensação que temos e é expressa na forma de opinião definida sobre algo,
alguém ou uma empresa. No caso da reputação corporativa, é julgamento construído ao
longo do tempo e baseado em ações e comportamentos da empresa, e capturado pelos
seus grupos de relacionamentos, via os pontos de contato com ela. Pela sua importância
e capilaridade, a reputação corporativa é considerada hoje um importante ativo orga-
nizacional. Vários fatores definem a reputação corporativa, e o somatório deles compõe
a percepção final sobre ela. Muitas empresas primam por ter sua personalidade corpora-
tiva mais atrelada a uma das dimensões da reputação, seja por suger ir transparência, seja
por atuar e cultivar valores sociais e ambientais ou por inspirar liderança. Entretanto, a
qualidade dos seus produtos e serviços entra como um dos maiores pesos na equação
final do complexo conceito de reputação. Os principais domínios da reputação corpo-
rativa, variáveis da sua equação final, transitam por:
 desempenho financeiro, associado aos resultados positivos e à perspectiva de
seu crescimento;
 liderança de mercado, baseada na posição de destaque e pela sua visão de
futuro;
 ambiente de trabalho oferecido, redundando em um clima organizacional
propício a oportunidades e reconhecimentos;
 responsabilidade social, em que se destacam iniciativas em torno de ações
ambientais e sociais;
 capacidade de inovação;
 transparência definida por uma política de governança corporativa;
 qualidade de processos e de produtos.
Com a dinâmica dos mercados e a evolução dos negócios e da competitividade
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
ceiro de 2008/2009, certamente ocuparam, em passado recente, posições de destaque
no imaginário da sociedade americana, no que tange à reputação. Outras, como MSI,
Enron, Qwest, dissolvidas em escândalos há anos, também já habitaram esse patamar
de boa imagem e hoje viraram poeira. O Reputation Institute, organismo internacio-
nal especializado em gestão de reputação, imagem, marca e identidade organizacional,
apontava em 2006, 2007 e 2008, respectivamente, a Gerdau e a Petrobras (esta, por dois
anos seguidos) como as mais destacadas no mercado brasileiro. Em 2009, a Petrobras
teve a Sadia como companheira brasileira no ranking  de reputação corporativa. Na mes-
ma faixa de tempo, no âmbito internacional, a Barilla italiana, a Lego (Dinamarca) e
a Toyota (Japão) apareceram como destaques, respectivamente, de 2006 a 2008. Essas
empresas marcam, no imaginár io da sociedade e de seus clientes e consumidores, a im-
pressão de boa reputação, no arco de valores discutidos.
Um dos fatores mais importantes da reputação corporativa é a forma pela qual
uma empresa gera os pilares fundamentais do seu ciclo de vida: a qualidade de pro-
cessos e de seus produtos. A Toyota, grande montadora de carros japonesa, pode ser
observada como uma das empresas com maior reputação em qualidade, tendo várias
publicações dessa área associadas ao seu nome. Empresa pioneira na adoção de pro-
cessos inovadores na área de manufatura, ela desenvolveu essa vocação pela qualidade,
quando, ao entrar no mercado americano, não lhe foi permitido ter concessionárias
com serviços de manutenção. Motivada por essa restrição, a empresa transformou o
conceito de qualidade em fator fundamental para a sua sobrevivência. Uma simples
pesquisa na Amazon.com mostra diversos livros associados ao tema qualidade, to-
dos com a palavra Toyota como elemento direcionador e sinônimo dessa importante
característica corporativa. Entretanto, mesmo com toda a aplicação em qualidade de
produtos e processos, ninguém é infalível. Em fevereiro de 2010, o presidente da
empresa veio a público pedir perdão ao mundo por falhas que levaram a diversos
recalls em todo o planeta. O presidente, neto do fundador da empresa, num misto de
constrangimento e expressão de dignidade, convocou a imprensa para pedir desculpas
sobre os problemas de freio do modelo Prius 2010, conforme noticiou O Globo, de
6/2/10. Os problemas implicaram sérios acidentes, com algumas mortes. Se houve
falha nos processos, pelo menos mostrou qualidade no caráter. Todas essas empresas
que passaram por problemas de qualidade têm buscado um processo imediato de
recuperação, tentando remover os incômodos arranhões instalados no chassi da sua
reputação. Ao longo dos próximos anos, muitas continuarão enfrentando essa peleja,
dando mostras de que o fator qualidade é algo com tom desafiador na sua inoculação
e muito mais difícil ainda na sua preservação.
A Figura 2.1 mostra um mapa mental com os conceitos que definem o círculo
de reputação corporativa. A dimensão da qualidade,conforme mostrado, é considerada
uma das mais importantes, pois reflete diretamente na percepção da sua marca e da força
da sua imagem, atrelada aos produtos e serviços. Hoje, as empresas sabem que o cami-
nho da qualidade tornou-se um elemento de extrema necessidade, não somente como
ELSEVIER
CAPÍTULO 2 I REPUTAÇÃO  C ORPORATIVA E UMA  N OVA  O RDEM EMPRESARIAL
redução do time-to-market e, para tal, se transformam em partícipes de uma nova era
de conscientização empresarial. Uma empresa que executa seus processos empresariais
com qualidade, apoiada por dados também revestidos do mesmo conceito, certamente
terá maiores chances de tocar o mercado com produtos e serviços de melhor qualidade,
construindo, nesse domínio, uma percepção positiva de sua reputação. Essas empresas,
diferentemente dos paradigmas de ontem, entendem hoje que outros valores serão con-
siderados em um futuro próximo, quando estarão todas munidas dos mesmos arsenais
tecnológicos de software e hardware. Naquele momento, o fator diferencial serão os
elementos abstratos, como inovação, virtualidade, capital intelectual, as pessoas como
recursos fundamentais, a informação e o conhecimento acumulados e estruturados de
forma adequada, a reputação formada, a força de sua marca e de suas alianças, além da
qualidade de seus processos e dados. Essas serão, cada vez mais, as armas que definirão os
vencedores na corrida afunilada pelo mercado. Alguns desses conceitos são discutidos
a seguir.
Figura 2.1
Mapa mental do conceito de reputação corporativa.
INOVAÇÃO E VIRTUALIDADE
Elementos como a virtualidade, proporcionada pela crescente melhoria das ca-
madas de comunicação, e a portabilidade de serviços têm contribuído fortemente para
o aparecimento de empresas com alto teor de inovação. Uma importante companhia
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
 finalidade de garantir controles efetivos, ampliar os processos de segurança, minimizar os
riscos, ampliar o desempenho, otimizar a aplicação de recursos, reduzir os custos, suportar
as melhores decisões e, consequentemente, alinhar TI aos negócios.
Embora não mencione diretamente os conceitos de processos e dados, é percep-
tível que esses dois ingredientes estão incluídos no contexto anterior. Sem qualidade
de processos e governança de dados, uma empresa não alcança controles efetivos, não
minimiza riscos, não gerencia segurança, não oferece suporte às melhores decisões e,
dificilmente, alinha TI aos negócios. Assim, pensar em governança de TI é também
considerar governança de dados, assunto do próximo capítulo, e qualidade de processos,
que contextualizamos a seguir.
A qualidade dos processos está sendo buscada nas empresas através da adoção
de modelos e normas que definem seus princípios. Essas normas, no fundo, quando
seguidas, permitem à empresa definir ou ajustar processos, por vezes já em execução,
porém agora revestidos de um controle mais efetivo que conduza à qualidade. A seguir
discutiremos, para efeito de contextualização da qualidade, alguns desses modelos, guias
e regulamentações adotadas e suas especificidades.
O padrão COBIT (do inglês Control Objectives for Information and related Technolo-
 gy), é um guia voltado para a gestão de TI e possui foco mais em controles e auditorias,
fornecendo uma série de recursos que podem servir como modelo de referência para
gestão da TI nesse domínio. O COBIT é um guia de boas práticas apresentado como
 framework  e dirigido para a gestão de tecnologia de informação. Criado e mantido
pelo ISACA (Information Systems Audit and Control Association), possui uma série
de recursos que podem servir como modelo de referência para gestão da TI, incluindo
sumário executivo,  framework, controle de objetivos, mapas de auditoria, ferramentas
para a sua implementação e, principalmente, um guia com técnicas de gerenciamento.
Especialistas em gestão e institutos independentes recomendam o uso do COBIT como
meio para otimizar os investimentos de TI, melhorando o retorno sobre o investimen-
to (ROI) percebido, fornecendo métricas para avaliação dos resultados (KPIs, KGIs
e CSFs). A ISACA já tem presença em algumas capitais do Brasil e se prepara para
estabelecer, em Minas Gerais, um dos seus capítulos. Mais informações sobre ISACA e
COBIT podem ser obtidas no link: http://www.isaca.org/.
ITIL
Para as áreas de infraestrutura de TI existe o ITIL (Information Technology
Infrastructure Library), desenvolvido originalmente pela CCTA (Central Computing
and Telecommunications Agency) e hoje sob custódia do OGC (Office for Government
Commerce). O padrão ITIL possui 12 gerências e se concentra na área de operações e
serviços. Basicamente, duas grandes áreas são definidas: suporte a serviços e entrega de
serviços.
ELSEVIER
CAPÍTULO 3 I GOVERNANÇA E Q UALIDADE DE P ROCESSOS
Suporte a serviços
Inclui as áreas de:
1) Gerenciamento de incidentes, que possui o objetivo de reduzir os tempos
de indisponibilidade dos serviços.
2) Gerenciamento de problemas, que objetiva reduzir o impacto causado por
incidentes e impedimentos gerados por erros de infraestrutura de TI e criar
mecanismos de prevenção para a reincidência desses erros. Mantém uma
relação de similaridade com áreas de garantia da qualidade e de inspeções e
testes (verificação e validação), presente nos modelos CMMI e MPS.BR.
3) Gerenciamento de configuração, que objetiva identificar e controlar os
ativos de TI e itens de configuração (IC) definidos na organização, esta-
belecendo a rastreabilidade deles com os serviços oferecidos. Possui forte
mapeamento com a GCO (CM) – gerência de configuração de itens de
software –, presente nos modelos CMMI e MPS.BR.
4) Gerenciamento de mudanças, que objetiva minimizar os efeitos de mu-
danças solicitadas ou definidas como correção sobre a estrutura existente,
preservando a qualidade dos serviços oferecidos. Mantém uma relação de
similaridade com as atividades de controle de mudanças de requisitos no
ambiente de software, fator considerado crítico como agente de problemas
e de impedimentos.
5) Gerenciamento de liberações, que objetiva garantir que as instalações de
versões de hardware e de software sejam realizadas de forma segura, tes-
tada e devidamente autorizada pelos responsáveis e notificadas aos usuários.
Também tem um forte mapeamento com a GCO(CM) – gerência de con- – gerência de con-gerência de con-
figuração de itens de software –, presente nos modelos CMMI e MPS.BR,
aplicada nas liberações de versões de software.
Entrega de serviços
Inclui as seguintes gerências:
1) Gerenciamento do nível de serviço, que objetiva garantir o respeito ao
acordo de nível de serviço (SLA) definido entre as partes envolvidas (for-
necedor e cliente).
2) Gerenciamento financeiro para TI, que objetiva definir e demonstrar com
transparência o custo real dos serviços prestados e gerenciá-lo adequadamente.
3) Gerenciamento de disponibilidade, que objetiva garantir a disponibilidade
e a confiabilidade dos recursos de TI, a fim de assegurar a satisfação do cli-
ente e a reputação do negócio.
4) Gerenciamento de capacidade, que objetiva garantir que a capacidade ins-
talada de infraestrutura esteja em consonância com as demandas de negó-
cios, oferecida e disponível no momento necessário.
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
 Mais informações sobre ITIL e sobre o ITIL V3 podem ser obtidas no link
http://www.itilfoundation.org/ ou no livro de Marcelo Gaspar, Thierry
Gomez e Zailton Miranda, TI – mudar e inovar, da Editora Fenac (2010).
Lei Sarbanes-Oxley 
A Lei Sarbanes-Oxley (Sarbanes-Oxley Act ) é uma lei norte-americana as-
sinada em julho de 2002, proposta pelo senador Paul Sarbanes (democrata de
Maryland) e pelo deputado Michael Oxley (republicano de Ohio), motivada por
escândalos financeiros corporativos, dentre eles o da Enron, MCI etc., que acabou
por afetar drasticamente algumas empresas de auditoria e indiretamente a sociedade
americana, queinvestia em empresas aparentemente sólidas, porém com uma fra-
gilidade escondida. Essa lei foi redigida com o objetivo de evitar o esvaziamento
dos investimentos financeiros e a fuga dos investidores causada pela aparente in-
segurança a respeito da governança adequada das empresas. A lei Sarbanes-Oxley,
apelidada de Sarbox ou Sox, visa a garantir a criação de mecanismos de auditoria
e segurança confiáveis, incluindo regras para a criação de comitês encar regados de
supervisionar suas atividades e operações, de modo a mitigar riscos aos negócios,
evitando a ocorrência de fraudes, ou definindo formas de assegurar a sua detecção,
proporcionando transparência na gestão das empresas. Tornou-se obrigatória para
as grandes empresas com operações financeiras no exterior, além daquelas que
mantêm ADRs ( American Depositary Receipts) negociadas na Bolsa de Nova York,
como Petrobras, Sabesp, Tam, OI, Ultrapar, Pão de Açúcar, Banco Itaú, Vivo e
Cemig, entre outras.
O resumo é que todo processo que busca qualidade – no sentido de controle,
transparência de produtos e serviços que atendem às expectativas de alguém – deve
pautar a sua aplicação por preceitos e práticas definidas, testadas e carimbadas como as
mais adequadas. Adotá-las não significa uma submissão cega e irrestrita aos preceitos
definidos, mas um encaixe de suas práticas no ambiente da empresa, moldando pessoas
e culturas, por vezes cristalizadas em procedimentos antigos e desenvolvidos pela intui-
ção. Mais informações sobre SOX podem ser obtidas em http://www.sarbanes-oxley-
-forum.com/.
CMMI
O CMMI (Capability Maturity Model Integrated) foi gestado e desenvolvido
pelo SEI (Software Engineering Institute) da Universidade de Carnegie Mellon, na
Pensilvânia.
O CMM(I) surgiu para desenvolver projetos grandes, de gerência altamente
complexa, torneados com escopo imutável e custo definido, além de altíssima aversão
a riscos. Os primeiros projetos CMM surgiram para a fabricação de softwares que visa-
ELSEVIER
CAPÍTULO 3 I GOVERNANÇA E Q UALIDADE DE P ROCESSOS
O modelo foi publicado em 1989, por Watts Humphrey, no seu livro Managing the soft-
ware process. Watts Humphrey, considerado o pai do modelo, faleceu em 28 de outubro
de 2010, pouco depois de terem sido escritas estas linhas.
O Departamento de Defesa (DoD) americano, responsável por esses pro-
 jetos estratégicos, não tinha outra saída, naquele momento, senão sugerir méto-
dos altamente estruturados, com forte gerência de requisitos e estr ito controle das
partes envolvidas. Um ambiente no qual o escopo era (ou tinha de ser) definido
rigorosamente, pois o software era tido como um componente de algo maior, cuja
infalibilidade era a premissa primeira, até porque naves espaciais, satélites, equipa-
mentos médicos etc. implicavam aspectos de segurança de vida. Os usuários não
eram stakeholders colaborativos, como agora temos, e entravam no circuito do pro-
cesso somente para os testes, tendo pouca intervenção durante o ciclo do projeto.
Esse conceito era chamado de low trust . O sistema era desenvolvido por processos
cuidadosamente definidos, centrados no menor risco, na fortíssima padronização e
em relacionamentos amplamente costurados por contratos rígidos entre clientes e
desenvolvedores. Isso acabou moldando a personalidade do modelo CMMI para
ambientes que os americanos chamavam de high ceremony e low trust , ou seja, com
alto nível de controle de r isco e aplicação de gerência e com baixa interveniência
dos usuários. As entregas, por sua vez, também obedeciam a uma receita da época:
os deliveries eram monolíticos e infrequentes. Por quê? Porque a parada de um avião
caça de guerra para troca de possível componente (software incluído) ou a suspen-
são da funcionalidade de um aparelho médico podia custar muitas horas de logística.
Na época, é claro, não se baixava um software pela internet. Além disso, entregar
o componente funcionando na sua plenitude, no primeiro delivery, era premissa de
primeira ordem. Tudo isso em um projeto gigantesco, com envolvimento de múlti-
plas empresas, com inúmeras equipes e entrelaçado por contratos governamentais
exigentes em termos de baixo risco.
Com o tempo, o CMM ganhou variantes para outros projetos (não somente
de software) e não demorou o pleito para que todas essas derivações fossem empaco-
tadas em um único modelo, nascendo assim o CMMI, em 1998. O CMMI foi evo-
luindo e hoje forma o framework, com um conjunto melhorado de padrões, práticas e
ideias. Mas a sua gênese trouxe marcas que definiram o método e que se observa no
seu genoma:
1) Aplicado a projetos grandes e de alta complexidade.
2) Aplicado a projetos com múltiplas equipes, oriundas de empresas diferen-
tes e até competidoras entre si, em que a competitividade influía e o alto
protocolo definido substituía a confiança (trust ) e a coesão das equipes,
definindo um ambiente com traços de low trust . Ou seja, a confiança entre
as equipes não se dava por coesão, integração e interação constante delas
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
3) Aplicado a projetos nos quais os deliverie s eram monolíticos e infrequentes,
pois a logística de parada dos seus receptores de software (aviões, satélites e
devices médicos) implicava sérios riscos. A ideia era entregar o “todo” com
“quase tudo” funcionando na primeira vez.
4) Os projetos precisavam ter baixos riscos (aversão intensa a riscos) devido
às suas características técnicas especiais e ao alto investimento de recursos
públicos, dadas as características dos projetos.
Assim nasceu um modelo CMMI, fortemente estruturado, revestido pelo rigor
das regras e com baixa interação do capital humano (entre equipes), porém aplicado a
projetos gigantes e de alta complexidade operacional e gerencial. Isso, entretanto, não
significa que o modelo não pode ou não deve ser aplicado em projetos que possuem
estilo e ciclos de vidas diferentes. Um modelo, qualquer que seja, deve ser visto como
um guia e não como uma regra ortodoxa calcada sobre preceitos imutáveis. Mais infor-
mações sobre CMMI podem ser obtidas em http://www.sei.cmu.edu/cmmi/.
ISO
A International Standard Organization (ISO) define normas em vários
segmentos da indústria, além de software. Conforme o Wikipédia, disponível em
http://pt.wikipedia.org/wiki/ISO_12207, e acesso em 15 de fevereiro de 2011, a ISO
12207 é uma norma definida pela International Organization for Standardization, que
se aplica em engenharia de software. Ela estabelece um processo de ciclo de vida do
software, contendo processos, atividades e são aplicadas durante a aquisição e configu-
ração dos serviços do sistema, de forma a melhorá-los. A norma 12207 estabelece um
conjunto de processos fundamentais (5), processos de apoio (8) e processos organiza-
cionais (4). Além dela, existe a ISO 15504, que define normas sobre métodos de ava-
liação de qualidade nas empresas. A Norma ISO/IEC 15504, conforme disponível em
http://pt.wikipedia.org/wiki/ISO/IEC_15504 e acesso em 15 de fevereiro de 2011,
define um modelo bi-dimensional que tem por objetivo a realização de avaliações de
processos de software com o foco da melhoria dos processos (gerando um perfil dos
processos, identificando os pontos fracos e fortes, que serão utilizados para a elaboração
de um plano de melhorias) e a determinação da capacidade dos processos viabilizando
a avaliação de um fornecedor em potencial.
 Mais informações sobre a ISO 12207 podem ser obtidas em http:// 
www.12207.com/. Para mais informações sobre a ISO 15504, acessar:
http://www.isospice.com/categories/ISO%7B47%7DIEC-15504-Standard/.
MPS.BR
Quem trabalha há muitos anos com informática, como eu, sabe que ela nasceu
nos anos 1940 e se desenvolveu nos anos 1960 e 1970 com forte viés de artesanato.
ELSEVIER
CAPÍTULO 3 I GOVERNANÇA E Q UALIDADE DE P ROCESSOS
Tal como um escultor escolhe e lapida um bloco de mármore para transformá-lo em
uma obra, o analista de sistemadaquela época assim procedia, esculpindo a sua lógica
com um processo próprio e personalizado. Essa fase romântica da informática produziu
grandes sistemas e soluções validadas pelo tempo. Entretanto, com uma nova ordem
empresarial, centrada em informação e competitividade, os aspectos de qualidade passa-
ram a exigir processos e atitudes mais planejadas e menos intuitivas.
O artesanato de software nos permitia reconhecer, sem ler o prólogo de um pro-
grama, o autor das suas linhas de código, tal como hoje identificamos um Van Gogh ao
observar estilos e pinceladas impressionistas do mestre holandês. A característica pessoal
aplicada como um artista levava à fácil identificação do autor pela simples observação
do estilo adotado nos loops, if/then/else  etc. Hoje, tente identificar o autor de um código
 Java olhando diretamente as chamadas de métodos e instanciações de objetos. Você não
conseguirá! Além das características de linguagens diferentes, vivemos a transição do
processo de artesanato para a fase da engenharia de software. Nesta, processos, melhores
práticas, padrões de projetos (design patterns), refactoring  etc. servem como driver  para a
aplicação da criatividade, que continua, como sempre, fundamental ao bem fazer de um
sistema ou projeto. Isso não significa dizer que os talentos estarão tolhidos ou subjuga-
dos nessa nova forma de fazer sistema. Significa que eles serão mais bem aproveitados
em um processo que todos entendem e são capazes de repetir. Os gênios farão mais
rápido do que os mortais, mas todos serão capazes de fazer, seguindo a receita correta-
mente definida.
Dentro dessa linha de qualidade de processo, diversas correntes foram definidas,
por diferentes organismos. No Brasil, hoje, existem duas correntes, com objetivos seme-
lhantes, porém com públicos diferentes: o CMMI, discutido anteriormente, focado em
empresas com maior capacidade de investimento, e o MPS.BR (Melhoria de Processo
de Software Brasileiro), focado nas empresas da base da pirâmide.
O MPS.BR nasceu dentro da Softex (Associação para a Promoção da Exce-
lência do Software Brasileiro), buscando um modelo que melhor absorvesse os pontos
positivos do CMMI e da ISO, criando uma proposta ajustada à realidade brasileira,
contemplando as suas dificuldades e seus aspectos culturais. Nascido dessa forma, o
MPS. BR traz alguns conceitos mais evoluídos em implementação e avaliação de
qualidade nas empresas, focando pontos aos quais o CMMI não havia dispensado
muita atenção. Por exemplo, o modelo MPS.BR não permite que a mesma equipe
de implementadores seja também aquela que vai realizar a avaliação. Além disso, o
MPS.BR já nasceu com um período de validade para o seu selo (três anos), conceito
somente adotado recentemente pelo CMMI. A adoção do modelo se suaviza quando
comparada com o CMMI, pelo fato de se terem definido sete níveis de maturidade,
o que permite uma ascensão mais gradual e planejada na escala de maturidade, con-
forme as Figuras 3.1, 3.2 e 3.3.
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
Figura 3.1
Modelo MPS.BR – processos dos níveis G
e F (equivalentes ao nível 2 do CMMI).
ELSEVIER
CAPÍTULO 3 I GOVERNANÇA E Q UALIDADE DE P ROCESSOS
Figura 3.3
Modelo MPS.BR – processos dos níveis B e A
(equivalentes aos níveis 4 e 5 do CMMI).
 Todas as informações sobre o modelo MPS podem ser obtidas direta e gra-MPS podem ser obtidas direta e gra-
tuitamente nos respectivos guias, publicados no site da Softex: http://www.
softex.br/mpsbr/_guias/default.asp.
Resumindo, o conceito de qualidade de processo está diretamente relacionado
com a qualidade dos dados por eles consumidos ou produzidos. Os diversos modelos
estão evoluindo em busca de maior alcance no universo empresarial, visando a um alar-
gamento do espectro da qualidade. Hoje, por exemplo, o CMMI se desloca em direção
a outros segmentos, criando o que se chama de “constelação”, e se especializando em
CMMI-DEV (CMMI for Development ), focado no desenvolvimento de software, no
CMMI-SVC (CMMI for Services), focado no segmento de serviços, e CMMI-ACQ
(CMMI for Acquisition), para aquisição e terceirização de bens e serviços.
O MPS também foca em aquisições de software e serviços correlatos, atentan-
do para a área crítica de compras. O ITIL V 3, lançado em 2007, também apresenta
evoluções na área de serviços. A ISO, originalmente mais ampla, apresenta a ISO 9126,
focada em qualidade específica na área de produtos de software. Isso tudo se junta ao
conceito mais amplo e emergente de BPM (Business Process Management ), com foco na
otimização de resultados das empresas através da melhoria de seus processos de negó-
cios. Essas melhorias, aplicadas aos processos seminais da empresa, nasceram há alguns
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
momento para o entendimento e o resgate dos ativos de informação que circulam por eles.
Assim, a máxima mineira de que “de cano sujo não sai água limpa” é eloquente para
sugerir que os processos deverão estar bem entendidos e definidos para que os dados
e as informações estejam num teor adequado de qualidade e prontos para as tomadas
de decisões dos níveis estratégicos, táticos e operacionais da empresa. Conceitualmente
simples, porém desafiador na prática; quanto mais não fosse, pelo fato de os dados terem
sido sempre considerados uma espécie de combustível colateral dos processos e não um
ativo empresarial.
CAPÍTULO 4
Governança e qualidade de dados
Qualquer empresa que mantenha intenções de competitividade nesta arena leo-
nina dos anos 201x deverá ter, além da preocupação com a melhoria dos processos,
como visto no capítulo anterior, um foco no outro lado do espectro: os dados. Essa
dualidade entre dados e processos sempre existiu e mostra que esses dois pilares são
fatores críticos em empresas que tencionam seguir os caminhos da reputação via qua-
lidade. Fazendo uma comparação superficial, é como entender que um bom prato é
fruto de uma boa receita (processo) e de bons ingredientes (dados). Se um dos dois
não estiver adequado, o produto final poderá perder em qualidade. Além disso, como a
proposta de BI (business intelligence) é transformar dados em informações que possam
ser usadas para ações analíticas, tomadas de decisões tático-estratégicas e até definições
operacionais, a qualidade dos dados que serve como input  para o BI se reveste, cada vez
mais, de extrema importância. Lembre-se de que BI é um processo fundamentalmente
transformador; logo, a qualidade do seu input  vai refletir diretamente na correção das
tomadas de decisões efetuadas.
CONCEITOS E MOTIVAÇÕES PARA GOVERNANÇA DE DADOS �GD�
Governança de dados é uma expressão recentemente produzida na esteira dos
 jargões que brotaram a partir do termo “governança”. Extraída do contexto maior da
governança corporativa e meio implícita na governança de TI, a de dados foca prin-
cípios de organização e controle sobre esses insumos essenciais para a produção de
informação e conhecimento das empresas. O controle mais estrito e formal de dados
não é um desafio surgido nos dias de hoje. Os dados, entre os insumos corporativos, são
aqueles que mais apresentam características de fluidez, pois perpassam diversos proces-
sos, sofrem mais transmutações porque são trabalhados em diversos pontos do seu ciclo
de vida, dando origem a outros, além de nem sempre possuírem uma fonte e um destino
claramente formalizados.
Com o advento dos bancos de dados, nos anos 1970, essa necessidade de maior
controle formal sobre esses ativos apareceu com o nome de administração de dados.
Algumas empresas desenvolveram áreas e processos para definir controles sobre esses
recursos, mas sempre com resultados relativamente frágeis. A administração de dados
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
de dicionário de dados em que cada elemento pudesse ter uma definição corporativa
única, com ampla riqueza de metadados, além de critériospara uso e aplicações de
padrões de segurança. Tudo isso se mostrava importante e atraente. Porém, o sucesso e
a efetividade conseguidos na administração de bancos de dados não puderam ser re-
petidos na área de administração de dados. Vários pontos podem ser analisados como
possíveis justificativas para essa baixa adoção: um deles, o fato de que qualquer pro-
posta deve estar pronta no momento certo em que sua necessidade é plenamente de-
mandada. Talvez a AD já estivesse quase pronta, porém faltou a força da necessidade,
o que impediu a sua plena adoção naquela época. Além desses fatores, o surgimento
de soluções empacotadas, como os ERPs, relativizou a importância da AD, visto que
os pacotes já traziam no seu cerne modelos de dados preestabelecidos, aos quais as
empresas deveriam se ajustar. Ou seja, os modelos conceituais de dados, um dos ob-
 jetivos da AD, já chegavam prontos às empresas, definidos, integrados e empacotados
por soluções blindadas de ERP.
O fenômeno do processamento descentralizado, encaixado no conceito de
downsizing , também influiu na diminuição de importância daquela proposição, vis-
to que os dados foram democraticamente distribuídos entre os departamentos da
empresa, dificultando sobremaneira o seu controle. Os dados eram duplicados, re-
plicados e “eneplicados”, à medida que os departamentos desejavam ou precisavam.
Hoje, com o mundo empresarial premido por valores como reputação, competitivi-
dade, globalização, regulamentações etc., os cenários são diferentes. Nos tempos de
hoje, com grande taxa de fusão/merge  e parcerias de empresas, o aspecto de replica-
ção de cadastros de dados mestres nas empresas tornou-se um problema recorrente.
Informações sobre clientes, fornecedores, colaboradores, materiais etc. são replica-
das à medida que as empresas são incorporadas, com potenciais efeitos negativos.
Além dessas replicações por aquisições de empresas, outros tipos de dados, como
os semiestruturados e os não estruturados (e-mails, fotos, vídeos etc.), em volumes
cada vez maiores, passaram a ser produzidos no âmbito da economia digital e do
advento da internet.
Novamente, uma luz amarela foi acesa nos domínios da administração des-
ses insumos fundamentais. Algo deverá ser repensado nesse campo. A apatia que se
estabeleceu sobre esses importantes ativos organizacionais deverá ser revista com
os cuidados demandados pela sociedade da informação. Assim, os conceitos de go-
vernança corporativa e de TI foram estendidos para os domínios de governança de
dados, visando não somente à organização desses acervos, mas também a aspectos
típicos desses novos tempos. Os cuidados singulares com a segurança de dados, a
necessidade da sua definição clara e sem ambiguidade, maior fluidez na sua dis-
tribuição e o uso democrático e controlado se tornaram alguns drivers dessa nova
fronteira. Além disso, existem alguns vetores apontando para o fato de que, em al-
guns países, a governança de dados poderá ser obrigatória em breve, dentro de uma
capa regulatória que demandará que o valor dos dados seja considerado um ativo da
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
em grandes empresas da área bancár ia, de publicações, telecomunicações,
seguradoras etc. A empresa trabalha aplicando os conceitos de qualidade
TDQM (Total Data Quality Management) do MIT (Massachussets Insti-
tute Technology) e tem fortes iniciativas na área, sendo uma das criadoras
da qualidade da informação Brasil-QIBRAS (www.qibras.org), organi-
zação que objetiva fornecer as habilidades fundamentais para o mercado
entender e superar os desafios da qualidade dos dados e das informações.
A QIBRAS também objetiva, além de agregar os princípios da gestão
da informação, proporcionar programas de certificação para as empresas,
marco regulatório e difusão da metodologia TDQM no Brasil.
METADADOS
Nesse contexto de governança de dados e qualidade de dados, um dos pontos
que mais se destaca e se discute é a necessidade da devida formação dos metadados. Esse
assunto, sempre em pautas de discussão, tem tido grande dificuldade de decolagem e en-
frenta barreiras significativas, centradas no binômio tempo e dinheiro. Desde os tempos
da antiga administração de dados, o conceito de metadados vem sendo discutido sem
grande efetividade em sua aplicação e seu desenvolvimento. Alguns SGBD trouxeram
os primeiros DD (dicionários de dados), banco de dados dedicado ao armazenamento
dos metadados. Entretanto, somente aqueles produtos que eram dinâmicos ou ativos
conseguiram alguns resultados. Esses dicionários ativos captavam automaticamente os
dados, suas estruturas e seus contextos, produzindo um primeiro nível de metadados,
sem abastecimento manual do repositório, o que mitigava os fatores de tempo e dinhei-
ro, já citados. Depois, bastava que os AD (administradores de dados) complementassem
a informação com dados no plano conceitual, como modelos, atributos, relacionamen-
tos etc. Agora, cada vez mais, o conceito de metadados se torna importante, pois tangen-
cia as fronteiras da gerência de conhecimento. Os dados, para produzirem devidamente
informações e conhecimentos, deverão ter a sua definição completa e uníssona. E a
definição dos dados é a essência de metadados. Costumo dizer, metaforicamente, que
metadados é como aquela plaquinha que fica ao lado dos pratos em restaurante self-
service . Por vezes, você quase identifica o prato dentro daqueles recipientes de aço, base-
ado na sua aparência, aroma etc., mas sempre pairam dúvidas. Quando a plaquinha está
ali dizendo que é um  fettuccine ao pesto, você se inteira completamente do prato, do seu
possível sabor e até da sua composição e ingredientes. Assim são os metadados também.
Eles servem para você saber o que está consumindo em termos de dados, informações
e conhecimento.
Os metadados podem ser classificados como sintáticos, semânticos e estruturais.
Os sintáticos definem as regras de formação dos nomes dos dados, garantindo padro-
nizações como: todo campo dia será DIA_xxxxx, em que xxxx será o complemento.
Os metadados semânticos definem o sentido que se dá àquele elemento informacional,
garantindo o seu pleno entendimento nos contextos organizacionais em que é produ-
ELSEVIER
CAPÍTULO 4 I GOVERNANÇA E Q UALIDADE DE D ADOS
oficial no sistema, através da entrada via seguradora. Os metadados estruturais definem
como o dado é composto em partes menores e detalha a sua formação estrutural. A
data_efetivação_da_apólice é formada de dia, mês, ano e estampa de tempo, com hora,
minuto e segundo, por exemplo. É como se a plaquinha listasse todos os ingredientes
do prato.
Os metadados também podem ser vistos nos domínios de negócios e técnicos.
Os metadados técnicos até que já existem por aí. Os SGBDs usam um catálogo no
qual armazenam os metadados técnicos necessários ao seu processo de otimização de
consultas. Ali residem tabelas contendo informações sobre tabelas relacionais, campos,
índices, usuários, triggers, stored procedures etc. Para cada campo, há metadados como
nome, tipo, tamanho, indexação, cardinalidade etc. Esses dados são fundamentais para
o SGBD na definição e escolha dos melhores caminhos de acessos existentes dentro
de um comando SQL. Os metadados podem habitar a mesma estrutura do objeto que
documentam, como as tags <META> das páginas HTML, estar em documentos se-
parados, porém associados, como as DTDs ou Schemas XML, ou em estruturas físicas
totalmente independentes, como os catálogos/dicionários dos SGBDs. Os metadados
terão papel extremamente importante no conceito de web semântica, à medida que,
nesse contexto, os conteúdos serão cada vez mais acessados e processados por algor it-
mos inteligentes. Para tal, será necessár ia melhor definição semântica de seus objetos.
Isso se chama metadados.
No plano de negócios, a fronteira dos metadados com a gerência de conheci-
mento se dá por modelos ontológicos que definem domínios maiores, nos quais aquele
dado se contextualiza. Com a extensão dos conceitos de BI (BI2, como chamamos)aos
conceitos de governança de dados e de processos, os metadados poderão representar
certas propriedades dos dados associados a processos do ambiente de desenvolvimento
de software. Por exemplo, os aspectos de reutilização de dados poderão se beneficiar so-
bremaneira dos metadados na medida em que se pode caracterizar melhor a semântica
dessas unidades de informações (classes, componentes, módulos, rotinas etc.) passíveis de
serem reutilizadas em um contexto mais amplo.
A utilização de metadados ainda se mostra relativamente incipiente e deverá
gradativamente seguir uma trilha de amadurecimento, semelhante aos níveis de matu-
ridade existentes nos modelos de qualidade de software. Em um nível inicial caótico
ou aleatório, os metadados poderão ser definidos sem um processo formal, um pouco
à revelia de definições, dependendo diretamente das necessidades de cada aplicação. A
seguir virá um patamar no qual os metadados serão descobertos e levantados, ainda sem
um processo mais formal, porém obedecendo a certas regras iniciais. Depois deveremos
alcançar um nível no qual uma gerência de metadados será formalizada por políticas
corporativas mais amplas, culminando com uma fase em que o processo de levanta-
mento, análise e formação dos metadados será otimizado com mecanismos de captura
automática. Esses níveis graduais de maturidade no tratamento de metadados deverão
ser fatores críticos de sucesso para a sua adoção como elemento fundamental no con-
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
Tabela 4.2
ELEMENTO DE INFORMAÇÃO - 12345
Domínio Material
Subdomínio Estoque, controle de inventário
Nome de negócio Número da peça
Alias Código da peça
Significado de negócio Número gerado internamente pelo depar-
tamento de material e atribuído ao dado.
Identifica univocamente cada item do es-
toque e não pode ser alterado. Evidencia
se o item é de compra nacional ou inter-
nacional. O item de compra internacional
exige a aderência ao processo de com-
pras internacionais da empresa
Tipo de dado Caractere
Tamanho do dado Tamanho mínimo e máximo de 8 carac-
teres
Regras de formatação O padrão definido exige: o primeiro carac-
tere deve ser uma letra em uppercase (I
ou N), que identifica se o item é de com-
pra internacional ou nacional. Os dígitos
restantes devem ser numéricos, variando
de 0 a 9
Regras de codificação Num_peça
Regras de versionamento Esse elemento poderá ser versionado ao
longo do seu ciclo de vida, desde que haja
modificações nos seus atributos. A regra
de versionamento deverá seguir o proces-
so de configuração da empresa
Processo gerador Cadastramento de novo material
Processos transformadores N/A
Regras de transformação Nos processos de ETC, o número da peça
será substituído por uma chave surrogate
nas tabelas-fato
Requisitos de testes e de validação Verificação da correção sintática do ele-
mento, baseada na regra de formação
definida
Indicadores de qualidade Não deverá haver duas peças com o mes-
mo número de peças
Regras para reutilização Veja processo de engenharia de reutiliza-
ção
MASTER DATA MANAGEMENT �MDM�
O conceito de MDM é uma das grandes novidades deste final da primeira
década do novo século. Novidade mesmo? Nem tanto. A Informática, eu já disse isso
ELSEVIER
CAPÍTULO 4 I GOVERNANÇA E Q UALIDADE DE D ADOS
O que são os dados mestres? Os dados mestres são os dados mais importantes
existentes dentro de uma organização. É claro que qualquer organização tem como
dados mestres clientes, produtos, locais, fornecedores, contas contábeis etc. Mas esses
não foram sempre os dados-alvo de todas as propostas de inovação vindas com ban-
cos de dados, BI etc.? Sim, foram. E por que uma nova forma de abordagem chega
agora? A resposta tem várias nuances: uma delas está atrelada a uma subliminar ne-
cessidade de produzir conceitos novos para tocar as engrenagens da indústr ia da con-
sultoria, visto que a técnica de bancos de dados já virou commodity e o BI já está bem
internalizado, aceito, dominado etc. A outra nasceu pela apatia como as empresas
trataram os seus dados fundamentais nessas últimas décadas. Apareceu o MDM como
proposta para tratar os dados mestres, com conceitos, de novo, voltados para os as-
pectos de qualidade. Aqui o MDM toca os conceitos de governança de dados. É um
controle mais efetivo e menos anárquico dos dados, com observações mais voltadas
para qualidade, aderência a padrões regulatórios, controle de replicação etc. A grande
alavancagem, entretanto, surgiu na fase pós-CRM, quando muitos projetos fracassa-
ram pelo fato de não conseguirem montar uma base única, confiável, limpa, estável
e disponível com todos os dados sobre os clientes. Por quê? Porque os dados tidos
como mestres são normalmente encontrados em diversas bases diferentes, atrelados
a usuários, processos e plataformas diferentes, com graus de precisão, completude e
consistência extremamente variáveis e com contornos frágeis e pouco confiáveis. O
próprio conceito de dados mestres pode variar de amplitude.
Os dados mestres clássicos são os dados estruturados, os mesmos que conhe-
cemos desde anteontem. Eles têm uma formatação estrutural bem definida, os con-
ceitos são modelados como entidades conhecidas (cliente, fornecedor, item, locais
etc.). Os dados mestres, dependendo da natureza do negócio, podem ser também não
estruturados: são dados produzidos com o crescimento da sociedade da informação,
que vão de documentos pdf, páginas em portais corporativos, mensagens em redes
sociais, e-mails etc. Estes, aliás, são parcialmente estruturados, visto que os campos
remetente, destinatário, cópia e cópia oculta são até meio estruturados. O conteúdo
 já não é estruturado, pois tem forma e tamanho livres.
Os dados mestres também devem ser observados segundo outra lupa. Os da-
dos mestres normalmente possuem relacionamentos com outros dados. Não vivem
sozinhos. Esses relacionamentos são originados dos eventos a que os dados mestres
são submetidos nas suas relações de negócios. Por exemplo, um cliente se cadastra,
um cliente compra produtos ou serviços, um cliente paga sua fatura, uma ordem de
despacho é enviada a ele com o mater ial comprado, o cliente eventualmente reclama
etc. Todos esses eventos em torno do dado mestre (cliente, no caso) caracterizam
relacionamentos com outros dados, como dados de entrega, registro de reclama-
ção no call-center , nota fiscal etc. Esses relacionamentos acabam criando uma ligação
hierárquica, denotando que um conjunto de outros dados está subordinado àquele
conjunto de dados mestres.
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
ou classe, tem um conjunto de atributos que lhe confere identificação e caracteri-
zação. O problema é que, através dos diversos canais de relacionamentos que aquela
entidade tem com a empresa, diferentes atributos podem ser definidos para a mesma
entidade, dependendo da forma de relacionamento. Imagine o dado mestre cliente.
Ele tem obviamente um conjunto de atributos próprios (identificação, CPF, nome,
endereço etc.). Entretanto, o cliente, quando se cadastra via portal, poderá ter outras
informações, relacionadas ao domínio e contexto específico em que tangencia a
empresa naquele momento. Do ponto de vista de pagamento das suas faturas, outros
atributos poderão ser criados. Isso significa que certo dado mestre terá um conjunto
fixo de atributos que interessa a todos os domínios da empresa e um conjunto variá-
vel que interessa a domínios e contextos específicos, dependentes daquele relacio-
namento particular. Seria uma espécie de dados mestres principais e dados mestres
complementares, dependentes de cada domínio de negócios. E aqui se chega a um
ponto crítico no tratamento dos dados mestres, que objetiva ter uma fonte única,
verdadeira, íntegra e confiável de dados. Teremos uma entidade completa, com todos
os campos de interesse de todos os domínios, mesmo que, para alguns deles, certos
atributos nãosejam pertinentes. Isso, no fundo, é uma espécie de volta ao começo.
Tudo começou exatamente dessa forma. Nos anos 1960, pré-banco de dados,
os sistemas de arquivos eram todos dessa forma. Diversos arquivos, específicos de
áreas possuíam dados replicados do então chamado cadastro mestre. Por necessidade
e falta de definições corporativas claras, algumas áreas acabavam montando o seu
próprio cadastro ou “banquinho de dados”, como diziam de forma cautelosa, a jus-
tificar a redundância consentida. Tudo sugere que talvez estejamos com problemas
semelhantes, passados 50 anos da introdução dos conceitos de banco de dados.
Dessa forma, além de entender os seus relacionamentos e atributos, como se
faz na tradicional modelagem de dados, agora na modelagem MDM também deve-
mos entender o ciclo de vida de cada entidade mestre, visto que temos de ser bem
seletivos na definição do que será gerenciado. Temos de analisar o famoso CRUD,
agora aplicado ao MDM. O CRUD significa que um dado é criado (C), lido na
forma de relatórios, pesquisas, cubos etc. (R), alterado (U) e eliminado (D). Portanto,
a engenharia MDM deverá se preocupar com esses ciclos por que passam os dados
mestres. Isso tudo está soando como um déjà vu? Está? Pois é isso mesmo, só que
com a diferença de que agora estamos imersos em ambientes de alta competitividade,
nos quais a qualidade torna-se fundamental, a reputação é fator crítico de sucesso no
mercado, o volume de dados é muito maior e os pontos de tangência com o business
são muito mais amplos. O dado mestre de um cliente de uma empresa de telecomu-telecomu-
nicações poderá ser criado, hoje, em pontos diferentes da superfície da empresa. Pode
ser criado via internet, no portal corporativo ou numa loja do agente autorizado,
por exemplo.
Outros dois pontos importantes entram nesse jogo de análise dos arquivos
do escopo MDM: a cardinalidade e a volatilidade. A cardinalidade de uma entidade
ELSEVIER
CAPÍTULO 4 I GOVERNANÇA E Q UALIDADE DE D ADOS
ou quantos departamentos, ou quantos produtos diferentes existem na minha tabela
mestre? Alguns dados mestres com baixa cardinalidade não viabilizam o investimen-
to, pois a sua gerência poderá ser feita sem grandes impactos.
A volatilidade, que representa o grau de alteração a que aquela entidade é
submetida, é outro fator a se considerar. Alguns dados mestres mudam mais do que
outros. Por exemplo, a volatilidade das informações de clientes é intrinsecamente
maior que a de produtos ou de departamentos. Ou seja, aqui também deveremos
analisar o quanto a mudança afetará o meu projeto, até porque o MDM não somente
visa ao cadastro inicial dos dados mestres, mas à sua contínua manutenção. Os clien-
tes tendem a mudar de estado civil, de endereço e até de sexo, sei lá, pode-se esperar
certa incidência. Já os produtos tendem a ser mais estáveis mantendo seus atributos
inalterados ao longo do seu ciclo de vida. No capítulo relativo à modelagem di-
mensional de dados, voltaremos a esse assunto, com algumas abordagens para tratar a
parte fixa e a parte variável desses dados, quando dispostos em dimensões.
DADOS MESTRES E A REUTILIZAÇÃO
Outro ponto importante tocado pela abordagem MDM é o aspecto de reu-
tilização. Essa também foi uma das grandes promessas da tecnologia de BD nos
anos 1960, promovendo depósitos centralizados em que todos poderiam obter os
dados e as informações de que precisavam. Aqui falamos de reutilização de dados
e informações. A reutilização ganha também espaço, gradativamente, nos processos
de desenvolvimento de software, incentivando a adoção de políticas, estruturas e
ferramentas que proporcionem aos desenvolvedores a reutilização de códigos, ar-
tefatos e conhecimentos. Como a reutilização de códigos e artefatos, a de dados
também tem obstáculos de natureza cultural. Os desenvolvedores se sentem mais
confortáveis quando criam as suas próprias estruturas de dados. Evitam a reutili-
zação, como se ela fosse uma declaração de incapacidade de buscar uma solução.
O antídoto para isso passa por aspectos de motivação para programas de incentivo
ao reuso de código e pelo estabelecimento de políticas de governança para dados.
A redundância de códigos é nefasta à medida que gasta mais espaço e pode trazer
impactos na atualização de suas diversas instâncias. As suas consequências são, diga-
mos, mais internas, com o dispêndio de maior esforço. Já a redundância de dados
pode provocar mais danos na visibilidade, pois os dados são registros de fatos inter-
nos e externos, associados diretamente ao negócio da empresa, tendo elos diretos
com clientes, fornecedores, agências reguladoras etc. Um nome errado, um valor
incorreto ou o envio de um documento importante a um endereço inexistente po-
dem implicar custos financeiros e, pior, trincar conceitos, imagens e reputações. Daí
o esforço para se reduzir a redundância dos dados com o incentivo à reutilização,
lembrando os mesmos preceitos nascidos nos ventres das primeiras ideias de bancos
de dados.
O que é MDM, como proposta? A proposta de MDM é simplesmente esta:
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
fundo, são os mais importantes de uma empresa. A qualidade dos dados poderá evitar
problemas de reputação e desconfortos no trato com os clientes à medida que au-
menta a probabilidade de ter valores representando a realidade, clientes com nomes
corretos e com endereços certos, devidamente alcançados pelas correspondências
enviadas, com as faturas nos justos valores do que foi comprado, além das milhagens
creditadas corretamente após a realização da viagem etc. Simples assim. Os dados
representam os fatos verdadeiros. O conceito de MDM, dessa forma, pode ser defi-
nido como um processo que envolve ferramentas, pessoas, procedimentos, visando à
criação e à manutenção de bases de dados mestres únicas, do ponto de vista lógico,
contendo informações precisas e consistentes.
Convergência entre MDM e BI 
A técnica de BI não oferece proposta para resolver isso? Sim, daí esses dois
conceitos terem certa área de tangência. O conceito de Operational Data Store
(ODS), para onde convergem os dados oriundos de diversas fontes, onde são de-
vidamente integrados, escovados, limpos com o devido banho de qualidade, tem
similaridades com as propostas MDM. O MDM tenciona ter uma fonte única de
dados, fortemente transacional, que constitui a verdade dos fatos e atende a uma
plateia mais operacional. O BI, com ODS, data mart e DW, foca mais os dados infor-
macionais, com integração, agregação, sumarização, e tende a atender a uma plateia
mais gerencial. Mas o BIRT, o BI em tempo real, tende também a trabalhar mais
diretamente nos dados transacionais ou diminuir o  gap entre eles e o mundo infor-
macional (dos DW e data marts). Dessa forma, percebe-se que esses dois movimentos
são convergentes e se traduzem em processos que estão dentro de um guarda-chuva
maior de GD, por considerarem os ativos de dados, seja no nível operacional, seja no
transacional ou no informacional, como elementos fundamentais da qualidade de
produtos e de serviços.
De�nição de processo para projetos de MDM
Um processo para a realização de projetos em MDM é constituído por um
conjunto de políticas, procedimentos, papéis e recursos humanos, tecnológicos e
financeiros que possa ser aplicado na implementação de projetos dessa natureza. Esse
e outros processos estarão dentro do guarda-chuva de governança de dados, confor-
me discutido anteriormente. A Figura 4.13 mostra um  framework que representa as
atividades de um projeto de MDM, baseado em um modelo de ciclo de vida itera-
tivo incremental, com três ciclos: o ciclo de release , que envolveria uma fase mais de
análise e planejamento, a fase de iterações, com foco no desenvolvimento das diversas
soluções de MDM, e o ciclo de acompanhamento diário, que representa a visão de
uma gerência próxima, resolvendo impedimentos. Essa abordagem é muito próxima
do modelo ágil com scrum, aplicado em projetos de desenvolvimento de software.
ELSEVIER
CAPÍTULO 4I GOVERNANÇA E Q UALIDADE DE D ADOS
Figura 4.13
Framework  com atividades de um projeto de MDM.
Os passos principais de um projeto MDM são:
1) Identificar as áreas de negócios e papéis-chave na organização, capazes de
serem beneficiados com um programa de MDM.
 Estabelecer os devidos valores de negócios e criar justificativas sólidas. Um
processo de MDM não é algo fácil de ser implementado e demanda fortes pi-
lares de convencimento, devido à necessidade de envolvimento de alta gerên-
cia, áreas de negócios, além de substancial investimento em tempo e recursos.
 Identificar papéis envolvidos, principalmente aqueles capazes de fornecer
suporte para o projeto, ou seja, os potenciais stakeholders. Envolver gerência
sênior, representantes de áreas de negócios, responsáveis por aplicações, além
de representantes das áreas de GD (governança de dados) e da área de TI. Os
representantes da área de GD desempenham um importante papel relativo à
resolução de possíveis conflitos originados por diversos usuários (produto-
res e consumidores) dos mesmos dados corporativos. No caso de existência
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
2) Levantar os principais dados mestres (objetos) usados na empresa, candida-
tos a um processo de integração e unificação.
 Definir participantes da tarefa de levantamento (definido no plano de pro-
 jeto, via matriz de responsabilidades).
 Realizar os levantamentos e entrevistas com o objetivo de obter e entender
os modelos de processos de negócios, que darão origem aos modelos de
dados (classes).
 Modelar os processos com foco na visão de como capturam, usam e/ou
atualizam os objetos de dados.
 Criar uma lista de dados candidatos a mestre (MD). Para cada um dos
objetos mestres mapeados, identificar os seus atributos.
 Associar os papéis desempenhados no processo com as ações efetuadas
sobre aquele objeto mestre, identificando os CCC, ou seja, os produtores
(collectors), mantenedores (custodians) e consumidores (consumers) dos da-
dos mestres: nessa atividade deverão ser identificados os sistemas, aplicati-
vos e programas que produzem os MD e quais aplicativos usam os dados
mestres para consumo. Um MD poderá ser produzido nas suas diversas
manifestações por diferentes sistemas da empresa. Os sistemas produtores
e mantenedores são aqueles que criam, alteram e eliminam elementos
dos dados mestres. Os sistemas que usam o fazem como consumidor, sem
alterá-los. Caso haja alteração, serão considerados dentro da categoria de
produtores e atualizadores.
 Validar com os envolvidos das áreas de negócios, buscando as similari-
dades e diferenças entre as visões obtidas no levantamento efetuado e na
perspectiva desejada.
 Consolidar os metadados, criando um glossário ou dicionário de termos, identi-
ficando e padronizando elementos comuns. Aplicar os padrões, já em consenso
com as definições da GD. Os dados mestres deverão ser cuidadosamente analisa-
dos segundo a visão dos metadados, conforme os aspectos sintáticos, semânticos
e estruturais. Os metadados deverão apontar nomes, tipos de dados, tamanhos,
regras de validação aplicáveis, significado de negócio e suas restrições etc. Além
disso, deverá ser capturada a visão de negócios dos dados. O uso de ferramental
é importante aqui, pois essa captura poderá implicar buscas extensas em diversas
estruturas de dados (bancos de dados, catálogos, dicionários de dados, bibliotecas,
fontes etc.). Para tal, a atividade de definição de ferramentas e de ambientes de
trabalhos será de extrema importância nessa fase. Os metadados levantados de-
verão ser armazenados em dicionários ou catálogos que ofereçam condições de
documentação e busca, via palavras-chave associadas a eles e aos seus atr ibutos.
3) Resolver as diferenças semânticas entre as variadas instâncias do mesmo
MD, considerando-se cenários e objetivos, definições de negócios, priori-
ELSEVIER
CAPÍTULO 4 I GOVERNANÇA E Q UALIDADE DE D ADOS
 Analisar os metadados para obter consenso e harmonização dos conceitos
eventualmente discrepantes resultantes de cenários nos quais há vários con-
sumidores e produtores atuando sobre os mesmos dados.
 Institucionalizar os padrões e políticas definidos pela GD, considerando um
novo ambiente no qual os dados não mais pertencerão a um proprietário
em particular.
4) Analisar a viabilidade de extração, compartilhamento e entrega dos dados
instanciados, agora dentro de uma visão unificada e padronizada para aten-
der às várias aplicações.
 Definir a viabilidade do projeto, analisando o grau de sobreposição de uso
dos objetos mestres.
 Definir planos de integração dos dados e de migração das aplicações envol-
vidas, no caso de a viabilidade existir.
5) Implementar as arquiteturas de MDM. A arquitetura deverá mostrar os di-
versos componentes participantes, como os sistemas fontes, possíveis cama-
das de mapeamento, transformação, armazenamento e documentação. Essa
solução poderá ser prototipada a fim de mostrar, em fase de prova de con-
ceito, o alcance dos requisitos definidos para aquele projeto de MDM. Por
exemplo, um protótipo poderá mostrar as ações de captura, transformações
e armazenamento dos MDM, bem como uma exemplificação de seu uso
por um sistema existente.
6) Implementação de interfaces transparentes ou de ajustes de aplicações
clientes para o uso das novas visões e arquiteturas unificadas do MD.
7) Estabelecer, via GD, os aspectos necessários para controle e garantia de
integração contínua dos novos dados e aplicativos no  framework de MDM.
Definir mecanismos de controle de garantia de qualidade, auditoria etc. a
serem aplicados no ambiente MDM.
 Arquiteturas MDM
A seguir discutiremos algumas opções arquiteturais para a implementação de
soluções MDM.
Para efeito didático, a Figura 4.14 mostra a situação anterior à implementação
das técnicas de MDM. O cenário se mostra com a redundância clássica, em que vários
aplicativos têm os seus MD, fazendo leitura e atualização sobre eles. Nesse contexto
não existe nenhum controle e política de GD, ficando as informações dependentes dos
diversos dados replicados, sem integração e totalmente expostos aos fatores de vulnera-
bilidade dos dados em qualidade.
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
Figura 4.14
Arquitetura MDM, visão com redundância.
Características da Arquitetura – Situação Pré-MDM, Cenário de Redundância
a) Vários aplicativos leem (seta tracejada) e atualizam (seta cheia) o Dado Mestre 1
redundado nos seus diferentes domínios.
b) Ambiente sem controle e gerência de MD e sem política de GD.
c) Estilo de redundância, como antigamente.
A Figura 4.15 mostra uma solução chamada consolidação, formada por um re-
positório consolidado a partir de importações batchs de várias fontes. Essa arquitetura é
semelhante aos processos de ETC usados nos sistemas de BI e serve melhor aos siste-
mas informacionais. Normalmente, os dados não retornam aos mestres originais, que
continuam com sua independência. Essa arquitetura não oferece sistemas de replicações
(publicação e subscrição), e os movimentos são efetuados por utilitários batchs.
ELSEVIER
CAPÍTULO 5 I CONCEITOS E STRUTURANTES DE  B I
   Média móvel . Calcula a média móvel nos últimos x dias especificados. O
exemplo ilustra:
SELECT MAVG (VALOR_FECHAMENTO, 30, DIA). O resultado seria:A
VALOR_FECHAMENTO MÉDIA
D1 10,50 10,32
D2 10,11 10,45
D3 10,56 10,48
Nesse exemplo, ele está fazendo a média dos valores nos últimos 30 dias.
   Soma móvel . É baseada no mesmo princípio da anterior, com a sintaxe
MSUM.
 Diferença móvel . Calcula a diferença entre valores em um período de tempo
especificado.
Por exemplo, o comando:
SELECT MDIFF (VOLUME_VENDA, 1,DIA) daria o seguinte resultado:
VD1 10 ?
D2 15 5
D3 23 8
   Quantile. São funções que calculam a distr ibuição de valores por faixas defi-
nidas dentro do conjunto (decis para 10 partes, percentis para 100 partes, tercis
para três partes etc.). O exemplo ilustra o conceito:
SELECT ...VALOR_LUCRO,QUANTILE (10,VALOR_LUCRO) AS DE-
CIL…
DIFERENÇA ENTRE DADOS OPERACIONAIS E DADOS
INFORMACIONAIS
A Tabela 5.2 mostra as principais diferenças entre os dados de natureza opera-
cional e informacional. Esses dois tipos básicos de dados possuem objetivos diferentes,
e basicamente estão relacionados, respectivamente, aos sistemas tradicionais de infor-
mações implementados sobre bases de dados e aos sistemas de BI implementados sobre
data warehouse ou data marts.
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
Tabela 5.2
COMPARAÇÃO ENTRE DADOS DE NATUREZA OPERACIONAL E
INFORMACIONAL
CARACTERÍSTICAS DADOS OPERACIONAIS DADOS INFORMACIONAIS
1. Conteúdo Valores correntes
Valores sumarizados, calculados, in-
tegrados de várias fontes
2. Organização dos
dados
Por aplicação/sistema de in-
formação
Por assuntos/negócios
3. Natureza dos
dados
Dinâmica
Estática até o refreshment   dos da-
dos, de tempos em tempos
4. Formato das
estruturas
Relacional, próprio para com-
putação transacional
Dimensional, simplificado, próprio
para atividades analíticas
5. Atualização dos
dados
Atualização campo a campo
Acesso granular ou agregado, nor-
malmente sem update direto
6. Uso
Altamente estruturado em
tabelas, processamento re-
petitivo
Estruturado em fatos e dimensões,
com processamento analítico/predi-
tivo
7. Tempo de
resposta
Otimizado para faixas abai-
xo de 1 seg
Análises mais complexas, com tem-
pos de respostas maiores
O conceito de business intelligence, além das características dimensionais, ex-
plicadas anteriormente, também está centrado nas estruturas de seus depósitos infor-
macionais.
DATA WAREHOUSE E DATA MART
O conceito de BI pode ser entendido, numa das suas vertentes, como direta-
mente relacionado ao apoio e ao subsídio aos processos de tomada de decisão baseados
em dados trabalhados especificamente para a busca de vantagens competitivas. Os dados
que habitam os tradicionais sistemas legados, normalmente implementados nos ERP
(Enterprise Resource Planning), ou pacotes integrados de gestão que constituem a
base dos processos de negócios das empresas, estão formatados e estruturados da forma
transacional, dificultando, dessa maneira, o seu tratamento informacional, conforme já
discutido anteriormente. O conceito de BI, assim, deve ser entendido como o processo
de desenvolvimento que objetiva implementar:
 Estruturas especiais de armazenamento de informações como data wa-
rehouse (DW), data marts (DM) e ODS (Operational Data Store), com
o objetivo de montar uma base de recursos informacionais capaz de
sustentar a camada de inteligência da empresa e possível de ser aplicada
aos seus negócios, como elementos diferenciais e competitivos. Junta-
mente com o conceito de DW, DM e ODS, o conceito de BI contempla
também o conjunto de fer ramentas de desenvolvimento de aplicações e
de ferramentas ETC (extração, tratamento e carga), fundamentais para a
ELSEVIER
CAPÍTULO 5 I CONCEITOS E STRUTURANTES DE  B I
de dados, remodeladas com o objetivo de prover análises diferenciais, o
conceito de ODS, por sua vez, está relacionado com o armazenamento e
tratamento de dados operacionais, de forma também consolidada, porém
sem características dimensionais e voltado para a carga e a formação das
duas anteriores. Ou seja: o ODS pode ser entendido como um cadastro
consolidador de informações, porém mantidas ainda as características
de granularidade e de estruturação não dimensional, originadas dos sis-
temas legados e ERP. O conceito de ODS nasceu como uma solução
intermediár ia entre os muitos arquivos e dados espalhados pela empresa,
que careciam de certa uniformização, e a proposta final de DW e DM. O
ODS, além de ser a metade do caminho entre o legado e o DW, também
oferece informações importantes do ponto de vista decisório, devido à
sua característica de consolidação e integração de vár ias fontes de dados.
Hoje, os conceitos de MDM (Master Data Management), discutidos no
capítulo de governança e qualidade de dados, endereçam, de certa forma,
soluções para os problemas para os quais os ODS foram planejados: a
consolidação de dados mestres da empresa.
 Aplicações especiais de tratamento desses dados, como OLAP e data
mining. O termo OLAP (On-Line Analytical Processing), hoje muito
difundido, traduzido para processamento analítico on-line, representa
essa característica de trabalhar os dados com operadores dimensionais,
possibilitando uma forma múltipla e combinada de análise, conforme
visto nos comandos explicados anter iormente. O conceito de data mi-
ning, por outro lado, está mais relacionado com os processos de análise
de inferência do que com os de análise dimensional de dados e repre-
senta uma forma de busca de informação baseada em algoritmos que
objetivam o reconhecimento de padrões escondidos nos dados e não
necessariamente revelados pelas outras abordagens analíticas, como o
OLAP.
A Figura 5.10 mostra esquematicamente a arquitetura chamada de data wa-
rehouse corporativo. Nessa arquitetura, os dados são coletados das fontes opera-
cionais e trabalhados numa camada intermediária de tratamento e armazenamento
de dados denominada Staging . Nessa camada, os dados são submetidos a um trata-
mento de limpeza, combinação, acertos e batimentos (matches), que serão a fonte de
carga do DW corporativo. Um BD, denominado ODS (Operational Data Store),
poderá ser cr iado nessa camada, visando a formar um depósito intermediário, pre-
paratório para a carga do DW. Esse depósito tem características relacionais e poderá
ser usado para acessos de informações integradas sobre certo assunto, ofe recendo
normalmente excelente tempo de resposta. Nessa arquitetura, o DW corporati-
vo fornecerá os insumos para a carga dos data marts departamentais, por assun-
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
ETC (extração, transformação e carga), responsável pelas ações de coleta, limpeza,
preparação e carga desses depósitos de informações, estão representadas pela cama-
da de Staging . Os processos de mining, presentes no canto superior do  framework,
trabalharão sobre um extrato de dados especialmente preparado para essa forma de
tratamento com foco mais estatístico. Os dados em qualquer desses depósitos po-
derão ser analisados pelas ferramentas diversas disponíveis, que permitem: geração
de relatórios ou cubos com análises dimensionais OLAP ou fer ramentas de mining,
com aplicações específicas em diversos domínios.
Figura 5.10
Data warehouse corporativo.
A Figura 5.11 mostra a alternativa arquitetural de construção de data warehouse,
caracterizada pela criação inicial dos data marts integrados, que serão criados separada-
mente a partir dos dados operacionais trabalhados pela camada de Staging . Nessa arqui-
tetura, os data marts serão criados de forma integrada, observando-se a conformidade
entre as dimensões e a coerência das suas métricas. Essa forma, bottom-up, permite que
o data warehouse corporativo seja formado de forma distribuída através da criação dos
data marts separadamente. As demais considerações da Figura 5.10 se aplicam a essa
ELSEVIER
CAPÍTULO 5 I CONCEITOS E STRUTURANTES DE  B I
Figura 5.11
Data warehouse por integração de data marts dependentes.
A Figura 5.12 mostra uma variante da arquitetura anterior, porém agora com
a introdução de alguns conceitos do BI2. O BI2 contemplará, além dos dados tradi-
cionais, também o tratamento e análise dos DNE (Dados Não Estruturados), envol-
vendo e-mails, relatórios, resultados, laudos, imagens etc. Haverá também uma forte
concentração na definição e no uso dos metadados, os dados sobre os dados, que
deverão estar presentes nas ações de governança de dados, tema dentro do espectro
que definimos como BI2. Na parte de consolidação e integração de dados, o BI2 se
encontra com os conceitos de MDM (Master Data Management). A disponibilização
de ferramentas da família EII (Entreprise Information Integration) potencializará os
conceitos de DW/DM virtuais, vindo ao encontro da ordem empresarialdas RTE
(Real Time Enterprises), empresas que demandam uma latência menor entre os fatos
e as informações derivadas deles. Seria um bypass, com todos os seus prós e contras,
sobre a camada do ETC, produzindo em tempo real visões dimensionais obtidas dire-
tamente das fontes transacionais de dados. Também a parte de mining, hoje presente,
deverá ter foco com ênfase estendida na análise de texto (text mining) ou de web
mining, dividida em análises via estrutura e relacionamento dos sites (structure mi-
ning), dos seus conteúdos (content mining) e a forma pela qual são usadas pelos seus
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
Figura 5.12
Componentes de um ambiente de BI2 – novos temas envolvidos.
ABORDAGENS INICIAIS PARA PROJETOS DE DATA WAREHOUSE
E DATA MART
Os primeiros projetos de data warehouse caminharam pelas trilhas metodoló-
gicas originadas basicamente em duas fontes de inspiração: Bill Inmon e Ralph Kim-
ball. Esses dois gurus se constituíram, em meados dos anos 1990, nas referências mais
fortes em termos de projeto e construção de armazéns de dados e possuíam culinárias
ligeiramente diferentes. O primeiro, Bill Inmon, é considerado o pai do conceito de
data warehouse, e, hoje, via sua empresa Inmon Consulting Services, é um dos nomes
mais respeitados nas abordagens top-down, que pregam a construção completa desses
armazéns de informação. Estabelecido no meio de bancos de dados há muito tempo,
Bill Inmon é autor de vários livros a respeito do assunto (tanto de BD quanto de data
warehouse), e iniciou na década de 1970 uma forte incursão aos conceitos de bancos de
dados aplicados aos sistemas de tomada de decisão que, segundo ele, seriam a saída para
resolver problemas de baixa liquidez de informação.
Por outro lado, Ralph Kimball tem uma origem diferente. Foi o inventor do
workstation star , um produto desenvolvido pela Xerox e que constituiu o primeiro pro-
ELSEVIER
CAPÍTULO 5 I CONCEITOS E STRUTURANTES DE  B I
dados especializado em sistemas de data warehouse (Red Brick Systems) e hoje, fora
dela, é um dos mais famosos consultores independentes de data warehouse dos Estados
Unidos. É considerado o pai do conceito de star schema (esquema estrela), uma abor-
dagem de modelagem de dados que prioriza a estruturação de dados na forma dimen-
sional, fugindo da maneira normalizada e canônica or iginada dos preceitos relacionais.
É um dos nomes mais respeitados no círculo de BI, com forte influência nas abordagens
bottom-up. Paternidade à parte, essas duas referências metodológicas têm sabores ligeira-
mente diferentes, conforme discutido a seguir.
 Abordagem de Bill Inmon
A abordagem de Inmon se concentrou inicialmente no estilo mais tradicional de
construção de bancos de dados, muito próximo daquele surgido nos primeiros projetos
de bancos de dados, nos quais se buscava uma forte integração entre todos os dados da
empresa que habitavam áreas funcionais diferentes. Isso seria representado num modelo
único, integrado e coeso, mas que por vezes se mostrou rígido e de difícil consecução. A
sua ênfase sempre foi um grande depósito central de informações empresariais tratadas,
limpas e integradas, construído inicialmente, e de onde outros depósitos secundários
(data marts ou mercados de dados) são originados e construídos.
O autor, hoje, apresenta uma nova proposta chamada DW2.0, na qual introduz
alguns conceitos que são trazidos no arco do BI2, como ênfase em metadados, dados
não estruturados, mas também sugere algumas ideias diferenciadas, como o armazena-
mento no DW ser feito de acordo com a idade dos dados. Classifica o ciclo de vida dos
dados em interativos, integrados, quase in-line (near line ) e separados (archival ), de acordo
com o seu tempo de vida. Por exemplo, os dados com mais de cinco anos seriam ar-Por exemplo, os dados com mais de cinco anos seriam ar-
mazenados na região archival , uma espécie de arquivo morto. Entre três e cinco anos,
ficariam na região near line , ou seja, próximo de uma disponibilidade quase imediata.
Os dados com idade entre horas e alguns meses ficariam na região Integrada do DW
(integrated ). Os mais atuais, com maior probabilidade de consumo, ficariam na região
denominada interactive . Na esfera de metodologia para desenvolvimento de DW, In-Na esfera de metodologia para desenvolvimento de DW, In-
mon oferece uma visão mais próxima dos projetos em espirais, com implementações
menores, bem diferente do que sugeriam as suas proposições iniciais. Na realidade, vem
ao encontro de abordagens mais ágeis, definindo iterações de, no máximo, três meses
e forte prototipação. Também faz alerta para os aspectos, cada vez mais necessários, de
monitorar o ambiente do DW, nas suas diversas camadas, do ETC ao  front-end , devido
aos volumes crescentes e à importância que os dados de BI desempenham hoje nas em-
presas. Os detalhes das novas propostas de Bill Inmon para DW estão no livro DW2.0
 – The Architecture for the Next Generation of Data Warehousing , de Derek Strauss e Genia
Neushloss, editado em inglês pela Morgan Kauffman, em 2008.
ABORDAGEM DE RALPH KIMBALL � STAR SCHEMA
A abordagem de Ralph Kimball veio com um estilo mais simples e incremen-
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
independentes, focando áreas ou assuntos específicos e terão a sua conexão com o
passar do tempo, desde que mantida a compatibilidade dimensional entre chaves das
tabelas. Tem o mesmo sabor das abordagens de projetos de BD relacionais, recente-
mente aplicadas nas empresas com enfoque departamentalizado ou por assunto. Tem
como desvantagem a possibilidade de produzir diversos DM, sem uma perfeita coesão
entre eles, além de uma provável duplicação de esforços na fase de extração, prepara-
ção e carga dos dados.
A essência da abordagem de Kimball está na etapa de projeto dos DM. Centra-
da na modelagem dimensional, com o conceito de esquema estrela (star schema), essa
abordagem transforma os dados em tabelas fatos (nas quais se concentram os dados de
interesse, passíveis de manipulação numérica e estatística) e em tabelas dimensão (tabelas
satélites que possuem as chaves de entrada do modelo, além das informações descritivas
de cada dimensão).
A abordagem de Ralph Kimball (www.rkimball.com), como a outra, também
está sendo aplicada em vários projetos nos Estados Unidos, com ênfase em grandes
empresas de varejo e de utilidade pública. Possui diversas referências sobre o assunto,
indispensáveis a quem está envolvido com projetos dessa natureza.
É fácil observar que essas duas vertentes não são necessariamente excludentes,
embora representem (ou representassem?) correntes ligeiramente diferenciadas, do pon-
to de vista de início do projeto. Em uma, o data warehouse, segundo Inmon, deve(ria)
ser um depósito central devidamente preparado a partir dos dados operacionais. E dele
deveriam nascer os data marts. Com o amadurecimento dessas abordagens pelas reais
necessidades de mercado, Inmon hoje incorpora na sua metodologia original os concei-
tos de data mart, originados diretamente dos dados operacionais, desde que devidamen-
te orquestrados por um processo de alinhavo, que os integre sem rupturas.
A outra, de data mart, aceita a ideia de que esses bancos de dados informacionais
mais contextualizados possam ser derivados (de forma incremental) diretamente dos
dados operacionais, sem a presença necessária de grande depósito inicial que os origine.
De qualquer maneira, os métodos de projeto de Kimball podem ser plenamente uti-
lizados na metodologia de Inmon, desde que ajustados devidamente ao foco desejado.
CONVERGÊNCIA ATUAL DE ABORDAGENS
De início, como descrito, a construção de data warehouse pressupunha um pro-
 jeto integrado, monolítico, no qual um modelo único contemplaria, com detalhes, todas
as informações “fato” e suas respectivas “dimensões”. Isso significava modelar grande
parte da empresa (ou a sua totalidade) em busca de informações gerenciais, numa abor-
dagem muito parecida com as gigantescasestratégias top-down, discutidas no início dos
anos 1970, quando os bancos de dados debutavam, no auge de sua adolescência. Depois
de pronto o grande depósito, seriam criados, a partir dele, os data marts ou mercados de
dados específicos para cada espaço de negócios da empresa.
Os projetos de data warehouse, elaborados nessa linhagem, começaram a demo-
ELSEVIER
CAPÍTULO 5 I CONCEITOS E STRUTURANTES DE  B I
ro, na imediata limitação dos escopos desses almoxarifados de dados, para contemplarem
somente algumas regiões negociais da empresa (com prioridade para cliente, marketing,
finanças etc.). Uma espécie de DW em menor escala e com escopo mais definido. Sur-Uma espécie de DW em menor escala e com escopo mais definido. Sur-Sur-
giram, assim, os DW de escopos limitados, rebatizados de data marts, ou seja, aconteceu
certa inversão de abordagem. Dessa forma, gradativamente se iria construindo o data
warehouse corporativo, a partir do somatório lógico e das integrações dimensionais dos
diversos data marts, agora factíveis em tempo e custo. Uma boa ideia? Sim e não. Sim,
pois um projeto de DM pode ser finalizado em 4-10 meses com custos mais viáveis,
enquanto os outros (DW monolítico) nunca eram terminados antes de três anos com
valores muitas vezes maiores. Por outro lado, essa abordagem pode apresentar riscos de
produção de ilhas de informações dimensionais.
Como era de se esperar, os propositores da estratégia monolítica estrilaram.
Vários papers foram publicados na mídia, comparando os data marts aos fast foods, que
saciam a fome momentaneamente, mas não satisfazem as necessidades básicas, im-
portantes para uma saúde duradoura. Os DW, por seu lado, representariam a refeição
completa e saudável, de alto valor nutricional/informacional. Hoje, ambas as propos-Hoje, ambas as propos-
tas atingiram um ponto de convergência e equilíbrio. Os data marts evolutivos, ou
super marts, como agora são chamados, são feitos de maneira a convergirem para um
 framework, que, com certa visão prévia de conformidade de dimensões, os integrará à
medida que forem projetados. Os vendedores/construtores de data warehouse mono-
líticos, por seu lado, já atualizaram suas estratégias de venda e anexaram o termo data
mart à sua estratégia de venda de produtos e serviços. Como visto anteriormente, o
conceito de DW2.0, trazido por Inmon em 2009, já contempla projetos em espirais,
com entregas menores em curto espaço de tempo. Conclusão: a ideia prevalente é
que você começa a construir o seu data warehouse pelos primeiros data marts de-
mandados. Uma fase inicial que define a compatibilidade de dimensões dos data marts
planejados e alguns padrões de dados “fatos” são fatores fundamentais para minimizar
possíveis rupturas. Os outros, a seguir, deverão ser integrados, mantida a conformidade
entre as dimensões. Isso, é claro, pode não ser facilmente atingido, visto não haver
consenso entre todos os usuár ios da empresa sobre os fatos e dimensões já existentes.
Esse é o risco da integração bottom-up, mas que provavelmente compensará quando
comparado com os ganhos de oferecer uma alternativa rápida e que atenda à dinâmica
de negócios da empresa. Hoje, os termos data warehouse e data marts evolutivos/in-Hoje, os termos data warehouse e data marts evolutivos/in-
tegrados ou super marts são praticamente (quase) intercambiáveis, do ponto de vista
semântico, e todos se preparam para construir os seus depósitos de informações de
negócios, sejam eles chamados de data warehouse ou data marts/super marts. Neste
livro, estamos usando as siglas DW e DM indistintamente para designar esses depósitos
de dados, sendo que DW tem como premissa uma arquitetura mais abrangente, com
foco mais amplo, e DM significa o depósito particular em desenvolvimento, coerente
e plenamente acoplado no  framework maior do DW corporativo. A Figura 5.13 ilus-
tra o conceito de data marts evolutivos, em que os aspectos de integração através de
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
Figura 5.13
Estratégia de implementação gradativa de data marts.
CENÁRIOS DE APLICAÇÕES DE DATA WAREHOUSE E DATA
MARTS
Várias empresas, algumas no Brasil e muitas nos Estados Unidos e Europa, hoje
centralizam os seus processos de tomada de decisão nesses bancos de dados de carac-
terísticas dimensionais. Um dos maiores DW do planeta, sempre citado nas palestras e
seminários, é o da grande rede de varejo americana WalMart, cujo exemplo de aplicação
e de governança de dados foi descr ito no capítulo anterior.
Outros segmentos da indústria usam aplicações de data warehouse. As áreas mais
fortes e normalmente as primeiras são as relacionadas com clientes. Isso, no fundo, tem
certa origem nos sistemas de database marketing que, de certa forma, podem ser con-
siderados como os precursores de data marts para clientes. Informações sobre vendas
de produtos por tipo, região, promoção, vendedores são exemplos clássicos. Outra área
de grande aplicação é a financeira, na qual marts de clientes, produtos bancários, agên-
cia etc. são sempre encontrados. Aplicações na área de seguradoras também são fortes
candidatas a BI, principalmente com relação às técnicas de data mining, adequadas ao
rastreamento de fraudes e análises de risco. Áreas de assinantes, como revistas e TV a
cabo, são também potencialmente clientes de BI, devido a aspectos de fidelização, pro-
moções, custos e índices de satisfação etc. As empresas de utilidades, após os movimen-
tos de desregulamentação de mercados, iniciaram um processo cuidadoso de melhor
ELSEVIER
CAPÍTULO 5 I CONCEITOS E STRUTURANTES DE  B I
onde os serviços de água e energia foram pr ivatizados, já é possível a escolha das melho-
res ofertas desses produtos. Nessas empresas, o foco das aplicações em data warehouse
está voltado para o melhor conhecimento do cliente também. Os valores históricos de
consumo, por classe de consumidor, por região, por período são os mais óbvios numa
primeira abordagem. Indicadores de interrupções por período e por região apontam
para serviços de preservação de qualidade, indispensáveis em mercados competitivos.
Dados para acompanhamentos de obras, por tipo, região, período são outras possíveis
aplicações, com potencial para reduções de custos.
Uma famosa companhia de cartão de crédito com volume diário de muitos mi-
lhões de lançamentos de débitos e créditos se utiliza de um DW com essas informações
a fim de garimpar toda a riqueza contida nos subterrâneos dessas informações. Desses
dados, grande quantidade de correlações pode ser feita; o perfil socioeconômico dos
correntistas versus os gastos em Miami ou a preferência de destino de férias dos corren-
tistas que ganham mais de R$120 mil reais/ano e que pagaram passagem com o cartão.
Esses dados poderão estar à disposição de usuários ou parceiros do referido cartão em
busca dessas informações escondidas e que poderão definir novos rumos e estratégias de
marketing. Um DW dessa natureza, com grandes volumes diários, poderá atingir níveis
de armazenamento na casa de petabytes (1 quatrilhão de bytes ou 10**15), e alguns
projetos mais audaciosos já sinalizam armazéns de dados na casa de 10**18 bytes, estre-
ando o patamar dos exabytes.
Normalmente costuma-se pensar em data warehouse e data marts como depósitos
de informações internas da nossa empresa e com os quais tocaremos os nossos processos
negociais. Outra visão, porém, começa a aparecer em algumas empresas: a construção de
DW e DM para venda de informações. Uma grande empresa distribuidora de produ-
tos médico-farmacêuticos americana, com faturamento de US$3 bilhões/ano, que supre
centenas de hospitais e sistemas de saúde, resolveu também vender informações. Oferece
um sistema de acesso a informações, via web, espetado num gigantesco data warehouse,
de onde seus clientes e fornecedores buscam dados sobre compras de empresas e azeitam,
dessa forma, suas máquinas de comercialização. Outra empresa, gigante da área de semi-Outra empresa, gigante da área de semi-
condutores, também resolveu transformarinformações em dólares. Vende, via seu data
warehouse, informações detalhadas de seus mais de 30.000 produtos diferentes, devida-
mente modeladas dimensionalmente e prontas para o consumo de interessados. Você deve
estar se perguntando sobre aspectos de segurança, confidencialidade etc. É claro que esses
parâmetros deverão ser considerados nos projetos de DW para vendas de informações, mas
o importante é não matar a ideia no nascedouro.
RESUMO
Observar os fatores críticos de sucesso em projetos de data warehouse e data
marts.
1) Ter um foco bem definido: é fundamental, em um projeto de data warehouse,
saber exatamente o que se deseja obter, mesmo que isso leve tempo para
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
projeto, e não seria diferente nos de data warehouse. Até porque, neles, os
produtos a serem obtidos são definidos por usuários que normalmente não
conseguem definir claramente quais são os seus problemas de negócios e o
que desejariam para solucioná-los. Cuidados especiais devem ser dirigidos
ao escopo do projeto, evitando-se a todo custo gigantismo de propostas ou,
por outro lado, projetos particularizados demais. Pense de forma mais ampla,
contemplando integrações futuras, caso seja possível, porém desenvolva o
projeto por partes, oferecendo, sempre em tempo razoável, produtos bem
definidos e plenamente acordados entre as partes. Os conceitos de BI ágil,
com projetos iterativos e incrementais, crescentes no segmento de inteligên-
cia de negócios, são discutidos no capítulo de BI2.
2) Conseguir um patrocinador forte: é fundamental que, em um projeto que
possa atingir áreas correlatas, haja uma presença forte do usuário, com poder
para definir pendências e dirimir dúvidas na esfera negocial. Converse bas-Converse bas-
tante com esse usuário, seduzindo-o pelo lado da viabilidade e da qualidade
e importância dos produtos a serem obtidos do DW. Faça-o participante
de todas as reuniões de trabalho do projeto e dê a ele a responsabilidade
de ser o grande patrocinador do projeto, com todos os ônus e bônus dessa
condição. Com o crescimento dos conceitos de GD (governança de dados),
a formulação de uma política de dados certamente influirá nesses aspectos de
estratégias, construção e patrocínios dos grandes depósitos de informações
da empresa.
3) Obter os dados necessários: antes de definir quaisquer compromissos com
os patrocinadores do projeto, verifique cuidadosamente a fonte dos dados.
Lembre-se de que um projeto de DW não produz dados, a não ser aqueles
obtidos in-flight  por cálculos. É fundamental que o mapeamento das fontes
de dados seja feito com rigoroso critério de qualidade, certificando-se da na-
tureza dos dados, sua periodicidade de atualização, sua qualidade atual, seus
sistemas mantenedores e a perspectiva de duração daquela fonte de dados.
Lembre-se de que muitos sistemas legados estão sendo substituídos por ERP,
com modificações acentuadas nos dados (fontes, significado, objetivo etc.).
Considere a fonte dos dados e a sua acessibilidade. Que tipos de middleware 
serão necessários para a coleta periódica dos dados e quais são os impactos?
Verifique se os dados históricos necessários no primeiro dia de vida do
DW existem armazenados na empresa. Observe sua qualidade, busque seus
leiautes e entenda a sua semântica. Depois de cuidadosamente verificadas
essas condições, assuma o compromisso pelo projeto. Os conceitos de quali-Os conceitos de quali-
dade de dados deverão entrar nesse ponto como elemento considerado fator
crítico de sucesso para o projeto, e as aplicações de BI terão mais sucesso
quanto maior a consideração da empresa sobre os dados como um ativo
organizacional forte.
ELSEVIER
CAPÍTULO 5 I CONCEITOS E STRUTURANTES DE  B I
(o item anterior, por exemplo, é um deles). Motive-os pelos possíveis alcan-
ces vislumbrados pelo projeto e obtenha os compromissos necessários para a
remoção dos obstáculos naturais de um projeto dessa amplitude. Consolida-
ção de dados, acertos com relação a dimensões desejadas, granularidade re-
querida poderão demandar compromissos entre áreas envolvidas no projeto.
Mantenha-os aderidos.
5) Formar uma boa equipe no projeto: lembre-se de que um projeto de DW
é realizado por versões ou etapas e, de preferência, em várias iterações. Para
tal, mantenha uma equipe coesa, motivada, fortemente associada ao pro-
 jeto, com condições para a realização de suas várias etapas. Tenha na equipe
pessoas com qualificação tecnológica suficiente para resolver problemas de
bancos de dados, comandos SQL agigantados, conexões entre máquinas de
protocolos diferentes, problemas de tempo de resposta etc. Pelo lado funcio-Pelo lado funcio-
nal, escolha analistas com grande conhecimento dos aplicativos que darão
origem aos dados do DW. Isso facilitará as eventuais modificações para a
captura de dados em sistemas ativos no âmbito transacional. Tenha sempre
um representante forte da área de negócios mais diretamente envolvida no
projeto em contato direto com a equipe do projeto, mimetizando os con-
ceitos de PO (Product Owner ) das abordagens Scrum.
6) Definir uma boa arquitetura tecnológica: de nada adiantará um belo modelo
dimensional, cheio de tabelas fato e tabelas dimensão, bem balanceadas, se
o ferramental de suporte físico não condisser com as demandas do projeto.
Analise cuidadosamente a plataforma na qual habitará o SGBDR (sistema
gerenciador de bancos de dados relacional) ou dimensional, seu sistema ope-
racional básico, capacidade de processamento, tipos de índices, capacidade de
paralelização, sistemas de armazenamento etc. O mesmo para os middlewares
usados, caso demandados, e para a plataforma de desenvolvimento dos cubos
de informação e dos aplicativos. Lembre-se da “escalabilidade” de máquinas
e da maturidade geral dos produtos que sustentarão o projeto de DW. No
capítulo associado a projetos físicos de DW/DM exploraremos mais esse
tópico.
7) Criar e divulgar: disponibilizados os primeiros produtos do sistema de DW,
faça marketing. Anuncie no seu portal corporativo a disponibilidade de in-Anuncie no seu portal corporativo a disponibilidade de in-
formações gerenciais, ilustre os requisitos e as formas de solicitação de uso e
venda, principalmente para o público-alvo desses sistemas. Promova palestras
de demonstração, envolvendo a alta gerência e convença-a de que a relação
custo  benefício do projeto (até aquele ponto) foi favorável.
8) Acompanhar a sua utilização: acompanhe a utilização do produto que você
disponibilizou e analise os motivos de possíveis declínios no seu uso. Envol-
va os usuários patrocinadores e ouça, como um bom samaritano, todas as
possíveis imperfeições do projeto e, é claro, parta para corrigi-las. Observe
CAPÍTULO 6
Conceitos correlatos de BI 
GERÊNCIA DE CONHECIMENTO
A gerência de conhecimento (KMS – Knowledge Management Systems) objetiva
estabelecer uma aproximação integrada e colaborativa para capturar, criar, organizar,
disseminar e usar todos os ativos de informação de uma empresa. Enquanto a aborda-
gem de BI é mais compartimentada, objetiva e focada em estruturas definidas, a KMS
trabalha o ativo de informações, independentemente de sua forma, estrutura e domínio.
Nesse cenário, entram informações estruturais, documentos de fontes díspares, fatos,
opiniões e conhecimentos empíricos não formalmente documentados. Se fizéssemos
uma analogia dos conceitos de BI e KMS com um ambiente de condomínio, eu diria
que os balancetes formais, estruturados, de onde se obtêm os gastos por dimensões de
tempo, natureza, empregados etc. representam a abordagem de BI. O conjunto orga-
nizado de atas, circulares, orçamentos, notas fiscais, contratos de serviços, plantas de
reformas, opiniões e experiências dos diversos moradores e síndicos, ao longo da vida
do edifício, representaria a gerência/acervo de conhecimento.
O grande desafio das empresas, hoje, é definir modelos de taxonomia que contem-
plem os domínios de seus conhecimentos. Os modelos de maturidade de processos, como
MPS.BR (Melhoriade Processos do Software Brasileiro), já apontam a obrigatoriedade
de práticas visando à elaboração e à gerência desse novo insumo – os conhecimentos. As
empresas deverão mapear os seus principais domínios, baseados nas suas áreas de atuação,
e se preparar para, através deles, criar e disseminar os seus insumos de conhecimentos.
Por exemplo, uma empresa de software que fabrica um produto voltado para o controle
acadêmico possui um forte acervo de conhecimento nesse domínio, podendo modelá-lo
via estruturas de classes semânticas. Nela é perceptível uma forte experiência nessas classes
de domínios, regras de negócios e seus atributos e objetos correlatos como matrícula,
alunos, disciplinas, grades semestrais, regras do MEC etc. Rotinas já desenvolvidas e tes-
tadas sobre esses domínios poderão fazer parte do conhecimento da empresa e, o que
é melhor, permitir a sua disseminação e o seu compartilhamento, se juntando a uma
nova tendência, a engenharia de reutilização. Outra empresa, por exemplo, com forte
vocação para sistemas na área ambiental, também poderá elaborar modelos semânticos
e acumular conhecimentos na área específica. Dominará legislação ambiental, tipos de
manejos de áreas florestais, aspectos de conservação, conceitos de infrações e punições etc.
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
nos diversos desenvolvimentos de sistemas, naquele domínio. Essas experiências deverão
ser coletadas em marcos do projeto de desenvolvimento, através de lições aprendidas e
relatos de colaboradores e gerentes. Um mecanismo de busca por palavras-chave ou um
sistema mais elaborado de BI poderá ser acoplado ao repositório, facilitando a busca e o
consumo equilibrado dos conhecimentos acumulados. Esse acervo de conhecimentos e a
sua utilização serão de fundamental importância nos próximos ciclos de desenvolvimento
de projetos da empresa, em que o conhecimento prévio sugerirá medições e práticas mais
recomendáveis, num ciclo virtuoso de reaproveitamento de conceitos, experiências e re-
utilização de códigos e artefatos.
Um fator importante associado com a gerência de conhecimento é essa possibi-
lidade de reaproveitar elementos como códigos e artefatos. Numa era em que as lingua-
gens orientadas a objetos oferecem mecanismos que favorecem esse reaproveitamento, as
empresas mais maduras deverão definir processos que permitam esse ganho substancial.
O MPS.BR possui dois processos definidos em níveis de maturidade mais elevados (nível
E, GRU – gerência de reutilização; e nível C, DRU – desenvolvimento para reutilização),
que apontam esses caminhos de reaproveitamento de elementos armazenados na forma
de ativos reutilizáveis e de ativos de domínios. Também define ações específicas sobre o
campo da gerência de conhecimento, dentro do espectro da gerência de recursos huma-
nos. A aplicação de técnicas de BI poderá favorecer esse resgate, através da definição de
modelos dimensionais que possibilitem a análise daquele ativo específico no conjunto de
projetos da empresa. A Figura 6.1 ilustra o conceito de gerência de conhecimento.
ELSEVIER
CAPÍTULO 6 I CONCEITOS CORRELATOS DE  B I
Nessa visão, haverá um repositório central de conhecimento corporativo abas-
tecido por relatos de experiências de pessoas em papéis desempenhados em projetos,
bem como por modelos, políticas, documentos, dados e medições de projetos, lições
aprendidas, opiniões, teorias, ideias e sugestões, conforme ilustrado na Figura 6.2.
Figura 6.2
Elementos formadores do conhecimento.
Esses conhecimentos serão armazenados através de modelos semânticos, com ta-
xonomias definidas de acordo com o business da empresa. O repositório deverá oferecer,
além das facilidades de entrada, uma camada de busca por categorias, palavras-chave, as-
suntos etc. A estrutura auxiliar de BI poderá entrar nessa composição como o elemento
que promoverá a transformação desses componentes de conhecimentos em produtos
para análise e distribuição, via ferramentas OLAP e de mining. Enquanto as aborda-
gens anteriores (informações e conhecimentos), de certa forma, olham para dentro da
empresa, uma terceira via observa o mundo exterior da empresa. É o conceito de CI
(competitive intelligence ).
INTELIGÊNCIA COMPETITIVA
Em um mundo cada vez mais competitivo, todo processo de produção de-
manda um forte conhecimento da concorrência, dos clientes e dos fatores externos
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
que, no terceiro milênio, a organização vencedora será aquela que entender que o que
mantém uma organização competitiva é o seu ativo de conhecimento, representado
pelos seus colaboradores. O conhecimento dos clientes, de certa forma, é alcançado
por um dos braços do BI, através da análise de seu ciclo de vida, desde a sua captura
até a sua desistência.
A ideia básica de CI ( competitive intelligence ) é explorar o outro lado da trin-
cheira, obtendo informações detalhadas sobre os competidores e o mercado no qual
se guerreia pela opção do cliente. O desenvolvimento da inteligência competitiva se
baseia no fato de que, ao conhecer melhor o ambiente externo, amplia-se o diferen-
cial competitivo em relação às outras empresas, criando uma camada organizacional,
com apoio da tecnologia da informação, capaz de se apoiar no jogo de adversidades
do ambiente turbulento a que as organizações estão submetidas. O monitoramento
constante do ambiente competitivo e a sistemática busca, formatação, estruturação,
distribuição e análise de informações auxiliam na identificação de potenciais opor-
tunidades, desafios e ameaças do mercado, e suprem as organizações com informações
que devem ser utilizadas de forma inteligente, visando ao aumento da vantagem
competitiva.
Estratégia nada tem a ver com espiões de capa preta e quebradores de
códigos secretos e indecifráveis, como poderia sugerir. Até porque grande parte
das informações necessárias a essa guerra se encontra em páginas da internet,
manifestadas de forma indireta ou espontânea. A dificuldade está mais em focar
exatamente sobre o palheiro digital da grande rede para encontrar as agulhas que
espetarão nossos concorrentes. O manuseio está mais para mecanismos de busca,
rastreadores digitais, procuradores de catálogos e de palavras-chave do que para
ferramentas OLAP. Estas virão na fase subsequente, depois que as pilhas de in-Estas virão na fase subsequente, depois que as pilhas de in-
formações brutas sobre relatór ios financeiros, press-releases, balancetes publicados,
patentes concedidas, marcas registradas, anais de conferências, registros públicos
etc. forem devidamente escovadas, limpas, classificadas, indexadas e armazenadas
em depósitos específicos de CI.
Podemos entender CI como um BI aplicado ao mundo fora de nossas fronteiras
empresariais, focado primariamente em informações textuais e factuais que dizem res-
peito aos movimentos do mercado e dos concorrentes, detectando as suas ameaças e
oportunidades. O conceito de CI se refere a um processo muito maior, que engloba
a obtenção e o tratamento de informações informais e não estruturadas advindas das
redes mantidas pelos sistemas de inteligência competitiva nas quais o BI entra como um
poderoso arsenal de ferramentas. A estratégia de CI passa pelas vizinhanças dos concei-
tos de KMS (gerência de conhecimento) e se acopla aos de mining, com a diferença
de que os sites de procura como Google, Yahoo, Microsoft apontarão o mapa da mina,
e os garimpadores inteligentes de textos e assuntos farão o papel dos espiões digitais da
nova economia.
ELSEVIER
CAPÍTULO 6 I CONCEITOS CORRELATOS DE  B I
de especialistas, que permitem a avaliação e incorporação de novas ideias e de infor-
mação nas organizações. Muitas vezes, esses elementos estão contidos não apenas nos
documentos e repositórios, mas também nas rotinas organizacionais, nos processos, nas
práticas e normas, que, no fundo, compõem o acervo de conhecimentos.
A ideia de CI, por sua vez, está mais associada ao “que se precisa descobrir”
para ganharcompetitividade. O objetivo é “usar e aplicar o que já se sabe para reduzir
a distância entre passado e futuro”. A gestão do conhecimento cria condições para que
o conhecimento seja criado, socializado e externalizado dentro da empresa, transfor-
mando-o de tácito em explícito. Já a inteligência competitiva está mais voltada para a
produção do conhecimento referente ao ambiente externo da empresa. Inteligência
competitiva e gestão do conhecimento são áreas que se acoplam e se complementam.
A Figura 6.3 ilustra o conceito de CI, com ênfase no monitoramento constante do
mercado visando à coleta de oportunidades e ameaças.
Figura 6.3
Conceito de Inteligência Competitiva.
Também o repositório central de IC, com informações insumos de CI, oriundo
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
via técnicas de OLAP e de mining. A Figura 6.4 mostra um mapa mental, no qual se
delineia o ciclo de criação das estruturas de CI na empresa, com os detalhes:
Figura 6.4
Atividades de um processo de CI (Inteligência Competitiva).
1) Uma área de CI, composta por analistas de informações, profissionais com
alta capacidade inferencial, pesquisadores e administradores de redes de
contatos etc. Além disso, a equipe deverá ter técnicos em recuperação de
informação, com especializações em web e text mining.
2) A criação de um projeto de CI, que começaria pela definição dos KIT (Key
Intelligence Topics), que na essência seriam os assuntos sobre os quais se
procurariam os elementos de ameaças e oportunidades.
3) Um papel de analista de fontes externas e internas, visando à coleta e estru-
turação de informações competitivas.
4) Um papel de análise e interpretação dos dados, visando à busca de diferen-
cial competitivo.
ELSEVIER
CAPÍTULO 6 I CONCEITOS CORRELATOS DE  B I
BSC: BALANCED SCORECARD
Com a adoção dessas diferentes manifestações de tecnologia e metodologia, no
bojo do ERM (Enterprise Relationship Management), mostrado na Figura 6.5, cabe
uma singela pergunta de arremate: como avaliar o efetivo retorno de tudo isso? Como
medir a capacidade de alavancar negócios e preparar a empresa para os novos tempos,
induzida por essas propostas tecnológicas recentemente introduzidas? Como saber do
retorno de investimentos em business intelligence ou da efetividade na adoção de novos
modelos de negócios visando a uma incursão nos mercados virtuais? Como garantir
que o CRM transformou-se em solução para melhor reter e agradar os nossos clientes?
Como assegurar que a implementação de um processo de melhoria de software trouxe
benefícios diretos ao meu negócio? Para obter respostas a essas perguntas, só nos resta
aferir as estratégias empresariais que motivaram a incorporação dessas melhorias nego-
ciais, respaldadas agora por aquelas camadas de tecnologia.
Figura 6.5
Visão geral – ERM (Enterprise Relationship Management).
BI2 – BBI2 – BUSINESSUSINESS  I INTELLIGENCENTELLIGENCE :: MODELAGEMMODELAGEM EE QUALIDADEQUALIDADE II CCARLOSARLOS B BARBIERIARBIERI
Ferramentas e serviços de provedores externosFerramentas e serviços de provedores externos
Representam soluções mais completas, pois envolvem a prestação dos serviçosRepresentam soluções mais completas, pois envolvem a prestação dos serviços
de mining, de mining, além da utilizaçalém da utilização das ferão das ferramentas. ramentas. Os serviços Os serviços compreendem desde a abor-compreendem desde a abor-
dagem de metodologias para data mining até odagem de metodologias para data mining até o hosting hosting  dos serviços de garimpagem de dos serviços de garimpagem de
dados, e se enquadram no novo conceito de DW Appliance, oferecido por gigantesdados, e se enquadram no novo conceito de DW Appliance, oferecido por gigantes
como IBM, Oracle e HP.como IBM, Oracle e HP.
RESUMORESUMO
Este capítulo mantém praticamente as informações originalmente descritasEste capítulo mantém praticamente as informações originalmente descritas
no livrono livro BI – modelagem e tecnologiaBI – modelagem e tecnologia, com pequenas atualizações. Isso acontece até, com pequenas atualizações. Isso acontece até
porque as técnicas de data porque as técnicas de data mining continuam as mesmas, mining continuam as mesmas, centradas fircentradas firmemente nasmemente nas
sementes estatísticas sementes estatísticas e nos e nos algoritmos algoritmos preditivpreditivos. os. Na essência, sua aplicação Na essência, sua aplicação dentro dodentro do
guarda-chuva conceitual de BI se dá pela forte guarda-chuva conceitual de BI se dá pela forte aplicação que as técnicas aplicação que as técnicas de minera-de minera-
ção de dados ção de dados desempenharão nesses novdesempenharão nesses novos ambientes deos ambientes de big databig data e de novas análises e de novas análises
sobre comportamentos (BHI), quando se fala de atitudes de compradores, de blo-sobre comportamentos (BHI), quando se fala de atitudes de compradores, de blo-
gueiros, de leitores e visitantes de sites etc., com ênfase emgueiros, de leitores e visitantes de sites etc., com ênfase em text mining text mining  e e web mining web mining ..
Hoje já se percebem extensões nos domínios de suas aplicações. As redes neurais,Hoje já se percebem extensões nos domínios de suas aplicações. As redes neurais,
dentro do escopo de dentro do escopo de mining, mining, têm sido aplicadas têm sido aplicadas a tratamentos a tratamentos de inferências, de inferências, atra-atra-
vés da simulação do mecanismo cerebral fantástico de que fomos dotados quandovés da simulação do mecanismo cerebral fantástico de que fomos dotados quando
muitos milhões de neurônios se comunicam, formando uma rede de intercâmbiomuitos milhões de neurônios se comunicam, formando uma rede de intercâmbio
de sinais que busca racionalizar um entendimento, por exemplo, para uma tomadade sinais que busca racionalizar um entendimento, por exemplo, para uma tomada
de decisão que fazemos. Como numa espécie de “síndrome do gato escaldado”, osde decisão que fazemos. Como numa espécie de “síndrome do gato escaldado”, os
mecanismos neurais aprendem as consequências das diversas tomadas de decisões,mecanismos neurais aprendem as consequências das diversas tomadas de decisões,
registrando aquelas registrando aquelas que melhor que melhor se ajustaram se ajustaram às nossas às nossas intenções. intenções. Assim, Assim, toda vez quetoda vez que
uma situação semelhante uma situação semelhante for trazida para for trazida para decisão, decisão, os circuitos neurais se os circuitos neurais se incumbirãoincumbirão
dos devidos desvios, dos devidos desvios, ativados pelos aspectos de cautela e ativados pelos aspectos de cautela e alertas aralertas armazenados nas de-mazenados nas de-
cisões anteriores. No livrocisões anteriores. No livro Super crunchersSuper crunchers, , de Iade Ian n Ayres, Ayres, da Eda Edioudiouro, ro, algalguns euns exemploxemploss
de aplicações neurais ilustram a diversidade de domínios para onde se estendem asde aplicações neurais ilustram a diversidade de domínios para onde se estendem as
aplicaaplicações de mções de mining. Pining. Por exemplo, or exemplo, a Universidaa Universidade do de do ArArizona izona desenvolvdesenvolveu sisteu sistemasemas
de mining neural para de mining neural para previprevisão de ganhadores de corsão de ganhadores de cor ridas ridas de cachorde cachorroro, , com a intro-com a intro-
dução de mais de 50 dução de mais de 50 tipos de informaçtipos de informação, ão, coletados de inúmeras corcoletados de inúmeras corridas: atributoridas: atributo
físico do físico do cachorro, cachorro, treinadores, treinadores, condições da condições da corrcorr ida e ida e classificação classificação dos cães. Depoisdos cães. Depois
de muitas simulações, alterando pesos para ade muitas simulações, alterando pesos para a s variáveis etc., s variáveis etc., chegaram a chegaram a uma equa-uma equa-
ção estabelecida sobre centenas ção estabelecida sobre centenas de corde corridas. Pridas. Para avaliar a força do ara avaliar a força do métodométodo,, chama-chama-
ram três especialistas em corridas e estabeleceram uma aposta de U$1 em 100 cãesram três especialistas em corridas e estabeleceram uma aposta de U$1 em 100 cães
diferentes. O modelo teve desempenho superior dos especialistas na previsão dosdiferentes. O modelo teve desempenho superior dos especialistas na previsão dos
vencedores. Também a previsão de faturamento de filmes, antes mesmo de seremvencedores. Também a previsão de faturamento de filmes, antes mesmo de serem
rodados, considerando diversas variáveis como atores, tema, cenas de sexo, locali-rodados, considerando diversas variáveis como atores, tema, cenas de sexo, locali-
zação, época prevista de lançamento, trilha musical etc., já está sendo aplicada porzação, época prevista de lançamento, trilha musical etc., já está sendo aplicada por
empresas especializadas que dão consultoria aos grandes estúdios de Hollywood.empresas especializadas que dão consultoria aos grandes estúdios de Hollywood.
ELSEVIERELSEVIER
CCAPÍTULOAPÍTULO 7 7 II DDATAT AA M M ININGINING
com todos os livros da lista decom todos os livros da lista de best-sellersbest-sellers dodo NYTimesNYTimes, de 1955 a 2004. Associou, de 1955 a 2004. Associou
a esse conjunto de dados um método baseado em regressão para estimar se certoa esse conjunto de dados um método baseado em regressão para estimar se certo
livro poderia se tornarlivro poderia se tornar best-seller best-seller , analisando um conjunto de 11 variáveis contidas, analisando um conjunto de 11 variáveis contidas
no título: O título começa com verbo? É um título metafórico, comono título: O título começa com verbo? É um título metafórico, como Lágrimas deLágrimas de
 pedra pedra? Há verbo na primeira palavra, como? Há verbo na primeira palavra, como Eram os deuses astronautas?Eram os deuses astronautas? Existe pro- Existe pro-
nome no início, comonome no início, como Seu sorriso de ontemSeu sorriso de ontem? Os títulos são curtos ou longos? etc.? Os títulos são curtos ou longos? etc.
O estudo provou que títulos metafóricos e longos sempre se destacavam, entreO estudo provou que títulos metafóricos e longos sempre se destacavam, entre
outros, mais literais e curtos. O modelo, claro, apresentou diversas imperfeições: ooutros, mais literais e curtos. O modelo, claro, apresentou diversas imperfeições: o
livro com o títulolivro com o título Um crime adormecidoUm crime adormecido ((Sleeping murder Sleeping murder ), de Agatha Christie, que), de Agatha Christie, que
teve relativo sucesso de vendas, ficou no lugar mais alto dentre os avaliados comoteve relativo sucesso de vendas, ficou no lugar mais alto dentre os avaliados como
os mais promissores (83%), enquantoos mais promissores (83%), enquanto O O código da Vinci código da Vinci  não recebeu alta cotação de não recebeu alta cotação de
best-sellerbest-seller (36%), embora tenha se tornado um(36%), embora tenha se tornado um blockbuster blockbuster . Esse ponto nos remete a. Esse ponto nos remete a
uma reflexão sobre a força da matemática computacional em produzir inferênciasuma reflexão sobre a força da matemática computacional em produzir inferências
válidas ou até na válidas ou até na produção de títulos, produção de títulos, disputando espaço com os disputando espaço com os nossos mecanismosnossos mecanismos
mais elementares de crmais elementares de cr iatividadeiatividade..11****
CAPÍTULO 8CAPÍTULO 8
Modelagem dimensionalModelagem dimensional
de dados – de dados – detalhamentodetalhamento
INTRODUÇÃOINTRODUÇÃO
Os conceitos a serem discutidos neste capítulo são refinamentos da abordagemOs conceitos a serem discutidos neste capítulo são refinamentos da abordagem
dimensional vista no dimensional vista no Capítulo 5. NaCapítulo 5. Naquele capítulo fizemos uma quele capítulo fizemos uma abordagem inicial so-abordagem inicial so-
bre os modelos de dados, em geral, e os modelos dimensionais, em particular. Partimos,bre os modelos de dados, em geral, e os modelos dimensionais, em particular. Partimos,
então, daquele ponto, lembrando que o produto final da modelagem dimensional é umentão, daquele ponto, lembrando que o produto final da modelagem dimensional é um
modelo conceitual dimensional, formado por tabelas fato e tabelas dimensão.modelo conceitual dimensional, formado por tabelas fato e tabelas dimensão.
 As tabelas fato servem para armazenar, normalmente, medidas numéricasAs tabelas fato servem para armazenar, normalmente, medidas numéricas
associadas a eventos de negócio. Uma tabela fato contém vários fatos, cor-associadas a eventos de negócio. Uma tabela fato contém vários fatos, cor-
respondentes a cada uma de suas linhas. Cada fato pode armazenar umarespondentes a cada uma de suas linhas. Cada fato pode armazenar uma
ou mais medidas numéricas, que constituem os valores objetos da análi-ou mais medidas numéricas, que constituem os valores objetos da análi-
se dimensional. Possuem como chave primária, normalmente, um campose dimensional. Possuem como chave primária, normalmente, um campo
multi-keymulti-key, formado pelas chaves primárias das dimensões que com ela se, formado pelas chaves primárias das dimensões que com ela se
relacionam. Normalmente armazenam muito mais linhas do que as tabe-relacionam. Normalmente armazenam muito mais linhas do que as tabe-
las dimensão e merecem cuidado especial em função do seu alto volumelas dimensão e merecem cuidado especial em função do seu alto volume
e taxa de atualização. Contêm dados normalmente aditivos (manipuladose taxa de atualização. Contêm dados normalmente aditivos (manipulados
por soma, média etc.) e relativamente estáticos. Originam-se das entidadespor soma, média etc.) e relativamente estáticos. Originam-se das entidades
encontradas no modelo relacional que representam ações, eventos, aconte-encontradas no modelo relacional que representam ações, eventos, aconte-
cimentos, enfim, fatos que desejamos registrar. Daí a origem do seu nome.cimentos, enfim, fatos que desejamos registrar. Daí a origem do seu nome.
Normalmente associadas Normalmente associadas também a eventos de negócios, também a eventos de negócios, as tabelas fas tabelas fato re-ato re-
presentam: pedidos, presentam: pedidos, despachodespachos, s, pagamentopagamentos, s, transaçõtransações bancáres bancárias, ias, reservas dereservas de
hotel, reservas aéreas, admissões em hospital, matrículas etc.hotel, reservas aéreas, admissões em hospital, matrículas etc.
 As tabelas dimensão representam entidades de negócios e constituem asAs tabelas dimensão representam entidades de negócios e constituem as
estruturas de estruturas de entrada que servem para arentrada que servem para armazenar informações como mazenar informações como tempotempo,,
geografia, produto, cliente etc. As tabelas dimensão têm uma relação 1:Ngeografia, produto, cliente etc. As tabelas dimensão têm uma relação 1:N
com a tabela fato com a tabela fato e possuem um número significative possuem um número significativamente menor de linhasamente menor de linhas
do que as tabelas fato. Possuem múltiplas colunas de informação, algumasdo que as tabelas fato. Possuem múltiplas colunas de informação, algumas
das quais representam a sua hierarquia. Apresentam sempre uma chave pri-das quais representam a sua hierarquia. Apresentam sempre uma chave pri-
mária que lhes confere unicidade, chave esta que participa da tabela fatomária que lhes confere unicidade, chave esta que participa da tabela fato
como parte da sua chave múltipla. Devem ser entendidas como as tabelascomo parte da sua chave múltipla. Devem ser entendidas como as tabelas
BI2 – BBI2 – BUSINESSUSINESS  I INTELLIGENCENTELLIGENCE :: MODELAGEMMODELAGEM EE QUALIDADEQUALIDADE II CCARLOSARLOS B BARBIERIARBIERI
1:N também. 1:N também. OrOriginiginam-se, am-se, nornormalmente, malmente, das entidades objedas entidades objetos encontrtos encontradasadas
no modelo relacional: local, cursos, equipes, produtos, clientes etc.no modelo relacional: local, cursos, equipes, produtos, clientes etc.
A Figura 8.1 ilustrao conceito de tabelas fato e dimensão, num modelo dimen-A Figura 8.1 ilustra o conceito de tabelas fato e dimensão, num modelo dimen-
sional clássico. Nela aparecem três tabelas dimensão (produto, dia e loja) e uma tabelasional clássico. Nela aparecem três tabelas dimensão (produto, dia e loja) e uma tabela
fato (vendas). fato (vendas). A Figura 8.2 A Figura 8.2 ilustra a composição da ilustra a composição da tabela fato tabela fato na qual cada linha na qual cada linha repre-repre-
senta um fato e as colunas-chave são herdadas das tabelas dimensão associadas. Além dassenta um fato e as colunas-chave são herdadas das tabelas dimensão associadas. Além das
chaves, a tabela fato tem também as colunas com os valores das medidas definidas parachaves, a tabela fato tem também as colunas com os valores das medidas definidas para
aquele aquele modelo.modelo.
Figura 8.1Figura 8.1
Exemplo de modelo dimensional clássico.Exemplo de modelo dimensional clássico.
Figura 8.2Figura 8.2
ELSEVIERELSEVIER
CCAPÍTULOAPÍTULO 88 II MMODELAGEMODELAGEM D D IMENSIONALIMENSIONAL DEDE DDADOSADOS –  – DDETALHAMENTOETALHAMENTO
Após a aplicaApós a aplicação de várção de vários projetos dios projetos de De DWW, , percebe-se que as percebe-se que as tabelas ftabelas fato podemato podem
ter certer certa taxonomita taxonomia ou estilos. Pa ou estilos. Podem ser classodem ser classificadas em:ificadas em: fatos  fatos transaçõestransações, , fafatos periódi-tos periódi-
cos e fatos acumuladoscos e fatos acumulados. . As tabelas fAs tabelas fato transações representam o ato transações representam o armazenamento de armazenamento de umum
fato no seu nível de maior detalhe (mais granular). A Figura 8.3a mostra um modelofato no seu nível de maior detalhe (mais granular). A Figura 8.3a mostra um modelo
clássico de controle de fatos de vendas no varejo, em que se armazenam a quantidade eclássico de controle de fatos de vendas no varejo, em que se armazenam a quantidade e
o valor do fo valor do fato contextualizado pelo item ato contextualizado pelo item NF (item NF (item da nota fiscal), ou seja, da nota fiscal), ou seja, aquele fatoaquele fato
está expressando que naquele item de nota fiscal um produto foi vendido naquela loja,está expressando que naquele item de nota fiscal um produto foi vendido naquela loja,
naquele dia, na quantidade e nos valores especificados. Já a Figura 8.3b mostra uma es-naquele dia, na quantidade e nos valores especificados. Já a Figura 8.3b mostra uma es-
pécie de fato que, na realidade, acumula todos os itens vendidos relativos a certo produ-pécie de fato que, na realidade, acumula todos os itens vendidos relativos a certo produ-
to, to, em um períem um período de temodo de tempo (dia) dpo (dia) desaparecendo esaparecendo com a figurcom a figura do item Na do item NFF. . Esse tiEsse tipo depo de
fato é chamado, nessa taxonomia, de fato periódico, ou seja, representa um acumuladofato é chamado, nessa taxonomia, de fato periódico, ou seja, representa um acumulado
num período de tempo (no caso, dia) definido.num período de tempo (no caso, dia) definido.
Figura 8.3Figura 8.3
Modelo dimensional com hierarquia de dimensões-vendas no varejo.Modelo dimensional com hierarquia de dimensões-vendas no varejo.
A Figura 8.4 mostra um fato que possui ligeiras diferenças com relação aosA Figura 8.4 mostra um fato que possui ligeiras diferenças com relação aos
anteriores. Nessa figura, aparece um fato que expressa o controle de atividades dentroanteriores. Nessa figura, aparece um fato que expressa o controle de atividades dentro
de um projeto. A dimensão data, presente no modelo, tem dois papéis: um de indicarde um projeto. A dimensão data, presente no modelo, tem dois papéis: um de indicar
o início daquela atividade e outro de indicar o final dela no projeto. Observe queo início daquela atividade e outro de indicar o final dela no projeto. Observe que
algumas métricas associadas àquele fato dependem da finalização de outro eventoalgumas métricas associadas àquele fato dependem da finalização de outro evento
(término da atividade), além do que iniciou (início da atividade). Isso significa dizer(término da atividade), além do que iniciou (início da atividade). Isso significa dizer
que aquele fato será criado num certo momento, mas algumas métricas associadas aque aquele fato será criado num certo momento, mas algumas métricas associadas a
BI2 – BBI2 – BUSINESSUSINESS  I INTELLIGENCENTELLIGENCE :: MODELAGEMMODELAGEM EE QUALIDADEQUALIDADE II CCARLOSARLOS B BARBIERIARBIERI
é criado num instante e depois modificado para a atualização de algumas métricasé criado num instante e depois modificado para a atualização de algumas métricas
(valores realizados). Esse tipo de tabela fato, quando possui normalmente diversas(valores realizados). Esse tipo de tabela fato, quando possui normalmente diversas
datas para eventos diferentes que podem produzir valores diferentes, é chamado dedatas para eventos diferentes que podem produzir valores diferentes, é chamado de
tabela fato acumulada.tabela fato acumulada.
Figura 8.4Figura 8.4
Modelo dimensional atividades de um projeto.Modelo dimensional atividades de um projeto.
PPASSOS DA ASSOS DA MODELAGEM DIMENSIONALMODELAGEM DIMENSIONAL
Os passos Os passos aqui descraqui descritos devem ser considerados dentro de itos devem ser considerados dentro de um processo maior,um processo maior,
que poderá ser centrado em uma abordagem ágil ou mesmo na forma que poderá ser centrado em uma abordagem ágil ou mesmo na forma tradicional de de-tradicional de de-
senvolvimento de projetos de BI. No Capítulo 9 discutiremos os passos para os projetossenvolvimento de projetos de BI. No Capítulo 9 discutiremos os passos para os projetos
de uma aplicação BI e no Capítulo 11, abordaremos a aplicação do BI ágil. Os passos ade uma aplicação BI e no Capítulo 11, abordaremos a aplicação do BI ágil. Os passos a
seguir descritos, relacionados à modelagem dimensional, devem ser considerados comoseguir descritos, relacionados à modelagem dimensional, devem ser considerados como
atividades naqueles contextos.atividades naqueles contextos.
De�nição de granularidadeDe�nição de granularidade
A primeira é a determinação daA primeira é a determinação da  granu granulidlidadeade desejada para o processo a ser desejada para o processo a ser
controlado. Essa análise é de fundamental importância, pois define de forma com-controlado. Essa análise é de fundamental importância, pois define de forma com-
binatória os binatória os níveis dimensionais que serão usados para o níveis dimensionais que serão usados para o armazenamento dos dados.armazenamento dos dados.
Por exemplo, numa rede de supermercado, que deseja controlar o comportamentoPor exemplo, numa rede de supermercado, que deseja controlar o comportamento
de vendas de produtos por região ao longo do tempo, podemos ter várias possi-de vendas de produtos por região ao longo do tempo, podemos ter várias possi-
bilidades: a trincabilidades: a trinca  prod produtouto-lo-loja-ja-diadia  seria uma alternativa, como também seriam  seria uma alternativa, como também seriam
possíveis outras variações, como produto-loja-mês (nesse caso, com a consolidaçãopossíveis outras variações, como produto-loja-mês (nesse caso, com a consolidação
na dimensão tempo, de dia para mês) ou produto-região-dia (aqui com consolida-na dimensão tempo, de dia para mês) ou produto-região-dia (aqui com consolida-
ção da dimensão geografia, de loja para região). Os fatores que definem a escolhação da dimensão geografia, de loja para região). Os fatores que definem a escolha
da granularidade estão relacionados diretamente com a necessidade da informaçãoda granularidade estão relacionados diretamente com a necessidade da informação
naquele detalhe, com o volume de dados a ser mantido e com o processamentonaquele detalhe, com o volume de dados a ser mantido e com o processamento
necessário para produzi-lo. O volume pode ser estimado através de uma média denecessário para produzi-lo. O volume pode serestimado através de uma média de
ELSEVIERELSEVIER
CCAPÍTULOAPÍTULO 88 II MMODELAGEMODELAGEM D D IMENSIONALIMENSIONAL DEDE DDADOSADOS –  – DDETALHAMENTOETALHAMENTO
em determinado dia, sejam vendidos 10 mil itens de produtos. Se tivermos 200 lo-em determinado dia, sejam vendidos 10 mil itens de produtos. Se tivermos 200 lo-
 jas  jas e de desejesejararmos mos ararmazemazenar nar os os dadodados s por por 10 10 anos anos (365(365*10) *10) tereteremos mos algo algo em em tortornono
de (10.000*200*3650) 7,3 bilhões de (10.000*200*3650) 7,3 bilhões de registros. de registros. Se considerarmos Se considerarmos que teremos trêsque teremos três
chaves (chave-produto, chave-loja, chave-dia, cada qual com 5 bytes) e três valoreschaves (chave-produto, chave-loja, chave-dia, cada qual com 5 bytes) e três valores
numéricos (cada qual com 4 bytes) teremos a bagatela de 7,3 bilhões de registrosnuméricos (cada qual com 4 bytes) teremos a bagatela de 7,3 bilhões de registros
vezes 27 bytes (15 + 12), o que levará a um montante de 189 gigabytes, sem contarvezes 27 bytes (15 + 12), o que levará a um montante de 189 gigabytes, sem contar
gastos com índices gastos com índices e outras e outras tabelas acessórias.tabelas acessórias.
Note que estamos considerando somente uma tabela fato. Perceba que qualquerNote que estamos considerando somente uma tabela fato. Perceba que qualquer
acréscimo em uma das variáveis dimensionais pode elevar o volume calculado a pata-acréscimo em uma das variáveis dimensionais pode elevar o volume calculado a pata-
mares estratosféricos. Aqui caberia, entre outros, um questionamento sobre a dimensãomares estratosféricos. Aqui caberia, entre outros, um questionamento sobre a dimensão
temporal. Dez anos são suficientes para perceber os padrões escondidos de comporta-temporal. Dez anos são suficientes para perceber os padrões escondidos de comporta-
mento de vendas de produtos em lojas cujas ferramentas de data mento de vendas de produtos em lojas cujas ferramentas de data mining se propõem amining se propõem a
revrevelar? O outro aspecto importante na elar? O outro aspecto importante na definição da granularidade é definição da granularidade é o trabalho para seo trabalho para se
chegar a ela. Verifique que, em nosso exemplo, a granularidade foi definida em termoschegar a ela. Verifique que, em nosso exemplo, a granularidade foi definida em termos
dede produto-loja-dia, produto-loja-dia, o que nos f o que nos faz pressupor que teremos um procaz pressupor que teremos um processamento diário deessamento diário de
consolidação para transformarmos os nossos registros (transações) de vendas (com osconsolidação para transformarmos os nossos registros (transações) de vendas (com os
seus itens) em totais por produto e por loja. Isso pode ser feito automaticamente nosseus itens) em totais por produto e por loja. Isso pode ser feito automaticamente nos
vários vários caixas automáticos (PDcaixas automáticos (PDV) e enviados na janela da noite V) e enviados na janela da noite para uma central de atua-para uma central de atua-
lização do DWlização do DW. A granula. A granulariridade pode varidade pode variar na dimensão tempar na dimensão temporal entre diároral entre diária, ia, mensalmensal
etc. No nível de documentos que definem transações, o item menor pode ser a granu-etc. No nível de documentos que definem transações, o item menor pode ser a granu-
laridade ideal. Por exemplo, os itens de uma OC (ordem de compra), NF (nota fiscal),laridade ideal. Por exemplo, os itens de uma OC (ordem de compra), NF (nota fiscal),
OE (ordem de expedição) e apólice são normalmente definidos como a gOE (ordem de expedição) e apólice são normalmente definidos como a granularidaderanularidade
mais informativa. De maneira geral, deve-se sempre partir de modelos que contemplemmais informativa. De maneira geral, deve-se sempre partir de modelos que contemplem
a maior granularidade possível (maior detalhe), pois dela poderão ser obtidos todos osa maior granularidade possível (maior detalhe), pois dela poderão ser obtidos todos os
outros níveoutros níveis desejados de gis desejados de granularidade superranularidade superior.ior.
De�nição das tabelas dimensãoDe�nição das tabelas dimensão
Note que as dimensões já Note que as dimensões já foram discutidas, foram discutidas, até porque a especificação da granu-até porque a especificação da granu-
laridade, feita no passo anterior, depende delas. No caso, as dimensões definidas foramlaridade, feita no passo anterior, depende delas. No caso, as dimensões definidas foram
 produto-loja-dia produto-loja-dia. Observe que as dimensões geografia e tempo (loja e dia, nesse exem-. Observe que as dimensões geografia e tempo (loja e dia, nesse exem-
plo específico) quase sempre estarão presentes nos projetos de DW. O importante nessaplo específico) quase sempre estarão presentes nos projetos de DW. O importante nessa
etapa é a hierarquia das dimensões e a definição dos atributos restantes de cada dimen-etapa é a hierarquia das dimensões e a definição dos atributos restantes de cada dimen-
são. Por exemplo, na dimensão tempo, podem existir uma ou mais hierarquias comosão. Por exemplo, na dimensão tempo, podem existir uma ou mais hierarquias como
ANOANOMÊSMÊSDIA, espécie de hierarquia natural ou ESTAÇÃO DO ANODIA, espécie de hierarquia natural ou ESTAÇÃO DO ANODIA,DIA,
hierarquia formada pela presença de atributos do nível, como ESTAÇÃO DO ANO.hierarquia formada pela presença de atributos do nível, como ESTAÇÃO DO ANO.
No caso da dimensão PRODUTO, podem existir várias hierarquias também, comoNo caso da dimensão PRODUTO, podem existir várias hierarquias também, como
CATEGORIACATEGORIAPRODUTO ou MARCAPRODUTO ou MARCAPRODUTO. No caso das lojas, po-PRODUTO. No caso das lojas, po-
deríamos ter hierarquias como REGIÃOderíamos ter hierarquias como REGIÃOLOJA, do ponto de vista geográfico ouLOJA, do ponto de vista geográfico ou
REGIÃO-VENDAREGIÃO-VENDALOJA, do ponto de vista de gerência de vendas, montada porLOJA, do ponto de vista de gerência de vendas, montada por
atributo de nível. Todas essas hierarquias de dimensões comporão, na forma de atribu-atributo de nível. Todas essas hierarquias de dimensões comporão, na forma de atribu-
tos, os registros das tabelas dimensão. Dessa forma, as nossas tabelas dimensão estariamtos, os registros das tabelas dimensão. Dessa forma, as nossas tabelas dimensão estariam
assim constituídas:assim constituídas:
TdLoja (TdLoja (chave-lojachave-loja, nome-loja, endereço-loja, cidade-loja, estado-loja, cod-re-, nome-loja, endereço-loja, cidade-loja, estado-loja, cod-re-
gião, região-venda)gião, região-venda)
TdProduto (TdProduto (chave-produtochave-produto, marca, categoria, tipo-embalagem, departamento), marca, categoria, tipo-embalagem, departamento)
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
A Figura 8.5 mostra um esquema dimensional com as hierarquias de dimensões
das tabelas definidas anteriormente, com a notação destacando os atributos de níveis, em
círculos escuros. Observe que as várias hierarquias de dimensões aparecem no modelo,
possibilitando caminhos alternativos de acesso aos dados da tabela fato.
Figura 8.5
Modelo dimensional-hierarquia de dimensões.
A Figura 8.6 mostra um esquema dimensional semelhante, com maior nível de
detalhamento, tanto nas dimensões quanto em fato. As dimensões estão estruturadas
em níveis de maior profundidade e a fato está com um número maior de métricas.
Também aparecem outros atributos de níveis, como semana e feriado (dia), região de
venda e gerente (loja) e marca comercial e tipo (produto). Nos atr ibutos da classe tipo,
maior riqueza semântica pode ser colocada no esquema. A ideia é a mesma adotada
em modelos tradicionais, quando se usam os conceitos de classificação e generaliza-
ção, também chamados de tipo e subtipo. O objetivo é caracterizar a cobertura do
domínio (total ou parcial) e a disjunção dos valores (disjuntos ou sobrepostos). No
exemplo, mostra-se a combinaçãoDP (disjunção = disjunto e cobertura = parcial).
Isso significa que os produtos poderão ser do tipo (diet , light , normal), não podendo ser
dois deles ao mesmo tempo, ou seja, diet  e light  simultaneamente. A cobertura parcial
diz que há produtos que se encaixam em outro tipo não elencado naquela lista, ou
ELSEVIER
CAPÍTULO 8 I MODELAGEM D IMENSIONAL DE DADOS – DETALHAMENTO
podem enriquecer o modelo, carregando mais informações relevantes para o projeto.
A Figura 8.6 ainda mostra um atributo de nível, para LOJA (região de venda), que
está associada diretamente ao nível de país. Isso significa que região de venda é um
conceito que extrapola a hierarquia natural de região, estado e cidade, ligando uma
loja a uma hierarquia alternativa PAÍSREGIÃO-VENDALOJA. Esse conceito
é denominado convergência e deve ter a sua integr idade verificada no nível de ETC
(fase de extração, transformação e carga), garantindo que toda loja esteja associada a
uma região de venda, válida no país.
Figura 8.6
Modelo dimensional – detalhe.
Normalização das tabelas dimensão
As tabelas dimensão, diferentemente das tabelas fato, estão mais sujeitas ao pro-
cesso de desnormalização. Existem duas correntes diferentes com relação aos aspectos
de normalização das tabelas dimensão:
 STAR SCHEMA. Esquema estrela: abordagem que recomenda a não nor-
malização das tabelas dimensão.
 SNOWFLAKE SCHEMA. Esquema de flocos de neve: abordagem que re-
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
Observe que na tabela dimensão LOJA (TDLoja), eu tenho o código da re-
gião (cod-região), mas não tenho sua descrição, que provavelmente estará em outra
tabela. Caso eu desejasse manter essa informação de descrição na própria tabela
TDLoja, estaria adotando a estratégia de star schema. Caso contrário, estaria, com
a abordagem snowflake schema, que sugere, na realidade, que as tabelas dimensão
fiquem normalizadas numa espécie de camadas, daí o nome flocos de neve. O mes-
mo acontece com a tabela TDProduto. A descr ição da categoria do produto poder ia
estar dentro da tabela dimensão produto (star schema) ou na tabela de categoria,
caracterizando o snowflake. A Figura 8.7 mostra um esquema com as duas dimen-
sões projetadas (loja e produto), segundo a abordagem snowflake, com as diferen-
tes informações distribuídas em níveis hierárquicos, com a possibilidade de maior
overhead  no processamento das junções entre elas, sendo quatro na dimensão loja e
três na dimensão produto. Na Figura 8.8, a dimensão produto está projetada como
esquema estrela, mostrando as três tabelas unidas em uma só estrutura (categoria,
subcategoria e produto), evidenciando, por outro lado, a redundância, pela replica-
ção dos dados de categoria e subcategor ia em cada instância de produto. Nesse caso,
o número de junções foi reduzido a uma.
Figura 8.7
Modelo dimensional – snowflake.
ELSEVIER
CAPÍTULO 8 I MODELAGEM D IMENSIONAL DE DADOS – DETALHAMENTO
Figura 8.8
Modelo dimensional – star schema.
A utilização do esquema estrela é extremamente recomendável, pelos aspec-
tos de ganhos de desempenho, quando comparada com o esquema de flocos de neve.
Lembre-se de que a redundância no caso do esquema estrela será amplamente com-
pensada pelas reduções de comandos de junção, que seriam necessários para recom-
por a informação desejada, buscando-a em outras tabelas. Como as tabelas dimensão
requerem menos espaço quando comparadas com as tabelas fato, o que será efetiva-
mente poupado, no caso de snowflake, será certamente desprezível, comparado com
os espaços requeridos pelas tabelas fato. Em um projeto de data warehouse, o grande
espaço consumido fica por conta das tabelas fato, exatamente pelo seu volume expo-
nencial, proporcional à granularidade definida. Considere, para efeito de raciocínio, o
seguinte cenário: suponha uma tabela categoria de produtos, composta de dois campos:
um campo código-categoria, com 2 bytes, e outro campo descrição-categoria, com
13 bytes. Se pensarmos em snowflake, a tabela produto terá somente o código da ca-
tegoria, que será a FK, necessária ao relacionamento, ou seja, mais 2 bytes. Se fosse em
um esquema estrela, a tabela produto teria os dois campos, o que acresceria o tamanho
em 13 bytes. Se considerarmos uma dimensão com 200 mil produtos, teremos um
ganho em snowflake da ordem de 2,6 megabytes, comparado com o esquema estre-
la. Se considerarmos que um DW dessa natureza poderia ter 260 gigabytes, o ganho
na economia de espaço será de 0,00001%, absolutamente desprezível se pensarmos
em termos de desempenho ganho pela supressão dos comandos  join entre as tabelas.
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
eles, tem-se uma conformação denominada esquema multiestrela. Essa é a forma de
definir data marts interligados, que gradativamente formarão uma estrutura de data
warehouse, quando se adota a estratégia bottom-up. Para tal, é importante que as di-
mensões guardem entre si uma compatibilidade e as tabelas fato estejam definidas em
granularidade compatível com as diversas dimensões interligadas. A Figura 8.9 ilustra os
conceitos de esquema estrela, esquema flocos de neve e esquema multiestrela, sendo este
último uma forma de integração de esquemas estrelas através de dimensões compatíveis.
Figura 8.9
Modelo dimensional – star schema, snowflake e multiestrela.
Relacionamentos de atributos das tabelas dimensão
As tabelas dimensão carregam atributos que estabelecem relacionamentos entre
si. É necessário um processo cuidadoso de modelagem para melhor distribuí-los no
esquema dimensional. O exemplo anterior mostrou as estratégias de normalização de
tabelas dimensão, separando os atributos em hierarquias e criando o estilo snowflake,
com suas vantagens e desvantagens. De maneira geral podemos caracterizar os relacio-
namentos entre tabelas dimensão da seguinte forma:
 As tabelas dimensão de uma hierarquia normalmente não possuem relacio-
namentos com outras de quaisquer hierarquias e, dessa forma, as dimensões
ficam independentes. Por exemplo, TEMPO e LOJA, num modelo dimensio-
nal de varejo, não guardam relacionamento direto, com exceção da interseção
ELSEVIER
CAPÍTULO 8 I MODELAGEM D IMENSIONAL DE DADOS – DETALHAMENTO
definição das dimensões, com relação a seus atributos, maior será a possibilidade de
análises complexas e sofisticadas, tanto nas aplicações OLAP quanto nas de MINING.
Lembre-se de que as dimensões são a porta de entrada dos DW/DM. Através delas
(no fundo, via seus atributos), poderemos navegar por pesquisas indexadas que sem-
pre estarão apontando para os fatos a elas relacionados. As dimensões clássicas, como
TEMPO e CLIENTE, já foram exaustivamente detalhadas e encontram-se r icas re-
ferências a respeito.
 DIMENSÃO TEMPO: é uma dimensão clássica e mandatória em projetos
de DW e contém vários atributos. Se a granularidade definida for DIA,
poderemos ter os seguintes atributos, além da chave da dimensão a ser dis-
cutida futuramente:
 DATA-COMPLETA. Ex.: 01- 01-2000
 DIA-SEMANA. Ex.: 6ª-FEIRA
 NÚMERO-DIA-MÊS. Ex.: 01
 NÚMERO-DIA-GERAL-CORRIDO-NO-ANO (01- 365)
 NÚMERO-SEMANA-MÊS (01 a 04 ou 05 )
 NÚMERO-SEMANA-GERAL-CORRIDO (01 a 52)
 MÊS-ANO (janeiro a dezembro)
 NÚMERO-MÊS-GERAL-CORRIDO (01-12)
 TRIMESTRE (01-0 4)
 PERÍODO-FISCAL (normalmente de 01 a 04)
 TAG-DIA-FINAL-SEMANA (indica se sábado ou domingo)
 TAG-ÚLTIMO-DIA-MÊS (indica se é último dia do mês)
 TAG-FERIADO (indica se é feriado)
Observe que existem atributos, como indicador de final de semana, indica-
dor de final de mês, indicador de feriado, que permitirão análises interessantes sobre
acontecimentos e comportamentos dos negócios, nesses momentos. Se estivermos
falando de um DW/DM de vendas poderemos comparar os fatos de vendas nesses
períodos diferenciados. Em um projeto de DW/DM de controle de audiência de TV
a cabo, por exemplo, esses atributos da dimensão tempo tornar-se-ão imprescindíveis
para a análise de comportamento dos assinantes. A dimensãoTEMPO deverá ser pla-
nejada de acordo com a sua perspectiva de uso (quatro anos, oito anos etc.) e a tabela
dimensão TEMPO deverá ser carregada na totalidade no início do projeto, já que as
suas informações são conhecidas e independentes das tabelas fato com as quais serão
relacionadas. Quando há necessidade de controlar os fatos em nível de hora, pode-se
criar outra dimensão, composta por Hora-Minuto-Segundo, dependendo da granu-
laridade desejada.
 DIMENSÃO CLIENTE: essa dimensão, obviamente importante em qual-
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
CRM (Customer Relationship Management ) e de CDI (Customer Data Integra-
tion). O detalhamento de informações sobre o cliente passou a ser requisito
fundamental no desenvolvimento de sistemas destinados a definir aspectos
diferenciais de negócios. Quem conhecer melhor o seu cliente, maior chan-
ce terá de manter a sua fidelização, ou de buscar novos negócios através
desses relacionamentos. O conjunto de atributos de um cliente poderá va-
riar com o seu tipo, mas de maneira geral alguns serão sempre importantes,
além da chave:
SAUDAÇÃO Ex.: DR.
PRENOME E NOME DO MEIO Ex.: ROBERTO PEREIRA
SOBRENOME Ex.: CARDOSO
SUFIXO Ex.: JR.
ETNIA DO NOME Ex.: PORTUGUÊS
GÊNERO Ex.: MASCULINO
TÍTULO Ex.: ADVOGADO
E-MAIL Ex.: RCARDOSO@BARBIX.COM.BR
SITE Ex.: WWW.BARBIX.COM.BR
CLASSIFICAÇÃO Ex.: 05
SUBCLASSIFICAÇÃO Ex.: 03
ORGANIZAÇÃO Ex.: BAR@BI-BUSINESS INTELLIGENCE
SUBORGANIZAÇÃO Ex.: DEPARTAMENTO JURÍDICO
SEGUNDO NÍVEL DA ORGANIZAÇÃO Ex.: SEÇÃO DE ANÁLISES DE LITÍGIOS
NÚMERO DO ENDEREÇO Ex.: 4.300
NOME DA RUA Ex.: AVENIDA URUGUAI
TIPO DA RUA Ex.: AVENIDA
DIREÇÃO Ex.: SUL
CAIXA POSTAL Ex.: 2348
CONJUNTO/ALA (SUÍTE) Ex.: B2
COMPLEMENTO Ex.: C1
CIDADE Ex.: BELO HORIZONTE
DISTRITO Ex.: SION
ESTADO Ex.: MINAS GERAIS
PAÍS Ex.: BRASIL
CONTINENTE Ex.: AMÉRICA DO SUL
CODIGO POSTAL PRIMÁRIO Ex.: 30190
CÓDIGO POSTAL SECUNDÁRIO Ex.: 131
TELEFONE-CÓDIGO-PAÍS Ex.: 55
CÓDIGO-ÁREA Ex.: 31
TELEFONE Ex.: 525-8798
FAX-CÓDIGO-PAÍS Ex.: 55
PAGER Ex.: 33-671
ELSEVIER
CAPÍTULO 8 I MODELAGEM D IMENSIONAL DE DADOS – DETALHAMENTO
Nos projetos de DW/DM de empresas de utilidade, como companhias ener-
géticas, de água, de gás etc., a figura do cliente estará desvinculada da figura do PON-
TO-DE-CONSUMO, embora com relacionamento entre eles. O primeiro conterá os
dados típicos do cliente consumidor dos serviços e o segundo estará vinculado aos da-
dos da unidade consumidora (endereço, logradouro, equipamentos instalados etc.). Essa
desvinculação torna-se importante na medida em que o consumidor poderá mudar de
ponto de consumo ao longo da sua histór ia de relacionamentos com a empresa.
Dinâmica das dimensões
A dinâmica das dimensões está relacionada com as estratégias de manutenção
das informações quando ocorrerem processos de atualização. Algumas dimensões,
por suas características, tendem a ser mais voláteis do que outras. As dimensões
que mais mudam são chamadas Rapidly Changing Dimension, ou dimensões que se
alteram rapidamente. A dimensão cliente tem forte tendência a mudanças de atribu-
tos, como idade, endereço, escolaridade etc. Outras dimensões mudam com menos
frequência ou mais vagarosamente. São as chamadas Slowly Changing Dimension. As
dimensões loja, produto etc. tendem a ser classificadas nessa categor ia. Isso definido,
há que se estabelecer uma abordagem para quando houver, por exemplo, atualização
do endereço de uma loja ou uma modificação da descr ição do PRODUTO (atribu-
to da dimensão PRODUTO). A manutenção desses dados, com os seus diferentes
valores em função do tempo, é de fundamental importância nos sistemas de DW/
DM e não é muito considerada nos sistemas transacionais, nos quais prevaleciam os
dados do momento, sem grande relevância para os aspectos históricos. A Figura 8.24
mostra basicamente três alternativas para a abordagem das dimensões SCD (Slowly
Changing Dimension):
Figura 8.24
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
 Atualização do valor alterado sem manutenção do histór ico: é um processo
mais simples, chamado de abordagem tipo 1, porém não preserva a variação
histórica do dado, conforme mostrado na Figura 8.24a. Os dados antigos são
simplesmente substituídos pelos novos.
 Criação de nova ocorrência daquela dimensão: com essa abordagem,
chamada tipo 2, cria-se nova ocorrência da dimensão, que passará,
a partir dali, a se conectar com os fatos. Com essa abordagem, seg-
mentam-se os dados da dimensão e dos fatos em vários subconjuntos
diferentes, tantos quantos forem as variações da dimensão, conforme
mostrado na Figura 8.24b. Essa abordagem é a mais recomendada para
a manutenção do histórico evolutivo das dimensões. Os diversos perfis
da dimensão são preservados ao longo da sua vida. Para ter perfeita
noção de quando aquele novo perfil da dimensão passou a valer, é
importante que se adicionem alguns atributos de controle à dimensão.
Por exemplo:
 Data de início de validade daquele novo perfil.
 Data de fim de validade do perfil (deve corresponder à data de início de
um novo perfil da dimensão), com a consequente criação de uma nova
ocorrência da dimensão.
 Manutenção de dois campos registrados na dimensão: com a abordagem
tipo 3, somente dois registros são mantidos, em estado cíclico, preservan-
do-se apenas a versão anter ior do dado juntamente com a versão atual,
ou seja, somente as duas últimas. Resolve o problema parcialmente e
não é a abordagem mais recomendada para aqueles projetos que desejam
maior consistência histórica nos seus dados. A Figura 8.24c ilustra esse
conceito.
No caso de projetos de dimensões com alto volume e alta volatilidade (Ra-
 pidly Changing Dimension, RCD), a estratégia recomendada é a divisão dos dados
da dimensão em dois registros diferentes, separando-se os dados estáticos dos dados
voláteis. Essa estratégia, comum nos projetos de bancos de dados tradicionais, criará
uma situação na qual os atributos da dimensão estarão em dois registros diferentes,
com chaves separadas para identificá-los e um relacionamento que permita a junção
deles. A parte volátil da dimensão crescerá à medida que as atualizações da dimen-
são acontecerem. Da mesma forma, os dados da tabela fato estarão segmentados
logicamente em subconjuntos, apontados pela dimensão. A combinação das chaves
que formam a dimensão dividida permite a segregação dos registros fatos associados
àquela combinação.
Essa solução otimiza de certa forma os dados, separando-os por volatilidade, mas
implica maior trabalho nas junções da TFato com a dimensão. A Figura 8.25 ilustra esse
ELSEVIER
CAPÍTULO 8 I MODELAGEM D IMENSIONAL DE DADOS – DETALHAMENTO
Figura 8.25
Estratégia para implementação de dimensões grandes e voláteis.
Dimensões degeneradas
O conceito de dimensão degenerada está relacionado normalmente com os
objetos do tipo evento, como ordem de compra, nota fiscal ou pedido de serviços. Es-
sas entidades são compostas de itens (item de OC, linha da NF, itens do PS). Quando a
tabela fato está definida no nível de granularidade de itens, o número do documento
maior (número da OC, da NF ou do PS) estará na tabela fato para desempenhar o
papel de integrador ou “alinhavador” dos itens daquele documento. Como a dimen-
são é item e não existe uma dimensão para ordem de compra, ela é considerada uma
dimensão “degenerada”. A Figura 8.26 ilustra o conceito e remete ao conceito de
fato transação, mostrado na Figura 8.3a. Naquela figura, a solução final poderia ser
a transferência do número da nota fiscal para dentro da tabela fato e a colocação de
uma chave sequencial na dimensão item. Isso caracterizaria o uso de uma dimensão
degenerada nota fiscal.
Figura 8.26
Dimensões degeneradas.
ELSEVIER
CAPÍTULO 8 I MODELAGEM D IMENSIONAL DE DADOS – DETALHAMENTO
Cuidados na de�nição dos agregados
Valores aditivos. As tabelas agregadas exigem alguns cuidados nas suas defini-
ções. A principal é a definição dos valores aditivos que estarão habitando os agregadosporque, lembre-se, nem todas as métricas armazenadas nas tabelas granulares são aditivas
em todas as dimensões (algumas são semiaditivas ou não aditivas). Isso significa que os
atributos da(s) tabela(s) fato de agregados poderão ser diferentes dos das tabelas fato
granulares. Esse ponto já foi detalhado anteriormente.
Precisão. Outro cuidado reside no fato de se definir criteriosamente a  precisão
dos valores aditivos dos agregados, que deverão ser maiores do que os usados nos respec-
tivos valores das tabelas granulares. Caso contrário, experimentaremos overflow  em opera-
ções de adição. Outro aspecto, muito importante, se relaciona com a definição de tabelas
fato agregadas e tabelas dimensão agregadas em estruturas fisicamente diferentes das gra-
nulares. Iniba qualquer impulso de armazenar os valores dos fatos granulares e agregados
na mesma tabela, mesmo que o número de tabelas do seu esquema cresça muito. Embora
esse número grande de tabelas possa parecer um complicador para o usuário, alguns fa-
tores atenuantes, como o mecanismo de navegação de agregados oferecido em certos
pacotes, estão surgindo para cr iar transparência no uso dessas informações consolidadas de
natureza gerencial, sem que o usuário explicitamente defina sua utilização.
Entendendo e produzindo os agregados
Uma forma de entender melhor os agregados é através dos comandos SQL que
os produzem. Por exemplo, podemos definir alguns agregados (tabela de agregados,
TAG), como a seguir:
1. Agregados por loja: tabela Tag_por_Loja
 INSERT INTO TAG_POR_LOJA AS
 SELECT NOME - LOJA, SUM (VALOR-VENDIDO-REAL), SUM
(CUSTO-REAL)
FROM TdLOJA, TfVENDAS
 WHERE TdLOJA. CHAVE-LOJA = TfVENDAS.CHAVE-LOJA
 GROUP BY NOME-LOJA
Equivale à agregação por lojas de todos os produtos, todos os dias. Estamos con-
siderando que o nome-loja é um campo único.
2. Agregados por loja e por mês: tabela Tag_por_Loja_Mês
INSERT INTO TAG_POR_LOJA_MÊS AS
 SELECT NOME-LOJA, MÊS, SUM (VALOR-VENDIDO-REAL), SUM
(CUSTO-REAL)
FROM TdLOJA, TfVENDAS, TdDIA
WHERE TdLOJA.CHAVE – LOJA = TfVENDAS.CHAVE - LOJA AND
 TdDIA.CHAVE DIA= TfVENDAS.CHAVE-DIA
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
Equivale à agregação por loja, por mês, para todos os produtos.
3. Agregado por região de venda, por mês, por categoria:
INSERT INTO TAG_POR_REG_MÊS_CATEGORIA AS
SELECT REGIÃO - VENDA, MÊS, CATEGORIA, SUM (VALOR-VEN-
DIDO-REAL),
SUM (CUSTO-REAL)
FROM TdLOJA, TfVENDAS, TdPRODUTO, TdDIA
WHERE TdLOJA.CHAVE-LOJA = TfVENDAS.CHAVE- LOJA AND
TdDIA.CHAVE- DIA = TfVENDAS.CHAVE - DIA AND
 TdPRODUTO.CHAVE-PRODUTO = TfVENDAS.CHAVE-PRODUTO
 GROUP BY REGIÃO-VENDA, MÊS, CATEGORIA
O projeto e a criação das tabelas agregadas deverão ser revestidos de alguns cui-
dados operacionais:
 As tabelas agregadas deverão compor um modelo separado, com a definição
das tabelas granulares fato e das tabelas dimensão (Figura 8.35). Isso evitará
contenções mútuas no momento da sua carga ou atualização.
Figura 8.35
Estratégia de implementação de dados agregados.
 Uma definição importante no projeto operacional dos agregados é a es-
tratégia de carga total versus a sua atualização incremental . Essa decisão
ELSEVIER
CAPÍTULO 8 I MODELAGEM D IMENSIONAL DE DADOS – DETALHAMENTO
 A carga/atualização dessas tabelas agregadas deverá ser analisada com relação
à janela (normalmente noturna) disponível para seu processamento. Pelo
volume e número de tabelas agregadas, é importante considerar processos
paralelos de carga/atualização ou uso de máquinas com sistemas operacio-
nais que explorem paralelismo ou mesmo a análise criteriosa de SGBDs
relacionais que paralelizam comandos SQL.
Uso das informações agregadas
Um aspecto fundamental no projeto dos agregados é a sua efetiva utilização.
Com a possibilidade de ter esquemas com muitas tabelas e objetivando criar mecanis-
mos de transparência para o usuário final, já existe o conceito de navegador de agrega-
dos. Na realidade, é mais uma camada colocada entre a ferramenta OLAP (que solicita
os dados com base na visão granular) e o servidor de DW/DMart. Esse navegador
realiza (transparentemente) a tradução das solicitações, convertendo comandos SQL
granulares nos equivalentes que trabalham informações agregadas. Também, como o de-
senvolvimento da indústria dos otimizadores SQL, hoje esses elementos estão cada vez
mais dotados de inteligência nessas traduções. Além disso, essas ferramentas oferecem no
seu arsenal algumas funções que permitem melhor definir os agregados (com base em
análises de histograma) e monitoram e registram o uso de cada tabela agregada, dando
indicações de sua efetiva utilidade nos processos de tomada de decisão.
METADADOS
Um dos pontos mais importantes na documentação das aplicações OLAP e do
ambiente de data warehouse/data mart é a definição dos seus metadados. O modelo
da Figura 8.36 mostra uma possível estrutura que poderia ser implementada como
apoio ao processo de documentação do ambiente. O modelo apresenta uma série de
entidades e relacionamentos que poder iam ser implementados em tabelas relacionais,
documentando elementos do modelo dimensional. O modelo proposto apresenta
uma tabela com aplicações OLAP, que poderia conter informações sobre o órgão
patrocinador, a data de implementação, o assunto-base relacionado à aplicação etc.
Associados a ela estariam os data marts. Significa que certa aplicação OLAP poderia
utilizar vários marts e que cada data mart poder ia estar presente em várias aplicações.
O mesmo se aplica ao conceito de cubo, definido, nesse contexto, como uma com-
binação de dados de tabelas fato ou dimensão. Consideramos que uma TFato está
somente em um cubo e que um cubo teria somente uma TFato. Já um cubo pode
ter várias TDimensão e cada uma delas pode participar de vários cubos. Um cubo
pode ser usado em várias aplicações OLAP, e cada aplicação OLAP logicamente pode
ter vários cubos. Cada DM pode ser formado de várias tabelas fato e várias tabelas
dimensão, enquanto cada uma delas (tabela fato ou tabela dimensão) pode estar sendo
usada em vários marts. No caso de tabelas dimensão, esse alias é um grande trunfo,
quando utiliza dimensões que podem ser compartilhadas por vários projetos de DM
que, dessa forma, gradativamente constituem o DW (data warehouse). O registro his-
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
naquele DM; por exemplo, a data em que aquela tabela foi implementada naquele
projeto de DM. Cada tabela teria as suas informações básicas, como identificação,
semântica etc. As tabelas fato e dimensão teriam os seus atributos definidos em ta-
belas separadas. As informações sobre a integridade referencial entre as tabelas fato
e dimensão poderiam estar armazenadas, embora normalmente sejam informações
mais ou menos fixas, como restrição para deleção e inserção. Outra informação que
poderia ser registrada é a forma de tratamento que certa métrica poderia sofrer. Por
exemplo, poderia ser aditiva numa dimensão, mas não aditiva em outra, conforme
mostrado pelo relacionamento ternário proposto.
Figura 8.36
Exemplo de modelo de metadados para um ambiente de data mart e aplicações OLAP.
Com o objetivo de enriquecer o modelo, poderíamos armazenar também as
informações de extração, tratamento e carga de cada valor (atributo) registrado nas
tabelas fato ou dimensão. Essas informações (ORIGEM) poderiam estar armazenadas
nos atributos da tabela dimensão ou nas métricas da tabela fato, ou em outras tabelas
normalizadas. A recursividade entre as tabelas fato mostraria a junção possível entre elas,
via comandos de drill-across. As informações sobre versões de tabelas dimensão também
estariam registradas, visando ao controle das mudanças de estado de atributos de dimen-
sões. Os usuários, em nível de cubos ou em nível de tabelas fato ou dimensão, poderiam
ELSEVIER
CAPÍTULO 8 I MODELAGEM D IMENSIONAL DE DADOS – DETALHAMENTO
fundamentais dentro do contexto do BI2, no domínio de qualidade dos dados e de
informações produzidas. Esse temadeverá ser foco de ações da governança de dados,
conforme discutido anteriormente.
LABORATÓRIOS DE MODELAGEM DIMENSIONAL DE DADOS
Introdução
Nesta parte, desenvolveremos alguns exemplos de modelagem, buscando solu-
ções dimensionais ou bancos de dados de informações histór icas ou depósitos consoli-
dados, como ODS (Operational Data Store ), sempre com o objetivo de reforçar os con-
ceitos de business intelligence. Os exemplos foram desenvolvidos sob a ótica do autor e
não representam, obviamente, a única solução para os problemas propostos. O objetivo
maior é proporcionar uma forma de discussão e aplicação dos conceitos vistos anter ior-
mente. Alguns dos modelos apresentados foram implementados pela equipe de bancos
de dados e de business intelligence coordenadas pelo autor. Devem ser considerados
como ponto de partida para projetos reais de DW/DM naquele assunto específico.
1) Data mart para acompanhamento de vendas de CD
Neste exemplo, o modelo dimensional proposto na Figura 8.37 permite o acom-
panhamento de vendas de CD e o consequente valor de seu faturamento. O modelo
é simples e tradicional, com os fatos registrando as quantidades e os respectivos valores
de venda. As dimensões básicas representam o CD vendido naquele período e naquela
região. Observe que existe uma hierarquia de dois níveis na dimensão geográfica e que
a dimensão tempo está representada por uma hierarquia de três níveis, ano-mês-dia. É
importante também observar nesse exemplo que:
Figura 8.37
Modelo dimensional para acompanhamento de venda de CD.
 As dimensões possuem vários atributos não especificados diretamente. Por
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
cantor ou o grupo. São atributos que podem sugerir uma hierarquia não
mostrada. A dimensão DIA poderia ter atributos de tag final de semana
ou época do ano, por exemplo, e a dimensão ESTADO também teria um
conjunto de atributos como região, população etc. Todos esses atributos po-
derão ser usados para o filtro ou tratamento conjuntivo dos valores da fato.
Por exemplo, a soma de vendas em reais de CD do gênero “samba de raiz”,
no estado do Rio de Janeiro, no período de Carnaval, seria uma das muitas
consultas efetuadas naquele DM e teria um comando SQL equivalente a:
Select SUM(Valor), SUM(Quantidade) from FATO, DIA, ESTADO, CD
where
DIA.chave-dia = Fato.chave-dia and (*)
CD.chave-cd = Fato.chave-cd and (*)
ESTADO.chave-estado = Fato.chave-estado and (*)
DIA.periodo = “Carnaval” and
ESTADO.codigo = RJ” and
CD.genero = “samba raiz”
Observar que as partes da cláusula where  marcadas com (*) estão cumprindo o
papel de junção das tabelas dimensão com a tabela fato, enquanto as outras realizam os
filtros desejados.
 Na realidade, o modelo com a dimensão ESTADO, nesse nível, pode ser
considerado uma forma de agregado de CIDADE, que representaria o me-
nor nível de controle desejado. À medida que se decompõe o nível das
dimensões, também se muda a granularidade das informações na tabela fato.
O modelo agregado em nível de ESTADO poderia ter sido obtido por um
comando SQL, sobre o modelo em nível de CIDADE, como a seguir:
Select chave-dia, chave-cd, codigo-estado, SUM(Valor), SUM(Quantidade)
from FATO, DIA, CIDADE, CD
where
DIA.chave-dia = Fato.chave-dia and
CD.chave-cd = Fato.chave-cd and
CIDADE.chave-cidade = Fato.chave-cidade
GROUP BY CIDADE. codigo-estado, chave-dia, chave-cd
2) Data mart para acompanhamento de controle de execução de músicas
O modelo na Figura 8.38 objetiva um controle de execução de músicas por FM.
Apresenta as dimensões TEMPO, hierarquizadas em ano-mês-dia, e as dimensões de ne-
gócios FM e MÚSICA. A métrica desejada é o número de execuções daquela música, o
que permitiria a distribuição de direitos autorais e atender ia, por exemplo, às entidades
arrecadadoras desses direitos. C modelo poderíamos controlar que certa música
ELSEVIER
CAPÍTULO 8 I MODELAGEM D IMENSIONAL DE DADOS – DETALHAMENTO
“escondidos” das dimensões MÚSICA (gênero, cantor ou grupo, gravadora, duração,
nacionalidade, compositor(es) etc.) e da FM (frequência, estado, estilo de programação
etc.) poderiam ser usados para a definição de informações negociais sobre a quantidade
de execução e pagamento de seus direitos. Observe que o atributo compositor da di-
mensão MÚSICA está na proporção M:N com música e poderia produzir uma tabela
de interseção na qual se registraria a porcentagem de direito de cada um.
Figura 8.38
Modelo dimensional para acompanhamento de execução de músicas.
Como uma música pode ser executada diversas vezes por dia, poderíamos tam-
bém aumentar a granularidade da dimensão TEMPO para faixa horária, o que levaria
às informações estratificadas de execução ao longo das 24 horas do dia. Poderiam ser
faixas de hora em hora ou períodos do tipo manhã, tarde, noite. Considerações sobre
a probabilidade de execução da mesma música mais de uma vez, na mesma faixa de
uma hora, deveriam ser levadas em conta para a definição dessa granularidade maior.
Aqui surge outra discussão: seria mais recomendável a cr iação de um nível hierárquico
inferior (faixa horária, no caso, subordinado a dia) ou criar uma outra dimensão FAI-
XA-HORÁRIA independente? A resposta, de maneira geral, passa por considerações
sobre o grau de independência dessas dimensões produzidas e o número de registros das
tabelas dimensão resultantes de cada alternativa. Nesse caso, a criação de uma dimensão
faixa horária separada produziria 24 registros (um para cada hora) e não proliferariam
os registros da dimensão DIA (suponha um calendário com 1.825 registros relativos a
cinco anos e 365 dias/ano). A combinação entre faixa horária e dia ser ia realizada pela
tabela fato, caso fosse uma dimensão independente, ou pela hierarquia, caso estivessem
na mesma dimensão. A tabela fato se expandiria em mais uma chave, caso houvesse in-
dependência, devido à criação de mais uma dimensão.
3) Data mart para controle de frequência em diversões de um parque temático
O objetivo é criar uma estrutura dimensional que permita o controle de visitantes
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
sões), por período e por tipo de passaporte (tíquete de entrada, que dá direito ao uso de
vários brinquedos). Suponha que, de posse do passaporte, o usuário possa entrar em cada
diversão, bastando para isso, passar o cartão na roleta de entrada de cada brinquedo. O
modelo é simples, com a dimensão PASSAPORTE hierarquizada por tipo, a dimensão
DIVERSÃO, que caracteriza o brinquedo utilizado, hierarquizada por categoria, e o tem-
po representado pela hierarquia ano-mês-dia, com as r iquezas de uma dimensão típica de
calendário (marcação de final de semana, feriado, estação do ano etc.). O modelo traz uma
novidade documentacional que seria a notação de dependência interdimensional, uma
espécie de constraint  que poderia ser adicionada, sinalizando certa condição a observar. No
caso, está sendo definido que certas diversões têm funcionamento limitado em função de
condições climáticas do dia, caracterizada como um atributo de dimensão. A partir do
modelo granular (Figura 8.39a) pode-se obter o modelo agregado por mês, tipo de pas-
saporte e categoria da diversão (Figura 8.39b) por um comando SQL equivalente a este:
Select código-categoria-diversão, mês, código-tipo-passaporte,
SUM(frequência-diversão) from FATO, DIA, CARTÃO, DIVERSÃO
where
DIA.chave-dia = Fato.chave-dia and
PASSAPORTE.chave-passaporte = Fato.chave-passaporte and
DIVERSÃO.chave-diversão = Fato.chave-diversão
GROUP BY código-categoria-diversão, mês, código-tipo-passaporte
ELSEVIER
CAPÍTULO 8 I MODELAGEM D IMENSIONAL DE DADOS – DETALHAMENTO
As Figuras 8.39a e b mostram, respectivamente, o modelo granular e o modelo
agregado obtido, com a mesma métrica de frequência de utilização.
4) A Figura 8.40 mostra um modelo dimensional para a implementação de um
sistema de acompanhamento de campanha de marketing. O modelo tam-
bém está simplificado, mostrando as dimensões CAMPANHA, REGIÃO,PRODUTO e TEMPO. Esse modelo, no fundo, representa uma visão agre-
gada de um modelo mais granular e permite o acompanhamento do de-
sempenho de venda do produto, em função da campanha, no período e na
região. Como sugestão, defina um modelo mais granular que se ajuste a esse
modelo apresentado.
Figura 8.40
Modelo dimensional para sistema de acompanhamento de campanhas de marketing.
5) A Figura 8.41 mostra um modelo dimensional para acompanhamento de
informações em uma cadeia de hotéis. As dimensões são HÓSPEDE, HO-
TEL, DIA (de entrada e saída), CARTÃO e AGÊNCIA de TURISMO
utilizada na reserva. A dimensão DIA tem dois relacionamentos (um para
check-in e outro para check-out ) com a tabela fato. As dimensões CARTÃO e
AGÊNCIA estão marcadas com cardinalidade zero (bolinha) e representam
a possibilidade de um fato não ter associação com uma ocorrência especí-
fica daquela dimensão. Isso deverá ser implantado com uma ocorrência de
dimensão, do tipo nula (pagamento sem cartão ou reserva feita diretamente),
associada à tabela fato, e permitirá controles gerenciais sobre esses tipos de
eventos. Algumas dimensões não estão representadas por suas hierarquias
e atributos completos que deverão fazer parte do modelo. Por exemplo, a
dimensão hóspede teria, entre outros atributos, identificação, profissão, ida-
ELSEVIER
CAPÍTULO 8 I MODELAGEM D IMENSIONAL DE DADOS – DETALHAMENTO
Figura 8.52
Modelo dimensional para sistema de recursos
humanos – absenteísmo.
As principais métricas para movimentação de pessoal seriam:
 Fatos de informações gerais: quantidade de empregados admitidos, quanti-
dade de empregados efetivos, licenciados, aprendizes, demitidos e total.
 Fatos de função: quantidade de empregados naquela função, no órgão, na-
quele período.
 Fatos de tempo de serviço: quantidade de empregados com aquele tempo
de serviço, naquele órgão, naquele período.
 Fatos de faixa etária: quantidade de empregados naquela faixa etária, naque-
le órgão, naquele período.
 Faixa salarial: quantidade de empregados naquela faixa salarial, naquele ór-
gão, naquele período.
As principais métricas para absenteísmo de pessoal seriam:
 Fatos de informações gerais: quantidade de acidentes sem ônus, quantidade
de licenças-maternidade, quantidade de cedidos com ônus, quantidade de
cedidos sem remuneração e os valores de índices de frequência e de duração
de absenteísmo.
 Fatos de função: valores de índices de frequência e de duração de absen-
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
 Fatos de tempo de serviço: valores de índices de frequência e de duração de
absenteísmo, por tempo de serviço.
 Fatos de faixa etária: valores de índices de frequência e de duração de ab-
senteísmo, por faixa etária.
 Faixa salarial: valores de índices de frequência e de duração de absenteísmo,
por faixa salarial.
Dimensões recursivas
Um aspecto importante relativo ao exemplo anterior se prende às características
recursivas da dimensão ÓRGÃO. Uma estrutura desse tipo pode ser considerada formada
por outras da mesma natureza. É o exemplo clássico de estruturas hierarquizadas ou de
explosão de materiais, muito comuns nos bancos de dados tradicionais. Na modelagem
dimensional, a abordagem para o tratamento correto dessas dimensões com características
recursivas é a definição de uma tabela ponte entre a tabela dimensão órgão e a tabela fato,
para definir as relações entre as chaves. A Figura 8.53 mostra o caso da dimensão ÓRGÃO
se relacionando com uma ou mais tabelas fato e a definição da tabela ponte, contendo:
 A chave do órgão superior 
 A chave do órgão (subordinado)
 A distância em número de níveis entre os órgãos
 Um flag  para indicar que o órgão está no menor nível da hierarquia
 Um flag  para indicar que o órgão está no maior nível da hierarquia
Figura 8.53
ELSEVIER
CAPÍTULO 8 I MODELAGEM D IMENSIONAL DE DADOS – DETALHAMENTO
Com essas informações na tabela ponte, pode-se percorrer e agregar os fatos dos
órgãos em quaisquer níveis da hierarquia, utilizando adequadamente a linguagem SQL.
Poderíamos, por exemplo, agregar um órgão A com todos os seus filhos (inclusive ele
próprio, caso tenha métrica independente). Da mesma forma, seria possível agregar o
órgão A em somente alguns de seus níveis filhos (selecionando pela diferença do nível).
Os flags de indicação de folha (menor nível da hierarquia) e de topo (maior nível da
hierarquia) ajudam na formação dos comandos SQL. A Figura 8.54 mostra o exemplo
de uma hierarquia, com os seus nós e as informações que habitariam a tabela ponte, para
um caso ilustrado de certa instância de hierarquização.
No caso de DW/DM em que existem dimensões recursivas, é importante a de-
finição do comportamento das métricas. Por exemplo: se um nó pai não tiver métricas
próprias e o seu valor representar o somatório das métricas dos nós inferiores, bastará
armazenar os fatos nos níveis menores. Caso contrário, as métricas em todos os níveis
deverão ser representadas nas tabelas fato.
A Figura 8.55a ilustra outro exemplo de dimensão recursiva. No caso, a dimen-
são funcionário, que representa uma hierarquização de chefes e subordinados, ilustrados
na Figura 8.55b. Nesse caso, tanto o funcionário chefe quanto o funcionário subordi-
nado possuem métricas. A Figura 8.56 mostra um diagrama com certas ocorrências e
ilustra a possibilidade de aplicação do comando roll-up para somar os valores (métricas
de vendas), tanto do nível subordinado quanto do nível chefia. O comando roll-up po-
deria apresentar a venda própria de cada empregado, a venda dos seus subordinados e a
venda total, que seria a soma das vendas (equivalente à venda daquela equipe).
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
Figura 8.55
Modelo recursividade – recursividade de funcionário.
Figura 8.56
ELSEVIER
CAPÍTULO 8 I MODELAGEM D IMENSIONAL DE DADOS – DETALHAMENTO
Figura 8.57
Modelo recursividade – recursividade de conta.
A Figura 8.57a mostra outro exemplo de aplicação de dimensões recursivas. No
caso, a dimensão conta, que representa um tipo de classe mais generalizada que pode
encarnar diferentes tipos de elementos contábeis, como lucro líquido formado pela
operação de lucro bruto menos as despesas. O lucro bruto, por sua vez, seria a operação
algébrica de faturamento menos custos. Do outro lado da equação, o valor de salário
somado aos benefícios forma as despesas trabalhistas. Estas, somadas às despesas adminis-
trativas, formam o núcleo das despesas, fechando o ciclo. O interessante de se observar
é que, diferentemente do exemplo anterior, no qual o operador era sempre soma, nesse
caso o operador poderá ser soma ou subtração. O comando roll-up permite também
que, no nível específico da dimensão, o operador seja cadastrado, possibilitando o roll-
-up correto de acordo com a natureza de cada conta. A Figura 8.57b ilustra as diversas
contas com os seus respectivos operadores.
10) A Figura 8.58 mostra um modelo dimensional para acompanhamento de
inserção de anúncios em programas de televisão, com controle de valor
pago e índices de audiência (Ibope) obtidos naquele horário. A dimensão
HORA, com dois relacionamentos diferentes (início e final), poderia ser
definida a priori , contendo registros em nível de minutos corridos para
ELSEVIERELSEVIER
CCAPÍTULOAPÍTULO 9 9 II PPROJETOROJETO DDEE AAPLICAÇÕESPLICAÇÕES DDEE B B II
 ID DO CSU-BI: CSUBI-001ID DO CSU-BI: CSUBI-001
 Descrição de CSU-BI: consulta que mostra as quantidades vendidas e osDescrição de CSU-BI: consulta que mostra as quantidades vendidas e os
valores de venda de produtosvalores de venda de produtos, , por catpor categoregoria, ia, dentro de lojadentro de loja, , agregaagregado por mêsdo por mês
 NOME SIMPLIFICADO: por exemplo, relatório de vendas de produtosNOME SIMPLIFICADO: por exemplo, relatório de vendas de produtos
por categoria/loja/mêspor categoria/loja/mês
 CLASSE: CLASSE: CSU de front-end ou CSU de front-end ou de back-endde back-end
 TIPO: defineo nível de detalhe: fachada/negócio (épico), usuário/detalheTIPO: define o nível de detalhe: fachada/negócio (épico), usuário/detalhe
médio (tema) ou detalhado (história)médio (tema) ou detalhado (história)
 ORIGEM: solicitado via cliente (fornecedor de requisitos) ou da equipeORIGEM: solicitado via cliente (fornecedor de requisitos) ou da equipe
internainterna
 ÁREA: domínio de negócios (financeira, marketing, vendas, cliente etc.)ÁREA: domínio de negócios (financeira, marketing, vendas, cliente etc.)
 PAPEL: papel do usuário do CSU-BIPAPEL: papel do usuário do CSU-BI
 FONTES DE DADOS: fontes de dados envolvidas no CSU-BIFONTES DE DADOS: fontes de dados envolvidas no CSU-BI
 DATA-APROVAÇÃO: 99/99/99DATA-APROVAÇÃO: 99/99/99
 DATA-CRIAÇÃO: 99/99/99DATA-CRIAÇÃO: 99/99/99
 CENÁRIO PRINCIPCENÁRIO PRINCIPAL: AL: nos CSU-BI, o cenário nos CSU-BI, o cenário principal principal é tão é tão impor-impor-
tante quanto os cenários alternativos. Descreve-se aqui a funcionalidadetante quanto os cenários alternativos. Descreve-se aqui a funcionalidade
básica do básica do CSUCSU, , estruturando em estruturando em segmentos de funcionalidades segmentos de funcionalidades emoldura-emoldura-
das por rótulos que caracterizam aquela atividadedas por rótulos que caracterizam aquela atividade
 CENÁRIOS ALTERNATIVOS: representam as diversas opções de pes-CENÁRIOS ALTERNATIVOS: representam as diversas opções de pes-
quisas do CSU-BIquisas do CSU-BI
 CENÁRICENÁRIOS DE EXCEÇÃOOS DE EXCEÇÃO: : baixa utibaixa utilidade, lidade, para os CSU-para os CSU-BI de front-BI de front-
end que sãoend que são read-onlyread-only. Os de back-end, de natureza operacional, têm. Os de back-end, de natureza operacional, têm
cenárcenários de exceçõesios de exceções, , mais voltadas pamais voltadas para o plano operacra o plano operacional, ional, como ercomo erros,ros,
interrupções etc.interrupções etc.
 RELACIONAMENTOS: mostra os relacionamentos com outros CSU-RELACIONAMENTOS: mostra os relacionamentos com outros CSU-
-BI, podendo-se utilizar os conceitos de Include, Extend e Generalize.-BI, podendo-se utilizar os conceitos de Include, Extend e Generalize.
 As Figuras 9.8a, 9.8b e 9.9 ilustram casos de uso do ambiente de front-end eAs Figuras 9.8a, 9.8b e 9.9 ilustram casos de uso do ambiente de front-end e
de back-end, usando relacionamentos normais de casos de uso, comode back-end, usando relacionamentos normais de casos de uso, como extendextend
ee gener generalizalize e . . A Figura A Figura 9.8a mostra 9.8a mostra o uso do o uso do relacionamento de <<extend>>,relacionamento de <<extend>>,
que representa uma funcionalidade opcional que pode ser adicionada àqueleque representa uma funcionalidade opcional que pode ser adicionada àquele
caso dcaso de uso. e uso. O caso dO caso de uso este uso estendido, endido, porém, é concreto, porém, é concreto, pois pode pois pode existir existir semsem
aquela funcionalidade opcional. No exemplo, os casos de usoaquela funcionalidade opcional. No exemplo, os casos de uso Cria RelatórioCria Relatório e e
Cria CuboCria Cubo foram estendidos com a  foram estendidos com a funcionalidade de envio para a GS (gerên-funcionalidade de envio para a GS (gerên-
cia sênior). cia sênior). A Figura A Figura 9.8b mostra um 9.8b mostra um conjunto de caconjunto de casos de usos sos de usos de back-end,de back-end,
com os seus principais atores envolvidos, inclusive o dispositivo temporal,com os seus principais atores envolvidos, inclusive o dispositivo temporal,
muito comum nos muito comum nos disparos de funcionalidades disparos de funcionalidades de back-end, como exde back-end, como execuçãoecução
dede jobs jobs de limpeza, transformação, carga etc. A Figura 9.9 mostra um diagrama de limpeza, transformação, carga etc. A Figura 9.9 mostra um diagrama
Caso de usoCaso de uso, com um CSU abstrato. Ele estabelece uma forma de relaciona-, com um CSU abstrato. Ele estabelece uma forma de relaciona-
BI2 – BBI2 – BUSINESSUSINESS  I INTELLIGENCENTELLIGENCE :: MODELAGEMMODELAGEM EE QUALIDADEQUALIDADE II CCARLOSARLOS B BARBIERIARBIERI
atentar para a obtenção de dois modelos de dados em nível conceitual: oatentar para a obtenção de dois modelos de dados em nível conceitual: o
primeiro modelo é oprimeiro modelo é o modelo dimensionalmodelo dimensional, ou aquele que representa os blocos, ou aquele que representa os blocos
conceituais de dados necessários ao alcance dos objetivos do sistema de BI.conceituais de dados necessários ao alcance dos objetivos do sistema de BI.
Nesse ponto é importante obserNesse ponto é importante observar que os dados a serem modelados devvar que os dados a serem modelados deverãoerão
ser garser garimpados nos seus várimpados nos seus vários níveis de detalhes e sumarizaçios níveis de detalhes e sumarização. ão. O outro mo-O outro mo-
delo é relacionado com as fontes das delo é relacionado com as fontes das informações. É oinformações. É o modelo fonte dos dadosmodelo fonte dos dados..
Nele, deverão ser registrados os blocos conceituais de dados existentes, comNele, deverão ser registrados os blocos conceituais de dados existentes, com
suas respectivas descrições e formas atuais de armazenamento e de uso nossuas respectivas descrições e formas atuais de armazenamento e de uso nos
sistemas, sistemas, e que e que proprovavavelmevelmente habitam nte habitam os variados os variados ambientes operacionais ambientes operacionais dada
instalação ou as fontes externas de dados. Ambos complementam ou esten-instalação ou as fontes externas de dados. Ambos complementam ou esten-
dem as informações já levantadas no item 2 do ciclo dedem as informações já levantadas no item 2 do ciclo de  releases releases..
Figura 9.8Figura 9.8
Exemplos de casos de uso para BI: front-end e back-end.Exemplos de casos de uso para BI: front-end e back-end.
ELSEVIERELSEVIER
CCAPÍTULOAPÍTULO 9 9 II PPROJETOROJETO DDEE AAPLICAÇÕESPLICAÇÕES DDEE B B II
6) 6) Definir Definir plano plano do do projeto projeto dodo release release  com a identificação inicial das suas ite- com a identificação inicial das suas ite-
rações e seus respectivos produtos previstos. O plano de projeto dorações e seus respectivos produtos previstos. O plano de projeto do releaserelease
devdeverá contemplar erá contemplar os pros principais ingredientes de incipais ingredientes de qualquer plano de qualquer plano de projetoprojeto,,
como escopo, tamanho, prazo, custo, comunicação, recursos humanos ecomo escopo, tamanho, prazo, custo, comunicação, recursos humanos e
conhecimentos, recursos materiais, riscos, acompanhamento etc. As empre-conhecimentos, recursos materiais, riscos, acompanhamento etc. As empre-
sas que adotam o sas que adotam o modelo PMBOK ou se utilizam modelo PMBOK ou se utilizam de abordagem MPS.BRde abordagem MPS.BR
poderão se valer dos poderão se valer dos resultados esperados do processo de GPR, para melhorresultados esperados do processo de GPR, para melhor
definir o plano de projeto, conforme ilustrado na Figura 9.10. Observedefinir o plano de projeto, conforme ilustrado na Figura 9.10. Observe
que, atrelados ao plano de projeto, deverão estar os planos de medição, deque, atrelados ao plano de projeto, deverão estar os planos de medição, de
garantia da qualidade e garantia da qualidade e de gerência de configuração.de gerência de configuração.
Figura 9.10Figura 9.10
Ilustração dos componentes de um plano de projeto aplicado em BI.Ilustração dos componentes de um plano de projeto aplicado em BI.
 O plano de medição atende à gerência quantitativa de projetos, queO plano de medição atende à gerência quantitativa de projetos, que
é uma prática gerencial que objetiva definir, coletar, analisar e repor-é uma prática gerencial que objetiva definir, coletar, analisar e repor-
tar informações ou atributos de processo, permitindo que um métodotar informações ou atributos de processo, permitindo que um método
analítico comparativo possa ser estabelecido pela empresa para avaliaçãoanalítico comparativo possaser estabelecido pela empresa para avaliação
numérica de projetos. O objetivo de medições e análise é garantir quenumérica de projetos. O objetivo de medições e análise é garantir que
medidas sejam definidas, medidas sejam definidas, coletadas e arcoletadas e armazenadas em bancos de mazenadas em bancos de dados dedados de
tal fortal forma que, ma que, ao longo do temao longo do tempo, po, os projetos posos projetos possam ser comsam ser comparadoparados noss nos
BI2 – BBI2 – BUSINESSUSINESS  I INTELLIGENCENTELLIGENCE :: MODELAGEMMODELAGEM EE QUALIDADEQUALIDADE II CCARLOSARLOS B BARBIERIARBIERI
namento associados aos indicadores dos projetos. No Capítulo 11, comnamento associados aos indicadores dos projetos. No Capítulo 11, com
foco no Bfoco no BI2, I2, discutiremos aspectos de discutiremos aspectos de definição de repositórdefinição de repositórios voltadosios voltados
para esse tipo de dado e a aplicação de técnicas de BI para tratá-los.para esse tipo de dado e a aplicação de técnicas de BI para tratá-los.
 O plano de garantia da qualidade atende à gerência de qualidade, que éO plano de garantia da qualidade atende à gerência de qualidade, que é
uma prática gerencial que objetiva garantir que os uma prática gerencial que objetiva garantir que os processos e os produ-processos e os produ-
tos deles dertos deles derivivados estejam definidos de acordo com os ados estejam definidos de acordo com os padrões estabele-padrões estabele-
cidos pela empresa, dentro da ótica de qualidade. O objetivo da garantiacidos pela empresa, dentro da ótica de qualidade. O objetivo da garantia
da qualidade é garantir da qualidade é garantir o preceito de que o preceito de que “de cano sujo não “de cano sujo não sai água lim-sai água lim-
pa”, ou seja, se a empresa define corretamente um processo de produçãopa”, ou seja, se a empresa define corretamente um processo de produção
de software e de serde software e de serviços, presume-se que, viços, presume-se que, desse procesdesse processo, so, sairãsairão produtoso produtos
com o nível demandado de qualidade, desde que aplicados corretamente.com o nível demandado de qualidade, desde que aplicados corretamente.
Além disso, com a garantia de qualidade, procura-se diminuir a incidên-Além disso, com a garantia de qualidade, procura-se diminuir a incidên-
cia de cia de retrabalho no processo de engenharretrabalho no processo de engenhar ia do ia do softwaresoftware, , além de garaalém de garantirntir
um produto que vá atender às necessidades do cliente que demandou aum produto que vá atender às necessidades do cliente que demandou a
sua criação.sua criação.
 O plano de gerência O plano de gerência de configuração atende à de configuração atende à gerência de configuração,gerência de configuração,
que é uma prática gerencial que objetiva controlar a evolução de arte-que é uma prática gerencial que objetiva controlar a evolução de arte-
fatos e documentos de um projeto de software. O controle se baseia nafatos e documentos de um projeto de software. O controle se baseia na
necessidade de que os diversos artefatos e documentos de um projetonecessidade de que os diversos artefatos e documentos de um projeto
de software são constantemente alterados e devem manter o nível dede software são constantemente alterados e devem manter o nível de
atualidade, atualidade, coerência e coerência e integrintegridade entre eles. O objetividade entre eles. O objetivo da o da gerência degerência de
configuração é garantir que os artefatos e documentos que formam umconfiguração é garantir que os artefatos e documentos que formam um
produto de softwarproduto de software estejam coerentes nas suas e estejam coerentes nas suas relações e íntegros na suarelações e íntegros na sua
formação. Isso representa uma grande probabilidade de que o softwareformação. Isso representa uma grande probabilidade de que o software
formado/documentado por esses itens funcionará corformado/documentado por esses itens funcionará cor retamente e poderáretamente e poderá
ser usado adequadamente.ser usado adequadamente.
O CICLO DAS ITERO CICLO DAS ITERAÇÕESAÇÕES
O modelo das iterações deverá ser visto como uma parte do projeto em queO modelo das iterações deverá ser visto como uma parte do projeto em que
cada ciclo cada ciclo desenvdesenvolverá uma parte olverá uma parte relevrelevante e incremental da ante e incremental da solução de solução de BI. BI. As prAs princi-inci-As princi-As princi-
pais fases pais fases do ciclo das iterações, conforme a Figura 9.3, são:do ciclo das iterações, conforme a Figura 9.3, são:
 Definir o objetivo da iteração: Definir o objetivo da iteração: nesta etapa, nesta etapa, busca-se dar cerbusca-se dar certo grau to grau de deta-de deta-
lhamento à solução que será lhamento à solução que será desenvdesenvolvida e cuja visão olvida e cuja visão mais geral foi formais geral foi forma-ma-
tada no ciclo dostada no ciclo dos releasesreleases..
 Planejar a iteração: o detalhamento do escopo, com uma revisão do planoPlanejar a iteração: o detalhamento do escopo, com uma revisão do plano
de projeto definido no ciclo dede projeto definido no ciclo de releasesreleases, , agora coagora com foco no desenvolvimentom foco no desenvolvimento
da primeira iteração, será o produto dessa etapa/atividade. As partes maisda primeira iteração, será o produto dessa etapa/atividade. As partes mais
importantes desse novo momento de planejamento, agora detalhado, serãoimportantes desse novo momento de planejamento, agora detalhado, serão
o esforço e o cronograma, além do detalhamento dos requisitos, anterior-o esforço e o cronograma, além do detalhamento dos requisitos, anterior-
mente considerados de formente considerados de forma macroma macro..
ELSEVIERELSEVIER
CCAPÍTULOAPÍTULO 9 9 II PPROJETOROJETO DDEE AAPLICAÇÕESPLICAÇÕES DDEE B B II
poderão ser usados os CSU-BI em nível detalhado ou de histórpoderão ser usados os CSU-BI em nível detalhado ou de histór ias especifi-ias especifi-
cadas, no linguajarcadas, no linguajar ScrumScrum..
 Projetar a aplicação de BI e ETC: a aplicação de BI passa pela definição daProjetar a aplicação de BI e ETC: a aplicação de BI passa pela definição da
modelagem relacional ou dimensional da solução, no primeiro caso, commodelagem relacional ou dimensional da solução, no primeiro caso, com
o detalhamento das tabelas, de seus atributos e relacionamentos ou, no se-o detalhamento das tabelas, de seus atributos e relacionamentos ou, no se-
gundo caso, das tabelas fato e dimensão, definições de métricas, agregados,gundo caso, das tabelas fato e dimensão, definições de métricas, agregados,
hierarquias etc. A parte de BI deverá ser projetada considerando-se os as-hierarquias etc. A parte de BI deverá ser projetada considerando-se os as-
pectos de mapeamento do modelo relacional em tabelas pectos de mapeamento do modelo relacional em tabelas ou do dimensionalou do dimensional
em soluções de bancos de dados, com opções Rolap, Holap e Molap (verem soluções de bancos de dados, com opções Rolap, Holap e Molap (ver
adiante, em projeto físico). O devido mapeamento entre os dados fontes e asadiante, em projeto físico). O devido mapeamento entre os dados fontes e as
respectivrespectivas tabelas as tabelas no modelo relacional/dimensional ajuda a no modelo relacional/dimensional ajuda a melhor definirmelhor definir
o projeto de ETC. A solução de ETC deverá ser projetada, considerando-seo projeto de ETC. A solução de ETC deverá ser projetada, considerando-se
a camada dea camada de Staging Staging  e os  e os movimentomovimentos e processos de s e processos de extração, extração, transformaçãotransformação
e carga. e carga. A Figura 9.11 A Figura 9.11 ilustra alguns conceitos ilustra alguns conceitos dessas atividades.dessas atividades.
Figura 9.11Figura 9.11
Exemplo de funções Exemplo de funções de Back-End de Back-End – Extração, T– Extração, Transformação e Carga.ransformação e Carga.
BI2 – BBI2 – BUSINESSUSINESS  I INTELLIGENCENTELLIGENCE :: MODELAGEMMODELAGEM EE QUALIDADEQUALIDADEII CCARLOSARLOS B BARBIERIARBIERI
de aplicações OLAP, aplicações de mining etc. Um ponto fundamental a serde aplicações OLAP, aplicações de mining etc. Um ponto fundamental a ser
considerado é o desenvolvimento de protótipos que possam ser validadosconsiderado é o desenvolvimento de protótipos que possam ser validados
pelos usuários. Alguns pontos importantes do projeto de front-end: devempelos usuários. Alguns pontos importantes do projeto de front-end: devem
alcançar objetivos de negócios, possuem forte característica centrada emalcançar objetivos de negócios, possuem forte característica centrada em
requisitos não funcionais, como usabilidade (facilidade e conforto de uso),requisitos não funcionais, como usabilidade (facilidade e conforto de uso),
segurança (garantia de prsegurança (garantia de pr ivivacidade e disponibilidade das inforacidade e disponibilidade das informações), mações), esca-esca-
labilidade (capacidade de labilidade (capacidade de evevoluir com maior oluir com maior volume de dados e de proces-volume de dados e de proces-
samento), samento), extensibilidade (novas funções colocadas extensibilidade (novas funções colocadas sem impactos), confiabi-sem impactos), confiabi-
lidade (uso de dados e lidade (uso de dados e informações cinformações com qualidade) etc., om qualidade) etc., e é implementadoe é implementado
na forma de relatórios, cubos, planilhas dinâmicas, produção de gráficos,na forma de relatórios, cubos, planilhas dinâmicas, produção de gráficos,
dashbordsdashbords, aplicações de mining,, aplicações de mining, analyticsanalytics etc.etc.
 Implementar aplicação Implementar aplicação de front-end: de front-end: nesta fnesta fase acontece ase acontece o desenvo desenvolvimentoolvimento
da solução, com a produção dos aplicativos. No caso de soluções de BI, nãoda solução, com a produção dos aplicativos. No caso de soluções de BI, não
existe grande intensidade de tarefas de codificação, e sim de definição, ajusteexiste grande intensidade de tarefas de codificação, e sim de definição, ajuste
de ferramentas e execução de scripts.de ferramentas e execução de scripts.
 Implementar os dados (BI) e ETC: nesta fase, implementam-se as soluçõesImplementar os dados (BI) e ETC: nesta fase, implementam-se as soluções
definidas tanto para a camada de front-enddefinidas tanto para a camada de front-end quanto para a de back-end.quanto para a de back-end.
 Testar a solução completa, parte front-end e parte ETC: aqui deverão serTestar a solução completa, parte front-end e parte ETC: aqui deverão ser
aplicados os planos aplicados os planos de testes. de testes. A solução de A solução de back-end é testada back-end é testada mais do pon-mais do pon-
to de vista de fluxo operacional, pois normalmente envolve ferramentasto de vista de fluxo operacional, pois normalmente envolve ferramentas
prontas que coletam, transformam e carregam dados. É claro que algunsprontas que coletam, transformam e carregam dados. É claro que alguns
programas desenvprogramas desenvolvidos deverão ser testados. Colvidos deverão ser testados. Caso a aso a estratégia estratégia de extraçãode extração
de dados passe por de dados passe por adaptações dos sistemas adaptações dos sistemas fontes, fontes, isso se torisso se torna crítico, na crítico, poispois
envolve sistemas transacionais importantes da empresa. Nesse caso, um ri-envolve sistemas transacionais importantes da empresa. Nesse caso, um ri-
goroso plano de teste deverá ser elaborado. Para as aplicações de front-end,goroso plano de teste deverá ser elaborado. Para as aplicações de front-end,
após a elaboração de protótipos que representam uma forma relevante deapós a elaboração de protótipos que representam uma forma relevante de
validação, planos de testes deverão ser aplicados nas gerações de relatórios,validação, planos de testes deverão ser aplicados nas gerações de relatórios,
cubos cubos etc.etc.
 Treinar os usuários na aplicação de BI: esta parte da transição do sistemaTreinar os usuários na aplicação de BI: esta parte da transição do sistema
é importante, pois serve como aculturamento aos novos conceitos de BIé importante, pois serve como aculturamento aos novos conceitos de BI
implementados e atinge normalmente uma plateia mais exigente, formadaimplementados e atinge normalmente uma plateia mais exigente, formada
por gerências por gerências em diversos níveis.em diversos níveis.
 Implantar a solução de BI: a implantação da solução de BI é posta emImplantar a solução de BI: a implantação da solução de BI é posta em
produção e deverá ser acompanhada. Um dos fatores críticos de sucessoprodução e deverá ser acompanhada. Um dos fatores críticos de sucesso
em uma implantação de solução de BI é o acompanhamento estrito de suaem uma implantação de solução de BI é o acompanhamento estrito de sua
utilização. Há até algumas propostas para fazer o que se chamaria de BI doutilização. Há até algumas propostas para fazer o que se chamaria de BI do
BI, BI, uma espécie de aplicação que acompanharuma espécie de aplicação que acompanharia o uso das soluções de BI daia o uso das soluções de BI da
empresa, empresa, dando o perfeito enquadramento dando o perfeito enquadramento do retorno do retorno e da validade daquelae da validade daquela
solução. Essa aplicação poderia definir como métricas o número de uso/solução. Essa aplicação poderia definir como métricas o número de uso/
acesso e usuáracesso e usuários de data marios de data marts ou cubos, ts ou cubos, bem como o número de solicita-bem como o número de solicita-
ELSEVIERELSEVIER
CCAPÍTULOAPÍTULO 9 9 II PPROJETOROJETO DDEE AAPLICAÇÕESPLICAÇÕES DDEE B B II
 Avaliar os resultados, o processo aplicado e as lições aprendidas: esta últimaAvaliar os resultados, o processo aplicado e as lições aprendidas: esta última
etapa pode ser entendida como a avaliação do processo aplicado no desen-etapa pode ser entendida como a avaliação do processo aplicado no desen-
volvimevolvimento daquela nto daquela solução, solução, criando criando as lições as lições aprendidas a serem observadasaprendidas a serem observadas
nos ciclos subsequentes de desenvolvimento.nos ciclos subsequentes de desenvolvimento.
RESUMORESUMO
Esta parte é fundamental no projeto do sistema, pois define uma arquiteturaEsta parte é fundamental no projeto do sistema, pois define uma arquitetura
baseada em Dbaseada em DW corporativo (modelo relacional) ou em data marts integW corporativo (modelo relacional) ou em data marts integrados (modelorados (modelo
dimensional). dimensional). Define e analisa Define e analisa as diversas fontes de dados as diversas fontes de dados sob a persob a perspectiva de sua ade-spectiva de sua ade-
rência aos propósitos do negócio, além da qualidade de seus dados. Passa pela definiçãorência aos propósitos do negócio, além da qualidade de seus dados. Passa pela definição
dos casos de usos de BI, separando-os em funcionalidades de front-end, dedicadas aodos casos de usos de BI, separando-os em funcionalidades de front-end, dedicadas ao
usuário final, e de back-end, focadas nos procedimentos de ETC e outros. Chega àusuário final, e de back-end, focadas nos procedimentos de ETC e outros. Chega à
implementação e, na validação, está prioritariamente centrado em protótipos amigáveis.implementação e, na validação, está prioritariamente centrado em protótipos amigáveis.
O processo pode ser todo desenvolvido em ciclos iterativos, comO processo pode ser todo desenvolvido em ciclos iterativos, com releasesreleases e iterações e iterações
para produzir entregáveis, para produzir entregáveis, de âmbito de âmbito interno interno ou exterou externo (cliente). no (cliente). Aqui cabe Aqui cabe uma foruma fortete
conexão com as abordagens ágeis, deconexão com as abordagens ágeis, descritascritas no BI ágs no BI ágil, il, no capítulo 11.no capítulo 11.
CAPÍTULO 10
Projeto físico de aplicações de BI
INTRODUÇÃO
Ao longo do ciclo iterativo, em determinado momento, o projeto chegará à fase
de desenho físico do DW/DM, quandopassamos a definir as tabelas e seus elementos
correlatos (atr ibutos, regras, índices etc.) dentro do ambiente de gerência de bancos de
dados que suportará o projeto.
Vários aspectos relacionados ao projeto físico de bancos de dados deverão ser
considerados para garantir desempenho, disponibilidade, segurança etc. nos acessos às
estruturas relacionais ou dimensionais, que formam o arcabouço computacional do sis-
tema de BI. Neste texto, discutiremos essencialmente os tópicos relacionados ao SGBD
relacional, com ênfase no Oracle, no SQL-Server da MS e no DB2 da IBM. As Figuras
10.1 e 10.2 mostram, respectivamente, um modelo de entidades e relacionamentos de
uma empresa de vendas e o modelo dimensional equivalente que servirá de exemplo
para os itens discutidos neste capítulo. Os tópicos gerais discutidos são:
BI2 – BUSINESS INTELLIGENCE: MODELAGEM E QUALIDADE I CARLOS BARBIERI
Figura 10.2
Modelo dimensional usado nos exemplos do capítulo.
1) Estimativa do tamanho do DW/DM
2) Criação do data base
3) Criação de espaços de tabelas
4) Criação das tabelas
5) Definição de campos-chave e restrições
6) Definição de índices e estruturas especiais para acessos aos DW/DM
7) Considerações sobre cargas de tabelas
8) Aspectos gerais de desempenho
9) Arquitetura de servidores para DW/DM
10) Tendências tecnológicas para processamento de altos volumes (big data)
Estimativa do tamanho do DW/DM
A estimativa das estruturas informacionais de um projeto de BI, quando em
modelo dimensional, deverá ser realizada de acordo com os seguintes passos:
 Calcular o espaço requerido para a tabela f cál-
ELSEVIER
CAPÍTULO  10 I PROJETO  F ÍSICO DE APLICAÇÕES DE  B I
somar o tamanho dos campos-chave da fato com o tamanho dos outros
campos, que devem ser as métricas desejadas. Em nosso exemplo, vamos su-
por que temos, na média, cinco transações de clientes por dia e temos 15 mil
clientes. A perspectiva de armazenamento é para seis anos. Logo, teremos
15.000  5  365  6 = 164.250.000 ocorrências. Agora vamos definir o
tamanho de cada linha da tabela fato. O número de chaves na tabela fato será
de seis, cada qual com 4 bytes. As chaves estrangeiras gastarão 4 bytes, pois
serão definidas com o campo IDENTITY no SQL-Server, em nosso exem-
plo, ou qualquer outro tipo de campo de numeração sequencial, formando
uma chave surrogate  ou sem conteúdo semântico. Os outros quatro campos
serão também de 4 bytes, pois serão armazenados como valores numéricos.
Logo, o tamanho da linha da tabela fato será de 40 bytes. Multiplicando pelo
número de ocorrências (164.250.000), teremos a estimativa final de 6,6 GB
de espaço previsto.
 Calcular estimadamente o espaço para as tabelas dimensão e para os índi-
ces: para o cálculo das tabelas dimensão e dos índices, podemos adotar um
percentual de 15%-25% do total da fato, o que daria aproximadamente 1,4
GB. Esses valores deverão ser definidos de início e, gradativamente, a em-Esses valores deverão ser definidos de início e, gradativamente, a em-
presa deverá buscar métricas históricas acumuladas ao longo do processo de
desenvolvimento de estruturas dimensionais, através de um processo mais
formal de medições.
 Cálculo final: o valor final seria aproximadamente 8 GB para o projeto todo,
conforme o modelo dimensional definido na Figura 10.2.
Observações importantes:
 O cálculo efetivo do tamanho de cada linha deverá considerar as particula-
ridades de cada SGBD.
 Alguns tipos de campos, dependendo do seu tamanho, poderão ter um over-
head que deverá ser considerado no cálculo.
 Alguns SGBDs usam formas variáveis para armazenar a maioria dos seus
data types, dificultando uma estimativa precisa.
 Considere com cuidado o espaço necessário também para as áreas de tra-
balho (sorts, classificações etc.), que serão demandadas em um ambiente de
DW/DM. Esses espaços serão reclamados no momento de execução de
comandos SQL para classificação e agregação de dados, além das criações de
índices. É claro que, em um primeiro momento, não se tem a ideia precisa
desse espaço, e a grande preocupação deve ser a garantia de sua disponibili-
dade, de forma estimada, no momento requerido.
 Considere também o espaço que poderá ser necessário para a criação dos
agregados, que conterão dados consolidados, em variadas combinações de
dimensão e granularidade, e demandarão área adicional de armazenamento.
BI2 – BUSINESS INTELLIGENCE: MODELAGEM E QUALIDADE I CARLOS BARBIERI
Criação do data base
Os parâmetros para a definição de um data base diferem de acordo com o SGBD
usado, e discutiremos aspectos genéricos, destacando as particularidades para Oracle e
SQL-Server, quando pertinentes.
Os pontos importantes a se considerar são:
 Analisar o valor default da página usada pelo SGBD para o armazenamento
dos dados. Normalmente é de 4.096 bytes. Alguns SGBDs não permitem
outros valores. Lembre-se de que o tamanho da página é fator importante
de desempenho nas varreduras sequenciais de tabelas ( table scan) e nos “per-
corrimentos” de índices, processamentos muito comuns em sistemas OLAP.
Quanto maior for o tamanho das páginas, maior será a capacidade de ar-
mazenamento de estruturas recuperadas em uma única operação de input /
output (I/O), com ganhos de desempenho. Por outro lado, páginas grandes
exigem mais caches e áreas de memórias. Observar que existem tecnologias
de SGBD que hoje fazem a operação de I/O com blocos de n páginas, ou
seja, o conjunto de páginas é trazido em uma única operação. Isso poten-
cializa o ganho de desempenho.
 Avalie o overhead de cada página para ter a ideia clara do valor líquido de
bytes de cada uma. As páginas deixam certo percentual do espaço reservado
para estruturas internas de controle e não poderão ser contabilizadas como
área útil de armazenamento.
Criação dos espaços de tabelas
Normalmente, as tabelas e os índices que compõem um banco de dados habitam
um espaço lógico denominado espaço de tabela ( Table Space ), cuja definição precede a
daqueles componentes. Os espaços serão mapeados em arquivos que poderão ser arma-Os espaços serão mapeados em arquivos que poderão ser arma-
zenados em unidades diferentes. Algumas considerações importantes:
 Defina, sempre que possível, dados e índices em espaços físicos separados.
 Considere com cuidado os valores de espaços livres deixados como default
pelo SGBD. Lembre-se de que DW/DM são bancos de dados de natureza
diferente daqueles que atendem a sistemas OLTP e que apresentam alta
volatilidade. Os DW/DM são bancos mais estáticos, com estratégias de atua-
lização diferentes das inclusões e modificações on-line de registros daqueles
sistemas. Assim, espaços livres em blocos de sistemas de BI pouco contri-
buem para melhoria de desempenho, devido à sua natureza de atualizações.
 Avalie a possibilidade de distribuir os dados em várias unidades indepen-
dentes de armazenamento e, se possível, em controladoras de discos diferen-
tes. Isso pode ser feito pela distribuição de um espaço de tabelas em várias
unidades de armazenamento. A tabela, por sua vez, poderá ser dividida
logicamente em segmentos ou partições (com base em range  de chaves ou
valores, por exemplo) que poderão ser alocados nesses espaços. Isso permi-
BI2 – BUSINESS INTELLIGENCE: MODELAGEM E QUALIDADE I CARLOS BARBIERI
Uso de mapa de bits na indexação de dimensões
Observe a Figura 10.9. Do lado esquerdo é mostrada uma tabela dimensão de
produtos, com hierarquização de categoria, subcategoria e produto. A ideia é usar um
mapa de bits para definir uma associação dos bits com os valores da hierarquia. Ob-
serve que o mapa de bits à direita permite pesquisa sequencial, desde que a função de
mapeamento das hierarquias da dimensão seja devidamente definida, como o bit 2
zerado está relacionado à Categoria=Alimentos e o bit 2 com valor 1 está relacionado
à Categoria=Banho. Além disso, o bit 1 deve ser ajustado para se referir à subcategoria
(valor zero = sabonete e valor 1 = xampu).
Figura 10.9
Aplicação de bitmap na indexação de dimensões.É natural que o modelo de mapeamento leve em consideração a distribuição
de frequência das relações hierárquicas dentro da dimensão. Por exemplo, saber quantas
subcategorias existem por categoria e quantos produtos por subcategoria. Caso tivés-
semos 20 mil produtos, teríamos necessidade de um mapa de 15 bits, pois 2**14=18384.
Uso de índice de junção entre tabela dimensão em esquema estrela e a
tabela fato
Observe a Figura 10.10. Nesse exemplo é mostrado como se pode cr iar um ín-
dice que facilita a junção entre a tabela fato e uma tabela dimensão, em esquema estrela.
A tabela fato mostra os três campos-chave (P + L + D), com a métrica quantidade. A
tabela dimensão produto está não normalizada, até como característica do esquema es-
trela (star schema), e mostra os atributos categoria e subcategoria, além da identificação
do produto. No meio, existe uma tabela que faz o mapeamento entre os respectivos
RIDs da tabela dimensão produto e da tabela fato. Essa tabela, criada a priori , facilitará a
realização da junção. Uma variante dessa solução é mostrada na Figura 10.11. Ela ilustra
uma tabela de mapeamento de RIDs, agora com a junção das três dimensões com a
ELSEVIER
CAPÍTULO  10 I PROJETO  F ÍSICO DE APLICAÇÕES DE  B I
Figura 10.10
Índice para join entre dimensão (esquema estrela) e fato.
Figura 10.11
Índice para join entre as dimensões produto, dia, loja
(esquema estrela) e fato.
Uso de índice para agrupamento (clusterização) multidimensional:
Alguns produtos de bancos de dados oferecem soluções particulares para inde-
BI2 – BUSINESS INTELLIGENCE: MODELAGEM E QUALIDADE I CARLOS BARBIERI
de três dimensões, com ano-mês, produto e região. O espaço tridimensional se mostra
como um cubo, com os valores das dimensões dispostos em cada eixo (lado). Existem
quatro valores representados no eixo de produtos, quatro regiões mostradas no eixo de
região e três valores dispostos no eixo ano-mês. Os números mostrados na superfície
do cubo representam os endereços físicos das linhas da tabela fato, na qual aqueles va-
lores que se interceptam estão presentes. Por exemplo, na interseção entre a dimensão
região (valor Região Norte), com a dimensão produto (valor Coca-Cola) aparecem
os endereços físicos 12 e 15. Na interseção entre região (valor Região Nordeste), com
produto (valor Pepsi-Cola) e ano-mês (valor 2009-11) aparecem os endereços 65 e 78.
Esses endereços, diferentemente das estruturas tradicionais que usam Row-id (identi-
ficação de linhas), são Block-IDs (BID), identificadores de blocos. Os blocos são con-
 juntos de páginas, passíveis de ser recuperadas via única operação de I/O, ou seja, com
a evolução dos sistemas operacionais e de armazenamento, aliada ao crescimento dos
caches de memórias, os SGBDs mais evoluídos passaram a recuperar blocos (conjunto
de páginas), otimizando as operações de I/O. Esses blocos representam um conjunto de
páginas nas quais aqueles valores específicos de chaves combinadas na tabela fato estão
armazenados. A Figura 10.13 ilustra o conceito, mostrando que os registros com chaves
Nordeste, Pepsi-Cola e 2009-11 estão distr ibuídos nos blocos 65 e 78, conforme visto
na figura anterior. Cada bloco desses é formado de n páginas pelas quais se distribuem
as linhas da tabela fato com aqueles valores de chaves.
ELSEVIER
CAPÍTULO  10 I PROJETO  F ÍSICO DE APLICAÇÕES DE  B I
Figura 10.13
Exemplo de uso de índice multidimensional.
As Figuras 10.14, 10.15 e 10.16 mostram, respectivamente, os valores dos en-
dereços físicos, vistos em cada uma das “fatias” ( slices), que são os índices (listas) que
podem ser processados por operadores booleanos. Por exemplo, um operador AND,
entre duas listas contendo chaves e BIDs, produz uma lista resultante cujos BIDs serão
pesquisados (varridos) para a busca das linhas que contêm aqueles valores de chaves.
Como os BIDs são identificadores de blocos, a leitura física otimizada trará, para cada
bloco, um conjunto de páginas nas quais as linhas serão encontradas. O DB2 tam-
bém permite a criação de índices combinando valores de duas ou mais dimensões,
de forma a otimizar o processamento das listas obtidas em cada fatia. Por exemplo,
poderia ser criado um índice composto (duas dimensões) por produto e região, ou
por produto e ano-mês, ou por região e ano-mês, ou um índice composto (três di-
mensões) por produto, região e ano-mês.
BI2 – BUSINESS INTELLIGENCE: MODELAGEM E QUALIDADE I CARLOS BARBIERI
Figura 10.14
Exemplo de uso de BID (Block-id)-I
BI2 – BUSINESS INTELLIGENCE: MODELAGEM E QUALIDADE I CARLOS BARBIERI
busca das informações que se alteraram desde o último ciclo para produzir as
atualizações que irão para o DW/DM. Vasculhadores de arquivos logs, arqui-
vos de log de aplicações disparados por triggers etc. podem ser definidos para
automatizar essa captura.
 Considere a possibilidade, já discutida anteriormente, de paralelizar os proces-
sos de manutenção do DW/DM. Um projeto de DW/DM segmentado nas
suas tabelas de dados e índices permitirá ganhos significativos na sua carga,
criação e uso de utilitários.
 Considere a possibilidade de eliminar (drop) os índices antes de efetuar as car-
gas de tabelas e recriá-los posteriormente. Quando a carga das linhas for maior
do que 15% do tamanho da tabela, considere fortemente essa possibilidade.
 Atente para a execução das atualizações de estatísticas após a carga dos bancos
de dados de tal forma que o otimizador possa utilizá-las definindo correta-
mente os melhores caminhos de acessos.
 Aspectos gerais de desempenho
Com a consolidação dos conceitos de data warehouse e data marts como soluções
consistentes para o tratamento de informações negociais na empresa, sobra agora, para
os seus analistas e projetistas, a árdua tarefa de domar aquela que certamente será a fera
assustadora a rondar esses verdadeiros gigantes de informação: o desempenho. Pode-se
facilmente imaginar, e os indicadores são bastante concretos apontando para o fato de que
esses depósitos de informações poderão ultrapassar barreiras de armazenamento, provavel-
mente nunca antes atingidas. Os números de bytes de um DW/DM hoje roçam a casa de
alguns petabytes e já apontam para as primeiras unidades de zettabytes para dentro de al-
guns anos. Alguns DW hoje são maiores (em bytes) do que a própria capacidade instalada
de muitas empresas grandes. É claro que, em paralelo com esse crescimento vertiginoso de
estoque de bytes, também a indústria da informática se apressa em produzir soluções que
permitirão uma suave convivência entre a fera e seus domadores. Por ora, discutiremos
algumas nesse contexto.
Estabelecimento de padrões de desempenho
Esse é um aspecto fundamental no sucesso de qualquer projeto dessa natureza. Os
altos volumes de dados definidos pela necessidade de granularidades finas que permitam a
captura dos indicadores de negócios, aliados às possibilidades variadas de combinações de
dimensões, sugerem problemas potenciais de desempenho. É claro que, gradativamente,
esses problemas serão neutralizados pelas melhorias na otimização dos engines SQL, pelo
crescente poder de paralelismo das máquinas de classes robustas e pelas inovações de
técnicas de indexação (bit wise  e join índices, processamento em cache, rotinas de SGBD
voltadas para otimizar BI etc., além da presença de estruturas proprietárias otimizadas para
armazenamento. Tudo isso num campo em que as dificuldades estão sendo transpostas
sem grandes experiências acumuladas anteriormente, até porque foram as transações de
ELSEVIER
CAPÍTULO  10 I PROJETO  F ÍSICO DE APLICAÇÕES DE  B I
para sistemas de tomada de decisão, definiu o TPC-H. O TPC-H é uma espécie de receita
que deve ser seguida por quem deseja medir relações de custo e desempenho para transa-
ções que envolvam acessos complexos a sistemas de bancos de dados com consultas ad hoc .
 Mais detalhes poderão ser obtidos no site www.tpc.org. O antigo padrão TPC-D,
voltado para sistemas de data warehouse, não é mais oferecido.
Estratégias de armazenamento
A estratégiade armazenamento do DW/DM, ou de seus cubos extraídos, permite
as seguintes opções, conforme ilustrado na Figura 10.24:
Figura 10.24
Exemplo de estruturações: Rolap, Molap, Holap e Dolap.
 ROLAP: estratégia pela qual são usados os próprios sistemas de gerência de
bancos de dados relacionais, com as tabelas sendo implementadas como estru-
turas relacionais clássicas. Oferece todas as vantagens de um SGBDR, porém
exige um projeto cuidadoso do ponto de vista de desempenho, em que o
excesso de tabelas normalizadas poderá comprometer a performance das bus-
cas. É importante lembrar dos conceitos de esquema estrela e flocos de neve,
discutidos anteriormente. As tabelas básicas e os agregados (visões ou cubos)
são armazenados nesse formato. O modelo relacional poderá ser usado tanto
para desenhar o projeto físico do data warehouse, considerando a abordagem
top-down, em que o DW será construído primeiramente, a partir dos arquivos
BI2 – BUSINESS INTELLIGENCE: MODELAGEM E QUALIDADE I CARLOS BARBIERI
 MOLAP: estratégia pela qual são usados gerenciadores de bancos de dados
proprietários, com características de armazenamentos especiais e ferramen-
tas para tratamento dimensional de dados. Embora disponha de proprieda-
des especiais de armazenamento como matrizes esparsas, operações com
array e indexações de bitmap, não oferece toda a gama de recursos (debug,
paralelismo, log, otimizadores, monitoração etc.) encontrada num SGBDR
de última geração, visto a sua estrita especialidade para análise multidimen-
sional. Exige a migração dos dados do SGBR relacional para o armazena-
mento multidimensional e a sua constante atualização. Pode ser limitada na
sua capacidade máxima de armazenamento, mas por ser voltada exclusiva-
mente para essas aplicações pode apresentar, em tese, melhor desempenho
do que as alternativas. Pode ser entendida como uma planilha multidimen-
sional, e algumas oferecem a opção RAM-MD, permitindo a manipulação
dos dados diretamente em memória. No caso de MOLAP, tanto as estrutu-
ras básicas (maior granularidade) quanto as estruturas agregadas/cubos são
armazenadas nesse formato.
 HOLAP: representa uma abordagem de uso misto das duas estratégias an-
teriores, em que as estruturas relacionais são normalmente utilizadas para
os dados de maior granularidade e as estruturas dimensionais nativas são
dedicadas ao armazenamento de agregados (menor granularidade).
 DOLAP: representa uma abordagem na qual estruturas dimensionais ou re-
lacionais, transferidas do DW/DM para as estações clientes, são armazenadas
com o objetivo de facilitar o desempenho de certas análises, minimizando
o tráfego de informações entre o ambiente cliente e o ambiente servidor.
Solução de armazenamento
Os principais pontos a serem considerados na escolha de uma solução de arma-
zenamento para ambientes críticos de BI são:
Tecnologia RAID. Capacidade de armazenamento com suporte às diversas
tecnologias RAID (Redundant Array of Independent Disks). Os conceitos RAID se ba-
seiam na redundância dos bytes de informações e na sua distribuição, de tal forma a
prover maior segurança e desempenho de acesso. As principais classificações da tecno-As principais classificações da tecno-
logia RAID são:
RAID 0: os dados são distribuídos em segmentos ( stripes) por discos diferentes
sem nenhum mecanismo de replicação de dados que permita a sua recuperação em
casos de perdas. Oferecem excelente desempenho pela possibilidade de acessos parale-
lizados, entretanto sem características de tolerância a falhas.
RAID 1: os dados são distr ibuídos em espelhos (duplicações) em discos diferen-
tes, permitindo, dessa forma, uma completa estratégia de tolerância a falhas. Os dados
replicados serão atualizados diretamente pelo próprio sistema de disco, com pequeno
overhead imposto, mas garantirão disponibilidade imediata em caso de perdas nos discos
ELSEVIER
CAPÍTULO  10 I PROJETO  F ÍSICO DE APLICAÇÕES DE  B I
os discos podem ser lidos simultaneamente, mas o desempenho de atualização é afetado
pela duplicidade de atualizações físicas.
RAID 3: os dados são distribuídos em segmentos, ficando o controle de pari-
dade localizado em disco separado. A distribuição dos dados garante também melhor
desempenho no acesso, pelo paralelismo de controladoras, e o mecanismo de paridade
permite recuperações de informações perdidas em certo nível, garantindo tolerância a
falhas. Nesse caso, todas as informações de paridade necessárias ao processo de recupe-Nesse caso, todas as informações de paridade necessárias ao processo de recupe-
ração estão no mesmo disco.
RAID 5: os dados são distr ibuídos em bytes (não mais segmentos) com paridade
também distribuída em discos separados e oferecendo, dessa forma, alto grau de tolerân-
cia a falhas. Oferece, por suas características, excelente relação custo-benefício, sendo
uma das modalidades mais comercializadas.
A Figura 10.25 mostra esquematicamente os principais tipos de RAID.
Figura 10.25
Armazenamento RAID.
 Arquitetura de servidores
O crescimento exponencial de volumes de dados armazenados em data warehou-
ses, associado ao grande número de usuários, tem definido certas condicionantes para as
máquinas que deverão servir de hospedeiras para esses tipos de sistemas. Os sistemas com
muitos terabytes de armazenamento, com alta taxa de transações de suporte a decisão, cada
ELSEVIER
CAPÍTULO 11 I BI2 – NOVAS TENDÊNCIAS NA APLICAÇÃO DE INTELIGÊNCIA DE NEGÓCIOS
te numa fase transitór ia do processo de BI, o importante é juntar esforços para que
esses conceitos de qualidade passem a fazer parte de todo o ciclo de vida do dado
e da informação. Ou seja, os dados deverão ser considerados como um ativo, com
ciclo de vida definido e gerenciado.
GOVERNANÇA DE DADOS, QUALIDADE E MDM
Como discutido em capítulos anteriores, os aspectos de qualidade de dados,
bem como os de governança de dados, deverão aparecer, nos próximos anos, com
mais intensidade, visto serem elementos cada vez mais necessár ios para que se produ-
zam essas condições de qualidade no nascedouro dos dados. Terão, por conse quência,
influência direta nos aspectos relacionados a BI. Acoplados a esses conceitos apare-
ce a também já discutida abordagem MDM (Master Data Management ), ou seja, os
tratamentos dos dados mestres, fundamentais no sistema circulatório da empresa e
que também são insumos fundamentais do mundo do BI, formando um arco de
dimensões presentes em quase todos os repositórios informacionais da empresa. O
conceito de MDM se interliga com o de BI por motivos óbvios. Os MD (dados
mestres) são diretamente associados às dimensões fundamentais no mundo dos DW
e DMarts, e se fortaleceram em função da onda de fusão por que passam as empresas
e a ebulição dos negócios. As fusões de grupos trouxeram à tona essa necessidade,
devido ao aparecimento de bases duplicadas de cadastros estratégicos, como cadastros
de clientes e de produtos. Dessa forma, os conceitos de MDM podem se interligar
com aplicações de modelagem de processos (BPM), além de influir na área de BI,
na qual são dimensões fundamentais dos esquemas em estrela ou flocos de neve. As
tendências em governança de dados mostram que num futuro próximo as empresas
deverão pensar em algo como um DGPG, central da governança de dados, grupo
que deverá conduzir, com o apoio do alto board   da empresa, a implementação dos
processos derivados das ações de governança de dados. Além disso, as tendências de
BI sugerem que, no futuro, as empresas evoluirão na conceituação do BICC, cen-
tro de competência em BI, com funções de BI especializadas, reunidas num núcleo
responsável pelo processo de desenvolvimento mais formal das estruturas concei-
tuais de dados e informações. Esses núcleos deverão trabalhar em conjunto, no sen-
tido de resgatar o hiato proporcionado pelo desaparecimento da AD (administração
de dados), grupo funcional que existiu nos anos 1980 e que tinha missão parecida.
Esses grupos terão em comum, dentre outras coisas, a missão de cr iar e manter as de-
finições de metadados.Os metadados continuarão sendo vistos como grande desafio,
agora dentro do escopo da governança de dados e apoiado pelo BICC, que volta a se
preocupar com eles. A definição formal de forças-tarefas para levantamento de me-
tadados ainda é vista com certa restrição, chegando a sugerir excesso de purismo. A
baixa popularidade dos metadados é um desses fenômenos ainda não explicados da TI:
o porquê de os dados, ativos vitais de uma empresa, não terem o tratamento na devida
proporção de sua importância. Aos dados é conferido um senso de alta importância,
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
Resumo
Além dos aspectos imperiosos de governança e qualidade de dados aplicados a
essa nova era do BI2, também os estratosféricos volumes de dados e informações produ-
zidos dentro do conceito de universo digital sugerem cuidados e mecanismos diferentes
daqueles que o BI tradicional se ocupou em implementar. O BI2 se defrontará com a
era dos zettabytes.
A ERA DOS ZETTABYTES � O TAMANHO DO UNIVERSO DIGITAL
A era do zettabytes, como chamamos o futuro em que seremos informações co-
dificadas e transformados de human being  em human bits, pode ser imaginada pelo volu-
me de informação produzido nesses últimos anos. Os pesquisadores Martin Hilbert, da
USC (University of Southern California), e Priscila López, da OUC (Universidade
Aberta da Catalunha), fizeram um estudo que estima o acervo de informações existente
de 1986 até 2007. Caso fosse armazenado de forma otimizada, o volume de informação
existente em 2007, presente nas diversas formas de suporte, analógicos ou digitais, che-
garia a um volume de 295 trilhões de megabytes ou 295 exabytes (295 EB). Exabytes
é a unidade que representa 1.024 petabytes, que, por sua vez, vem a ser 1.024 terabytes.
Se esses dados fossem armazenados em CD com capacidade de 730 megabytes, com
1,2 mm de espessura, teríamos 404 bilhões de CDs, que empilhados chegariam além
da região orbital da Lua. Até o ano 2000, os meios analógicos guardavam cerca de 75%
de toda a informação da humanidade. Em 2007, segundo o estudo, mais de 94% dessas
informações estaria em meios digitais, invertendo fortemente as posições, com relação
ao início deste século. Claro que o crescimento da internet banda larga e da telefonia
móvel tem contribuído significativamente para essa produção maciça de informações.
Esse aumento teve como contrapartida a suportá-lo o crescimento da capacidade dos
processadores. Segundo a mesma pesquisa, o somatório de todos os processadores em
computadores pessoais alcançava a capacidade de 6,4 trilhões de MIPS (milhões de
instruções por segundo) e mostravam tendência de dobrar a cada 18 meses, alavancado
pela capacidade de processamento embutida, cada vez maior, nos diferentes devices hoje
consumidos, como os celulares e os consoles de videogames. Os números mostrados
na pesquisa, embora gigantescos, ganham tom de certo mistério quando comparados
com os de outra natureza. Por exemplo, citam os autores que a quantidade de cálculos
que todos os computadores do mundo podem fazer está no mesmo nível do núme-
ro de impulsos nervosos executados pelo cérebro humano por segundo, e a infor-
mação acumulada no período estudado é ainda menor do que a codificada no DNA
de um ser humano, que gravita na ordem de 10 zettabytes. Isso nos dá uma sensação
esquisita de que a tecnologia insinuante e espetacular que produzimos tem servido
também ao propósito de nos mostrar o quanto somos menores do que imaginamos.
Outra pesquisa, patrocinada pelo grupo EMC, grande fabricante de sistemas de Storage
 – que tive oportunidade de visitar perto de Boston, em dezembro de 1998 –, realizada
pelo IDC, que durante anos publicou o ComputerWorld , no qual escrevi muitas colunas
ELSEVIER
CAPÍTULO 11 I BI2 – NOVAS TENDÊNCIAS NA APLICAÇÃO DE INTELIGÊNCIA DE NEGÓCIOS
ção capaz de ficar registrada em meio digital. Segundo a pesquisa, o volume em 2009
cresceu 62% com relação ao ano anterior e alcançou o estratosférico valor de 800 mil
petabytes, ou o esquisito 0,8 zettabyte. Isso é equivalente a toda informação que poderia
ser armazenada em 75 bilhões de IPads, ou o total de informações “twitado” por todos
os habitantes do planeta, durante um século.
Para 2010, o conteúdo digital do planeta deverá ter alcançado 1,2Z B (zetta-
bytes), que, comparado, seria 500 mil vezes maior do que todas as bibliotecas acadê-
micas dos Estados Unidos. Quando essa mesma pesquisa foi realizada pelo IDC-EMC,
em 2007, os números apontavam o universo digital em 264 EB (exabytes), um pouco
abaixo do valor apontado pelo estudo da USC e da UAC. Naquele momento houve a
previsão de que, em 2010, o valor alcançaria 988 exabyte s, pouco (?) abaixo do 1,2 ZB
que deverá ter efetivamente alcançado.
Outra pesquisa, da Universidade da Califórnia, em San Diego, garimpou o flu-
xo de dados que um domicílio americano recebe. Encontraram que, em 2008, os lares
americanos foram inundados por aproximadamente 3,6 ZB (zettabytes) de informação,
ou 34 GB por pessoa, por dia. O grande volume vem de TV e videogame, sendo que
a palavra escrita está bem em baixa (menos de 1% do total). Entretanto, o número de
pessoas leitoras (que leem textos), que havia declinado significativamente após o cres-
cimento da TV, voltou a crescer, triplicando a partir dos anos 1980 devido à internet.
Os pesquisadores apontam que as informações criadas por máquinas e lidas por outras
máquinas crescerão muito rapidamente, mais do que qualquer outra forma. Também
percebem que apenas 5% das informações criadas são “estruturadas”, ou seja, vêm em
formato de números e letras/palavras que podem ser lidas por computador. A grande
massa é “não estruturada”, como fotos, imagens, sons etc., o que ainda torna mais desa-
fiadora a sua automatização visando ao pleno acesso e uso. Com os conteúdos cada vez
mais rotulados (no sentido de terem labels com seus significados, ou seja, os metadados)
e o crescimento de tecnologias e dispositivos para reconhecimentos faciais e de vozes,
essas restrições começam a ser minimizadas, transformando os DNE (dados não estru-
turados) em estruturados.
Você deve estar perguntando qual é a importância desses números siderúrgicos
que são levantados. A resposta mais lúcida e inteligente que antevejo é: não sei! Esse
papo “abobrinha”, que Shakespeare traduziria para zucchini’s subject, serve somente para
quantificar em métricas, que nunca poderão ser comprovadas, o que percebemos a
olho nu. O que esses números produzem é exatamente um sentimento interessante:
grande parte dessas informações está sendo produzida por nós, indivíduos, mas deverão
ser armazenadas pelas organizações. Hoje os nossos “twittes” ficam no Twitter, que, na
primavera de 2010, gerou 60 milhões de  posts/dia; os nossos registros de celulares, que
 já alcançam 4,6 bilhões de unidades no planeta, vão para os BDs das operadoras; as foto-
grafias que colocamos na internet ficam no Flickr ou no Facebook, que têm 40 bilhões
delas, e os vídeos despejados pelo mundo afora vão para o YouTube, na proporção de 24
horas de vídeos colocados por minuto. Assim, é de nossa lavra o conteúdo digital pro-
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
que num futuro próximo teremos toda a nossa memória registrada na forma digital. To-
dos os elementos que nos cercam, sejam sons, imagens, fotos, textos, dados biométricos,
chamadas telefônicas, exames laboratoriais etc., serão registrados formando uma espécie
de log da nossa vida. Tudo sobre cada um de nós estará registrado em arquivos logs, do
tipo imagem antes e depois, como existentes nos bancos de dados. Não haverá nenhuma
forma de restrição nos campos da gravação, do armazenamento e da pesquisa, nos per-
mitindo, dessa forma, traduzir todos os instantes da nossa vida em bits facilmente ma-
nipuláveis. O sistema de computação em nuvem seria disponibilizado da mesma forma
como a corrente elétrica nos chega hoje. Bastará plugar em algum  proxy doméstico para
que tenhamos tudo registrado e acessível.O armazenamento será r idiculamente barato.
Em 1970, um disco de 20 MB custava US$20 mil e era do tamanho de uma máquina de
lavar pratos. Hoje, um HD externo de 2 TB custa menos de US$400 e ocupa o espaço
de um livro pequeno. Em 2020, segundo o Total Recall , um TB custará o equivalente a
uma xícara de café e teremos alguns TB nos nossos celulares. Por US$100 será possível
comprar 250 TB, o suficiente para armazenarmos 10 mil horas de vídeo e 10 milhões
de fotos. Essas informações, em grande parte dentro da classificação de DNE (dados não
estruturados), exigirão do BI um alcance maior no sentido de suas indexações e buscas.
Mas uma das grandes preocupações é com a nossa capacidade de armazenar o mundo
digital. Terá a indústria de sistemas de storage  a capacidade para atender a tal demanda?
 Armazenamento na era dos zettabytes
Veja o que dizem os grandes observadores de tecnologia no mundo (Gartner e
IDC), conforme retratado no site TI Inside-OnLine (www.tiinside.com.br), acessado
em 16/8/2010: o mercado global de sistemas externos de storage  movimentou US$4,5
bilhões no primeiro trimestre de 2010, o que representa um crescimento de 18,3% em
relação ao mesmo período de 2009, quando gerou US$3,8 bilhões, segundo o Gart-
ner. Na disputa pelo mercado, a EMC manteve a liderança, com participação de 27,2%
sobre a receita total, seguida pela IBM, com 11,7%. A NetApp ultrapassou Hitachi, HP
e Dell, e assumiu o terceiro lugar com market share  de 10,4%. Apesar de ter perdido o
posto para a NetApp, a Dell também superou a Hitachi e a HP, e fechou o período com
participação de 9,7%.
A HP, com 9,3% de representatividade, terminou o primeiro trimestre do ano
na quinta colocação, queda de uma posição em relação ao mesmo período de 2009.
O destaque negativo foi a Hitachi, que caiu da terceira para a sexta colocação, respon-
dendo por 9,1% do total entre janeiro e março desse ano. Completa a lista a Oracle
(Sun), que alcançou uma participação de 3,4%, ultrapassando a Fujitsu, que concluiu o
período com 3,2%. A Cisco, grande fabricante de equipamentos de telecomunicação,
prevê que em 2013 a quantidade de dados fluindo pela internet anualmente será de 667
EB (exabytes) e a quantidade de dados continuará a crescer mais rapidamente do que a
habilidade da rede de transportá-la.
 A capacidade dos novos chips na era dos zettabytes
BI2 – BBI2 – BUSINESSUSINESS  I INTELLIGENCENTELLIGENCE :: MODELAGEMMODELAGEM EE QUALIDADEQUALIDADE II CCARLOSARLOS B BARBIERIARBIERI
33 trilhões de linhas, com muitos petabytes de armazenamento. Outro instituto que33 trilhões de linhas, com muitos petabytes de armazenamento. Outro instituto que
possui grande acervo de dados é o National Energy Research Scientific Computingpossui grande acervo de dados é o National Energy Research Scientific Computing
Center, Califórnia. Estima-se em 2,8 PB o seu volume.Center, Califórnia. Estima-se em 2,8 PB o seu volume.
Um gigante conhecido, o WalMart, famoso pela sua estrutura de tecnologia, aUm gigante conhecido, o WalMart, famoso pela sua estrutura de tecnologia, a
maior do segmento do varejo, deve ter hoje o BD na faixa de 2,5 PB, processando 1maior do segmento do varejo, deve ter hoje o BD na faixa de 2,5 PB, processando 1
milhão de milhão de transações de transações de clientes por clientes por hora. hora. O O WWalMart alMart continua crescendo e continua crescendo e rendendorendendo
folclores no mundo do BI, como um dos DW mais conhecidos do folclores no mundo do BI, como um dos DW mais conhecidos do planeta.planeta.
Por outro lado, um gigante desconhecido chamado Catalina Marketing, res-Por outro lado, um gigante desconhecido chamado Catalina Marketing, res-
ponsável por marketing direto, acessível no endereço http://www.catalinamarketing.ponsável por marketing direto, acessível no endereço http://www.catalinamarketing.
com/, possui 2,5 petabytes, armazenando três anos de história de compra de cerca decom/, possui 2,5 petabytes, armazenando três anos de história de compra de cerca de
quase 200 milhões de compradores que têm programas de fidelidade com supermer-quase 200 milhões de compradores que têm programas de fidelidade com supermer-
cados, farmácias e outros varejistas. Uma única tabela possui 600 bilhões de linhas. Ocados, farmácias e outros varejistas. Uma única tabela possui 600 bilhões de linhas. O
interessante nessa empresa, interessante nessa empresa, relativrelativamente desconhecida nos amente desconhecida nos cenários cenários de BI, é que o seude BI, é que o seu
DDW é acW é acessado em 44 mil essado em 44 mil pontos de consumo, pontos de consumo, com mais de com mais de 250 milhões de transações250 milhões de transações
por semana, o que equivale a cerca de 30-40 milhões de transações por dia, que equi-por semana, o que equivale a cerca de 30-40 milhões de transações por dia, que equi-
valem a cerca de 1,5 milhão de transações por hora, ou 25 mil por minuto ou cercavalem a cerca de 1,5 milhão de transações por hora, ou 25 mil por minuto ou cerca
de 500 por segundo. Com uma taxa dessa natureza e a necessidade de definição dede 500 por segundo. Com uma taxa dessa natureza e a necessidade de definição de
modelos para análise preditiva de seus clientes, a empresa teve de repensar as soluçõesmodelos para análise preditiva de seus clientes, a empresa teve de repensar as soluções
tecnológicas tecnológicas adotadas.adotadas.
A fronteira dos terabytes, o espaço mais comum neste início de 2011, tem vá-A fronteira dos terabytes, o espaço mais comum neste início de 2011, tem vá-
rios representantes significativos. Um gigante da área de comunicações, a Sprint, temrios representantes significativos. Um gigante da área de comunicações, a Sprint, tem
tamanhos não revelados, tamanhos não revelados, porém estimado em função porém estimado em função do seu volume de três trdo seu volume de três tr ilhões deilhões de
linhas de tabelas, nas quais armazena todas as chamadas telefônicas. Outro gigante, alinhas de tabelas, nas quais armazena todas as chamadas telefônicas. Outro gigante, a
AATTTT, , tem volumes na ftem volumes na faixa de 32aixa de 320 0 TB, TB, com arcom armazenamazenamento de 1,mento de 1,9 tr9 trilhão de cilhão de chamadahamadass
telefônicas.telefônicas.
Mas outra grande representante dos “teraconsumidores” é a livraria Barnes andMas outra grande representante dos “teraconsumidores” é a livraria Barnes and
Noble. Maior cadeia de livraria física dos Estados Unidos, e, acho eu, do mundo, a BNNoble. Maior cadeia de livraria física dos Estados Unidos, e, acho eu, do mundo, a BN
passou por um passou por um processo de consolidação dos processo de consolidação dos seus novseus nove data warehouses diferentes, e data warehouses diferentes, cen-cen-
trados etrados em Oracle, m Oracle, para a forpara a formação de um úmação de um único DW corpornico DW corporativoativo. . Os diversos DW eramOs diversos DW eram
dedicados a negócios dedicados a negócios diferentes, diferentes, tendo um para tendo um para o controle das lojas, outro controle das lojas, outro para as o para as lojaslojas
exclusivexclusivas que ficam as que ficam nas universidades e faculdades nas universidades e faculdades americanas americanas etc. etc. Com o crescimentoCom o crescimento
dosdos e-readerse-readers e  e da venda dos livros digitais, essa novda venda dos livros digitais, essa nova linha a linha de consumidores passou a de consumidores passou a serser
integrada com os consumidores das lojas deintegrada com os consumidores das lojas de mortar and bricksmortar and bricks (cimento e tijolo), como (cimento e tijolo), como
são denominadas são denominadas as lojas as lojas físicas no físicas no mundo virtual. mundo virtual. Assim, Assim, um dos pontos um dos pontos que alavanca-que alavanca-
ram essa consolidação foi a necessidade de ter uma visão mais integrada dos hábitos dosram essa consolidação foi a necessidade de ter uma visão mais integrada dos hábitos dos
seus consumidores, independentemente de serem alunos, clientes digitais ou públicoseus consumidores,independentemente de serem alunos, clientes digitais ou público
em geral. em geral. Uma das prUma das primeiras ações da BN imeiras ações da BN foi oferecer um aplicativo para os portadoresfoi oferecer um aplicativo para os portadores
de leitores digitais de documentos. O aplicativo pode ser baixado da web, e com ele osde leitores digitais de documentos. O aplicativo pode ser baixado da web, e com ele os
clientes podem, clientes podem, estando em uma loja estando em uma loja da BN, da BN, fotografar uma fotografar uma capa de livro na estante ecapa de livro na estante e
receber imediatamente um conjunto de inforreceber imediatamente um conjunto de informações a respeito dele. Tmações a respeito dele. Todas as lojas odas as lojas têmtêm
Wi-Fi gratuito. Se o cliente se apresentar numa das cafeterias do Starbucks, integradaWi-Fi gratuito. Se o cliente se apresentar numa das cafeterias do Starbucks, integrada
ELSEVIERELSEVIER
CCAPÍTULOAPÍTULO 1 111 II BI2 – NBI2 – NOVASOVAS TENDÊNCIASTENDÊNCIAS NANA APLICAÇÃOAPLICAÇÃO DEDE INTELIGÊNCIAINTELIGÊNCIA DEDE NEGÓCIOSNEGÓCIOS
dos portadores de leitores digitais dos portadores de leitores digitais para se insinuar com o para se insinuar com o seu produto próprio (NOOK),seu produto próprio (NOOK),
ainda distante da preferência do público, quando comparado com IPAD e outros. Paraainda distante da preferência do público, quando comparado com IPAD e outros. Para
não fanão falar dos millar dos milhares de títulhares de títulos digios digitais já distais já disponíveis, poníveis, que eles, que eles, claro, claro, desejam qudesejam que sejame sejam
lidos no seu Nook. O nome do produto, aliás, se lido em duas sílabas, significa “nãolidos no seu Nook. O nome do produto, aliás, se lido em duas sílabas, significa “não
OK”, OK”, em inglês. em inglês. Vá enteVá entender um produtnder um produto que sugere, o que sugere, pelo nome, pelo nome, algo asalgo assim...sim...
 Uma empresa também  Uma empresa também pouco conhecida dos pouco conhecida dos brasileiros é a Acxion. brasileiros é a Acxion. Ela gerenciaEla gerencia
cerca de 20 bilhões de registros sobre consumidores, com um acervo de aproximada-cerca de 20 bilhões de registros sobre consumidores, com um acervo de aproximada-
mente 850 TB. Juntamente com a ChoicePoint, atua no ramo de coleta, integração emente 850 TB. Juntamente com a ChoicePoint, atua no ramo de coleta, integração e
armazenamento de dados de consumidores num nicho de negócios denominado in-armazenamento de dados de consumidores num nicho de negócios denominado in-
teligência prteligência privivada, ada, que suporta que suporta divdiversos projetos de empresas parersos projetos de empresas particulares e de agênciasticulares e de agências
do governo. Recentemente adquirida pela gigante Reed Elsevier, a ChoicePoint temdo governo. Recentemente adquirida pela gigante Reed Elsevier, a ChoicePoint tem
algo estimado em 250 algo estimado em 250 TB, TB, nos quais arnos quais armazena informazena informações sobre mais de mações sobre mais de 200 milhões200 milhões
de residentes nos Estade residentes nos Estados Unidos. dos Unidos. Ambas (Acxion Ambas (Acxion e ChoicePoint) são as e ChoicePoint) são as empresas maisempresas mais
“desconhecidas” “desconhecidas” do planeta, mas englobam um oceano de infordo planeta, mas englobam um oceano de informações.mações.
O O YYouTouTube, ube, com o com o maior maior banco banco de vídeode vídeos do s do planetaplaneta, , em que em que 65 mil 65 mil vídeos vídeos no-no-
vos são colovos são colocados pcados por dia, deor dia, deve ter na fve ter na faixa de maixa de mais de 100 ais de 100 TB, TB, com previsão com previsão de dobrade dobrar ar a
cada ccada cinco mesinco meses. es. O site Amazon, O site Amazon, maior vendedomaior vendedor do varejo on-lir do varejo on-line do planne do planeta, eta, tem 60tem 60
milhões de registros de clientes, com volume aproximado de 50 TB. Embora a camadamilhões de registros de clientes, com volume aproximado de 50 TB. Embora a camada
dos petabytes ainda não esteja densamente preenchida, a perspectiva de crescimento édos petabytes ainda não esteja densamente preenchida, a perspectiva de crescimento é
que assusta. Em pesquisas do TDWI (The DataWarehouse Institute), 46% das empresasque assusta. Em pesquisas do TDWI (The DataWarehouse Institute), 46% das empresas
respondentes disseram que vão substituir as suas plataformas de DW, esperando porrespondentes disseram que vão substituir as suas plataformas de DW, esperando por
maiores crescimentos.maiores crescimentos.
 Essas  Essas unidades padrão, unidades padrão, na realidade, na realidade, são definidas são definidas pelo pelo The InterThe International Bureaunational Bureau
of Weights and Measures. Os prefixos definidos dentro do padrão são mostrados naof Weights and Measures. Os prefixos definidos dentro do padrão são mostrados na
Tabela 11.1.Tabela 11.1.
TABELA 11.1TABELA 11.1
UUNNIIDDAADDEE TTAAMMAANNHHO O ((**)) SSIIGGNNIIFFIICCAADDOO
BBiitt MMeennoor r uunniiddaadde e ddiiggiittaall
Binary digit. Tem valor 1 ou 0 e éBinary digit. Tem valor 1 ou 0 e é
o código usado para representar ao código usado para representar a
menor unidade de armazenamentomenor unidade de armazenamento
digitaldigital
BByyttee 8 8 bbiittss
Suficiente para armazenar uma letraSuficiente para armazenar uma letra
nos alfabetos (nos alfabetos (single-character single-character ) ou) ou
um númeroum número
KKiilloobbyytte e ((KKBB)) 11..00224 4 oou u 22****110 0 bbyytteess
O nome se origina deO nome se origina de thousand,thousand, em em
grego. Uma página de texto normal-grego. Uma página de texto normal-
mente tem 2 KBmente tem 2 KB
MMeeggaabbyytte e ((MMBB)) 11..00224 4 KKB B oou u 22****2200
O nome se origina deO nome se origina de large,large, emem
grego. Todo o trabalho de Williamgrego. Todo o trabalho de William
Shakeaspeare totaliza 5 MB e umaShakeaspeare totaliza 5 MB e uma
cançãocanção  típica tem 4 MB típica tem 4 MB
BI2 – BBI2 – BUSINESSUSINESS  I INTELLIGENCENTELLIGENCE :: MODELAGEMMODELAGEM EE QUALIDADEQUALIDADE II CCARLOSARLOS B BARBIERIARBIERI
GGiiggaabbyytte e ((GGBB)) 11..00224 4 MMB B oou u 22****3300
O nome se origina deO nome se origina de giant  giant , em gre-, em gre-
go. Um filme de duas go. Um filme de duas horas pode serhoras pode ser
armazenado de forma comprimidaarmazenado de forma comprimida
em 1-2 GBem 1-2 GB
TTeerraabbyytte e ((TTBB)) 11..00224 4 GGB B oou u 22****4400
O nome se origina deO nome se origina de monster monster , em, em
grego. Todos os livros catalogadosgrego. Todos os livros catalogados
na Biblioteca do Congresso america-na Biblioteca do Congresso america-
no totalizam 15 TBno totalizam 15 TB
PPeettaabbyytte e ((PPBB)) 11..00224 4 TTB B oou u 22****5500
Todas as cartas que circularão peloTodas as cartas que circularão pelo
serviço postal dos Estados Unidosserviço postal dos Estados Unidos
em 2010 totalizarão 5 PB. O Googleem 2010 totalizarão 5 PB. O Google
processa cerca de 1 PB por processa cerca de 1 PB por hora dehora de
informaçãoinformação
EExxaabbyytte e ((EEBB)) 11..00224 4 PPB B oou u 22****6600
Equivale a 10 bilhões de cópias doEquivale a 10 bilhões de cópias do
The Economist The Economist 
ZZeettttaabbyytte e ((ZZBB)) 11..00224 4 EEB B oou u 22****7700
A quantidade total de informaçãoA quantidade total de informação
existente até este ano está previs-existente até este ano está previs-
ta em torno de 1,2 ZB (definido emta em torno de 1,2 ZB (definido em
1991)1991)
YYoottttaabbyytte e ((YYBB)) 11..00224 4 ZZB B oou u 22****8800
ImpossívImpossível de el de imaginar (definido emimaginar (definido em
1991)1991)
Fonte:Fonte: The Economist The Economist : All too much. Monstrous amount of data (25/2/10). Disponível em:: All too much. Monstrous amount of data (25/2/10). Disponível em:
http://wwwhttp://www.economist.c.economist.com. Acesso em: om. Acesso em: 9 ago. 9 ago. 2012010.0.
(*)Existemdois padrões atualmente relacionados com os valores acima citados: O SIU(*)Existem dois padrões atualmente relacionados com os valores acima citados: O SIU
(Sistema Int(Sistema Internacional de Uernacional de Unidadesnidades, que usa a b, que usa a base ase decimal) e o ddecimal) e o definido pela CEIefinido pela CEI
(Comissão Eletrotécnica Internacional, que usa a base binária). A expressão dessas uni-(Comissão Eletrotécnica Internacional, que usa a base binária). A expressão dessas uni-
dades em bases diferentes produz certa imprecisão, pois pela CEI, 1TB=1.024GB, edades em bases diferentes produz certa imprecisão, pois pela CEI, 1TB=1.024GB, e
para o SIU 1TB=1.000GB. Objetivando uma compatibilização há uma proposta de novospara o SIU 1TB=1.000GB. Objetivando uma compatibilização há uma proposta de novos
nomes para as unidades em base binária: Mebibytes(MiB)nomes para as unidades em base binária: Mebibytes(MiB)-Gibibytes(G-Gibibytes(GiB)-TiB)-Tebibytes(TiB)-ebibytes(TiB)-
Pebibytes(PiB)-Exbibytes(EiX)-Zebibytes(ZiB)-Yobibytes(YiB). Assim teríamos o Terabyte bi-Pebibytes(PiB)-Exbibytes(EiX)-Zebibytes(ZiB)-Yobibytes(YiB). Assim teríamos o Terabyte bi-
nário, por exemplo, que se chamaria Tebibyte(TiB), diferenciado do Terabyte decimal. Nonário, por exemplo, que se chamaria Tebibyte(TiB), diferenciado do Terabyte decimal. No
entanto, ambos continuam plenamente aceitos e entendidos de forma intercambiada, até aentanto, ambos continuam plenamente aceitos e entendidos de forma intercambiada, até a
consolidação total dos conceitos.consolidação total dos conceitos.
ALGUMAS RELAÇÕES DE CAUSA E EFEITO DOS ZEALGUMAS RELAÇÕES DE CAUSA E EFEITO DOS ZETTABTTABYTESYTES
SOBRE A SOCIEDADESOBRE A SOCIEDADE
Com o crescente volume de dados, Com o crescente volume de dados, obtido de forobtido de formas variadas mas variadas através das quaisatravés das quais
uma pessoa tangencia a uma pessoa tangencia a sociedade digital, certos aspectos devsociedade digital, certos aspectos deverão ser pensados.erão ser pensados.
PrivacidadePrivacidade: : é um dos é um dos fatores que mais fatores que mais geram apreensão na geram apreensão na sociedade digital,sociedade digital,
à medida que as empresas acumulam, cada vez mais, informações a nosso respeito.à medida que as empresas acumulam, cada vez mais, informações a nosso respeito.
Estamos presentes em Estamos presentes em divdiversos cadasersos cadastros de empresas com tros de empresas com as quais as quais nos relacionamos,nos relacionamos,
e rastreadores digitais sabem muito das nossas pegadas nas e rastreadores digitais sabem muito das nossas pegadas nas trilhas trilhas virtuais pela intervirtuais pela internet,net,
por onde circulamos. Se, por um lado, estamos com preocupação crescente com ospor onde circulamos. Se, por um lado, estamos com preocupação crescente com os
nossos dados e a sua integridade e privacidade, por outro lado, num rebote paradoxal,nossos dados e a sua integridade e privacidade, por outro lado, num rebote paradoxal,
estamos cada vez mais nos expondo através das redes sociais, nas quais expressamosestamos cada vez mais nos expondo através das redes sociais, nas quais expressamos
ELSEVIERELSEVIER
CCAPÍTULOAPÍTULO 1 111 II BI2 – NBI2 – NOVASOVAS TENDÊNCIASTENDÊNCIAS NANA APLICAÇÃOAPLICAÇÃO DEDE INTELIGÊNCIAINTELIGÊNCIA DEDE NEGÓCIOSNEGÓCIOS
nossa alma. Enquanto esse ponto pode ser visto como estando sob nossa gerência, ànossa alma. Enquanto esse ponto pode ser visto como estando sob nossa gerência, à
medida que controlamos nossa exposição via mecanismos medida que controlamos nossa exposição via mecanismos de maior discrde maior discrição, ição, a massaa massa
de informação imperceptível que produzem a nosso respeito é algo bem mais sério.de informação imperceptível que produzem a nosso respeito é algo bem mais sério.
Até porque pouco se pode fazer diretamente sobre isso. Em todo ato de compra, noAté porque pouco se pode fazer diretamente sobre isso. Em todo ato de compra, no
mundo físico ou mundo físico ou digital, em cadastramentos, digital, em cadastramentos, buscando umabuscando uma newsletter newsletter  que nos  que nos interessainteressa
ou na conversão de créditos em milhagem, sempre somos instados a prover certosou na conversão de créditos em milhagem, sempre somos instados a prover certos
dados do nosso domínio pessoal. E para isso existe pouco espaço para manobras adados do nosso domínio pessoal. E para isso existe pouco espaço para manobras a
nosso favor. A menos que sejam reconhecidos os direitos de propriedade sobre osnosso favor. A menos que sejam reconhecidos os direitos de propriedade sobre os
nossos dados e que nos seja dado o direito de sabermos sobre eles e de podermosnossos dados e que nos seja dado o direito de sabermos sobre eles e de podermos
definir sobre sua utilização, seu compartilhamento, sua manutenção e eliminação.definir sobre sua utilização, seu compartilhamento, sua manutenção e eliminação.
Essa tendência, ainda incipienteEssa tendência, ainda incipiente, , poderá ser mudada através de poderá ser mudada através de legislações mais legislações mais rigo-rigo-
rosas a respeito de propriedade de dados. Há espaço ainda para o amadurecimentorosas a respeito de propriedade de dados. Há espaço ainda para o amadurecimento
disso na sociedade digital. Enquanto as leis não são criadas ou não vinguem quandodisso na sociedade digital. Enquanto as leis não são criadas ou não vinguem quando
forem, mecanismos de tecnologia podem ser desenvolvidos para tal. Recentementeforem, mecanismos de tecnologia podem ser desenvolvidos para tal. Recentemente
foi lançada uma empresa norte-americana cujo objetivo é a criação de um plug-infoi lançada uma empresa norte-americana cujo objetivo é a criação de um plug-in
dede browser que toca nesse domínio de privacidade, jogando a favor do internauta. Abrowser que toca nesse domínio de privacidade, jogando a favor do internauta. A
empresa, com o sugestivo nome de Bynamite, intenciona criar mecanismos para queempresa, com o sugestivo nome de Bynamite, intenciona criar mecanismos para que
você saiba como os diversos rastreadores digitais você saiba como os diversos rastreadores digitais acompanham seus passos, coletandoacompanham seus passos, coletando
informações sobre as formas pelas quais você está sendo observado. Por exemplo, seinformações sobre as formas pelas quais você está sendo observado. Por exemplo, se
você navega no Google, colocando na caixa de pesquisa as palavras-chave “bateriavocê navega no Google, colocando na caixa de pesquisa as palavras-chave “bateria
para Ipod”, para Ipod”, está gerando algum valor para algumas está gerando algum valor para algumas empresas que poderão lucrar comempresas que poderão lucrar com
aquela informação. As empresas de marketing digital, de certa forma, capturam issoaquela informação. As empresas de marketing digital, de certa forma, capturam isso
e ficam sabendo do seu interesse pelo tocador de músicas da Apple. Isso associadoe ficam sabendo do seu interesse pelo tocador de músicas da Apple. Isso associado
ao seu cookie vai para um BD dessas empresas. A ideia do Bynamite é coletar essasao seu cookie vai para um BD dessas empresas. A ideia do Bynamite é coletar essas
percepções e deixar disponível para você aquilo que sabem a seu respeito, de formapercepções e deixar disponível para você aquilo que sabem a seu respeito, de forma
que você poderá transforque você poderá transformar essa mar essa informação informação em ativos de sua propriedade. em ativos de sua propriedade. Ou seja:Ou seja:
essas informações sobre suas andanças pela internet são suas e lhe pertencem. Emessas informações sobre suas andanças pela internet são suas e lhe pertencem. Em
resumoresumo, , se você circula pela interse você circula pela internet e os net e os sites por onde sites por onde passa estão sob passa estão sob a mira de a mira de umum
dessesdesses ad networksad networks, como Doubleclick (hoje do Google, por US$3,1 bilhões), os seus, como Doubleclick (hoje doGoogle, por US$3,1 bilhões), os seus
passos serão registrados sob a identificação de um cookie, por exemplo. Dessa forma,passos serão registrados sob a identificação de um cookie, por exemplo. Dessa forma,
você estará fornecendo informações a esses observadores digitais sobre o seu hábito.você estará fornecendo informações a esses observadores digitais sobre o seu hábito.
De posse dessas informações que são suas, essas empresas comercializam osDe posse dessas informações que são suas, essas empresas comercializam os outdoorsoutdoors
digitais. São empresas que colocamdigitais. São empresas que colocam adsads (propagandas digitais) nas páginas e, quando(propagandas digitais) nas páginas e, quando
você abre determinado site, alcançam diretamente você. Aquelesvocê abre determinado site, alcançam diretamente você. Aqueles adsads são colocados ali são colocados ali
exatamente pela probabilidade de exatamente pela probabilidade de seu interesse pelo assunto, seu interesse pelo assunto, capturado pelos capturado pelos seus mo-seus mo-
vimentos antervimentos anter iores. iores. EssesEsses outdoorsoutdoors digitais serão remunerados caso você clique nele digitais serão remunerados caso você clique nele
e entre num site que venda aquilo ou, mais ainda, caso uma venda seja concretizada.e entre num site que venda aquilo ou, mais ainda, caso uma venda seja concretizada.
Resumindo: alguém usou as suas informações de hábitos de circulação na internet eResumindo: alguém usou as suas informações de hábitos de circulação na internet e
as vendeu, ganhando as vendeu, ganhando algum algum dinheiro.dinheiro.
O site Bynamite tem a O site Bynamite tem a perspectiva inicial de dar a você o conhecimento desseperspectiva inicial de dar a você o conhecimento desse
ativo que é seu (ou seja, ativo que é seu (ou seja, as inforas informações somações sobre por onde você passou) e espbre por onde você passou) e espera que, era que, comcom
BI2 – BBI2 – BUSINESSUSINESS  I INTELLIGENCENTELLIGENCE :: MODELAGEMMODELAGEM EE QUALIDADEQUALIDADE II CCARLOSARLOS B BARBIERIARBIERI
uma moeda de troca, podendo negociar um ativo que é seu. A propósito, um estudouma moeda de troca, podendo negociar um ativo que é seu. A propósito, um estudo
denominado denominado “What is “What is privacy worth?” privacy worth?” (“Quanto vale a (“Quanto vale a privacidade?”), privacidade?”), de um de um grupogrupo
de pesquisadores da Universidade de Carde pesquisadores da Universidade de Carnegie Mellon, aprnegie Mellon, apresenta experimentos esenta experimentos sobresobre
a tentativa de medir a valoração que damos à a tentativa de medir a valoração que damos à privacidade dos nossos dados.privacidade dos nossos dados. Nele, háNele, há
um relato de experimento realizado numum relato de experimento realizado num shopping center shopping center , sendo que dois grupos de, sendo que dois grupos de
pessoas foram selecionados para participar. A um dos grupos foi oferecido um con-pessoas foram selecionados para participar. A um dos grupos foi oferecido um con-
 junto de cartõ junto de cartões de US$12 (es de US$12 ( gift cards gift cards) que poderiam ser usados na compra de qualquer) que poderiam ser usados na compra de qualquer
coisa, coisa, desde que os compradores fossem identificados desde que os compradores fossem identificados e as compras e as compras fossem associadas afossem associadas a
eles. eles. A outro grupo separado foi dado um conjunto de cartões de US$10 que pode-A outro grupo separado foi dado um conjunto de cartões de US$10 que pode-
riam ser usados de qualquer forriam ser usados de qualquer forma e sem nenhuma identificação do comprador nemma e sem nenhuma identificação do comprador nem
dos produtos comprados. Ou seja: um grupo ganha mais, porém tem de revelar asdos produtos comprados. Ou seja: um grupo ganha mais, porém tem de revelar as
suas compras, e outro ganha menos, mas permanece anônimo. Ao grupo que recebeusuas compras, e outro ganha menos, mas permanece anônimo. Ao grupo que recebeu
os cartões de US12 e que teria de se expor nas compras foi oferecida a troca pelosos cartões de US12 e que teria de se expor nas compras foi oferecida a troca pelos
cartões de US$10 anônimos. cartões de US$10 anônimos. Somente 10% dos participantes do grSomente 10% dos participantes do grupo aceitaram sairupo aceitaram sair
da exposição remunerada. O grupo que recebera os cartões anônimos de US$10,da exposição remunerada. O grupo que recebera os cartões anônimos de US$10,
quando feita a proposta de troca, aceitou em 50%, preferindo a metade permanecerquando feita a proposta de troca, aceitou em 50%, preferindo a metade permanecer
no anonimato. no anonimato. A conclusão A conclusão a que a que se chegou nesse se chegou nesse experimento é experimento é que tudo dependeque tudo depende
da condição inicial em que da condição inicial em que nos encontramos. nos encontramos. Se estamos numa condição psicológicSe estamos numa condição psicológicaa
em que entendemos que há em que entendemos que há uma inevitáveuma inevitável exposição dos nossos l exposição dos nossos dados, dados, a tendência éa tendência é
que perque permaneçamos nessa maneçamos nessa zona de desconforzona de desconforto, to, em que todos em que todos se encontram tase encontram também,mbém,
ancorados no sentimento de que o mal é para todos. Caso estejamos envoltos numaancorados no sentimento de que o mal é para todos. Caso estejamos envoltos numa
condição psicológica condição psicológica que nos sugere conforto e que nos sugere conforto e proteção dos nossos dados, proteção dos nossos dados, tendemostendemos
a mantê-la. Os detalhes estão no artigo de Alessandro Acquisti, Leslie John e Ge-a mantê-la. Os detalhes estão no artigo de Alessandro Acquisti, Leslie John e Ge-
orge Lowenstein que pode ser acessado em www.heinz.cmu.edu/~acquisti/papers/orge Lowenstein que pode ser acessado em www.heinz.cmu.edu/~acquisti/papers/
acquisti-privacy-worth.pdf acquisti-privacy-worth.pdf ..
Esse conceito de propriedade de dados, ou de que os dados recolhidos peloEsse conceito de propriedade de dados, ou de que os dados recolhidos pelo
“business” pertencem aos clientes e que devem ser disponibilizados, tem produzido“business” pertencem aos clientes e que devem ser disponibilizados, tem produzido
movimentos interessantes. Em março de 2011, na Inglaterra, o governo anunciou umamovimentos interessantes. Em março de 2011, na Inglaterra, o governo anunciou uma
iniciativa denominada “Mydata”, que exigirá que os dados já providos pelas compa-iniciativa denominada “Mydata”, que exigirá que os dados já providos pelas compa-
nhias a respeito de seus consumidores e consumos também o sejam na forma digital.nhias a respeito de seus consumidores e consumos também o sejam na forma digital.
O Governo Britânico já discute com vários bancos, operadoras de cartão de crédito,O Governo Britânico já discute com vários bancos, operadoras de cartão de crédito,
de celulares etc. para darem início ao programa. Estudos provam, por exemplo, que ade celulares etc. para darem início ao programa. Estudos provam, por exemplo, que a
mudança de plano usado hoje por mudança de plano usado hoje por clientclientes es de celulares pode produzir, de celulares pode produzir, na média, na média, umauma
economia de US$300. Para tal, seria importante que se conhecesse o detalhe de seuseconomia de US$300. Para tal, seria importante que se conhecesse o detalhe de seus
itens de consumo, itens de consumo, o que nem sempre está co que nem sempre está claro nas faturas. Isso poderia estar laro nas faturas. Isso poderia estar associadoassociado
a um alerta sobre a adequação do seu perfil ao plano escolhido, caso a empresa fossea um alerta sobre a adequação do seu perfil ao plano escolhido, caso a empresa fosse
mais sensível aos mais sensível aos aspectos de “recipraspectos de “reciprocidade”. ocidade”. Caso contrárCaso contrár io, io, com os com os dados passados dados passados nana
forma digital, você poderia, por exemplo, usar certos sites, como BillShrink.com,cujoforma digital, você poderia, por exemplo, usar certos sites, como BillShrink.com, cujo
objetivobjetivo é justamente o é justamente analisar e sugerir analisar e sugerir os melhores os melhores planos para vplanos para você.ocê.
SegurançaSegurança: enquanto a privacidade está, de certa forma, nos domínios do: enquanto a privacidade está, de certa forma, nos domínios do
nosso arbítrnosso arbítr io, io, os aspectos de os aspectos de segurança tocam segurança tocam em pontos relativos a invem pontos relativos a invasões ou va-asões ou va-
ELSEVIERELSEVIER
CCAPÍTULOAPÍTULO 1 111 II BI2 – NBI2 – NOVASOVAS TENDÊNCIASTENDÊNCIAS NANA APLICAÇÃOAPLICAÇÃO DEDE INTELIGÊNCIAINTELIGÊNCIA DEDE NEGÓCIOSNEGÓCIOS
guarda. Os movimentos aqui também passam por legislações específicas, além dosguarda. Os movimentos aqui também passam por legislações específicas, além dos
óbvios embates jurídicos de direito à privacidade e de eventuais ressarcimentos poróbvios embates jurídicos de direito à privacidade e de eventuais ressarcimentos por
perdas originadas por mau uso de suas informações. Como as ameaças de quebra deperdas originadas por mau uso de suas informações. Como as ameaças de quebra de
segurança e suas ocorsegurança e suas ocorrências são norrências são normalmente mantidas sob certo segmalmente mantidas sob certo segredoredo, , na medidana medida
em que revem que revelam fragilidades elam fragilidades estruturais de estruturais de sistemas, sistemas, alguns estados e paalguns estados e países estão defi-íses estão defi-
nindo leinindo leis que obrs que obrigam que esigam que esses eventos sejam tses eventos sejam trazidorazidos a público. s a público. Por exPor exemplo, emplo, existeexiste
uma lei pioneira na Califórnia, criada em 2003, que obriga que todas as invasões ouuma lei pioneira na Califórnia, criada em 2003, que obriga que todas as invasões ou
quebras de segurança sejam notificadas a todos os que, de certa forma, poderiam serquebras de segurança sejam notificadas a todos os que, de certa forma, poderiam ser
prejudicados pelo potencial dano oriundo daquele fato. Essa mesma lei está sendoprejudicados pelo potencial dano oriundo daquele fato. Essa mesma lei está sendo
aplicada em aplicada em outros estados ameroutros estados amer icanos. icanos. Além disso, Além disso, há ideias há ideias sobre extensões à sobre extensões à lei quelei que
obrigarobrigar iam as empresas a realizar auditorias iam as empresas a realizar auditorias de seguranças perde seguranças periódicas, iódicas, feitas por tercei-feitas por tercei-
ros credenciados. ros credenciados. Isso servirIsso servir ia como ia como elemento de mitigação elemento de mitigação desses rdesses riscos. iscos. No Brasil, oNo Brasil, o
vazamento de informações privadas durante períodos eleitorais tem se tornado umavazamento de informações privadas durante períodos eleitorais tem se tornado uma
prática preocupante que fragprática preocupante que fragiliza as instituições iliza as instituições responsávresponsáveis por sua eis por sua guarda. guarda. Em 2006Em 2006
foi vazado o sigfoi vazado o sigilo bancárilo bancário da CEF io da CEF de um caseiro de Bde um caseiro de Brasília e, rasília e, em 2010, em 2010, foram va-foram va-
zados os dados zados os dados da SRF de da SRF de um político da um político da oposição e da oposição e da filha de um filha de um candidato. candidato. AlémAlém
disso, o jornaldisso, o jornal O GloboO Globo, de 23/8/2010, traz em sua página principal uma manchete, de 23/8/2010, traz em sua página principal uma manchete
preocupante: “Dados pessoais sigilosos são vendidos nas ruas de São Paulo.” A repor-preocupante: “Dados pessoais sigilosos são vendidos nas ruas de São Paulo.” A repor-
tagem conseguiu comprar, na rua Santa Ifigênia, reduto do comércio eletrônico detagem conseguiu comprar, na rua Santa Ifigênia, reduto do comércio eletrônico de
São PauloSão Paulo, , dois CDs contendo infordois CDs contendo informações completas sobre veículos e proprietármações completas sobre veículos e proprietár iosios
oriundas do Denatran (Departamento Nacional de Trânsito) e dados bancários deoriundas do Denatran (Departamento Nacional de Trânsito) e dados bancários de
pensionistas do INSS (Instituto Nacional de Seguridade Social). Os dados dos pen-pensionistas do INSS (Instituto Nacional de Seguridade Social). Os dados dos pen-
sionistas continham CPF, número do benefício, endereço e telefone. Também foramsionistas continham CPF, número do benefício, endereço e telefone. Também foram
oferecidos ao repórter os dados bancários oferecidos ao repórter os dados bancários de correntistas das regiões Sul e Sudeste dede correntistas das regiões Sul e Sudeste de
um dos maiores bancos privados do Brasil. Na mesma semana, no dia 26/8/2010, aum dos maiores bancos privados do Brasil. Na mesma semana, no dia 26/8/2010, a
Superintendência da Receita Federal, órgão que retém informações de alta privaci-Superintendência da Receita Federal, órgão que retém informações de alta privaci-
dade, vem a público e reconhece as suas fragilidades, sugerindo a existência de umadade, vem a público e reconhece as suas fragilidades, sugerindo a existência de uma
“rede interna” entre seus colaboradores visando à compra e à venda de informações“rede interna” entre seus colaboradores visando à compra e à venda de informações
sobre contribuintes. No dia 1/9/2010, asobre contribuintes. No dia 1/9/2010, a Folha de S. PauloFolha de S. Paulo divulgou, na página A7, divulgou, na página A7,
uma notícia sobre a prisão de um camelô, nas imediações da rua Santa Ifigênia, queuma notícia sobre a prisão de um camelô, nas imediações da rua Santa Ifigênia, que
vendia CD com dados sigilosos vendia CD com dados sigilosos da Receita Federal. da Receita Federal. Por R$1 mil era possível adquirirPor R$1 mil era possível adquirir
o CD, que continha os dados fiscais dos contribuintes e a sua restituição. Os dadoso CD, que continha os dados fiscais dos contribuintes e a sua restituição. Os dados
fiscais somente eram abertos com uma senha de 12 dígitos, que era fornecida junta-fiscais somente eram abertos com uma senha de 12 dígitos, que era fornecida junta-
mente com o CD. O vendedor também oferecia CD com informações da Infoseg,mente com o CD. O vendedor também oferecia CD com informações da Infoseg,
rede do Ministério rede do Ministério da Justiça, da Justiça, com inforcom informações crmações criminais do Brasil, como mandadosiminais do Brasil, como mandados
de prisão e do Detran (Departamento Estadual de Trânsito). Como se não bastasse,de prisão e do Detran (Departamento Estadual de Trânsito). Como se não bastasse,
no dia 21/12/2010, o site dono dia 21/12/2010, o site do Estado de S. PauloEstado de S. Paulo (Estadão.com.br) divulgou matéria (Estadão.com.br) divulgou matéria
sobre hackers que fizeram sobre hackers que fizeram empréstimos junto ao empréstimos junto ao Banco Panamericano, Banco Panamericano, em nome doem nome do
presidente Luiz Inácio Lula da Silva, com dados obtidos ilegalmente do sistema depresidente Luiz Inácio Lula da Silva, com dados obtidos ilegalmente do sistema de
informática da Previdência Social. Outro ponto importante que deverá ser tambéminformática da Previdência Social. Outro ponto importante que deverá ser também
discutido definirá o tempo de retenção dos nossos dados nos diversos arquivos nosdiscutido definirá o tempo de retenção dos nossos dados nos diversos arquivos nos
BI2 – BBI2 – BUSINESSUSINESS  I INTELLIGENCENTELLIGENCE :: MODELAGEMMODELAGEM EE QUALIDADEQUALIDADE II CCARLOSARLOS B BARBIERIARBIERI
IDC, as maiores empresas de buscadores (Google, Microsoft e Yahoo) foram notifica-IDC, as maiores empresas de buscadores (Google, Microsoft e Yahoo) foram notifica-
das sobre as regras que definem o tempo máximo de retenção das informações co-das sobre as regras que definem o tempo máximo de retenção das informações co-
letadas pelos letadas pelos buscadores. buscadores. Segundo a Segundo a notificação, notificação, feita pelo feita pelo Corpo Corpo deConselho sobrede Conselho sobre
proteção de dados proteção de dados da União da União Europeia (European Union’Europeia (European Union’s Data s Data Protection Protection AdvisoryAdvisory
Body), Body), pelo artigo pelo artigo 29, 29, as empresas estavam retendo tais inforas empresas estavam retendo tais informações por mações por mais de mais de seisseis
meses, meses, com algumas com algumas delas retendo por delas retendo por mais de mais de 18 meses. 18 meses. As inforAs informações retidas cmações retidas con-on-
tinham detalhes de termos pesquisados, estampa de tempo, o endereço IP do cliente,tinham detalhes de termos pesquisados, estampa de tempo, o endereço IP do cliente,
o browser, além do sistema operacional e da linguagem adotada. O Google, naqueleo browser, além do sistema operacional e da linguagem adotada. O Google, naquele
momento, mantinha os dados por nove meses e depois obscurecia o último octeto domomento, mantinha os dados por nove meses e depois obscurecia o último octeto do
endereço endereço IPIP. . TTambém ambém os cooos cookies erkies eram maam mantidos ntidos por 18 por 18 meses. meses. A legA legislaçãislação da Uo da Uniãonião
Europeia não define explicitamente o tempo de retenção dos dados, mas deixa paraEuropeia não define explicitamente o tempo de retenção dos dados, mas deixa para
que cada que cada país, país, através dos seus conselhos através dos seus conselhos de proteção à prde proteção à pr ivivacidade dos dados, o defi-acidade dos dados, o defi-
na. na. Por outro ladoPor outro lado, , a lega legislação amerislação amer icana (Electronic Communications icana (Electronic Communications Privacy Act ofPrivacy Act of
1986 – ECPA) não foca o mesmo aspecto 1986 – ECPA) não foca o mesmo aspecto de limitar a de limitar a retenção dos dados, retenção dos dados, até porqueaté porque
os dados mantidos nesses volumes podem ajudar na detecção de terroristas e outrasos dados mantidos nesses volumes podem ajudar na detecção de terroristas e outras
ameaças, da forma como aconteceu após o 11 de setembro. Os americanos somenteameaças, da forma como aconteceu após o 11 de setembro. Os americanos somente
dispõem de regulações a respeito de dados mantidos pelo governo e suas agências,dispõem de regulações a respeito de dados mantidos pelo governo e suas agências,
não sendo estendidos às empresas privadas, com o mesmo rigor. Esse assunto sobrenão sendo estendidos às empresas privadas, com o mesmo rigor. Esse assunto sobre
retenção de dados e outros aspectos sobre os cuidados com a memórretenção de dados e outros aspectos sobre os cuidados com a memór ia infinita da in-ia infinita da in-
ternet é ternet é discutido com maior profundidade no livrodiscutido com maior profundidade no livro Delete, the virtue of forgetting in theDelete, the virtue of forgetting in the
digital age digital age , de Viktor Mayer-Schonberger, publicado pela Princeton University Press., de Viktor Mayer-Schonberger, publicado pela Princeton University Press.
No livro, Schonenberger cita exemplos como o de Stacy Snyder, de 25 anos, mãeNo livro, Schonenberger cita exemplos como o de Stacy Snyder, de 25 anos, mãe
solteira, solteira, que embora tenha ganho todos os créditos que embora tenha ganho todos os créditos suficientes e passado por todas assuficientes e passado por todas as
etapas de seleção de uma escola, não foi aprovada como professora. Explicação: seuetapas de seleção de uma escola, não foi aprovada como professora. Explicação: seu
comportamento, digamos digital, era incompatível com o papel de uma professora. Ocomportamento, digamos digital, era incompatível com o papel de uma professora. O
seu retrato publicado seu retrato publicado na interna internet, net, anos atrás, fantasiada anos atrás, fantasiada de pirata, estade pirata, estava no MySpace va no MySpace ee
inocentemente rotulado como “pirata inocentemente rotulado como “pirata bêbada” bêbada” pelos seus pelos seus amigos. amigos. A A argumentação daargumentação da
comissão que analisou a sua inscrcomissão que analisou a sua inscr ição era que sua foto era incompatível com a posiçãoição era que sua foto era incompatível com a posição
que pleiteava. Stacy havia caído na armadilha inconsciente da internet, que tudo vêque pleiteava. Stacy havia caído na armadilha inconsciente da internet, que tudo vê
e tudo ge tudo gravrava, a, principalmente principalmente quando você não se quando você não se preocupa com seus preocupa com seus rastros digitais.rastros digitais.
Aquilo havia sido catalogado pelas máquinas de buscas Aquilo havia sido catalogado pelas máquinas de buscas e descoberto por e descoberto por alguém. alguém. ElaEla
havia se esquecido de deletar algo que a internet se lembrou, com a sua memóriahavia se esquecido de deletar algo que a internet se lembrou, com a sua memória
infinita.infinita.
Além delAlém dela, a, Andrew Feldmar, Andrew Feldmar, um psicum psicoterapeoterapeuta cauta canadense, nadense, na fna faixa de aixa de 60 anos,60 anos,
morador de Vancouver, também pagou caro pelo esquecimento de deletar. Em 2006,morador de Vancouver, também pagou caro pelo esquecimento de deletar. Em 2006,
ele ia ele ia buscar um amigo buscar um amigo no aeroporto de no aeroporto de Seatle-TSeatle-Tacoma e acoma e tevteve de ae de atravtravessar a essar a fronteirafronteira
CanadáCanadáEstadoEstados Unidos, como já havia feito is Unidos, como já havia feito inúmeras vezes. Dessa vez, númeras vezes. Dessa vez, um guarda deum guarda de
fronteira resolveu verificar a internet, além dos documentos tradicionais. De repente,fronteira resolveu verificar a internet, além dos documentos tradicionais. De repente,
apareceu um artigo que ele havia escrito em 1961, contando sua experiência comapareceu um artigo que ele havia escrito em 1961, contando sua experiência com
LSD, em 1960. Ficou preso por 4 horas, impressões digitais tiradas, e depois de assinarLSD, em 1960. Ficou preso por 4 horas, impressões digitais tiradas, e depois de assinar
um documento que declarava a sua experiência com droga naquele episódio, ficouum documento que declarava a sua experiência com droga naquele episódio, ficou
ELSEVIER
CAPÍTULO 11 I BI2 – NOVAS TENDÊNCIAS NA APLICAÇÃO DE INTELIGÊNCIA DE NEGÓCIOS
da rede, apontando que a pegada digital que você deixa nela pode ficar para sempre.
Na cidade alemã de Eisenach fica MAD, uma megadiscoteca com espaço para quatro
mil pessoas. Quando alguém entra no seu ambiente, tem de mostrar o passaporte ou o
cartão de identificação emitido pelo governo alemão. Todos são colocados num banco
de dados, com uma foto. Além disso, os convidados recebem um cartão especial para
pagar os drinques e comidas no MAD. Cada transação dessas é registrada no mesmo
banco de dados, associada ao registro digital do convidado. Em 2007, o BD do MAD
continha informações sobre mais de 13 mil indíviduos e milhões de transações de
consumo. Além disso, 60 câmeras digitais continuamente monitoram todo o ambien-
te, acumulando uma memória digital estimada, hoje, em 8 mil GB. A informação em
tempo real, dos consumidores e de seus hábitos de consumo noturno, é mostrada
numa sala de controle, sendo que a polícia tem acesso direto a todo os rastros digitais
dos clientes.
Human bits
Se não percebeu ainda, você está sendo observado e transformado em bits:
de agora em diante, cada vez mais o nosso cotidiano estará sendo codificado nessas
simples unidades binárias. Câmeras de vigilâncias em aeroportos, metrôs, ruas e boates
estão registrando os bits que traduzem nossos gestos, movimentos e feições. Tudo com
a velha máxima de saborear as vantagens e lamentar as desvantagens. Na Califórnia,
no início de 2011, foi inaugurado um estacionamento que monitora, via câmera, cada
carro em cada vaga. Através disso, as placas são transformadas em informações que vão
para um sistema de banco de dados, que facilita a localização do seu carro, além de
permitir um analytics  sobre o movimento do estacionamento. Ao lado do quiosque
de pagamento, existe um monitor onde você digita a placa erecebe a localização
perfeita da vaga onde estacionou, evitando a memorização de cores, números, letras
etc. Assim, as táticas furtivas de deixar carros em estacionamento de shopping   com
fins inconfessáveis podem estar com seus dias contados. O berçário onde meu neto
fica, em Santo André, tem câmeras que me permitem vê-lo, via Web, nos intervalos
das minhas consultorias, acessando o site da escolinha. Pontos para a tecnologia dos
baby bits. Quando sair de casa, você poderá ser flagrado pelas câmeras do Google ou
Microsoft, que capturam as imagens das ruas, visando à atualização de seus serviços de
mapeamento na internet. No Brasil houve o caso de um cidadão que agora processa
a Google por um flagrante constrangedor que foi parar no Google View, segundo ele,
mostrando a sua indisposição estomacal para milhões de internautas. Se você dirige
e passa por um pedágio, provavelmente será transformado em bits, com a estampa de
tempo e a identificação de sua placa indo dormir em algum datamart que poderá ser
acessado posteriormente.
Há previsão de que, nos próximos dois anos, o fluxo de informações gerado
por capturas de câmeras e outros sensores digitais deverá ultrapassar o número de
e-mails e de tweets ou equivalentes colocados nas redes sociais. Os sensores toca-
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
aplicativos e  gadgets capazes de assumirem o papel de interpretadores dessas novas
fontes. A empresa Affectiva, de Waltham, Massachussets, por exemplo, desenvolveu
uma pulseira biométrica capaz de detectar imperceptíveis mudanças nas atividades
das glândulas sudoríparas, a fim de se capturarem reações emocionais. A pulseira tem
sido usada em crianças autistas a fim de melhor entender as suas reações, normal-
mente não manifestadas pelo display emocional desse tipo de pacientes. A área de
marketing já planeja o uso do mesmo device para capturar aprovações ou frustrações
de clientes submetidos a novas propostas ou produtos. Sensores que registram e
trabalham a expressão facial de clientes poderão, num futuro bem próximo, rastrear
os produtos que mais o interessam, quando você olhar para uma vitrine, por exem-
plo. Algumas bancas americanas de advocacia, especializadas em divórcio, já usam
os registros de idas e vindas de veículos de cônjuges, coletados em pedágios, como
elementos de processos.
Na mesma proporção em que essas novidades são produzidas, considerações
sobre privacidade voltam à tona. As áreas envolvidas com a preservação de privacidade
 já se preocupam com o dia em que as diversas informações coletadas por mecanismos
variados, quando confrontadas por métodos analíticos do BI2, poderão levar a uma
negativa de emprego, a aspectos de cancelamento de seguros ou à redução de níveis de
créditos. Desvantagens do human bits. Mas há vantagens. Em setembro de 2007, Tanya
Rider ia de carro por uma estrada secundária perto de Seattle, a caminho do trabalho.
O carro derrapou, capotou, e desapareceu num despenhadeiro, mas ela não morreu.
Ficou presa sob as ferragens, com fraturas diversas por 7 dias, sem poder se comunicar,
chegando à beira da morte. A Polícia demorou para buscar os dados de seu celular na
operadora, por aspectos legais de privacidade. Somente quando o marido, enganada-
mente, tornou-se suspeito de seu desaparecimento, foi que a Justiça autorizou a quebra
de seu sigilo telefônico. Ela foi localizada, não pelas últimas chamadas efetuadas, mas
pelos dados silenciosos enviados pelo celular, que de tempos em tempos, sinaliza para a
torre mais próxima a sua posição. Tanya Rider foi salva pelos “bits” transparentes que
nos cercam, evidenciando que a tecno logia nos toca tanto para o bem quanto para o
mal. Tudo isso sem que você saiba de onde vieram as informações, talvez por não ter
reparado nessa sua condição de “ser decodificado”. A organização Electronic Frontier
Foundation, forte e atenta observadora dos aspectos de privacidade e de direitos fun-
damentais, independentemente de tecnologia, entende que, apesar de todos os esforços,
dificilmente, em caso de envolvimentos e interesses diretos acontecerem, o governo
deixará de mergulhar nesse novo manancial de informações produzido pela sociedade
na era do zettabytes. O reconhecimento facial, via fotos, por exemplo, já existe e está
bem desenvolvido. A Google (via Picasa) e o Facebook (via Photo Albums) incentivam
os seus usuários a etiquetar (identificar pessoas, datas e situações) as fotos armazena-
das. Com a tecnologia de que dispõem hoje, são plenamente capazes de desenvolver
indexações faciais e procurarem por você em outras fotos, através de similaridades de
feições, criando uma espécie de “impressão facial”. Uma vez criada essa assinatura, a sua
ELSEVIER
CAPÍTULO 11 I BI2 – NOVAS TENDÊNCIAS NA APLICAÇÃO DE INTELIGÊNCIA DE NEGÓCIOS
podem ser comparados por técnicas sofisticadas de indexações de feições e permitir a
sua identificação. Ou seja, alguém que você não conhece poderá identificá-lo, bastando
para isso tirar uma fotografia sua, quebrando alguns preceitos fundamentais do direito
ao anonimato. A própria Google introduz com certo cuidado um novo serviço, cha-
mado Goggles, que faz busca na web através de uma fotografia, via smartfone. Ou seja,
no lugar de digitar algumas palavras na caixa de pesquisa, você faz um upload de uma
foto e obtém as informações relacionadas a ela. Bastaria uma foto sua tirada por alguém
interessado em saber quem você é e pronto. Você já não será mais anônimo. Alguns
desses smartfones, dotados de GPS, podem facilmente criar as chamadas “geotags”, ou
seja, etiquetar as fotos com a sua coordenada geográfica. Isso significa que uma foto-
grafia dessas, mostrando, por exemplo, o novo carro comprado, tirada em frente a sua
casa e postada no Twitter, está dizendo onde você mora. Assim, além de saberem sobre
você, também poderão saber sobre a sua residência, família etc. Simples assim. Se você
acha que essas linhas estão com um forte sabor de Minority report , de Tom Cruise e que
demoraremos para alcançar esse patamar que mistura tecnologia com inquietude, tente
lembrar dos produtos que eram moda no Natal de 2000. Se você se lembrar deles, o
que é difícil, certamente vai perceber que a instantaneidade da tecnologia já os deixou
na poeira da saudade.
Processamento: a era dos grandes volumes de dados certamente afetará a for-
ma como eles serão processados. Pelo volume crescente de informações, aumentam ad
infinitum as possibilidades de processamento. O BI2, no seu sentido mais amplo, como
 já discutimos em parte, passará a ter ramificações importantes visando a alcançar esses
variados domínios. O BI de comportamento das pessoas, de compradores, de bloguei-
ros, de colaboradores na empresa etc., que chamamos de BHI ( Behavior Intelligence ),
será um dos pontos a considerar. O seu comportamento, quando você participa de
leilões do e-Bay, mostra bem suas particularidades negociais. Os diversos aluguéis de
filme feitos por alguém no NetFlix, a maior cadeia de vídeos dos Estados Unidos, aju-
dam a montar o que se chama de filtro colaborativo, ou seja, aquela velha correlação
que sugere “quem aluga esse filme também aluga aquele”. Nessa grande rede de ví-
deos, cerca de 2/3 dos aluguéis são gerados por sugestões dadas pelo computador, via
filtro colaborativo, ou seja, somente um terço aluga diretamente aquilo que era o seu
objetivo principal quando entrou no site. Grande parte dos aluguéis é motivada por
sugestões obtidas por processamento e mineração de perfis semelhantes. Os diversos
fragmentos oriundos das pesquisas que você realiza no Google se transformam em
indicadores de perfis que, clareando parte de suas preferências, indicam produtos que
potencialmente você poderia comprar. Na Amazon, ou na BN, quando você analisa
alguns capítulos grátis de um livro, fica sugerido, pelo tempo em que você perma-
neceu naquela função, o grau de interesse despertado pelo seu conteúdo. Todos esses
detalhes, aparentemente invisíveis, constituem um pote de ouro quando trabalhados e
correlacionadospela força da matemática computacional, embutida nos algoritmos de
mineração, OLAP etc. A matemática computacional é reconhecida por muitos como
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
Behavior Intelligence – comportamento do capital humano da
empresa
O conceito de BHI (Behavior Intelligence ) virá pela necessidade de novas
formas de análise demandadas sobre ambientes criados pela internet (usuários da
web, de redes sociais, de blogs), especialmente com foco em comportamento e
sentimentos expressos por esses  players . As técnicas de BHI buscarão dependências
e relacionamentos cada vez mais implícitos e escondidos em montanhas de  posts ou
twittes colocados pelo internauta. O Twitter recebia, em agosto de 2010, cerca de
60 milhões de mensagens diárias. O BHI será, na realidade, uma maior aproxima-
ção das ferramentas de BI, com algoritmos de análises preditivas, buscando enten-
der comportamentos de visitantes de blogs, descobrindo suas preferências diversas,
seus hábitos discretos, suas expressões de opiniões etc. Será o BI com foco em
novos segmentos de interesse, como as potencialmente ricas redes sociais. Haverá
crescimento, já detectado, do uso das redes sociais e assemelhados como fonte de
pesquisas e análises. Nelas, o comportamento e a expressão de sentimento de seus
usuários serão rastreados, num mining voltado também para outros aspectos, que
não diretamente compra e venda, mas a fotografia do modus vivendi  de cada um de
nós. As empresas caminham para participar de redes sociais originalmente dedica-
das somente ao internauta pessoa física. Esses mecanismos já chegaram ao mundo
corporativo, evidenciando o posicionamento sem volta dessa nova forma de comu-
nicação e interação da sociedade, seja você um colaborador ou um fornecedor. Essas
tendências de pesquisas em blogs e redes sociais fortalecerão o conceito de web
mining, técnicas voltadas para a análise de sites, tendo como foco o seu conteúdo, a
sua estrutura e o comportamento de seus usuários.
PROJETO IBM � BHI. GENOMA DO CAPITAL HUMANO OU VOCÊ
ANALISADO COMO COLABORADOR
Um dos projetos mais instigantes dentro desse novo arco de ações combinadas
de BI e mining é o desenvolvido pela IBM, no Thomas Watson Research Laboratory,
em Nova York. O projeto objetiva o mapeamento da taxonomia das habilidades de
seus empregados, criando uma espécie de genoma do comportamento dos colabo-
radores, no sentido de melhor identificar cada recurso através de uma forma mais
evoluída do que a percepção de chefias e a avaliação dos analistas de RH, como hoje
praticado.
O projeto, descrito no livro Numerati , de Stephen Baker, editado no Brasil pela
Arx (2009), envolve uma equipe de 40 PhDs, diversos mineradores de dados, estatís-
ticos, antropólogos e filólogos, todos de olho na forma ideal de catalogar os gestos,
comportamentos e atitudes dos empregados envolvidos. A realidade é que, hoje, as
empresas possuem um forte controle sobre ativos materiais, financeiros e de logísticas,
mas carecem de melhor conhecimento sobre os ativos do capital humano. Quando se
fala de melhor conhecimento nos referimos a uma forma mais algorítmica, numérica,
ELSEVIER
CAPÍTULO 11 I BI2 – NOVAS TENDÊNCIAS NA APLICAÇÃO DE INTELIGÊNCIA DE NEGÓCIOS
conhecimento e atitudes dentro da ecologia corporativa. Por essa atribuição de valor,
colocada numa escala que envolve variados domínios, o projeto mimetiza o proce-
dimento de Taylor, desenvolvido no século XIX, que gerou o conceito de gerência
científica, aplicada à administração de empresas. Do grau de sociabilidade captura-
do pelo uso de redes sociais aos conhecimentos específicos sobre certas tecnologias,
passando pelas manifestações de atitudes via e-mails, apresentações etc., o projeto vai
modelando uma taxonomia de seus colaboradores. Esse valor referencial de cada um
de nós poderia ser considerado no momento da dispensa de um funcionário, substi-
tuindo o uso de critér ios mais subjetivos, como tempo de casa e a simpatia da chefia,
por métricas concretas. O projeto se mostra extremamente desafiador, pois equivale-
ria a buscar e codificar fragmentos de comportamentos de nós mesmos e traduzi-los
em números, valores e medidas sobre algo extremamente sensível. Hoje, um BD de
talentos e de CV (curriculum vitae ) mantém aspectos de habilidades, formação, algo de
desempenho etc., mas aponta muito mais para o que você já fez, permitindo pouca
inferência sobre o que você seria capaz de fazer amanhã. Assim, a mineração de com-
portamentos permitiria a realização de estudos mais profundos e rápidos, com análise
detalhada de cada empregado, comparando, por exemplo, a sua produtividade, baseada
em centenas de parâmetros recolhidos nos diversos fragmentos de suas interações com
o meio onde trabalha.
É claro que a implantação de um projeto dessa natureza exigirá for te mudan-
ça cultural, pois as relações humanas hoje são analisadas desprovidas de números e
métricas, e envolvem fatores emocionais for tes, o que de certa forma estar ia mini-
mizado num estudo dessa natureza. Embora a comparação possa ser forte, o projeto
busca definir uma moeda ( currency) que possa ser usada para valorar o capital huma-
no de forma mais objetiva, tal como há muitos séculos as relações comercias, então
baseadas em escambo, foram impactadas pela criação de uma moeda de intercâmbio
de valores. Isso, mal comparando, seria um currency  (moeda) de pessoas, composto
por um portfólio coerente de habilidades, que permitirá administrar o capital hu-
mano, como hoje é administrado o capital financeiro. À primeira vista pode causar
arrepios intensos na sociedade como um todo, mas não deixa de ser um avanço,
se não no seu objetivo final, mas na sua forma de registro e coleta de percepções
humanas, montando uma espécie de banco de dados de atitudes e comportamentos,
registrados em várias dimensões. Uma das suas variadas formas de uso seria, por
exemplo, na seleção de pessoas da IBM para fazer parte de um projeto de natureza
técnica, em outro país.
O ComputerWorld  de 30 de março de 2009, acessado em 23 de agosto de
2010, traz uma reportagem sobre uma patente registrada pela IBM que toca exa-
tamente nesse ponto. A Big Blue patenteou uma metodologia para melhor alocar
recursos em projetos de outsourcing . O processo justamente define valores em di-
mensões quantitativas e qualitativas, aplicadas na formação, por exemplo, de equipes
potencialmente envolvidas em operações de offshore . O gerente de CH (capital
ELSEVIERELSEVIER
CCAPÍTULOAPÍTULO 1 111 II BI2 – NBI2 – NOVASOVAS TENDÊNCIASTENDÊNCIAS NANA APLICAÇÃOAPLICAÇÃO DEDE INTELIGÊNCIAINTELIGÊNCIA DEDE NEGÓCIOSNEGÓCIOS
Figura 11.9Figura 11.9
Modelo dimensional Modelo dimensional para controle de compradores.para controle de compradores.
BHI � VOCÊ ANALISADO COMO BLOGUEIRO OU SOCIALBHI � VOCÊ ANALISADO COMO BLOGUEIRO OU SOCIAL
NETWORKERNETWORKER
Na Conferência Internacional sobre Inteligência na Web, em Toronto, em se-Na Conferência Internacional sobre Inteligência na Web, em Toronto, em se-
tembro de 2010, um trabalho certamente chamou a atenção pela sua característicatembro de 2010, um trabalho certamente chamou a atenção pela sua característica
de ineditismo. O professor Yair Neuman, da Universidade de Ben Gurion, em Israel,de ineditismo. O professor Yair Neuman, da Universidade de Ben Gurion, em Israel,
apresentou um software desenvolvido por pesquisadores daquela universidade, cujo ob-apresentou um software desenvolvido por pesquisadores daquela universidade, cujo ob-
 jetiv jetivo é a identificação de sinais de depressão contidos em bloo é a identificação de sinais de depressão contidos em blogs e textos publicados nags e textos publicados na
internet. Após a pesquisa de 300 mil blogs, cominternet. Após a pesquisa de 300 mil blogs, com  posts posts na  na língua inglesa, olíngua inglesa, os pesquisadoress pesquisadores
conseguiram identificar uma lista de blogueiros, categorizando-os nos 100 mais e 100conseguiram identificar uma lista de blogueiros, categorizando-osnos 100 mais e 100
menos depressivos. O trabalho do software foi posteriormente referendado por umamenos depressivos. O trabalho do software foi posteriormente referendado por uma
equipe de psicólogos clínicos que confirmou que 78% dos detectados pelo softwareequipe de psicólogos clínicos que confirmou que 78% dos detectados pelo software
também o sertambém o seriam pelos métodos ciam pelos métodos clínicos da avaliação quando feita línicos da avaliação quando feita pelos profissionais. pelos profissionais. OO
programa foi desenvoprograma foi desenvolvido para lvido para detectar as detectar as sutilezas contidas sutilezas contidas nas expressões naturais, fu-nas expressões naturais, fu-
gindo de gindo de termos termos óbvios como depressãoóbvios como depressão, , suicídio etc. suicídio etc. O uso do O uso do algoritmo algoritmo de mineraçãode mineração
foi baseado na cfoi baseado na coleta de palavras e contextualização, oleta de palavras e contextualização, em que certaem que certas expressões associadass expressões associadas
a cores, por exemplo, como “estrada cinzenta” ou “lado escuro”, podem apontar sinaisa cores, por exemplo, como “estrada cinzenta” ou “lado escuro”, podem apontar sinais
de problemas ocultos. de problemas ocultos. Além disso, Além disso, manifestações explícitas manifestações explícitas de insônia de insônia ou de ou de solidão fo-solidão fo-
ram consideradas como elementos de apoio na definição do quadro geral. O processoram consideradas como elementos de apoio na definição do quadro geral. O processo
convencional de se detectar depressão é através de questionários, que, por suas carac-convencional de se detectar depressão é através de questionários, que, por suas carac-
terísticas, podem ser autosseletivos quando aplicados num levantamento (terísticas, podem ser autosseletivos quando aplicados num levantamento ( surveysurvey). Daí). Daí
BI2 – BBI2 – BUSINESSUSINESS  I INTELLIGENCENTELLIGENCE :: MODELAGEMMODELAGEM EE QUALIDADEQUALIDADE II CCARLOSARLOS B BARBIERIARBIERI
paixão, raiva, agressividade, também através do garimpo das palavras contextualizadaspaixão, raiva, agressividade, também através do garimpo das palavras contextualizadas
em blogs e textos daem blogs e textos da webweb. . Os resultadOs resultados do projeto da Universios do projeto da Universidade de Bem Gurdade de Bem Gurion de-ion de-
verão serverão servir como vir como um faum fator de aptor de apoio, oio, não prescnão prescindindo, indindo, entretantentretanto, o, da avaliação da avaliação médica,médica,
dizem os pesquisadores. dizem os pesquisadores. Mas cerMas certamente será um tamente será um efetivefetivo filtro ouo filtro ou screening screening  de primeiro de primeiro
nível. nível. Considerando que cerca de 35 mil pessoas Considerando que cerca de 35 mil pessoas se suicidam por ano se suicidam por ano nos Estados Uni-nos Estados Uni-
dos, a aplicação de um software dessa natureza poderia ser útil nas primeiras detecçõesdos, a aplicação de um software dessa natureza poderia ser útil nas primeiras detecções
de comportamentos que desaguassem de comportamentos que desaguassem em tais desfechos indesejáveis.em tais desfechos indesejáveis.
Essa pesquisa Essa pesquisa sobre depressão poderá ser assocsobre depressão poderá ser associada, iada, numa etapa seguinte, numa etapa seguinte, a outraa outra
 já desenv já desenvolvida na Hebrew Uniolvida na Hebrew University of Jerusalem, versity of Jerusalem, que objetivque objetiva a detecção do sarcas-a a detecção do sarcas-
mo em textos escritos. O sarcasmo (do grego antigomo em textos escritos. O sarcasmo (do grego antigo sarkasmossarkasmos ouou sarxsarx = carne, = carne, asmoasmo
= queimar; queimar a carne) designa um escárnio ou uma zombaria, intimamente= queimar; queimar a carne) designa um escárnio ou uma zombaria, intimamente
ligado à ironia com intuito mordaz, muitas vezes ferindo a sensibilidade da pessoa queligado à ironia com intuito mordaz, muitas vezes ferindo a sensibilidade da pessoa que
o recebe. A origem da palavra está ligada ao fato de muitas vezes mordermos os lábioso recebe. A origem da palavra está ligada ao fato de muitas vezes mordermos os lábios
quando alguém se dirquando alguém se dirige a nós com ige a nós com sarcasmo/mordacidadesarcasmo/mordacidade. . O sarcasmo é uma figura O sarcasmo é uma figura dede
estilo muito utilizada nas artes orais e escritas, na literatura e na oratória. Fyodor Dos-estilo muito utilizada nas artes orais e escritas, na literatura e na oratória. Fyodor Dos-
toytoyevsky foi um evsky foi um dos grados grandes representantes do uso ndes representantes do uso desse recurso desse recurso estilísticoestilístico, , definindo-odefinindo-o
como como “o último refúgio dos modestos e vir“o último refúgio dos modestos e virtuosos quando a prtuosos quando a privacidade das suas almasivacidade das suas almas
é invadida vulgar e é invadida vulgar e intrusivamente”.intrusivamente”.11
Pela definição, percebe-se a força desse estilo de expressão, capaz de driblar osPela definição, percebe-se a força desse estilo de expressão, capaz de driblar os
mais inteligentes algoritmos de mineração de palavras e de comportamento. Parte dasmais inteligentes algoritmos de mineração de palavras e de comportamento. Parte das
limitações desses interpretadores inteligentes vem justamente da incapacidade contex-limitações desses interpretadores inteligentes vem justamente da incapacidade contex-
tual de diferenciá-los da expressão real. Uma frase colocada num blog da forma “Essetual de diferenciá-los da expressão real. Uma frase colocada num blog da forma “Esse
computador que acabei de comprar é muito bom mesmo!” poderá ser interpretadacomputador que acabei de comprar é muito bom mesmo!” poderá ser interpretada
como verdadeira ou como uma manifestação recheada de sarcasmo. Esse é o grandecomo verdadeira ou como uma manifestação recheada de sarcasmo. Esse é o grande
desafio dos algoritmos de mineração. Analisar as palavras sem ver os olhos de quem asdesafio dos algoritmos de mineração. Analisar as palavras sem ver os olhos de quem as
expressa... expressa... O programa desenvO programa desenvolvido no projeto ainda olvido no projeto ainda não será não será aberto ao aberto ao público nempúblico nem
será comercializado de será comercializado de imediatoimediato, , devdevendo se ater endo se ater a aplicações a aplicações em ambientes clínicos em ambientes clínicos ouou
estendido a outros domínios, como análise de atividades criminosas, o que no nossoestendido a outros domínios, como análise de atividades criminosas, o que no nosso
país daria excelente campo de provas, só para não perder a oportunidade do sarcasmo...país daria excelente campo de provas, só para não perder a oportunidade do sarcasmo...
Essas aplicações são algumas das muitas em desenvolvimento visando à ex-Essas aplicações são algumas das muitas em desenvolvimento visando à ex-
ploração desse verdadeiro pote de ouro que são os blogs. Instrumentos que oferecemploração desse verdadeiro pote de ouro que são os blogs. Instrumentos que oferecem
uma janela aberuma janela aberta às percepções, ta às percepções, opções, opções, vontades, vontades, desejos e apreensões das pessoas,desejos e apreensões das pessoas,
os blogs formam hoje uma rica massa de informações, constantemente atualizada eos blogs formam hoje uma rica massa de informações, constantemente atualizada e
disponível em volume estratosférico. Em números aproximados de 2010, o Twitter, adisponível em volume estratosférico. Em números aproximados de 2010, o Twitter, a
mais recente rede social misturada com microblogging, possui 150 milhões de con-mais recente rede social misturada com microblogging, possui 150 milhões de con-
tas, com um crescimento de 300 mil por dia e apresenta um fluxo na ordem de 55tas, com um crescimento de 300 mil por dia e apresenta um fluxo na ordem de 55
milhões de posts (tweetts) por dia. O Facebook, o campeão de audiência das redesmilhões de posts (tweetts) por dia. O Facebook, o campeão deaudiência das redes
sociais, possui 500 milhões de contas ativas, com 900 milhões de objetos de interaçãosociais, possui 500 milhões de contas ativas, com 900 milhões de objetos de interação
ELSEVIERELSEVIER
CCAPÍTULOAPÍTULO 1 111 II BI2 – NBI2 – NOVASOVAS TENDÊNCIASTENDÊNCIAS NANA APLICAÇÃOAPLICAÇÃO DEDE INTELIGÊNCIAINTELIGÊNCIA DEDE NEGÓCIOSNEGÓCIOS
de 100 milhões de contas, principalmente no Brasil e na Índia. O Myspace, o menorde 100 milhões de contas, principalmente no Brasil e na Índia. O Myspace, o menor
deles, pertencente à News Corporation, possui 66 milhões de usuários. Estima-se quedeles, pertencente à News Corporation, possui 66 milhões de usuários. Estima-se que
cerca de 40 mil novos blogs entrem na blogosfera diariamente, se somando aos atuaiscerca de 40 mil novos blogs entrem na blogosfera diariamente, se somando aos atuais
20 milhões deles. O Itunes, da Apple, com estimados 106 milhões de contas, também se20 milhões deles. O Itunes, da Apple, com estimados 106 milhões de contas, também se
aproxima das redes soaproxima das redes sociaisciais, , crcriando a siando a sua: ua: o Ping. o Ping. A ideia é quA ideia é que haja um ae haja um ambiente de redmbiente de redee
social musical, social musical, numa espécie de conexão de numa espécie de conexão de Facebook com o Facebook com o Itunes. Itunes. Essas hibrEssas hibridaçõesidações
de ideias certamente levarão, cada vez mais, à geração de informações volumosas quede ideias certamente levarão, cada vez mais, à geração de informações volumosas que
oferecerão fragmentos dos oferecerão fragmentos dos nossos comportanossos comportamentos (gosto musical mentos (gosto musical explícitoexplícito, , por exem-por exem-
plo, nesse caso), que deverão render análises interessantes ao BHI, até para o vislumbreplo, nesse caso), que deverão render análises interessantes ao BHI, até para o vislumbre
de potenciais oportunidades de negócios. Esse casamento entre ferramentas (Twitter,de potenciais oportunidades de negócios. Esse casamento entre ferramentas (Twitter,
Facebook, Facebook, Itunes etc.) começa Itunes etc.) começa a demandar a demandar certo certo protocolo entre elas, protocolo entre elas, a fim a fim de definirde definir
relacionamentos de interesses e controles de tráfego. Por exemplo, o Facebook definerelacionamentos de interesses e controles de tráfego. Por exemplo, o Facebook define
que produtos que façam mais de 100 milhões de chamadas por dia que produtos que façam mais de 100 milhões de chamadas por dia ao seu kernel deve-ao seu kernel deve-
rão se ajustar às condições contratuais. Logo, os produtos que queiram “interfacear” suasrão se ajustar às condições contratuais. Logo, os produtos que queiram “interfacear” suas
aplicações com os milhões de facebookers deverão conversar, caso desejem analisar oaplicações com os milhões de facebookers deverão conversar, caso desejem analisar o
comportamento deles com relação comportamento deles com relação às suas músicas às suas músicas no Ping da Appleno Ping da Apple..
Desde o aparecimento dos primeiros blogs, no início dos anos 2000, muitasDesde o aparecimento dos primeiros blogs, no início dos anos 2000, muitas
empresas iniciaram o desenvolvimento de softwares que permitisse a análise dos postsempresas iniciaram o desenvolvimento de softwares que permitisse a análise dos posts
colocados, buscando, na realidade, uma percepção mais qualitativa sobre os diversos as-colocados, buscando, na realidade, uma percepção mais qualitativa sobre os diversos as-
suntos que gravitam nesse novo universo, a blogosfera. A grande vantagem dessas novassuntos que gravitam nesse novo universo, a blogosfera. A grande vantagem dessas novas
fontes de informação não está no rigor estatístico das informações, mas na instanta-fontes de informação não está no rigor estatístico das informações, mas na instanta-
neidade da atualizaçãneidade da atualização somada à o somada à espontaneidade da sua espontaneidade da sua expressãoexpressão. . Imediatamente apósImediatamente após
certo evento, como, por exemplo, um debate de candidatos à presidência da República,certo evento, como, por exemplo, um debate de candidatos à presidência da República,
pode-se aferir a temperatura produzida pelo evento através das emissões de opiniões epode-se aferir a temperatura produzida pelo evento através das emissões de opiniões e
posicionamentos a respeito do desempenho dos participantes. Várposicionamentos a respeito do desempenho dos participantes. Vár ias empresas disputamias empresas disputam
o mercado como anao mercado como analisadolisadores de blogs: Tres de blogs: Technorechnoratti, atti, UmbrUmbria Communicia Communications, ations, NielsenNielsen
Buzzmetrics, Google, além de outras menos conhecidas, como BlogScope, da Univer-Buzzmetrics, Google, além de outras menos conhecidas, como BlogScope, da Univer-
sidsidade ade de Tde Torontoronto, o, BlogPBlogPulsulse e Te e TailailRanRank.k.
Como funciona um analisador de blogs? Como funciona um analisador de blogs? 
1) 1) O O analisador analisador dede blogsblogs coleta e analisa os coleta e analisa os  posts posts com o objetivo de identificar com o objetivo de identificar
o assunto em discussão e os envolvidos nela, ou seja, oso assunto em discussão e os envolvidos nela, ou seja, os  play playersers principais da principais da
blogosfera. Osblogosfera. Os posts posts são as mensagens colocadas (o Twitter limita a 140 ca- são as mensagens colocadas (o Twitter limita a 140 ca-
racteres), contendo uma opinião sobre certo assunto. As abordagens variam,racteres), contendo uma opinião sobre certo assunto. As abordagens variam,
mas seguem fórmulas parecidas. Inicialmente busca-se a identificação domas seguem fórmulas parecidas. Inicialmente busca-se a identificação do
sexo e da sexo e da faixa etárfaixa etár ia do autor, ia do autor, através da análise de através da análise de expressões usadas, expressões usadas, estilosestilos
temporais de escrtemporais de escritas, itas, uso de gíruso de gírias etc. ias etc. Em algumas ocasiões, essas informa-Em algumas ocasiões, essas informa-
ções estão explícitas no próprio perfil do blogueiro. Quando não, resta aoções estão explícitas no próprio perfil do blogueiro. Quando não, resta ao
algoritmo a tentativa de identificação. As frases são decompostas em sujei-algoritmo a tentativa de identificação. As frases são decompostas em sujei-
tos, verbos, adjetivos, advérbios etc. e são usados modelos matemáticos paratos, verbos, adjetivos, advérbios etc. e são usados modelos matemáticos para
comparar tais elementos com os comparar tais elementos com os outros obtidos anterioroutros obtidos anteriormente, mente, como idadecomo idade
BI2 – BBI2 – BUSINESSUSINESS  I INTELLIGENCENTELLIGENCE :: MODELAGEMMODELAGEM EE QUALIDADEQUALIDADE II CCARLOSARLOS B BARBIERIARBIERI
2010. Uma foi dita por um adolescente masculino de 14 anos e outra por2010. Uma foi dita por um adolescente masculino de 14 anos e outra por
uma senhouma senhora de 65 anos. ra de 65 anos. CertCertamente haverá diferençamente haverá diferenças de estilo, as de estilo, constrconstrução,ução,
emoção e de uso de elementos gramaticais que, provavelmente, separariaemoção e de uso de elementos gramaticais que, provavelmente, separaria
uma da outra.uma da outra.
2) 2) Posteriormente, Posteriormente, o bloo blogueiro gueiro é enquadrado né enquadrado numa das divuma das diversas categorias queersas categorias que
os algoritmos desenvolvem, justamente em função de estilos de vida, prefe-os algoritmos desenvolvem, justamente em função de estilos de vida, prefe-
rências musicais, adesão a esportes, opção por vida e alimentação saudávelrências musicais, adesão a esportes, opção por vida e alimentação saudável
etc. etc. Aqui os métodos de clusterização podem ser usados para agrupar blo-Aqui os métodos de clusterização podem ser usados para agrupar blo-
gueiros com base nos valores de seus atributos, plotados num hiperespaço.gueiros com base nos valores de seus atributos, plotados num hiperespaço.
Cadaelemento vai se posicionando em uma nuvem de semelhantes, cha-Cada elemento vai se posicionando em uma nuvem de semelhantes, cha-
mada de tribos. Veja o algoritmo de clusterização descrito no capítulo demada de tribos. Veja o algoritmo de clusterização descrito no capítulo de
mining para melhor percepção do que sejam essas técnicas.mining para melhor percepção do que sejam essas técnicas.
3) 3) A seguirA seguir, , acontece a análise e acontece a análise e o enquadramento de o enquadramento de cadacada  post  post  submetido, que submetido, que
é feito através de técnicas deé feito através de técnicas de text mining text mining , em que cada palavra é captura-, em que cada palavra é captura-
da individualmente da individualmente e depois analisada em e depois analisada em conjunto. conjunto. Aqui são aplicadas asAqui são aplicadas as
técnicas de mineração de textos. Normalmente são aplicados algoritmos detécnicas de mineração de textos. Normalmente são aplicados algoritmos de
aprendizado de máquinas (aprendizado de máquinas (machine learning machine learning ) em que os termos são coletados) em que os termos são coletados
dentro de uma frase, dentro de uma frase, trabalhados de fortrabalhados de forma a realizar a eliminação ma a realizar a eliminação dosdos stopwordsstopwords
(preposições, artigos), redução morfológica (definição das raízes dos termos,(preposições, artigos), redução morfológica (definição das raízes dos termos,
como, por exemplo, computador, computação: serão reduzidos a comput) ecomo, por exemplo, computador, computação: serão reduzidos a comput) e
tratamento de sinonímia (motoca e moto viram motocicleta) etc. Posterior-tratamento de sinonímia (motoca e moto viram motocicleta) etc. Posterior-
mente são definidos os pesos que o termo possui, com uma nota associada àmente são definidos os pesos que o termo possui, com uma nota associada à
sua incidência/frequência dentro do mesmo documento (ou frase) sua incidência/frequência dentro do mesmo documento (ou frase) ou dentroou dentro
de um de um conjunto de conjunto de documentos. documentos. Às vezes, Às vezes, pares de palavras (bigpares de palavras (bigramas) comoramas) como
“netbook leve” são formados e registrados, assim como os trigramas e ngra-“netbook leve” são formados e registrados, assim como os trigramas e ngra-
mas, que representam combinações de três ou mais palavras.mas, que representam combinações de três ou mais palavras.
Outra graOutra grande dificuldade dos mineradores de blogs, nde dificuldade dos mineradores de blogs, além do já além do já discutido sarcas-discutido sarcas-
mo, é a presença traiçoeira dosmo, é a presença traiçoeira dos splogssplogs. Os. Os splogssplogs são blogs falsos, criados aos milhares por são blogs falsos, criados aos milhares por
programas robôs, cuja finalidade é se inscrever no programa Adsense, da Google, queprogramas robôs, cuja finalidade é se inscrever no programa Adsense, da Google, que
paga por paga por banners banners clicados. clicados. Esses milhares de Esses milhares de blogs blogs “fantasmas” somente conterão algum“fantasmas” somente conterão algum
lixo e umas palavras-chave que tentam vender a ideia de um conteúdo na realidadelixo e umas palavras-chave que tentam vender a ideia de um conteúdo na realidade
inexistente. Caso um navegador incauto chegue até esseinexistente. Caso um navegador incauto chegue até esse splog splog   direcionado por uma direcionado por uma
pesquisa e encontre nele uma propaganda que seja clicada, o espertinho receberá umapesquisa e encontre nele uma propaganda que seja clicada, o espertinho receberá uma
parte doparte do fee  fee . Para o descarte dos blogs fraudulentos, os mineradores de dados montam. Para o descarte dos blogs fraudulentos, os mineradores de dados montam
algoritmos algoritmos que tentam diferenciá-los no espaço multidimensional, que tentam diferenciá-los no espaço multidimensional, em que os seus atrem que os seus atr i-i-
butos discreparão de um blog feito por humanos.butos discreparão de um blog feito por humanos.
Os mineradores deOs mineradores de blog blog  oferecem uma série de possibilidades de resultados na oferecem uma série de possibilidades de resultados na
forma gráfica. Por exemplo, o Blogpulse permite que você entre com até três palavrasforma gráfica. Por exemplo, o Blogpulse permite que você entre com até três palavras
ou frases e lhe mostrará ou frases e lhe mostrará gráficos a gráficos a respeito da frequência desses termos nos respeito da frequência desses termos nos últimos dois,últimos dois,
quatro ou seis meses. Outra forma permite uma consulta simplificada de inteligênciaquatro ou seis meses. Outra forma permite uma consulta simplificada de inteligência
competitiva, com a colocação de dois ou três elementos competidores. Por exemplo,competitiva, com a colocação de dois ou três elementos competidores. Por exemplo,
ELSEVIERELSEVIER
CCAPÍTULOAPÍTULO 1 111 II BI2 – NBI2 – NOVASOVAS TENDÊNCIASTENDÊNCIAS NANA APLICAÇÃOAPLICAÇÃO DEDE INTELIGÊNCIAINTELIGÊNCIA DEDE NEGÓCIOSNEGÓCIOS
Mineradores de blog – como Mineradores de blog – como funcionam? funcionam? 
Um sistema de procura em blogs pode ser entendido como contendo algunsUm sistema de procura em blogs pode ser entendido como contendo alguns
elementos básicos:elementos básicos:
1) 1) Os Os componentes componentes chamadoschamados crawlerscrawlers, , que são os buscadores e aque são os buscadores e armazenadoresrmazenadores
de informações de informações nos divenos diversos blogs, rsos blogs, cujas inforcujas informações são estocadas em umamações são estocadas em uma
base relacional. Osbase relacional. Os crawlerscrawlers podem ser na forma podem ser na forma batchbatch, que são usadas como, que são usadas como
elementos de cargas iniciais, ou como RSSelementos de cargas iniciais, ou como RSS crawlerscrawlers, , que são aque são acionados comocionados como
triggerstriggers quando um quando um post post é colocado e umé colocado e um feed  feed  é gerado. é gerado.
2) Componentes chamados2) Componentes chamados trackerstrackers, que são os elementos que efetivamente, que são os elementos que efetivamente
realizam as pesquisas através de conteúdo derealizam as pesquisas através de conteúdo de blogsblogs e dos blogueiros. Essas e dos blogueiros. Essas
pesquisas são feitas através de sistemas de índices criados sobre as informa-pesquisas são feitas através de sistemas de índices criados sobre as informa-
ções do blog.ções do blog.
3) 3) Componentes Componentes dede watchlist watchlist  e alertas, que são usados para notificar, via e-mail, e alertas, que são usados para notificar, via e-mail,
quando algumquando algum post  post  é colocado contendo aquele argumento. é colocado contendo aquele argumento.
A Figura 11.10 ilustra com um modelo mental as principais etapas de análise deA Figura 11.10 ilustra com um modelo mental as principais etapas de análise de
um ambiente de blogs. um ambiente de blogs. A Figura 11.11 A Figura 11.11 mostra um modelo mostra um modelo de dados conceitual de dados conceitual que re-que re-
presenta os prpresenta os principaincipais elementos do is elementos do TTwitter. witter. A Figura 11.12 ilusA Figura 11.12 ilustra um possível modelotra um possível modelo
dimensional aplicado para analisar as métrdimensional aplicado para analisar as métricas de número deicas de número de tweettstweetts, número de, número de retweettsretweetts
e número de mensagens diretae número de mensagens diretas emitidas por as emitidas por assunto, ssunto, numa deternuma determinada fminada faixa de tempo.aixa de tempo.
BI2 – BBI2 – BUSINESSUSINESS  I INTELLIGENCENTELLIGENCE :: MODELAGEMMODELAGEM EE QUALIDADEQUALIDADE II CCARLOSARLOS B BARBIERIARBIERI
Figura 11.11Figura 11.11
Modelo Modelo conceconceitual – Titual – Twittewitterr..
ELSEVIERELSEVIER
CCAPÍTULOAPÍTULO 1 111 II BI2 – NBI2 – NOVASOVAS TENDÊNCIASTENDÊNCIAS NANA APLICAÇÃOAPLICAÇÃO DEDE INTELIGÊNCIAINTELIGÊNCIA DEDE NEGÓCIOSNEGÓCIOS
BHI � VOCÊ ANALISADO COMO LEITOR DE JORNAISBHI � VOCÊANALISADO COMO LEITOR DE JORNAIS
As reuniões matinais de pauta dos prAs reuniões matinais de pauta dos principais jornais do incipais jornais do planeta ganharam, planeta ganharam, na erana era
digital, uma nodigital, uma nova dinâmica. va dinâmica. No lugar das No lugar das discussões tradicionais sobre os discussões tradicionais sobre os assuntos do diaassuntos do dia
seguinte ou o seguinte ou o despacho de “focas” despacho de “focas” para as para as reportagens mais reportagens mais enjoadas, enjoadas, parte significativaparte significativa
do tempo é dedicada à repercussão dos assuntos de ontem, do tempo é dedicada à repercussão dos assuntos de ontem, sob a ótica dos csob a ótica dos clientes digi-lientes digi-
tais. tais. Através dos acompanhamentos dirAtravés dos acompanhamentos diretos do hábito e comportamento dos seus leito-etos do hábito e comportamento dos seus leito-
res no site do jorres no site do jornal, nal, as empresas jornalísticaas empresas jornalísticas conseguem definir métrs conseguem definir métricas objetivas paraicas objetivas para
os seus negócios. Oos seus negócios. O Washington Post Washington Post , por exemplo, primeiramente analisa o número de, por exemplo, primeiramente analisa o número de
visitantes de seu visitantes de seu site, site, depois levanta as suas ordepois levanta as suas or igens, igens, buscando de que pabuscando de que parte da rte da web elesweb eles
vieram, para posteriormente observar numvieram, para posteriormente observar num dashboard dashboard  as marcações verdes e vermelhas as marcações verdes e vermelhas
de suas 46 métricas definidas para o ambientede suas 46 métricas definidas para o ambiente webweb. . O jorO jornal, por exemplo, nal, por exemplo, obserobservou quevou que
as eleições gerais as eleições gerais do Reino Unido, do Reino Unido, ocorrocorridas em maio idas em maio de 2010,cobertas de 2010,cobertas extensivextensivamenteamente
pelas edições em papel e virtual, despertaram pequeno interesse na esfera digital. Nopelas edições em papel e virtual, despertaram pequeno interesse na esfera digital. No
ano de 2009, observou o jornal, o item mais discutido foi algo insólito: uma reportagemano de 2009, observou o jornal, o item mais discutido foi algo insólito: uma reportagem
sobre a Crocs, sobre a Crocs, famosa famosa sandália de sandália de espuma, espuma, que acabou que acabou virandovirando hit hit  p planetálanetárrio. io. Além Além disso,disso,
outra inforoutra informação, mação, própria própria do mundo webdo mundo web, , mostrou claramente a mostrou claramente a importância daimportância das asso-s asso-
ciaçõciações na graes na grande rede. nde rede. O referenciadoO referenciador, r, ou seja, ou seja, o endereço de onde paro endereço de onde partiram os actiram os acessosessos
de seus visitantes, foi do Yahoo, que havia publicado um link para o artigo no jornal.de seus visitantes, foi do Yahoo, que havia publicado um link para o artigo no jornal.
OO Wall Street Journal Wall Street Journal , por sua vez, afere a audiência das notícias e as posiciona, por sua vez, afere a audiência das notícias e as posiciona
adequadamente nas regiões nobres do site de acordo com os indicadores. Oadequadamente nas regiões nobres do site de acordo com os indicadores. O New YorkNew York
TimesTimes não se utiliza de métricas para definir como os artigos serão apresentados, mas não se utiliza de métricas para definir como os artigos serão apresentados, mas
para definir estratégias de relatórios on-line, um de seus pontos fortes. Opara definir estratégias de relatórios on-line, um de seus pontos fortes. O Los AngelesLos Angeles
TimesTimes se utiliza de um se utiliza de um quizquiz de personalidade para definir o que a sua audiência pode de personalidade para definir o que a sua audiência pode
sugerir através de respostas. Um conjunto de perguntas, como, por exemplo, “O quesugerir através de respostas. Um conjunto de perguntas, como, por exemplo, “O que
o sucesso representa para você?”, com imagens a serem escolhidas, aponta, define eo sucesso representa para você?”, com imagens a serem escolhidas, aponta, define e
classifica o leitor virtual em algumas categorias. Em função disso, via cookies, notíciasclassifica o leitor virtual em algumas categorias. Em função disso, via cookies, notícias
customizadas, de interesse daquele perfil customizadas, de interesse daquele perfil demarcadodemarcado, apar, aparecem nas ecem nas visitas subsequentes.visitas subsequentes.
Essas observações objetivas têm sido o fator crítico para a definição mais cirúr-Essas observações objetivas têm sido o fator crítico para a definição mais cirúr-
gica dos assuntos e dos movimentos que o jornal pretende empreender nas edições se-gica dos assuntos e dos movimentos que o jornal pretende empreender nas edições se-
guintes, bem como na reformulação do site, buscando novidades comoguintes, bem como na reformulação do site, buscando novidades como  podcasts podcasts, galeria, galeria
de imagens etc. de imagens etc. ou reformatando ou reformatando seções de baixa seções de baixa audiência.audiência.
Além de ser analisado como colaborador, como comprador, como blogueiro,Além de ser analisado como colaborador, como comprador, como blogueiro,
você é, por si só, um potencial elevado de informações. Embora, às vezes, não nosvocê é, por si só, um potencial elevado de informações. Embora, às vezes, não nos
apercebamos disso, as informações sobre nós, nos nossos diversos papéis na sociedadeapercebamos disso, as informações sobre nós, nos nossos diversos papéis na sociedade
(como contr(como contribuinte do IR, ibuinte do IR, como corcomo correntistas de uma rede bancárrentistas de uma rede bancária, ia, como pensionistacomo pensionista
de um instituto de previdência social etc.), constituem outra mina de ouro, cada vezde um instituto de previdência social etc.), constituem outra mina de ouro, cada vez
mais explorada como negócio. Ou seja: os nossos dados valem ouro, qualquer que sejamais explorada como negócio. Ou seja: os nossos dados valem ouro, qualquer que seja
a motivação para a motivação para conhecê-los.conhecê-los.
INFORMAÇÃO COMO NEGÓCIOINFORMAÇÃO COMO NEGÓCIO
Em seu livroEm seu livro E-Business Intelligence, turning Information into Knowledge into Profit E-Business Intelligence, turning Information into Knowledge into Profit ,,
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
(Business Object), hoje pertencente ao grupo SAP, as empresas passam por estágios dife-
rentes ao longo de suas relações com os dados. No primeiro estágio, os dados são consi-
derados mais como um custo do que como um ativo. Representam mais uma obrigação
para o processamento dos sistemas e não retornam um valor direto àqueles que os uti-
lizam. Os dados são meros elementos residentes em arquivos, insumos obrigatórios dos
sistemas de processamentos e não são, necessariamente, transformados em informações.
Posteriormente a empresa passa pela fase de estruturação dos primeiros depósitos infor-
macionais, de cunho departamental. São os data marts (DM) departamentais, que focam
dados visando à obtenção de informação, porém estão ainda restritos a uma visão local,
não tendo uma percepção de 360 graus sobre aquele dado, que também pode estar sen-
do usado em outras unidades organizacionais da empresa. O departamento de cliente,
por exemplo, poderá ter um DM sobre clientes, porém sem visão de 360 graus daquele
importante recurso de informação. No passo seguinte, a empresa passa a observar o
dado com um foco corporativo, através da construção de DW corporativo ou de data
marts integrados. Em tese, nesse patamar ela alcança uma visão completa de informa-
ção sobre aquele objeto ou assunto. Até aqui há coerência com as diversas arquiteturas
propostas para a montagem de depósitos informacionais, vistas em capítulos anteriores.
Num estágio subsequente, a empresa percebe que o seu acervo de dados pode ser usado
como elemento de relacionamento com parceiros, fornecedores e clientes. Observados
osaspectos de segurança, alguns dados podem ser abertos para fornecedores, quando
eles poderão melhor planejar sua produção em função dos seus dados de vendas, ob-
tidos nos diversos parceiros. É o chamado BI colaborativo. Também a possibilidade de
oferecer informações aos clientes, como relatórios de chamadas telefônicas, classificadas
por valor, local chamado etc., poderia ser um valor agregado que as companhias tele-
fônicas poderiam oferecer aos seus assinantes. As concessionárias de luz, água etc. são
fortes candidatas à ocupação desse espaço. Finalmente, as empresas alcançam o patamar
de comercialização de seus dados. Preservados os aspectos cruciais de identificação, os
dados poderão ser anonimamente agregados por critérios, segmentados por fatores e
transformados em informações valiosas, para serem consumidas por empresas de mar-
keting, por exemplo. Nesse domínio, as empresas poderão vender informações próprias
de seu business ou, como discutido a seguir, fazer o seu business na comercialização de
informações, não necessariamente resultante do seu relacionamento com elas.
OS DATA BROKERS OU MERCADORES DE INFORMAÇÕES
Nos Estados Unidos existem algumas empresas especializadas neste segmento.
Um exemplo é a já comentada ChoicePoint, sediada em Atlanta, que coleta montanhas
de dados sobre decisões judiciais, transações fiscais e imobiliárias, avisos de nascimento e
mortes etc., formando uma gigantesca base estratificada por diversas áreas e que podem
ser transformados em informações vendáveis para clientes na modalidade de software
como um serviço (SaaS). A ChoicePoint tem bancos de dados estimados em 250 TB,
nos quais armazena informações sobre mais de 200 milhões de residentes nos Estados
ELSEVIER
CAPÍTULO 11 I BI2 – NOVAS TENDÊNCIAS NA APLICAÇÃO DE INTELIGÊNCIA DE NEGÓCIOS
tence ao grupo Lexis-Nexis, gigante especializado na área de provimento de informa-
ções e soluções de negócios que tem como clientes escritórios de advocacia, empresas
do governo, agentes de segurança, escritórios de contabilidade e empresas em geral inte-
ressadas em obter informações. A Lexis-Nexis já havia comprado outra empresa deno-
minada SEISINT, que também trabalha no setor de informações públicas. Essa empresa,
SEISINT, também especializada no tratamento e venda de informações, começou na
Flórida e teve uma participação interessante durante o ataque às Torres Gêmeas, em 11
de setembro de 2001. No dia 12/9/2001, Hank Asher, então dono da SEISINT, discutia
os ataques às Torres Gêmeas, com um amigo da área de segurança (Department of Law
Enforcement) da Flórida. Do seu apartamento em Nova York, Asher acessou o DB de
sua empresa, com mais de 10 bilhões de informações sobre cidadãos residentes, carteira
de motoristas, dados de cartórios, óbitos, aluguéis etc. Em pouco tempo produziu uma
lista de 1.200 suspeitos e um arquivo com 120 mil potenciais envolvidos, via sistema de-
senvolvido por ele, aplicando técnicas de mineração de dados. Imediatamente, a sede da
empresa, em Boca Raton, na Flórida, naquela semana virou QG da CIA, FBI, Serviço
de Migração, Serviço de Alfândega (customs). Os dados sobre milhões de residentes nos
Estados Unidos apareciam como boa fonte para identificar os suspeitos do maior ataque
sofrido pelos americanos. Ao final da investigação dos sequestradores identificados pos-
teriormente, cinco estavam na lista originalmente montada por Hank Asher. Algumas
semanas depois, em conjunto, eles criaram o Matrix-Multi-State Anti-Terrorism Infor-
mation Exchange, sistema que gravita na zona cinzenta entre a imperiosa necessidade
de melhoria da segurança nacional e os fantasmas que ameaçam a quebra dos direitos
de privacidade da sociedade americana. Em 2004, a empresa SEISINT foi comprada por
US$775 milhões pela Lexis-Nexis.
Uma empresa também pouco conhecida dos brasileiros é a Axcion. Essa em-
presa gerencia cerca de 20 bilhões de registros sobre consumidores, com um acervo
de aproximadamente 850 TB. Localizada em Conways, no Arkansas, a empresa coleta
montanhas de dados sobre compras e estilo de mais de 200 milhões de americanos,
quase toda a população adulta do país. A empresa compra qualquer dado sobre os ame-
ricanos, seleciona e vende a quem se interessa para trabalhos, por exemplo, visando a
campanhas específicas de marketing para segmentos da indústria como saúde, crédito,
automobilística, educação, planejamento de campanhas eleitorais, análise de riscos etc.
A Axcion, em 2010, comprou a gaúcha GoDigital, empresa especializada em marketing
de precisão e qualidade de dados.
Outra empresa significativa nesse segmento é a Yankelovich, Inc. Essa empresa
realiza análise e pesquisas de mercados, soluções de segmentação e serviços de consul-
toria. Possui uma pesquisa denominada MONITOR, que estuda as tendências de estilo
de venda e os valores dos consumidores. Com essa ferramenta, a Yankelovich é capaz de
prever as forças que modelam as atitudes dos consumidores e identifica oportunidades
de mercado. A empresa oferece soluções de pesquisas, como a criação de segmentação
baseada em clientes e suas necessidades, com foco na indústria financeira, em serviços
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
realizar conexões com clientes em potencial. Além dessas, oferece a ferramenta PULSE,
uma abordagem de segmentação que identifica grupos distintos de consumidores que
mostram motivações únicas, comportamentos e atitudes na arena da saúde. A empresa
foi fundada em 1958 e está localizada em Chapel Hill, North Carolina, com escritórios
em NYC e Atlanta, Geórgia.
ASPECTOS LEGAIS
Todas essas grandes empresas, comumente denominadas data brokers, traba-
lham com um insumo fundamental: informação. As informações vendidas são colhi-
das legalmente de fontes públicas, como licenças de habilitação, registros criminais,
registros de eleitores, registros de imóveis etc. Alguns desses data brokers se abaste-
cem de dados de agências de créditos, que já têm informações mais sensíveis, como
SSN, endereço, telefone e data de nascimento. Embora realizem lucros sobre dados
de alta sensibilidade e pr ivacidade, os data brokers gozam, dentro da legislação ame-
ricana, de certa simpatia, até porque são considerados provedores de certa camada de
dados que a legislação proíbe que seja retida por agentes públicos. Os organismos de
defesa, por exemplo, consideram os data brokers muito importantes, pois têm, através
deles, um canal de informações pessoais sobre cidadãos americanos não permitido
através de agências públicas. O caso de 11 de setembro, já comentado anter iormente,
foi emblemático da importância desses provedores particulares de informação nos
domínios da segurança nacional, visto que o Privacy Act (espécie de lei maior sobre
a privacidade de dados nos Estados Unidos) impõe limitações à quantidade de in-
formações pessoais de cidadãos americanos permitidas em bancos de dados públicos,
mas não em arquivos privados. Por seu lado, os data brokers possuem uma vasta rede
de clientes, entre elas empresas públicas. Algumas possuem contratos de muitos mi-
lhões de dólares, como a ChoicePoint, com o Departamento de Justiça, conforme
o relatório CSR Report for Congress, de janeiro de 2007. Normalmente, os dados
são comercializados através de acessos via internet e é exatamente nesse ponto que
o diabo fica na espreita. Os maiores problemas a que os data brokers são submetidos
não é o seu business natural de vender informações, mas os vazamentos provocados
por acessos indevidos a esse acervo de informações privadas. Os casos mais comuns
são os identity theft , prato suculento para as camadas criminosas que necessitam de
SSN (Social Security Number ) e nomes quentes para validar transações fraudulentas e
dar maior fluidez aos canais de tráfego de drogas, por exemplo. Dessa forma, os legis-
ladores americanos apontam mais suas baterias contra os aspectos de vazamento do
que propriamente da venda da informação. A legislação americana tem sido muito
mais centrada na obrigatoriedade da divulgaçãodos casos de vazamentos do que nos
aspectos intrínsecos da privacidade de dados de cada indivíduo. Alguns vazamentos
de dados tornaram-se notórios e ensejaram o desenvolvimento de mecanismos legais
a fim de mitigar as suas possíveis consequências. Diversos vazamentos e invasões de
computadores têm sido registrados desde 2005. Das mais variadas fontes, muitas des-
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
zamentos de dados, a aplicação da lei dependerá do estado onde acontecer (localização
do mantenedor) e do tipo de empresa envolvida (pública ou privada).
DATA BROKERS NO BRASIL
Em julho de 2009, uma das primeiras manifestações negativas de data broker no
mercado brasileiro apareceu na mídia. Por um pagamento de R$25,00 mensais, mais
um valor variável por consulta, uma empresa de São Paulo oferecia, pela internet, acesso
a dados sigilosos de pessoas e empresas de todo o país, inclusive de autoridades, artistas
e jogadores de futebol. Os dados eram vendidos sem restrição, informava a reportagem
da Folha de S. Paulo  na época. A empresa foi fechada numa operação que envolveu
promotores de justiça e equipes da polícia civil. Mesmo um dia após a operação ainda
era possível consultar, no site, os preços cobrados pela empresa. Para listas com telefo-
nes, endereço e possíveis familiares, a empresa cobrava só R$0,08 além da assinatura. A
completa (que contava ainda com renda, cheques sem fundos, pendências financeiras e
protestos) poderia chegar a R$12,00. A ação policial apreendeu material de informáti-
ca, além da lista dos clientes, e o site (www.apinformacao.com.br) foi retirado do ar. O
que causou certa surpresa foi que com um clique era possível descobrir, por exemplo,
endereço, telefone fixo e celular, renda presumida e todos os veículos já registrados no
nome do então governador de São Paulo, José Serra (PSDB) e do prefeito Gilberto
Kassab (DEM), além da listagem de seus parentes. Ainda constavam na lista celebridades,
esportistas e outras autoridades públicas. Para ter certeza de que as informações eram
verídicas, os promotores pesquisaram seus próprios nomes, e todos os dados conferiram.
Suas próprias fichas foram impressas e usadas no pedido de busca e apreensão à Justiça. A
suspeita é de que essa venda de informações tenha auxiliado até mesmo sequestradores
a praticarem seus crimes. O dono da empresa afirmou não ver irregularidade no seu
tipo de negócio. No site, a AP Informação se descrevia como referência “no forneci-
mento de informações cadastrais para fins de localização de pessoas, para recuperação de
crédito e cobrança”. Segundo eles, a carteira de clientes era formada por “empresas de
recuperação de crédito, agentes financeiros, como bancos, financeiras, administradoras
de cartão de crédito etc., escritórios de advocacia e comércio varejista em geral, que
realizavam mais de dois milhões de consultas por mês, em média”. 2
Diferentemente dos Estados Unidos, onde uma base legal já está estabelecida, es-
ses aspectos de privacidade de dados no Brasil ainda são extremamente fragilizados pela
ausência de legislação específica. Os envolvidos em casos semelhantes a esse somente
serão enquadrados na Lei 9.983 de 2000, no seu artigo 153, § 1 o, ou artigo 325, § 1o, que
prevê pena máxima de quatro anos de reclusão, que pode ser convertida em prestação de
serviços ou doação de cestas básicas. O Ministério da Justiça pretendia pôr em audiência
pública, até o final do mês de agosto de 2010, uma proposta de marco regulatório para
proteção de dados pessoais no país. O texto-base já foi apresentado em um seminário
pela Secretária de Direito Econômico do ministério e pretendia coletar percepções
sobre pontos como limites de compilações e uso das informações privadas no Brasil.
ELSEVIER
CAPÍTULO 11 I BI2 – NOVAS TENDÊNCIAS NA APLICAÇÃO DE INTELIGÊNCIA DE NEGÓCIOS
BI PARA DADOS NÃO ESTRUTURADOS �DNE�
Na era dos zettabytes, depois dos dados estruturados, o foco maior será nos DNE
(dados não estruturados), fortes candidatos a serem os elementos mais armazenados na
nova era digital. Na realidade, esse será o encontro das técnicas de BI e das ferramentas
de gerência de conteúdo, que sempre andaram em paralelo. Os dados de textos, imagens,
vídeos, sons, fotos, e-mails, documentos genéricos, específicos (contratos, acordos) etc.
hoje inundam o mundo corporativo e pedem soluções mais inteligentes na sua gerência,
incluindo armazenamento e pesquisa. A Figura 11.13 ilustra o conceito, mostrando a
amplitude dos DNE, que podem ir de dados em papel ou meio digital até sons, imagens
e vídeos, passando por planilhas, dados de projetos e de  workflow .
Figura 11.13
Exemplo de dados não estruturados.
Os DNE são diferentes dos estruturados porque são pouco atualizados, na reali-
dade quase sempre são emendados, expandidos, mas raramente modificados. Podem ser
escritos em uma ou mais línguas, e possuem pouca uniformidade e baixa característica
de repetição. Seu conteúdo tem domínios amplos, porque pesquisar um documento
com a palavra “cachorro”, por exemplo, deverá exigir o tratamento de sinônimos e cor-
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
no domínio dos DNE para maior amplitude semântica. Os desafios de BI sobre DNE,
além da maior acuidade de pesquisa, se concentram no processo de ETC, que deverá
ser altamente particularizado, na extração e na transformação, exigindo técnicas mais
apuradas do que as existentes no mundo dos dados estruturados. A extração envolverá
uma fase de conversão ou transposição de meios diferentes. Enquanto o ETC do BI
foca predominantemente dados já existentes no mundo transacional, o ETC do BI2
envolverá mudanças de meios físicos. Os dados de relatórios, ainda em meio papel,
demandarão digitalizações. Os dados de voz em mídia digital, como fitas de gravação
de atendimento ou registros vocais, deverão ser traduzidos por intermédio de soluções
de VCR e ser considerados aspectos dificultadores dessa transposição, como sotaque,
língua, problemas de audição etc. A análise e a identificação desses elementos de infor-A análise e a identificação desses elementos de infor-
mação vocal são baseadas na análise de frequência do sinal sonoro, com transformação
e compressão do sinal. Os produtos trabalham com speech frames amostrados, compara-
dos com modelos acústicos armazenados. Os interpretadores usam redes neurais como
técnica de mineração e são suscetíveis a sotaque, línguas, fonemas e aspectos guturais
da voz e da língua. Os dados de imagens deverão ser tratados em condições especiais
para permitir análises e pesquisas além das tags de metadados normalmente associadas
a eles. As fotografias, quando para fins de identificação, já estão sendo trabalhadas por
analisadores mais sofisticados que definirão o mapeamento de feições, considerando
distância entre olhos, nariz, orelhas, boca, lábios e maçãs do rosto, e cuja precisão é
fortemente impactada pelo ângulo da imagem. Esses tipos especiais de dados deverão
ser armazenados em estruturas especiais, como os campos blobs (binários longos). Os
dados de textos em mídia digital (originais ou convertidos) deverão ser submetidos a
tratamento de processamento ou mineração de textos para sua correta estruturação e
interpretação. Os e-mails possuem campos estruturados, como To, From, CC, estampa
de tempo e dados etc., e não estruturados, como o corpo da mensagem. As planilhas
são de formato relativamente livre, sendo os metadados os próprios rótulos das colunas
e linhas, além dos comentários inseridos nas células. As técnicas de text mining serão
alavancadas pelo crescimento do BI-DNE e pela inteligência de negócios aplicada aos
dados não estruturados, conforme discutido anteriormente no tratamento de blogs.
Dentro do text mining, os campos como nome, endereço, CEP, e-mail e telefone são os
que estão sujeitos a filtragens de qualidade de dados. Existem hoje diversas técnicas de
checagem com dados padrão periodicamente atualizados, como cadastro de CEP, pa-
drões de endereços eletrônicos,cadastro de logradouros etc. As palavras são submetidas
a um tratamento de redução morfológica visando a buscar a sua raiz pr incipal (stemming ,
como no exemplo de computador, computação, computadorizado etc., todos com a
mesma raiz), análise de homônimos (grafias diferentes e mesmo sentido), de sinônimos
(sentidos equivalentes), de homógrafos (mesma grafia, porém com sentidos diferentes),
de bigramas (ice-cream, algo formado de duas ou mais palavras para compor um sentido),
resolução de grafias (Nova York, New York, NY) e tratamento de temas. Algumas em-
presas especializadas, como Ranks.NL (http://ranks.nl) e Connexor.EU (http://con-
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
BI � GERÊNCIA DE PROJETOS
As técnicas de BI, dentro do novo escopo do BI2, também deverão ser apli-
cadas como apoio no campo de gerenciamento de projetos, através da estruturação e
do acesso a repositórios que contenham indicadores como tempo planejado, tempo
realizado, número de não conformidades de projeto etc., fundamentais nos processos
de desenvolvimento de sistemas. Será o aparecimento do BI analisando o desempenho
de múltiplos projetos (conceito de gerência de portfólio), trabalhando de forma mul-
tidimensional as suas métricas de custo, esforço, tempo e qualidade etc. devidamente
armazenadas em estruturas que permitam esse tratamento. O software PlanView (um
dos softwares líderes em gerência de portfólio de projeto) tem essa proposta de apoiar
os gerentes de projetos com a prática de ferramentas OLAP. Nos primeiros níveis de
maturidade, as empresas utilizam diversas ferramentas diferentes para registrar fatos
como apontamento de horas de colaboradores, análises de oportunidades transforma-
das em projetos, registros de demandas ( issues), bem como dados de projetos. À me-
dida que as empresas amadurecem na escala dos modelos de qualidade, torna-se ne-
cessário o registro de métricas em um repositório, criando um ambiente centralizado
no qual as diversas medidas de vários projetos e do próprio processo organizacional
possam ser armazenadas. No modelo MPS.BR, já no nível F, equivalente ao nível 2 do
CMMI, aparece uma disciplina (processo) de medições (MED) que sinaliza para essa
necessidade, embora sem exigência formal de uma base centralizada. Isso será consoli-
dado quando as empresas alcançarem os níveis maiores, como o nível B em MPS.BR
e o nível 4 no CMMI, quando aparecerá a necessidade de CEP (Controle Estatístico
de Projeto) e no CMMI serão demandados os processos desempenho do processo or-
ganizacional e gerência quantitativa de projetos. A opção mais natural aplicada como
solução, hoje, as planilhas Excel, não apresenta resultados efetivos, na medida em que
múltiplas visões analíticas serão produzidas por diferentes  players sobre a mesma base
de medições estabelecida. Daí, torna-se imperiosa a busca por soluções mais integra-
das, evidenciando-se a necessidade de repositórios centrais de dados de medições.
As medidas serão produzidas em momentos diferentes dos projetos e registradas ob-
 jetivando dar visibilidade aos tomadores de decisão. Cada projeto poderá ter ciclos
de vida diferentes, como cascata, elaborações sucessivas com iterações, construções
sucessivas etc. e, para cada fase, poderão ser obtidas e armazenadas medidas visando a
dar apoio às diversas gerências envolvidas (gerência de projeto, gerência de requisitos
etc.). É importante que as medidas sejam sempre associadas aos objetivos estratégicos
da empresa, de forma a prover um norte que oriente os gerentes a posicionarem seus
projetos na direção correta que a empresa procura trilhar. Antes de aprofundarmos
em modelos e repositórios, vamos definir alguns conceitos seminais:
 Medidas são valores numéricos que representam extensão, quantidade, tama-
nho, dimensão ou capacidade de um produto ou de um processo. Por exem-
plo, são expressas por metro linear para comprimento, escala Richter para
intensidade de terremoto, metro cúbico para volume, quilograma para peso,
ELSEVIER
CAPÍTULO 11 I BI2 – NOVAS TENDÊNCIAS NA APLICAÇÃO DE INTELIGÊNCIA DE NEGÓCIOS
 Métricas representam o valor resultante do ato de colocar as medidas numa
escala de relatividade. Por exemplo, metros cúbicos/hora, metros/segundo,
quantidade de não conformidades (NC) na fase de elaboração, esforço rea-
lizado e esforço planejado em homens-hora estimado no mês de setembro
de 2007, no projeto XABC etc.
 Medição representa o ato ou processo de levantar medidas/métricas sobre
produtos e processos com o objetivo de prover informações para uma aná-
lise e/ou tomada de decisão.
 Indicadores são informações relacionadas a uma medida, métrica ou combi-
nação de métricas que pode ser utilizada para ter uma compreensão de certa
entidade objeto da análise.
 Um exemplo que ilustra os conceitos: quando você realiza uma avaliação
para começar a “malhar” numa academia, uma das métr icas obtidas é o seu
índice de massa corporal, que indica se você está com o peso ideal ou não.
Para tal, duas medidas são importantes: altura (H) e peso (P). A medição é o
ato de levantar essas duas informações. Existe uma métrica chamada índice
de massa corporal (IMC) que é calculada, em função das duas medidas,
segundo a seguinte fórmula: IMC = P/H2. A partir dessa métrica, foram
estabelecidos indicadores que apontam se um adulto está acima do peso, se
está na faixa aceitável ou abaixo do peso ideal. Por exemplo, para que uma
pessoa seja considerada dentro do peso normal, o IMC deverá estar entre
18,5 e 25. No ambiente de processos de software existem várias medidas
que poderão ser obtidas, dentro dos domínios de tempo (tempo estimado
e tempo realizado para certa atividade ou conjunto delas), custo (custo es-
timado e custo realizado para certa atividade ou conjunto delas), qualidade
(número de defeitos observados em certas atividades ou conjunto delas),
esforço (esforço em homens-horas estimado e realizado para certa atividade
ou conjunto delas) etc. As métricas poderão ser obtidas por operações rea-
lizadas entre essas medidas. Por exemplo, o valor agregado é definido como
a porcentagem de conclusão de uma atividade declarada no ato da medição
multiplicada pela quantidade de horas planejadas para a realização daquela
atividade. É importante definir para cada medida/métrica os limites ou fai-
xas que representem valores bons, aceitáveis ou inaceitáveis. Por exemplo, se
a densidade de defeitos for menor do que X defeitos por ponto de função,
ela é considerada boa. Com valores entre X e Y, ela é considerada mediana, e
maior do que Y é considerada inaceitável. Normalmente, para essas situações
de limites críticos, o processo de medições da empresa deverá definir ações a
serem implementadas, visando a correções ou ajustes a respeito.
Modelos de dados para projetos de repositórios de métricas
À medida que uma empresa amplia seus leques de negócios e evolui numa es-
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
como 2 do CMMI ou F do MPS.BR, as medições buscam indicadores suficientes para
controles operacionais básicos. Quando a empresa ascende a níveis maiores, como B do
MPS.BR ou 4 do CMMI, esses controles operacionais são substituídos por controles
estatísticos de processos, que necessitarão de uma base estruturada de medidas. Uma
base de medidas é uma estrutura de dados, normalmente relacional, modelada adequa-
damente nos seus atributos e relacionamentos e associada a um mecanismo de acesso,
que proverá aos seus usuários a busca facilitada dos valores, por critérios de pesquisas. A
base de medidas central poderá produzir outras estruturas, como data marts centrados
em modelo dimensional, que facilitarão o tratamento e a análise das medições. Embora
a base de medidas possa ser formada de várias fontes, elas deverão estar integradas, de
modo a permitir navegação coerente e íntegra entre elas. Em casos nos quais essas fontes
são díspares, como planilhas Excel, Sharepoint etc., um repositório centralizado deverá
ser planejado e desenvolvido,integrando os dados armazenados nas diversas fontes. O
repositório de medidas conterá, além das próprias medições, informações de contextua-
lização que permitirão a análise de similaridade entre os diferentes projetos, possibili-
tando comparações entre aqueles de mesma caracterização, assim dando coerência ao
processo de análise e de tomada de decisão. Para tal, os projetos deverão ser plenamente
documentados, a fim de oferecer informações contextuais importantes sobre a sua am-
bientação e que permitam sua comparação e seu agrupamento por similaridade.
Critérios para caracterização de projetos:
 Ambientes: relativo à distribuição geográfica dos membros do projeto e
recursos disponíveis. A ideia é entender se o projeto é centralizado ou está
distribuído geograficamente; no caso de distribuição, quais são os recursos
que suportam essa caracterização. Embora hoje exista um arsenal de fer-
ramentas que permite que as equipes de projetos distribuídos interajam, a
comparação entre um projeto centralizado e um distribuído deve ser anali-
sada com cuidado.
 Recursos humanos do projeto: refere-se ao tamanho e à experiência da equipe
com relação ao domínio/assunto, tecnologias envolvidas e processos adotados.
 Produtos desenvolvidos no projeto: caracteriza se o projeto é de produto
ou de sistema.
 Processos utilizados: refere-se à abordagem adotada, podendo variar de RUP,
ágil etc., além da caracterização dos ciclos de vida e versão do processo aplicado.
 Tecnologias envolvidas: caracterizado pelas linguagens de programação ado-
tadas, SGBD, arquiteturas usadas e aplicação de conceitos especiais como BI,
SOA, Hadoop/MapReduce etc.
 Cliente do projeto: caracterizado pelo tipo e porte do cliente daquele projeto.
 Dados do projeto: refere-se ao tamanho do projeto, às unidades adotadas
para essa medida e restrições gerais.
Conceitualmente, alguns desses atributos estão representados na Figura 11.15,
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
BI ), BI operacional ou self-service BI, conceitos que criam uma alusão clara à entrega
de responsabilidades dessa parte aos usuários de negócios. Isso vem ao encontro dos
conceitos iniciais de governança de dados, já discutidos em capítulos anteriores. A
área de negócios e a TI deverão abraçar fortemente a premissa de ter o dado como
um recurso ou ativo de negócios da empresa. Assim, passaria pela esfera da área de BU
(negócios) a responsabilidade pelo accountability dos dados, que envolveria a estratégia
sobre o recurso em si, as políticas sobre seu uso, os objetivos de GD (Governança
de Dados) associados à estratégia da empresa, além de KPIs (indicadores-chave de
processos), que permitissem a monitoração desse novo tipo de ativo, controlado nesse
âmbito de negócios. A área de TI ficar ia com as atividades relativas à sua cr iação, seu
armazenamento e sua disponibilização, oferecendo os serviços de back-end.
Modelos ágeis
Os modelos ágeis são centrados em modelos altamente iterativos, com ações
de refinamento gradativo dos requisitos e entregas rápidas de produtos. O surgimento
dos métodos ágeis se deu, para surpresa de muitos, bem antes da internet e dos pro-
cessos colaborativos. A pedra fundamental dos métodos ágeis foi o desenvolvimento
de projeto com estilo iterativo e incremental, aplicado à engenharia desde a metade
dos anos 1930. IIDD, como era chamado o Iterative and Incremental Design and Develo-
 pment , já era muito usado em projetos de engenharia de hardware (não software). O
grande precursor dos métodos iterativos e incrementais foi Edward Deming, estatís-
tico e professor que promoveu o conceito de PDCA (originalmente PDSA), com o
-S- de Study em vez de -C- de Check. A Nasa, a força aérea americana e a indústr ia
 japonesa usaram intensivamente o método de Deming em projetos time box, iterati-
vos e com ciclo de desenvolvimento incremental de produtos. Na metade dos anos
1950, diversos projetos de software usaram o método de IIDD, empregando muitos
dos conceitos hoje aplicados nas metodologias ágeis. Entretanto, em um mundo do-
minado pelo Cobol, com demandas por projetos complexos, grandes arquivos, abor-
dagem top-down estruturada, isso acabou não sendo percebido como possível padrão
emergente. Em 1976, Tom Guilby apontou no seu livro Software Metrics que existia
um método superior para desenvolvimento de software e lançou a ideia de algo mais
leve, mais ágil, mais adaptativo, com ciclos e iterações que mostravam mais rapida-
mente os produtos ao cliente. Essas ideias foram gradativamente amadurecidas e, em
1985, Barry Boehm lançou o seu método Espiral, no The Spiral Model of Software
Development and Enhancement . Durante os anos 1990, aumentou a aceitação dessa nova
abordagem, e o IIDD ganhou variantes como RAD (Rapid Application Development ) e
RUP (Rational Unified Process). Embora soando estranho, algumas técnicas inovadoras
de métodos ágeis surgiram em grandes empresas: o XP ( eXtreme Programming ) surgiu
na Chrysler Corp em 1996, em um projeto pilotado pelos ainda não gurus Ron Je-
ffries e Kent Beck. Já no final da década ficou claro que um método que pr ivilegiava
a forte interação entre equipes usava a comunicação tête-à-tête , aplicava uma rigorosa
ELSEVIER
CAPÍTULO 11 I BI2 – NOVAS TENDÊNCIAS NA APLICAÇÃO DE INTELIGÊNCIA DE NEGÓCIOS
Scrum, Crystal, FDD etc. Com a proliferação de métodos se deu um fenômeno pare-
cido com o que aconteceu quando do surgimento da UML. Havia a necessidade de
definir algo em comum, e os grandes gurus de cada linha se uniram para escrever o
famoso “Manifesto ágil”, nascido nas montanhas geladas do estado de Utah. Os líderes
foram: Kent Beck, Ron Jeffr ies, Alistair Cockburn, Jim Highsmith, Bob Martin, Mike
Beedle, Ken Schwaber e Jeff Sutherland. Um subconjunto desses autores se juntou
a Mary Poppendick para formar a Agile Alliance, organização não lucrativa voltada
para encorajar o uso de métodos ágeis. Enquanto o primeiro manifesto foi focado
para programação, dois dos gurus originais (Cockburn e Highsmith) se juntaram
com outros luminares, como David Anderson, Mike Cohn, Todd Little etc. para de-
finir os seis princípios de gerenciamento, conhecidos pelo estranho nome de Project
Management Declaration of Interdependence (DoI). Os 15 autores do DoI forma-
ram o Agile Project Leadership Network (APLN), de novo um organismo sem fins
lucrativos que encorajava a prática de métodos ágeis, agora em domínios de liderança
e gerenciamento. Esses manifestos, somados ao crescimento de desenvolvimento de
software para a internet, alavancaram o método, sendo que o mais conhecido (Scrum)
continua a crescer além do software, alcançando domínios que objetivam os mesmos
ganhos definidos por Deming e equipe, com o seu IIDD. Assim surgiu um método
caracterizado por premissas relativamente opostas àquelas existentes até então para o
desenvolvimento tradicional de sistemas:
1) Equipe pequena, coesa e trabalhando com forte interação.
2) Forte participação do cliente.
3) Entregas pequenas e em maior frequência.
4) Comunicação tête-à-tête , com experiência fortemente focada em projetos
menores, sem os rigores do custo fixo, com aceitação de riscos que, segun-
do o método, serão mitigados pelas suas próprias características de fluidez,
rapidez e de entregas menores. Mais detalhes sobre o Manifesto Ágil e seus
princípios podem ser obtidos em http://www.agilemanifesto.org/princi-
ples.html.
Os sistemas de BI 
Os sistemas de BI, por sua vez, podem ser entendidos como um mecanismo
de transformação, e foram originados nos antigos sistemas de decisões gerenciais e
de informações executivas. Os dados, nascidos no âmbito transacional, são extraídos,
transformados e carregados em estruturas informacionais, adequadamente desenhadas
para oferecer desempenho e facilidade de manipulação de informações. Enquanto uma
abordagem (métodos ágeis) é fortemente  process driven, a outra (BI) é vocacionadamente
data driven. Isso requer alguns pontos de ajustes na combinação das duas soluções, maso cerne do método apresentado é a forte característica iterativa e incremental para a
produção de aplicativos de BI trabalhando sobre data marts gradativamente criados e
acoplados por dimensões 
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
Figura 11.21 BI ágil.
Visão dos ciclos de vida – release, iIteração, diário.
Ciclo de release
O primeiro ciclo é o de release , que denota a visão maior do projeto, em que os
problemas de informação e suas consequências são definidos. Daí resulta o conjunto
de requisitos de negócios e de clientes entendidos, definidos em uma visão ainda ma-
cro, com foco mais nos problemas e nas aflições expressadas pelos clientes. Os agilistas
usam como forma padrão de captura uma abordagem denominada “histórias” com
as quais registram, em poucas palavras, esses requisitos resultantes das grandes apre-
ensões dos clientes. Seria uma expressão coloquial e simplificada, em poucas linhas,
exemplificado da seguinte forma: como <papel que exerço> eu desejo um <tipo de
sistema/aplicação> com que possa <benefício>. Por exemplo: “Como administrador
de compras, eu desejo um sistema com que possa definir os volumes de compras de
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
Os CSU de  front-end   estão diretamente relacionados com a forma como os
dados estarão disponíveis na camada do cliente. Poderão ser aplicações de produção
de relatórios, criação de cubos, atualização de dashboards, executadas por menus etc. A
frequência com que essas aplicações serão executadas para disponibilizar os dados são
consideradas, além de eventuais tratamentos especiais de dados na camada de front-end.
A Figura 11.22 ilustra os principais elementos dos CSU-BI. Definidos, os casos de usos
serão então priorizados, formando a pilha do release backlog , conceito de lista de requi-
sitos a serem definidos para entrar no ciclo das iterações.
Figura 11.22
Elementos de CSU em BI.
5) Construir: neste ponto, o ciclo do release  passa para o ciclo de iterações ou
sprints. Nesse momento, o ciclo se inicia com o detalhamento de cada CSU-
-BI em atividades, com base no conhecimento dos clientes, analistas e pro-
 jetistas de BI envolvidos no projeto. Como o Scrum define normalmente a
estratégia de time-box, são selecionadas as atividades que caberão no tempo
fixo da iteração, em função da estimativa de tempo de cada uma. Isso está
nas atividades “Decompor os CSU-BI em atividades” e na atividade “Plane-
 jar atividades”.
A atividade de desenvolver abre outro ciclo que, no fundo, representa as ações de
escritas/desenvolvimento das atividades planejadas, e o acompanhamento diário com a
equipe, baseado nos preceitos do daily scrum, com a aferição do que já foi feito, do que
tem para ser feito e dos impedimentos surgidos. Durante a fase de desenvolvimento,
ELSEVIER
CAPÍTULO 11 I BI2 – NOVAS TENDÊNCIAS NA APLICAÇÃO DE INTELIGÊNCIA DE NEGÓCIOS
São os chamados “débitos técnicos” no jargão agilista. Essas pendências, de natureza não
funcional, têm a sua estimativa de esforço definida e aguardam a sua resolução numa
sprint /iteração seguinte ou numa sprint /iteração especial. No retorno ao ciclo de itera-
ção (sprint ), são apresentados os resultados alcançados, normalmente ao Product Owner,
que representa a visão do cliente. Isso acontece numa reunião denominada revisão do
sprint (sprint review ), que é acompanhada por outra, denominada reunião de retrospectiva
(retrospective meeting ), em que todas as informações relevantes sobre a iteração são discuti-
das, as métricas são registradas e as lições aprendidas são armazenadas como insumo para
os ciclos subsequentes. Ao final das diversas iterações, há o retorno ao ciclo do release ,
que se fecha com uma revisão dos resultados implantados nas diversas iterações.
RESUMO
Como não poderia deixar de ser, o aparecimento da proposta BI ágil trouxe
à tona diversas discussões conceituais sobre o casamento das duas propostas. Alguns
especialistas em BI, como Jill Dyché, criticam a adoção de BI ágil como sendo a saída
para empresas que não conseguiram alcançar disciplina para a realização de projetos
tradicionais de BI. Os críticos reconhecem que o modelo ágil nascido para a criação
de sistemas transacionais deverá ser cuidadosamente revisto para se adaptar aos sistemas
informacionais. As críticas exageradas afloram, como a de Jill Dyché, no seu blog Infor-
mation Management Blog, em 26/8/2010, no  post “Standing up for Agile BI (sort of)”,
acessado em 29/9/2010, no qual escreve: “Nos meus momentos mais críticos fico con-
vencida de que o BI ágil é mais para pessoas extrovertidas, que preferem gastar o tempo
mais conversando do que desenvolvendo ou, Deus me perdoe, documentando.” Con-
tinua ela: “A eficácia de métodos ágeis para BI ainda terá que passar por muito debate.”
O grande problema, acrescento, são os modismos da informática. Vez por outra,
as famosas buzzwords são produzidas e despertam um lado meio inerte da indústria da
consultoria e do software. Alguns produtos começaram a aparecer na esteira do BI ágil e
o grande desafio é purificar as suas propostas a fim de observar, com cuidado, os pontos
positivos oferecidos, separando-os do que é “espuma”. Uma das grandes controvérsias a
respeito é que com modelos ágeis se consegue fazer mais de forma mais rápida. Alguns
especialistas se contrapõem dizendo que com modelos ágeis se obtém o “correto” com
o grau de qualidade adequado, evitando-se perdas. Entretanto, com o que todos con-
cordam é que fazer entregas menores leva a uma alta probabilidade de maior acerto dos
requisitos, devido a uma validação mais frequente das necessidades colocadas, o que é
premissa básica dos métodos iterativos e incrementais.
Por outro lado, existem adeptos fortes da aplicação do BI ágil. O livro  Agile
Data Warehousing , de Ralph Hughes, publicado pela Ceregenics, Inc., em 2008, é uma
das primeiras publicações dedicadas a essa combinação. O livro mostra uma proposta
para definição de abordagem ágil para sistemas de BI. A grande indagação que surge na
avaliação do livro é que o foco parece ser mais em sistemas de BI, entendendo-se pre-
dominantemente os aplicativos. Não são focados os aspectos específicos de construção
BI2 – BUSINESS  INTELLIGENCE : MODELAGEM E QUALIDADE I CARLOS BARBIERI
 O foco é na construção de pequenos projetos de BI, que se traduzem em
pequenos trabalhos de 60-90 dias, quando serão construídas aplicações e
estruturas de dados.
 Os métodos são classicamente iterativos e incrementais, como se espera de
projetos que se pretendem mais rápidos, com requisitos definidos e elabora-
dos dentro de cada iteração.
 Esses projetos, fatiados dessa forma, formam a ideia de um projeto maior
desenvolvido em outros menores.
 Na área de dados, já existia essa proposição, feita por Ralph Kimball,
através da construção de data marts, integrados gradativamente através
de dimensões “conformes” ou compatíveis. Embora o nome aplicado não
fosse esse, a ideia de construir estruturas dimensionais ar ticuladas se en-
quadrou na premissa de entregas mais rápidas de resultados desejados. Essa
proposta, discutida em capítulos anteriores, deve ser cuidadosamente pla-
nejada para evitar que “silos” desconectados de dados sejam produzidos. A
Figura 11.23 ilustra o conceito de criação de projetos de estrutur as de BI
e o projeto de aplicações de BI, de acordo com a tendência apontada para
a divisão de responsabil idades entre TI e BU (área de negócios), usando a
abordagem ágil, caracterizada pelas três engrenagens que denotam o ciclo
dos releases, das iterações e do controle diário.
ÍNDICE REMISSIVO
A
Abordagens iniciais para projetos de Data
Warehouse e Data Mart, 112-113
Agregados, 198-202
Aldeia Global, 2
Análise de conglomerados, 145-148
Análise de regressão, 153
Áreas de negócios, definição de, 237
Armazenamento colunar, 296-297
Armazenamento na era dos zettabytes,
308
Arquitetura da solução, definição da, 237
Arquitetura de servidores, 285-288
Arquitetura SMP,