Prévia do material em texto
ELISAMARA DE OLIVEIRA JULIO SOZZA BERTOCCO Professora autora/conteudista Atualizado e revisado por É vedada, terminantemente, a cópia do material didático sob qualquer forma, o seu fornecimento para fotocópia ou gravação, para alunos ou terceiros, bem como o seu fornecimento para divulgação em locais públicos, telessalas ou qualquer outra forma de divulgação pública, sob pena de responsabilização civil e criminal. SUMÁRIO Introdução . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Corporate Performance Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 Cenário do mundo corporativo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6 Definição de CPM – Corporate Performance Management . . . . . . . . . . . . . . . . . . . . . 9 BI (Business Intelligence) e ferramentas de apoio ao CPM . . . . . . . . . . . . . . . . . . . . . .13 O processo de tomada de decisões . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14 Business Intelligence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 Business Intelligence e Business Intelligence 2 .0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 Sistemas transacionais x sistemas de apoio à decisão . . . . . . . . . . . . . . . . . . . . . . . . 20 Arquitetura e ferramentas de BI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .24 CPM e BI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 Data warehouse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 Definições de data warehouse e data warehousing. . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 Características de um DW . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .31 Pessoas envolvidas no processo de data warehousing . . . . . . . . . . . . . . . . . . . . . . . . 33 Etapas de implantação de um DW . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 O que são metadados?. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 Arquitetura de DW . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 Arquitetura global . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 Arquitetura de DMs independentes . . . . . . . . . . . . . . . . . . . . . . . . . 39 Arquitetura de DM integrados. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 Ferramentas para construção e consultas a um DW . . . . . . . . . . . . . . . . . . . . . . . . . . 42 Etapas e componentes da implantação de um ambiente de apoio à decisão . . . . . . .42 Extract, Transform and Load (ETL) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 Staging Area . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 Extract (Extração) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .45 Transformation (Transformação) . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 Load (Carga). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 Data Marts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 Custos de implantação de DMs e DW . . . . . . . . . . . . . . . . . . . . . . . . 53 OLAP - On Line Analytical Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 Modelagem e visão multidimensional dos dados . . . . . . . . . . . . . . . . . 57 Navegação multidimensional . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 Ferramentas para construção e consultas a um DW – parte II . . . . . . . . . . . . . . . . . . 63 Big data e data mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 Casos de sucesso com a utilização de data mining . . . . . . . . . . . . . . . . 69 Text mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .71 Monitoramento e visualização de dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 5.2.1. Business Activity Monitoring (BAM) . . . . . . . . . . . . . . . . . . . . . 76 Considerações Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 Glossário . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 Referências bibliográficas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 Pág. 5 de 83 INTRODUÇÃO O objetivo deste conteúdo é capacitar você, caro aluno, a conhecer a evolução dos dados e sistemas nos ambientes corporativos e explorar de forma contextualizada e atualizada uma área muito importante ligada à gestão estratégica da informação, conhecida como Business Intelligence (BI) ou Inteligência nos Negócios. Esta área e seu ferramental fazem parte do Corporate Performance Management (CPM), um conceito que reúne metodologias e tecnologias que permitem que o desempenho de uma organização corporativa seja gerenciada de maneira racional, eficiente e integrada. Você será levado a conhecer e dominar os conceitos de Corporate Performance Management e de Business Intelligence, tendo uma visão geral do mercado de BI, conhecendo e explorando as principais ferramentas de gestão de performance e de apoio à decisão em nível gerencial. Essas ferramentas precisam obter informações do “big data”, um termo que se refere à enorme quantidade de dados que é produzido no mundo. O grupo Gartner informou que o mundo produz mais de 15 petabytes de dados estruturados e não estruturados por dia, na forma de vídeos, textos, áudios, imagens, informações produzidas pelas redes sociais etc. Mas o que mais importa não é a quantidade de dados, mas o que as empresas podem fazer com aqueles que são relevantes. O big data pode ser investigado e analisado para que decisões estratégicas possam ser tomadas para melhorar o negócio. Neste universo de big data, você conhecerá a importância e o funcionamento de repositórios de dados multidimensionais como o Data Warehouse (DW) e conhecerá o que são data marts, processo de ETL (Extract Transform Load) e ferramentas de OLAP (On Line Analytical Processing), de data mining e de monitoramento e visualização de indicadores de performance. Ao longo do texto, vamos, também, oferecer a você mais informações sobre empresas e ferramentas de BI e quadros com artigos ligados aos temas. Como pode ver, são muitas as siglas e muitos os termos técnicos, mas não se preocupe. Ao longo deste conteúdo você conhecerá cada um deles e estará apto a diferenciá-los e também a utilizá-los profissionalmente. Então, prepare-se, um novo universo, muito interessante e instigante, esperapor você nas próximas páginas deste material! Elisamara de Oliveira Pág. 6 de 83 CORPORATE PERFORMANCE MANAGEMENT Cenário do mundo corporativo Podemos dizer que, atualmente, estamos diante de um cenário de rara complexidade no mundo corporativo e na sociedade como um todo. Diversos acontecimentos e fenômenos econômicos e sociais, de alcance mundial, têm sido responsáveis pela reestruturação do ambiente de negócios. A globalização da economia, impulsionada pela TI e pelas comunicações, é uma realidade da qual as organizações empresariais e sociais não podem escapar. Com o advento dessa globalização o mundo ficou mais competitivo, as empresas e os clientes ficaram muito mais ágeis e exigentes, e passou a ser fundamental para as organizações empresariais contar com processos automatizados eficientes para apoiar as decisões, que se tornam cada vez mais difíceis. Você, caro aluno, certamente não somente percebe estas mudanças, como sofre diariamente a influência delas, pois vive em um mundo que lhe oferta novos produtos, frutos das modernas tecnologias, de forma intensa e constante. As empresas fazem parte do mundo dos negócios que visa o lucro e o retorno dos capitais investidos no menor tempo possível. Nesse ambiente de alta competitividade, as informações assumem um papel importante para o sucesso das empresas. Com a enorme quantidade de informações que são geradas e disponibilizadas todos os dias, são necessários critérios para sua seleção e organização. Figura 1 – Mundo dos negócios. Fonte: Toria/ Shutterstock. Isso porque apenas “saber muito” sobre o negócio não proporciona, por si só, maior poder de competição para uma organização. As informações e os dados, quando aliados a um sistema capaz de realizar a sua gestão, é que começam a fazer a diferença. Assim, a criação e a implantação de processos que gerem, armazenem, gerenciem e disseminem o conhecimento representam o mais novo desafio a ser enfrentado pelas corporações. Termos como “capital intelectual”, “capital humano”, “capacidade inovadora”, “ativos intangíveis”, “big data”, “plano de contingência” e “inteligência empresarial” fazem parte do dia a dia de muitos executivos que estão despertos para essa nova realidade. Pág. 7 de 83 Mas é importante ressaltar que dados, informações, conhecimento e sabedoria são conceitos diferentes. Hoppen e Santos (2015) apresentam o gráfico da figura abaixo que ilustra estes conceitos. Dados são valores que quantificam algo capturado da realidade, são a matéria prima da escala do conhecimento. Informações são os dados agrupados e organizados de forma a dar sentido aos dados. Conhecimento se refere às informações de forma contextualizada, de maneira a se poder tomar decisões inteligentes e raciocinadas com base nelas. A sabedoria indica um conjunto mais complexo de raciocínios que se baseiam nos dados, informações e conhecimento, ampliando o potencial das decisões. De acordo com Hoppen e Santos (2015), o gráfico da figura abaixo apresenta cores cujos significados são: Azul escuro representa o ser humano com seus sentidos, práticas e vivências. Laranja representa os elementos potencializadores da inovação. Verde representa as fases de desenvolvimento do potencial de inovação até a tomada de decisão. Azul claro indica as ferramentas digitais e computadores que servem de apoio ao trabalho humano, as quais nos ajudam a executar tarefas criativas em crescente complexidade. Figura 2 - Dados, informações, conhecimento e sabedoria. Fonte: <https://aquare.la/dos-dados-inovacao/> Pág. 8 de 83 O dado é um elemento puro, é um valor que quantifica alguma coisa. Os dados são usados no ambiente operacional e podem ser registrados, selecionados e recuperados de um banco de dados ou obtidos das mais variadas formas de documentos. Pode-se citar como exemplo de dado o valor do faturamento de vendas de uma empresa. A informação é o dado contextualizado e analisado. Por exemplo, podemos comparar o faturamento de vendas da empresa na região Sul (R$ 500 mil) com o faturamento da região Sudeste (R$ 900 mil). Mesmo havendo diferenças numéricas entre os dados, não é possível dizer qual região teve o melhor desempenho... é necessário estabelecer um parâmetro de comparação, ou seja, criar a informação. Se a meta para a região Sul fosse de R$ 200 mil e a da região Sudeste fosse de R$ 5 milhões, ficaria claro que a região Sul foi a que teve um desempenho melhor! Ficou claro o conceito de informação, caro aluno? O conhecimento está relacionado à habilidade de se criar um modelo que descreva dados e informações e aponte ações a serem implementadas e as decisões a serem tomadas. A compreensão, análise e síntese, necessárias para a tomada de decisões inteligentes, são realizadas a partir do nível do conhecimento. No caso do exemplo do faturamento da empresa, o conhecimento dos dados e da informação sobre o baixo desempenho da região Sudeste deveriam implicar em ações corretivas. A sabedoria está relacionada à pergunta: o que você vai ou pode fazer com base nos dados, informações e conhecimentos? A prática e a experiência proporcionada pelo conhecimento leva à sabedoria, que torna o gestor mais capacitado a realizar raciocínios mais complexos. No exemplo da empresa, a sabedoria poderia levar à busca de soluções inovadoras para aumentar o faturamento. (Fonte: HOPPEN; SANTOS, 2015) As informações, para terem ou manterem o seu valor, devem ser consistentes e ter o mesmo significado para todos os membros da organização, ou seja, a informação deve ser transformada efetivamente em conhecimento e distribuída, tornando-se acessível aos interessados. A informação aplicada torna-se conhecimento e passa a ser um ativo da empresa, sendo utilizada para definir estratégias de curto, médio e longo prazos, e não mais apenas um suporte à tomada de decisão. A sabedoria, fruto da experiência, dá um passo em direção à busca por soluções mais complexas e inovadoras. Essa realidade já é percebida, pelo menos em parte, por muitas empresas. Um grande problema encontrado nas empresas são muitos dados distribuídos por diferentes sistemas. Por exemplo, caso seja necessária a emissão de um relatório com informações de um certo departamento que estão armazenadas em um determinado sistema, cruzando com os dados de um outro sistema, isso pode se tornar uma tarefa de semanas. Mas, geralmente, as empresas não podem esperar semanas por um relatório. As decisões estratégicas devem ser tomadas em pouco tempo, pois o mercado movimenta-se rapidamente e é muito dinâmico, e qualquer atraso Pág. 9 de 83 pode representar grandes prejuízos para uma empresa, implicando até mesmo na sua perda de competitividade. Turban et al. (2009), ao definir a dificuldade e a deficiência em se obter informações nos ambientes corporativos, afirma que a TI tem sido mais uma produtora de dados do que de informação, relegando a um segundo plano as estratégias de negócios. Os altos executivos não têm conseguido usar as novas tecnologias porque não têm acesso às informações necessárias em tempo hábil e de forma adequada. Assim, como já dissemos, o uso de sistemas e processos automatizados de gestão do conhecimento e apoio às decisões se torna essencial. Definição de CPM – Corporate Performance Management De acordo com Veras (2014), o termo CPM – Corporate Performance Management, ou Gestão de Performance Corporativa – foi introduzido pelo Gartner Group em 2001. O Gartner Group é um instituto de pesquisa, execução de programas, consultoria e eventos que desenvolve tecnologias que auxiliam seus clientes na tomada de decisões para o desenvolvimento de suas organizações, independente do seu porte. O Gartner, desde meados dos anos 1990, tem acompanhado o desenvolvimento das soluções de Business Intelligence e a evolução do próprio CPM por meio de renomados e reconhecidos especialistas, o que garante à instituição uma posição de respeito econfiabilidade junto a fabricantes e consumidores de soluções corporativas. O termo CPM também pode ser referenciado como BPM (Business Performance Management) ou EPM (Enterprise Performance Management). Pág. 10 de 83 SAIBA MAIS Gestão do Desempenho Empresarial: saiba o que é CPM, BPM ou EPM e como o Corporate Perfomance Management pode ser útil em sua empresa “...os termos CPM, BPM ou ainda EPM são amplamente utilizados para definir os modelos de gestão utilizados para o planejamento e acompanhamento dos resultados de uma empresa. Mas o que realmente significam e qual sua utilidade? Essas siglas, respectivamente, vêm do inglês Corporate Performance Management, Business Performance Management e Enterprise Performance Management e em bom português significam a mesma coisa: Gestão do Desempenho Empresarial. [...] o que importa mesmo é o propósito, e todos eles têm o mesmo objetivo: realizar a Gestão do Desempenho Empresarial, buscando sempre o máximo de resultados com o menor esforço (ou com o menor uso de recursos). [...] Uma plataforma de Corporate Performance Management não é necessariamente um software ou uma única ferramenta. É mais que isto. É o conceito geral que engloba toda a Gestão do Desempenho Empresarial. Dentre outros aspectos, uma solução de CPM engloba: • Conceitos; • Processos; • Metodologias; • Ferramentas; • Sistemas; e • Indicadores Que são utilizados para: • Planejar; • Medir; • Comparar; • Analisar; • Prever; e • Reportar Pág. 11 de 83 Todas as informações da organização, permitindo gerenciar o desempenho da empresa de maneira mais racional e integrada. Ou seja, realizar a Gestão do Desempenho Corporativo não é simplesmente implantar um BI. Não é uma ferramenta da área de planejamento e controladoria. Não é uma tecnologia. Não é um software de gestão orçamentária. Cada um destes componentes é fundamental dentro do Corporate Performance Management, tendo cada um deles funções específicas que podem individualmente com geração de valor genuíno para a empresa. Porém, uma plataforma CPM é muito mais do que qualquer um destes componentes individualmente, é um verdadeiro exemplo de sinergia entre todos eles, que faz com que os resultados gerados com a adoção sejam ainda maiores.” Leia mais em: <https://www.treasy.com.br/blog/gestao-do-desempenho-empresarial-o-que-e-cpm-bpm-ou-epm>. Dentre outros aspectos, o CPM engloba funcionalidades para orçamento, planejamento e previsão financeira (budgeting, planning and forecasting financial), consolidação de relatórios financeiros estatutários (statutory financial reporting consolidation), simulação de rentabilidade (profitability modeling), otimização do planejamento estratégico (optimization strategic planning) etc., ajudando as organizações a gerenciarem sua performance de maneira racional, eficiente e integrada, como mostra a figura 3. Figura 3 – Corporate Performance Management. Fonte: RUGGIERO, 2016. Pág. 12 de 83 O CPM contribui para que as organizações empresariais consigam identificar as necessidades do negócio e, a partir de um cenário mais preciso, executem o planejamento, o monitoramento e a análise de ações visando o atingimento das metas empresariais propostas. Para o sucesso de uma organização é essencial que seus gestores tenham uma definição clara da situação atual da empresa e se as diretrizes adotadas em seu planejamento estratégico estão de acordo com o planejamento realizado. Outro aspecto de extrema relevância é saber determinar os fatores responsáveis pela condição atual da organização, seja esta condição favorável ou desfavorável. De acordo com Ruggiero (2016), o CPM promove o acompanhamento e a medição da performance de toda a organização e não apenas de departamentos ou unidades de negócio específicas. Pontos críticos e KPIs (Key Performance Indicators), como lucro, fluxo de caixa, retenção de clientes, rotatividade de funcionários etc. são frequentemente medidos como parte da estratégia de gerenciamento corporativo. Um dos princípios do CPM, que é fator crítico para o sucesso de um negócio, está baseado em um aspecto que indica que muitas organizações ainda não possuem um sistema adequado para responder de maneira completa, rápida, segura e pertinente algumas questões simples, como “Como estamos?”: Figura 4 – Perguntas que as organizações fazem Fonte: Elaborado pelo autor. Pág. 13 de 83 Ou ainda questões como: Quanto capacitamos, produzimos, satisfazemos ou lucramos? O quê? Quando? Como? Onde? Na maioria das vezes, quando uma organização não consegue identificar tais características em seu negócio, também não consegue se organizar melhor para aprender e, no futuro, construir um planejamento adequado que auxilie a corrigir os defeitos e potencializar os acertos, gerando um importantíssimo diferencial competitivo. Por estes motivos, caro aluno, o CPM tem entrado e permanecido na agenda de muitas pessoas e organizações. As empresas reconhecem que o conhecimento necessário para mantê-las competitivas no mercado e melhorar significativamente seu desempenho já se encontra, em boa parte, dentro da própria empresa, muitas vezes espalhado em diversos sistemas ou depositado em bancos de dados sem o acesso adequado. Isso indica que, para a maioria das empresas, o caminho a seguir não é a geração de informações e conhecimento, mas seu gerenciamento (identificação, classificação em categorias, armazenamento, beneficiamento, disseminação e uso). BI (Business Intelligence) e ferramentas de apoio ao CPM Os indicadores de performance corporativos podem ser estudados e implementados a partir de uma combinação composta por soluções como Business Intelligence, Business Planning e Business Scorecard. De acordo com Novato (2017) “Business Intelligence (BI) refere-se ao processo de coleta, organização, análise, compartilhamento e monitoração de informações que oferecem suporte à gestão de negócios”. Ferramentas de BI capacitam as organizações a acessarem dados e explorarem as informações geralmente presentes em um data warehouse (DW). O DW, por sua vez, é criado a partir de operações de Extract, Transform, Load (ETL) advindas de diversas fontes e repositórios de dados transacionais. As informações no DW são analisadas, permitindo que a organização desenvolva interpretações que permitam tomadas de decisões mais assertivas e consistentes, como veremos no próximo capítulo. As soluções de BI em uma organização são de fundamental importância para seu o crescimento estruturado. Assim como nas soluções de BI, os bancos de dados gerenciais (data marts e DW) são utilizados para auxiliar as equipes de planejamento no desenvolvimento da estratégia corporativa, garantindo o acesso facilitado e estruturado às informações necessárias para o desenvolvimento do planejamento. A figura 5 ilustra este cenário. Pág. 14 de 83 Figura 5 – Business Intelligence Fonte: <http://www.senior.com.br/wp-content/uploads/2012/08/fluxo-bi-thumb.png> Usando soluções de business scorecard, o acompanhamento dos resultados da empresa pode ser realizado por meio de números, gráficos, mapas e tendências, apresentados por indicadores de desempenho que informam a situação de cada variável analisada de acordo com suas estruturas, estratégicas e filosofias de trabalho. Relatórios gerenciais, emitidos a partir do balanced scorecard, servirão de suporte às organizações na tomada de decisão. O processo de tomada de decisões Até aqui, caro aluno, falamos de soluções de apoio às decisões estratégicas para o negócio. Aqui vamos discutir e esclarecer a que se refere, afinal, o processo de tomada de decisões no ambiente corporativo. Uma das principais atividades que qualquer executivo tem que exercer é a tomada de decisões. Os executivos passam grande parte de seu tempo estudando o ambiente externo no qual os negócios da empresa estão inseridos e procurando orientar o planejamento estratégico da empresa e identificaras melhores ações a serem tomadas. Pág. 15 de 83 A tomada de decisão é muito mais do que o momento da escolha da ação, é um processo que envolve processos comparativos, escolha de parceiros, exame da capacidade operacional da empresa, análise de cenários, projeção de futuro, identificação de riscos e de oportunidades, análise da concorrência, dentre outros tantos requisitos (FRANCO, 2009). Os requisitos de informação gerencial dependem muito do nível de administração envolvido. Existem diferentes níveis de tomada de decisão. Estes níveis são classificados como estratégico, tático e operacional. Figura 6 – Níveis estratégico, tático e operacional. Fonte: <https://i2.wp.com/kainosedge.com/wp-content/uploads/2015/08/business-intelligence-3.jpg> No processo de tomada de decisões é muito importante saber a quantidade e a qualidade de dados e informações à disposição do gestor ou administrador. Para ajudar o executivo neste processo crucial, é necessário utilizar as ferramentas de apoio à decisão em uma hierarquia capaz de diferenciar as necessidades dentro das diversas situações na organização, o que reforça a importância da informação. Pág. 16 de 83 Cada nível de administração, seja estratégica, tática ou operacional, possui diferentes necessidades de informação. Isso tem implicações importantes para a escolha das ferramentas de apoio à decisão que a empresa deva adquirir. A figura 7 ilustra os tipos de informação e ferramentas de acordo com o nível de tomada de decisão. Figura 7 – Informações nos níveis decisórios – utilização dos dados. Fonte: <http://jkolb.com.br/wp-content/uploads/2014/08/níveis-acesso-dados-bi.jpg>. De acordo com Leme (2017), em função do nível administrativo, estas são as principais atividades com as quais o gestor deve lidar: • Planejamento e controle estratégico: “[...] o planejamento estratégico envolve as grandes decisões e os objetivos que a empresa deseja atingir, sendo de responsabilidade da diretoria, do CEO, do proprietário ou de outros profissionais envolvidos na administração.” Estes profissionais também realizam a confecção da missão, da visão e dos valores do negócio, bem como a definição e o efetivo uso dos recursos disponíveis. O planejamento estratégico define os rumos que a empresa deve seguir, visando atingir determinados cenários no futuro. Os planos são mais amplos, com foco no longo prazo – geralmente entre 5 e 10 anos – e devem ser feitos em sintonia com o mercado, usando instrumentos que permitam mensurar e analisar fatores internos e externos para a elaboração dos objetivos. • Planejamento e controle tático: O planejamento tático é mais detalhado que o estratégico, pois contém passos e metas para o alcance dos propósitos traçados pela alta administração. Os objetivos da empresa são segmentados para cada departamento ou setor organizacional. “O planejamento tático deve ficar sob responsabilidade da gerência intermediária, que elabora Pág. 17 de 83 processos e adota ferramentas com o objetivo de atingir as estratégias da empresa. O tempo para execução de cada plano proposto varia de 1 a 3 anos.” (LEME, 2017) • Planejamento e controle operacional: “No planejamento operacional do negócio, os processos e as ações elaborados pelo nível tático se tornam rotinas e tarefas concretas. Esse é o nível que demanda menos tempo de abrangência – normalmente apenas alguns meses.” (LEME, 2017) O nível de detalhamento é alto e inclui as pessoas responsáveis pelas atividades, os procedimentos básicos a serem realizados, os recursos e equipamentos para a execução de tarefas, os resultados pretendidos e até mesmo a análise de riscos. O planejamento operacional está diretamente ligado às atividades que os funcionários fazem no desempenho de suas funções. Por isso, as ações operacionais devem ser planejadas em conjunto com eles. As ações operacionais costumam ser mais formalizadas, com procedimentos bem estruturados. BUSINESS INTELLIGENCE Business Intelligence e Business Intelligence 2 .0 Um cenário que ainda é bastante comum de se encontrar nas empresas atualmente são sistemas que não se comunicam, não têm documentação ou sua documentação é ruim e deficiente, fazendo que a disponibilização e consulta às informações seja muito dificultada. Neste ambiente, as inconsistências são grandes, fato que leva o tomador de decisão a não usar o seu sistema e, muitas vezes, a tomar suas decisões baseado apenas na sua experiência de mercado. No mundo corporativo, nos tempos atuais, tomar decisões exige um volume de dados cada vez maior, assim como mais e melhores informações. As organizações, de forma geral, possuem muitos dados, porém pouca informação. A falta de informação pode prejudicar sobremaneira a tomada de decisão dentro das organizações corporativas. Para ajudar neste processo, existem métodos e procedimentos que realizam a extração e a análise de informações que permitem aos executivos lidarem com problemas de decisão cuja dimensão ultrapassa a capacidade cognitiva normal, ou excede os recursos temporais e financeiros disponíveis. Pág. 18 de 83 Figura 8 – Business Intelligence . Fonte: Rawpixel.com/ Shutterstock. A maioria destes métodos, procedimentos e ferramentas são genericamente chamados de Business Intelligence. IMPORTANTE! “Business Intelligence é um termo guarda-chuva que inclui arquiteturas, ferramentas, bancos de dados, aplicações e metodologias que objetivam permitir o acesso interativo aos dados (às vezes em tempo real), proporcionar a manipulação desses dados e fornecer aos gerentes e analistas de negócios a capacidade de realizar a análise adequada para a tomada de decisão”. (Fonte: TURBAN et al., 2009, p. 27) O conceito de Business Intelligence, ou Inteligência de Negócios, surgiu na década de 1980, introduzido pelo Gartner Group, para descrever a capacidade das organizações em acessarem dados e explorarem as informações, geralmente armazenadas em DWs, analisando e desenvolvendo interpretações que permitem tomadas de decisões mais seguras e consistentes. Ao analisarem as informações correntes e o desempenho histórico da empresa, os tomadores de decisão conseguem notar importantes relações entre estas informações, que as tornam muito valiosas, servindo de base para melhores e mais precisas decisões. De acordo com Turban et al. (2009), o processo de BI se baseia na transformação de dados em informações, depois em decisões e, finalmente, em ações. Pág. 19 de 83 Figura 9 - Transformação de dados. Fonte: elaborado pelo autor. As vantagens que o BI pode trazer para uma empresa incluem: • Elimina a sobrecarga dos sistemas operacionais; • Facilita o acesso à informação; • Facilita a navegação dos usuários de negócios pelos dados e informações da empresa; • Consolida informações de diversas fontes; • Preserva dados históricos da empresa; • Fornece informação única e consistente para toda a empresa. Com o advento da internet/web 2.0, o conceito de BI também ganhou a denominação de Business Intelligence 2 .0, indicando uma extensão da web 2.0 no cenário corporativo. O BI 2.0 estende o uso das informações, buscando utilizar o fluxo de dados que é gerado em tempo real e extrair conhecimento das informações. O BI 2.0 é uma visão renovada do uso das informações pelas empresas, ampliando o uso dos DWs e das ferramentas de consulta analítica por meio de um processo automatizado e mais dinâmico de tomada de decisão, permitindo ações mais inteligentes. Pág. 20 de 83 O cenário corporativo atual é formado por processos que ocorrem em tempo real, em que notícias que chegam a cada minuto podem fazer diferença, e o BI 2.0 visa deixar estas informações disponíveis para que a organização as utilize no momento em que precisar delas. Como exemplos podemos citar os aplicativos de bancos online, que oferecem oportunidade de realização de transações financeiras em tempo real, e os aplicativos de empresas aéreas, com passagenssendo vendidas online, check-in realizados fora dos balcões e cartões de embarque usando QR codes enviados para os e-mails e apresentados em telas de dispositivos móveis. Ocorre que todos estes processos geram muitos, muitos dados! Figura 10 – Check-in realizado por aplicativo móvel. Fonte: <https://conteudo.imguol.com.br/blogs/125/files/2015/07/AlexSutton_PressImage_6-2.jpg>. De acordo com Santos (2017), para adaptar os modelos de negócios para o cenário em tempo real, os aplicativos de software utilizam programação dirigida a eventos, ou event-driven programming. Os dados fluem em tempo real em arquiteturas orientadas a serviços, ou SOA (Service-Oriented Architecture), utilizando serviços interoperáveis, que permitem a integração de aplicativos. Sistemas transacionais x sistemas de apoio à decisão Antes de prosseguirmos nos conceitos ligados ao BI, caro aluno, convém conceituarmos e definirmos a diferença entre um sistema transacional e um sistema de apoio à tomada de decisão. De acordo com Terribili Filho (2009), “é no sistema transacional que ocorrem as transações de negócio, através dos quais se realizam as operações básicas das empresas como compras, vendas, saques bancários, pagamentos etc.”. Estes sistemas apresentam como principais características alta velocidade no tempo de resposta e baixo volume de dados envolvidos na transação. Para estes sistemas, as informações históricas não são relevantes. Pág. 21 de 83 Um sistema transacional fornece apoio à execução e monitoramento dos negócios de uma organização, gerando e armazenando os dados destas transações operacionais. Estes sistemas têm como características básicas alta taxa de atualização e acesso pontual a um grande volume de dados, com pesquisas que resultam em pequena quantidade de dados. Geralmente são sistemas operacionais não integrados, conhecidos como OLTP (Online Transactional Processing), que realizam transações, como sistemas de contabilidade, de compra, de controle de estoque, de inventário, de folha de pagamento, de controle financeiro, além de ERPs e CRMs. (Fonte: SILBERSCHATZ et al., 2012) Os sistemas transacionais manipulam dados que ficam armazenados em bancos de dados, gerenciados por um Sistema Gerenciador de Banco de Dados (SGBD). Estes sistemas são chamados de transacionais, pois toda atualização dos dados é feita dentro de uma “transação”. Essas transações podem ser bem sucedidas, resultando na gravação de dados ou, em caso de problemas, não são finalizadas, permitindo que o banco de dados retorne ao estado anterior, garantindo a integridade dos dados. Figura 11 – ATM. Fonte: Dobo Kristian/ Shutterstock. Para ficar mais claro o conceito, imagine você diante de um caixa eletrônico, ou ATM (Automated Teller Machine), para efetuar um saque de sua conta bancária. Você certamente vai querer que a resposta seja muito rápida, não é mesmo? Neste tipo de operação (saque), o volume de informações envolvidas é relativamente baixo (agência, conta corrente, senha, valor requisitado, saldo disponível e limite de cheque especial) e não é necessário que seus dados históricos sejam considerados (se você tem financiamentos, há quanto tempo é cliente, qual é seu saldo médio dos últimos meses etc.). Um Sistema de Apoio à Decisão (SAD) tem características completamente distintas de um sistema transacional, pois utiliza “inteligência” para efetuar suas transações, como prover informações para se definir uma campanha de marketing, elaborar as táticas futuras para o lançamento de novos produtos, descobrir qual a melhor estratégia para se aumentar as vendas de um dado produto etc. Um SAD geralmente utiliza como repositório de dados um DW, que está desvinculado das bases de dados que dão sustentação aos sistemas transacionais, também chamadas de On Line Transaction Processing (OLTP). Pág. 22 de 83 Figura 12 – Financiamento. Fonte: Indypendenz/ Shutterstock. Novamente, para ficar mais claro, voltemos ao caso da instituição bancária. Um exemplo de SAD poderia ser conhecer os potenciais clientes para se realizar uma campanha de financiamento de veículos. Neste caso, o banco poderia considerar como potenciais clientes somente aqueles que já sejam proprietários de veículos, que realizaram algum tipo de financiamento com o banco nos últimos cinco anos, cujo saldo médio nos últimos 12 meses seja superior a R$ 5.000,00 e com a restrição de que sua idade acrescida do prazo de financiamento não supere 70 anos. Para se chegar à lista de clientes potenciais para esta campanha, seria necessário consultar as informações que estão no DW e não na base de dados dos sistemas transacionais. Segundo Terribili Filho (2009), em função das particularidades do tipo de processamento e de transação, o ambiente dos sistemas de BI deve ser dissociado do ambiente transacional, uma vez que no BI as pesquisas são mais complexas e há um volume muito maior de informações, das quais os dados históricos são de grande importância. Assim o tempo de resposta de uma transação de BI pode ser muito mais lento do que o de uma operação transacional. Figura 13 – Grupo Pão de Açúcar. Fonte: <https://interhunter.files.wordpress.com/2016/12/captura-de-tela-2016-12-05-c3a0s-8-14-29-pm.png> Pág. 23 de 83 Um exemplo interessante de BI é o utilizado pela rede de supermercados Pão de Açúcar. Em sua estratégia, o cliente da rede, quando efetua suas compras, recebe determinada pontuação como “Cliente Mais”, que lhe dá algumas facilidades e benefícios futuros, porém, o mais importante para o BI é que o sistema registre o seu histórico de consumo no DW. Assim, a rede pode utilizar esta base de dados para direcionar campanhas de marketing como, por exemplo, fazer uma promoção de venda de vinhos estrangeiros para clientes que tenham comprado vinhos nacionais nos últimos seis meses, acima de uma determinada quantidade. O direcionamento da campanha aumenta o nível de retorno, reduz os custos de divulgação e tende a aumentar a fidelidade do cliente. Talvez não seja uma mera coincidência dizer que o grupo está entre as maiores redes varejistas do Brasil. Ainda para melhorar as explicações acerca das diferenças entre os sistemas transacionais e os SADs, é importante dizermos que periodicamente os dados são extraídos dos sistemas transacionais para serem armazenados no DW. Para estas operações são utilizadas ferramentas chamadas ETL (Extract, Transform and Load), que estudaremos mais à frente. Este processo de criação e manutenção dos DWs inclui a extração dos dados dos vários sistemas transacionais, a transformação (padronização) e sua carga no DW. SAIBA MAIS “Empresa: antigo Grupo Pão de Açúcar, agora GPA, do grupo francês Casino Cliente: Diretoria de Marketing e Diretoria de TI Objetivo: Cada item, de cada caixa, de cada loja, de cada bandeira do Grupo podendo ser analisada no dia seguinte pela área de marketing e isso ser o cerne de uma operação de inteligência e relacionamento poderia trazer novos insights e feedbacks para organização, como também alimentar o Programa Mais com detalhes dos hábitos de consumo de cada cliente, de forma a nutrir a área de Inteligência de Mercado com informação estratégica interna valiosa para competir para vencer. Objetivo: Construir e implantar uma solução que permitisse à área de Inteligência do Grupo Pão de Açúcar conhecer o comportamento de vendas, a partir de cada ticket de venda. Incluir novas informações e dar manutenção. Solução: Foi desenhado o modelo de dados e implantado o Data Mart de Tickets e seus processos, em conjunto com um parceiro, em um processo que carregasse informações de cada venda de cada loja do Grupo, armazenando-as em um repositório central (Data Mart) para uso da área de Inteligência de Mercado. Resultados Alcançados: Crescimento, mais resultados e informações estratégicas para o posicionamento de bandeiras, ofertas de produtos e relacionamento com clientes.” Fonte: <http://brainworks.com.br/casos-de-sucesso/>.Pág. 24 de 83 Arquitetura e ferramentas de BI Como vimos, a complexa situação que envolve a tomada de decisões pode ser apoiada com a utilização de SADs que utilizem um DW e ferramentas para o gerenciamento e tratamento dos dados e das informações, buscando vantagens competitivas para o negócio. Há controvérsias entre especialistas sobre a arquitetura e quais ferramentas e componentes constituem um sistema de BI. A figura 14 ilustra uma arquitetura possível, e os componentes ferramentas mais importantes são descritas a seguir. Figura 14 – Arquitetura e Ferramentas de BI. Fonte: SANTOS, 2017. • DW – Data Warehouse: um repositório de dados especial preparado para dar suporte a aplicações de tomada de decisões. O DW transforma o conjunto de dados históricos, obtido com base na estratégia de negócios da empresa, em informações unificadas que são armazenadas em um repositório central confiável, através de uma base de dados integrada. • Ferramentas OLAP – On Line Analytical Processing: ou ferramentas de processamento analítico online. Permitem a análise dos dados por diversas dimensões, de forma que seja possível identificar com rapidez e facilidade o desempenho dos negócios. São ferramentas de análise e exploração de dados para atividades mais interativas e investigativas, possibilitando o cruzamento, detalhamento e resumo de dados de maneira mais rápida. Podem utilizar ferramentas de Query & Report ou de consulta e reporte para execução e extração periódica de informações com médio ou alto grau de detalhamento, possibilitando a construção de relatórios através de comandos simplificados. Pág. 25 de 83 • Ferramentas de monitoramento de performance: incluem dashboards e scorecards que fornecem uma visão dos indicadores de desempenho corporativo, gráficos e planilhas, e podem incluir sistemas mais sofisticados, como cubos tridimensionais e até ferramentas de realidade virtual. Gerentes e executivos se beneficiam muito com as soluções de BI, pois essas ferramentas os ajudam a gerenciar melhor o seu negócio. As empresas que não conseguem implementar de forma adequada essas soluções acabam ficando em séria desvantagem competitiva. Figura 15 – Gartner Group. Fonte: <https://iot.do/wp-content/uploads/sites/2/2016/03/gartner_0.jpg>. Os consultores do Gartner Group sugerem as seguintes questões essenciais para a análise das soluções de BI: • Como a empresa pode maximizar seus investimentos em BI? • De que funcionalidades do BI as empresas precisam e o que estão usando hoje? • Quais são os custos ocultos associados ao investimento em BI? Sendo assim, o processo de criação e implantação de inteligência nos negócios deve ser realizado de forma cuidadosa, seguindo uma metodologia para que a empresa seja bem sucedida com sua utilização. O processo de criação de inteligência nos negócios de uma empresa começa pela identificação e priorização de projetos ligados ao BI. Nesse processo, a empresa utiliza medidas de ROI (Return on Investment – retorno sobre investimento) e TCO (Total Cost of Ownership – custo total de propriedade) para estimar a relação custo/benefício da implantação do projeto de BI. Além disso, são analisados os impactos da implantação do BI na tomada de decisões dentro da organização em cada um dos níveis de administração. De acordo com Turban et al. (2009), questões importantes ligadas ao processo de implantação e gerenciamento do BI incluem a definição de: Pág. 26 de 83 • Quem deve atuar como tomador de decisão na priorização dos projetos de BI; • Como realizar a integração em nível gerencial; • Como estabelecer parcerias entre chefes de áreas funcionais e líderes de áreas de produtos e serviços; • Como estabelecer uma harmonia entre os clientes do BI (ligados ao negócio) e os fornecedores (ligados à TI). Figura 16 - ROI. Fonte: Wright Studio/ shutterstock De acordo com Turban et al. (2009, p. 35), definidas estas questões, a equipe responsável pela governança do BI deve partir para as ações: 1. Criar categorias de projetos (estratégicos, de investimentos, de oportunidades de negócios etc.); 2. Definir critérios de seleção de projetos; 3. Estabelecer uma estrutura para se determinar os riscos do projeto; 4. Gerenciar as interdependências do projeto; 5. Monitorar e ajustar a composição do portfólio de serviços e demandas do BI. O sucesso do BI depende de uma boa governança, e as razões fundamentais para o investimento em seus projetos devem estar alinhadas com a estratégia de negócios da empresa. O BI deve servir como uma forma de mudar a maneira como a empresa conduz suas operações de negócio, melhorando seus processos e transformando a tomada de decisões em processos mais orientados à análise de dados. CPM e BI Neste ponto é interessante, caro aluno, fazermos uma discussão sobre as fronteiras que separam e/ou unem os conceitos de CPM e BI. Como já dissemos, o CPM, de acordo com o Gartner Group, é “um termo genérico que descreve todos os processos, metodologias, métricas e sistemas necessários para medir e gerenciar a performance de uma organização”. O CPM pode ser considerado, então, uma solução mais abrangente e complementar aos tradicionais sistemas de gestão, na qual regras de negócio complexas, ligadas à administração do negócio e governança corporativa, são utilizadas de forma a se conseguir mensurar o desempenho do negócio. De acordo com Macedo (2011), uma solução de BI de alto desempenho deve possuir no mínimo as seguintes características: Pág. 27 de 83 • Permitir rápido desenvolvimento e alta flexibilidade de implementação; • Interagir com todas as fontes de dados da empresa; • Preservar e complementar os investimentos em DW; • Permitir ajustes aos novos requerimentos de negócio; • Realizar análises consistentes com dados corporativos; • Incorporar planilhas com informes corporativos; • Realizar consultas ad hoc, ou seja, com objetivos específicos; • Ter conectividade bidirecional com múltiplas bases de dados; • Permitir rápida assimilação do ambiente pelos usuários; • Ter precisão e unicidade dos dados de origem. Ainda de acordo com Macedo (2011), para se alcançar o CPM seria necessário adicionar às características listadas anteriormente as seguintes possibilidades: • Orçamento, planejamento e simulação flexíveis; • Personalização de qualquer requisito de negócio; • Controle direto do usuário na aplicação e publicação no tempo do negócio; • Gerência dos requisitos de planejamento estratégico; • Fluxos de trabalho e dados integrados consistentemente, com planilhas centralizadas; • Reporting baseado em pesquisas na web de forma intuitiva; • Acesso às informações gerenciais e estratégicas em qualquer lugar e a qualquer momento; • Alta escalabilidade e suporte para grande volume de dados e usuários; • Altíssima satisfação dos usuários. Assim, de forma simplificada, um resumo sobre a diferença de BI e CPM poderia ser: BI fornece soluções para mostrar o porquê do status atual dos negócios, respondendo à pergunta: Por que estamos desta maneira?, e CPM adiciona as respostas às perguntas: Como estamos? Como deveríamos estar?, além de responder a: Quanto capacitamos, produzimos, satisfazemos ou lucramos? Macedo (2011) afirma que outra maneira de ajudar a explicar o CPM é dizendo o que ele não é. CPM não é simplesmente uma solução de BI, não é uma ferramenta de análise de dados a ser implementada em um único departamento, não é uma tecnologia e não é um software complicado. CPM pode ser, então, definido como a integração de vários componentes em um só ambiente, capaz de agrupar de forma consistente e integrada soluções para análise, orçamento, planejamento, BI, integração de dados, previsões, simulações, scorecards e dashboards. Pág. 28 de 83 ABA ACONTECEU Alemanha e a vitória na Copa do Mundo 2014 A edição 2014 do maior evento esportivo do mundo trouxe o assunto Business Intelligence à tona em nível mundial e mostrou quea solução pode auxiliar a alcançar de objetivos nos mais diversos ramos de desempenho e busca de resultados. Um software desenvolvido na Alemanha analisava dados extraídos numericamente, como velocidade de corrida e número de passes. Também escaneava comportamentos individuais de atletas e do time como um todo. Os relatórios foram passados aos jogadores e à comissão técnica. Com a utilização deles, o grupo se preparou para executar jogadas mais rapidamente, envolver as outras equipes e reter a bola. O resultado? O mundo todo viu e o Brasil sentiu na pele. (Fonte: <http://knowsolution.com.br/4-casos-de-sucesso-em-business-intelligence-que-voce-precisa-conhecer/>) A FIAT Automóveis tinha o desafio de deixar o novo Uno com “a cara do consumidor”, e com as soluções de Business Intelligence e pesquisas nas ferramentas de mídias sociais e mobilidade, oferecidas pela empresa SAS, a FIAT teve ótimos resultados. A tecnologia atendeu às expectativas quanto à capacidade de processar todos os dados, ajudar em uma pesquisa inovadora, colaborar na tomada de decisão e ainda trazer uma visão de futuro para entenderem melhor as demandas do mercado. O novo Uno foi sucesso de vendas e críticas, fazendo a empresa ter a honra de receber o prêmio Carro do Ano 2011, pela Revista AutoEsporte. (Fonte: <https://unisalgp.wordpress.com/2015/06/15/casos-de-sucesso-business-intelligence-e-big-data- analytics/>) DATA WAREHOUSE Definições de data warehouse e data warehousing Como vimos até aqui, as ferramentas de BI têm por objetivo prover a informação certa à pessoa certa na forma certa no tempo certo. A hierarquia das informações em uma organização empresarial começa pela coleta de dados, que são transformados em informação, mas essas informações precisam ser organizadas de tal forma que ganhem componentes “inteligentes” para que possam ser usadas em favor das melhores decisões. As ferramentas de BI reúnem os processos que tornam as informações “inteligentes”. Mas, para que isso aconteça, é necessário que os dados sejam armazenados em repositórios diferentes dos tradicionais bancos de dados transacionais: é necessária a construção de um DW (data warehouse). Pág. 29 de 83 Como vimos, caro aluno, os bancos de dados tradicionais são transacionais, ou seja, foram projetados para inclusões, alterações, exclusões e consultas simples aos dados. Estes bancos são conhecidos como OLTP (On Line Transaction Processing), ou bancos que realizam processamento online de transações. Já os DW têm a característica distinta de que são direcionados principalmente para aplicações de apoio às decisões. Eles são otimizados para a recuperação de dados, não para o processamento rotineiro de transações. Figura 17 – Data warehouse. Fonte: Aa Amie/ Shutterstock. O DW funciona como um repositório de dados, integrando e consolidando as informações de fontes internas, que em sua maioria provêm de fontes heterogêneas e fontes externas. Além disso, os dados do DW são filtrados e limpos, permitindo que análises gerenciais e estratégicas dos principais processos de negócio sejam realizadas de forma a oferecer suporte à tomada de decisão. “O Data Warehouse (DW) representa uma grande base de dados capaz de integrar, de forma concisa e confiável, as informações de interesse para a empresa, que se encontram espalhadas pelos sistemas operacionais e em fontes externas, para posterior utilização nos sistemas de apoio à decisão. Um DW tem, normalmente, informações sobre assuntos de negócio da empresa por um período histórico de no mínimo três anos, podendo, em alguns casos, chegar até os primeiros anos de informação, pois seu objetivo é determinar padrões de comportamento, indicadores de crescimento por tempo etc.” (Fonte: MACHADO, 2012, p. 44.) O DW possibilita a análise de grandes volumes de dados que são coletados de sistemas transacionais. Os dados em um DW não são voláteis, ou seja, eles têm registros permanentes e não podem ser alterados. Quando é necessário fazer correções ou atualizações, os dados obsoletos são descartados e as alterações são inseridas como novos dados (TURBAN et al., 2009). Pág. 30 de 83 Pela sua capacidade de armazenar grandes volumes de dados e de possibilitar importantes análises sobre estes dados, os DWs são elementos fundamentais, formando o “núcleo” dos sistemas de informações gerenciais e de apoio à decisão no ambiente de BI. Existe um termo correlato à utilização de DWs, conhecido como data warehousing. O termo data warehousing não se refere a um produto, mas a uma estratégia que reconhece a necessidade de armazenar os dados provenientes de diferentes sistemas de informação e consolidá-los, de forma a fornecer informações aos diversos profissionais de uma empresa para que possam tomar as decisões do negócio de modo rápido e eficaz. Geralmente o DW armazena informações sobre os processos de várias atividades do negócio, de forma que possam ser realizados cruzamentos e consolidações das diferentes unidades de negócios da empresa. Muitas empresas necessitam criar DWs, que, como vimos, são enormes repositórios de dados, para que possam melhorar o processo de tomada de decisões. Os dados são importados de várias fontes diferentes, são “limpos” e organizados de forma adequada às necessidades da empresa. A integração dos dados permite ao executivo ter uma visão corporativa dos dados. No entanto, essa integração, ou seja, a migração dos dados mantidos pelos sistemas transacionais para o DW, não é um processo fácil, nem barato e exige muito planejamento. A figura 18 ilustra os principais componentes necessários à criação de um DW. Figura 18 – Criação de um data warehouse. Fonte: <http://gooddata.com.br/blog/componentes-business-intelligence/>. Pág. 31 de 83 Os motivos que justificam um alto investimento para a implantação de um DW em uma organização reúnem a existência, na empresa, de: • Várias plataformas de hardware e de software não integradas; • Constantes alterações nos sistemas transacionais corporativos; • Dificuldade acentuada na recuperação de dados históricos em períodos superiores ao ano em que as operações são realizadas; • Existência de sistemas e “pacotes” de fornecedores diferentes; • Falta de uma padronização e integração dos dados existentes nos diversos sistemas; • Carência de documentação e segurança no armazenamento dos dados. O resultado de um projeto de DW traz grandes benefícios à organização, dos quais se destacam: • Informações ficam disponíveis para os gestores; • Permite uma visão das curvas de comportamento do negócio; • Confere agilidade às ferramentas para apoio à decisão; • Fornece segurança e confiabilidade das informações para a decisão; • Permite uma maior abrangência da visão dos indicadores de desempenho; • Fornece recursos mais abrangentes para a análise de negócios; • Necessidades e expectativas executivas são atendidas por TI; Características de um DW Figura 19 – Características de um Data Warehouse. Fonte: <http://ssd.areadeservico.com/index_ficheiros/image005.jpg> Pág. 32 de 83 De acordo com Inmon (1997), que é considerado o criador do conceito de data warehousing, existem basicamente quatro características que descrevem um DW: • Orientado ao assunto: os dados são organizados de acordo com o assunto ao invés da aplicação. • Integrado: todos os atributos e convenções de tipos são unificados e integrados, de forma que signifiquem sempre a mesma coisa. • Variação em relação ao tempo: há espaço para o armazenamento de dados que têm cinco, dez ou mais anos, de forma que possam ser utilizados em comparações, tendências e previsões. • Não-volatilidade: os dados não são atualizados ou modificados em nenhum momento; uma vez que entram no DW, passam a ser somente acessados, nunca alterados. Os dados de um DW são precisos em relação ao tempo, representam resultados operacionais realizados em um determinado momento de tempo: precisamente o momento em que foram capturados.Assim, os dados do DW são um snapshot (fotografia instantânea), um conjunto estático de registros de uma ou mais tabelas. Isso implica que não podem ser atualizados. Para ficar mais claro este conceito, caro aluno, imagine apenas que um dado relativo às vendas de um certo produto em um determinado mês nunca mais terá seus valores modificados. Nos DWs, a data é um elemento essencial e um componente-chave, pois faz parte de um projeto estruturado sobre janelas do tempo. Nos DWs, os espaços de tempo são significativamente maiores do que os armazenados em um sistema transacional, situando-se entre três, cinco ou dez anos, podendo até se estenderem por maiores períodos de tempo. Outra característica de suma importância em um DW é que todos os seus dados têm um alto nível de integração. Isso significa que um mesmo atributo não pode significar coisas diferentes em dados semelhantes. As convenções de nomes, valores de variáveis, e outros atributos físicos de dados, como tipos de dados, são formalmente unificados e integrados nessa base única. Assim, ao se referir ao sexo, por exemplo, não se podem usar valores diferentes, como “f” e “m” e “feminino” e “masculino”, ou, ainda, “0” e “1”. Em ambientes de múltiplas plataformas, a característica de integração se torna fundamental, pois é necessária a unicidade de informações. A existência de sistemas mais antigos com padrões de codificação de dados diferentes pode levar à existência de diferentes convenções entre os sistemas operacionais. Neste caso, quando forem carregados para o DW, devem ser resolvidos pelos processos de filtragem e agregação. Pág. 33 de 83 No DW, os dados são organizados por assunto e contém informações importantes para o suporte à decisão. O fato de estes dados estarem organizados por assunto (como vendas, produtos, clientes etc.) permite que os usuários determinem como está o desempenho da empresa em termos de lucratividade e também permite que se determinem as razões deste desempenho. Por exemplo, uma empresa de seguros utilizando um DW poderia organizar seus dados por consumidor, prêmio e franquia, ao invés de diferentes produtos (automóvel, vida etc.). Os dados são organizados por assunto, contendo somente as informações necessárias para o processo de suporte à decisão. (TURBAN et al., 2009) Pessoas envolvidas no processo de data warehousing Figura 20 – Equipes. Fonte: Rawpixel.com/ Shutterstock. Por sua abrangência, o processo de data warehousing envolve desde profissionais de TI até analistas de negócios que podem ser considerados usuários do ambiente. Esse ambiente inclui administradores do projeto, administradores de dados, projetistas de banco de dados, administradores de bancos de dados e dos sistemas operacionais, que têm uma importância muito grande no processo de integração entre os ambientes transacionais e os ambientes dimensionais. Há também os programadores e os analistas de sistemas para a extração e limpeza dos dados, além dos analistas dos aplicativos, que acessarão as informações, e os usuários finais. De acordo com Machado (2012, p. 32), essas pessoas encontram-se agrupadas por papéis da seguinte forma: • Analistas responsáveis pela carga dos dados: representam os programadores que necessitam conhecer o mapeamento entre o DW e os sistemas transacionais, além de todos os requisitos necessários à filtragem e à integração dos dados. • Usuários finais: são os gerentes, executivos e analistas de negócio que utilizam a informação para apoio à tomada de decisão. Esses usuários apresentam uma grande familiaridade com os termos do negócio e estão sempre em busca da solução de um problema ou de novas oportunidades. Eles podem ser divididos em dois grupos: os usuários diretos e os usuários Pág. 34 de 83 indiretos. Os usuários diretos são aqueles que acessam livremente o DW como um todo e os usuários indiretos acessam os data marts (DMs) especializados. • Analistas responsáveis pelo desenvolvimento e manutenção do DW e dos DMs: equivalem aos administradores de bancos de dados e administradores de dados dos SGBDs. Estabelecem o nível de preocupação com os metadados, com a arquitetura de armazenamento e com a estrutura dos dados, visando, principalmente, melhorar o desempenho das consultas. É comum o estabelecimento de equipes diferentes para os dois ambientes. • Administradores de dados: têm um papel de fundamental importância nesse contexto novo, pois seu papel de integrador dos ambientes transacional e dimensional é fator de garantia de qualidade e da existência íntegra do DW, por meio de metodologias de acompanhamento e administração dos metadados entre os sistemas transacionais e seu processo de manutenção de extração, transformação e carga do DW. Etapas de implantação de um DW A implementação de um projeto de DW depende de ações políticas e técnicas. No campo político, é necessário que exista o suporte da alta direção da empresa e o comprometimento dos gerentes e analistas de negócios. No campo técnico existem diferentes abordagens de implementação que devem ser analisadas para que a escolha possa ajudar que os benefícios do projeto possam ser mais rapidamente visíveis e acelerar o processo de obtenção de apoio interno. Um DW deve estar em consonância com as necessidades de negócio da empresa. Assim, a área de negócio deve ser a patrocinadora da iniciativa. Muitos projetos iniciados pela área de sistemas ou de TI fracassaram por não terem o apoio político necessário da direção da empresa ou por não terem definido um caso de negócio concreto. Para implantar um projeto de DW, uma das primeiras atividades é a extração dos dados, que têm origem em diversas fontes com diferentes formatos. Após a extração, os dados são transformados e carregados no DW. Este processo é denominado ETL (Extract, Transformation, Load). Os dados podem ser inseridos no DW e depois transferidos para os DMs, ou os DMs podem ser criados antes do DW, com dados específicos de cada departamento da empresa, e depois transferidos para o DW. O DW é um repositório de dados multidimensional e dá suporte às ferramentas OLAP que extraem informações dos dados, permitindo que a análise dos negócios da empresa seja realizada. Essa análise apoia os tomadores de decisão, fornecendo aos gestores respostas rápidas para as questões mais importantes para os negócios. Pág. 35 de 83 A figura 21 ilustra as etapas de elaboração de um DW. Figura 21 – Etapas e componentes do processo de implantação de um DW. Fonte: <https://flavioaf.files.wordpress.com/2011/09/092811_2050_aintelignci1.png>. De acordo com a UEM (2011), A primeira fase do processo de data warehousing consiste em “isolar” a sua informação operacional atual, preservando a segurança e integridade de aplicações de OLTP críticas ao mesmo tempo em que permite o acesso à mais ampla possível base de dados. O banco de dados ou data warehouse resultante pode consumir centenas de gigabytes - ou mesmo terabytes - de espaço em disco. O que é necessário então são técnicas eficientes para armazenar e acessar grandes quantidades de informação. Além disso, grandes organizações analisaram que somente sistemas de processamento paralelo podem oferecer largura de banda suficiente para estas aplicações. O DW reúne dados que são extraídos de diferentes bancos de dados, e estes dados são transformados e enviados para o DW de forma seletiva. Sempre que uma atualização nos dados do DW é requerida, é necessário que ocorra novamente o processo de transformação e movimentação de dados, portanto, é importante que isso seja feito de forma automatizada, controlada e bem gerenciada. Um outro conceito importante ligado ao DW são os metadados. Os metadados se referem à informação que descreve o modelo e a definição dos elementos das fontes de dados, sendo os meios que permitem que o usuário final possa compreender o que representam os dados no DW. Pág. 36 de 83 O que sãometadados? O prefixo “Meta” vem do grego e significa “além de”. Assim Metadados são informações que são acrescidas aos dados e que têm como objetivo informar-nos sobre eles para tornar mais fácil a sua organização. Os metadados têm tradicionalmente sido vistos como separados do núcleo duro da informação, ou seja, a que está relacionada com as transações de negócio. O que não quer dizer que não sejam importantes. Definições e regras de negócio, detalhes de segurança, informação de domínios, tags XML são metadados. A sua utilização estende-se, no entanto, a outros campos além da gestão documental. Por exemplo, a tecnologia Data Warehouse consiste em extrair e consolidar dados de múltiplas fontes em uma base de dados que possa ser consultada de várias maneiras pelos usuários com ferramentas de suporte à decisão. Os metadados são, neste contexto, um instrumento essencial para a gestão do repositório e incluem informações como lista de conteúdo, origem dos dados, transformações (como filtragens ou cálculos efetuados na transferência para a localização atual), versão, modelos de dados etc. Os metadados podem ser estruturados ou não estruturados. Exemplo de não estruturados: o índice produzido por um sistema de indexação e pesquisa em texto integral. Estruturados são, por exemplo, um sistema de classificação de arquivo ou o dicionário de dados de um SGBD. (METADADOS, 2002) Metadados podem ser basicamente definidos como “dados que descrevem os dados”, ou seja, são informações úteis para identificar, localizar, compreender e gerenciar os dados. Quando documentamos os metadados e os disponibilizamos, estamos enriquecendo a semântica do dado produzido, agregando seu significado real, e dando suporte à atividade de Administração de Dados executada pelo produtor desse dado. No caso do IBGE, que produz dados, os metadados são fundamentais. O Sistema de Metadados do IBGE visa facilitar o acesso do público em geral às informações produzidas pelo IBGE, descrevendo seu acervo institucional. Através desse sistema é possível verificar características e documentos relacionados aos produtos do Instituto. Navegando pelos metadados, o usuário do sistema pode localizar, interpretar e acessar os dados disponíveis nos sistemas de informação do IBGE. (IBGE, 2018) De acordo com Macedo (2011), a limpeza dos dados é um importante aspecto da criação de um DW eficiente. Devem ser removidos certos aspectos dos dados operacionais que podem atrasar muitas consultas. O estágio de limpeza deve ser o mais dinâmico possível para acomodar todos os tipos de consulta, mesmo aquelas que requerem informações de baixo nível. Os dados devem ser extraídos de fontes de produção em intervalos regulares de tempo e concentrados de maneira centralizada, mas é importante que o processo de limpeza remova duplicações e normatize as diferenças entre os atributos dos dados. Pág. 37 de 83 Figura 22 – Metadados. Fonte: seekeaw rimthong/Shutterstock. Oliveira e Felipe (2014) afirmam que somente após o processo de limpeza é que os dados podem ser transferidos para o DW. O DW é tipicamente um grande repositório de dados em um sistema de alta performance, do tipo SMP- Symmetric Multi-Processing ou MPP- Massively Parallel Processing, ou seja, sistemas multiprocessados ou paralelos. Somente um sistema com alto poder de computação pode garantir a eficiência do processo de implantação de um data warehousing, dada a complexidade envolvida no processamento e consultas e dada a grande quantidade de dados que geralmente a organização deseja armazenar. Arquitetura de DW A escolha da arquitetura pode não ser prioridade no começo de um projeto de DW, pois pode ser definida ou mesmo modificada após o início da implementação. Entretanto, pode-se despender um longo tempo caso seja esta a opção inicial. A escolha da arquitetura do DW é uma decisão gerencial do projeto, normalmente baseada em fatores relativos à infraestrutura disponível, às características do negócio (porte da empresa), ao escopo desejado, à capacitação dos empregados da empresa e, principalmente, ao orçamento disponibilizado ou projetado para o investimento. A abordagem de implementação escolhida é uma decisão que pode causar fortes impactos quanto ao sucesso de um projeto de DW. Muitas variáveis afetam a escolha da implementação e da arquitetura, entre elas o tempo para a execução do projeto, o retorno do investimento a ser realizado, a velocidade dos benefícios da utilização das informações, a satisfação do usuário executivo e os recursos necessários à implementação da arquitetura. Pág. 38 de 83 A seleção de uma arquitetura determinará ou será determinada pelo local onde o DW ou os DMs serão armazenados. Há diversas opções que podem ser determinantes na definição da arquitetura, por exemplo: os DMs podem residir em uma instalação central, podem ser distribuídos em instalações remotas ou locais, podem ser administrados de forma centralizada ou independente. A seguir apresentaremos as principais arquiteturas e exporemos sua configuração básica. Arquitetura global De acordo com Machado (2012, p. 50), a arquitetura global é a que suporta toda ou a maior parte dos requisitos ou necessidades de um Data Warehouse integrado com grande grau de acesso e utilização das informações para todos os departamentos de uma empresa. O termo global reflete o escopo de acesso e utilização das informações na empresa e significa apenas “por toda a empresa”. Nesta abordagem, o DW é projetado e construído com base nas necessidades da empresa como um todo, como um repositório comum de dados de suporte à decisão, acessível em toda a empresa e disponível para todos da empresa. A arquitetura global pode ser fisicamente centralizada ou fisicamente distribuída nas instalações de uma organização. • A centralização física é utilizada quando a organização tem sede única em um único lugar e o DW é administrado por um departamento de TI. • A distribuição física é utilizada quando a organização tem sede e outras filiais em diversos locais físicos e os dados estão em instalações físicas diferentes. A administração também é feita por um departamento de TI. Dizer que um departamento de TI administra o DW não significa dizer que esse departamento realiza o controle do DW. Por exemplo, na arquitetura global fisicamente distribuída o DW pode ser controlado por um outro departamento, como o de Planejamento Estratégico, que fica responsável por decidir quais dados devem ser carregados no DW, quando deve ser realizada a carga incremental ou sua atualização e quais setores e pessoas terão direito de acesso aos dados. O departamento de TI e seus profissionais realizam a administração e a implementação do DW, notadamente porque é o TI que administra as redes de comunicação de dados da empresa e sua infraestrutura associada. Pág. 39 de 83 A figura abaixo ilustra os dois caminhos de utilização de uma arquitetura global para DW. No topo da figura você pode observar que o DW está distribuído em três instalações físicas, e na parte de baixo, o DW reside em uma única instalação. Figura 23 – Arquitetura global centralizada e distribuída. Fonte: MACHADO, 2012, p. 51. Os dados são extraídos de sistemas transacionais e de fontes de dados externas por processos batch, ou seja, em lote em horários de baixa das operações. Os dados são filtrados, aqueles não necessários são excluídos e a transformação é realizada visando atender critérios de qualidade e respeitar os requisitos levantados para o projeto. Após este processo, os dados são então carregados para o DW para que os usuários finais tenham acesso a eles. Machado (2012) afirma que a arquitetura global habilita os usuários finais a utilizar visões corporativas de dados, que normalmente são requisitos de negócio, e alerta que esse tipo de arquitetura consome muito tempo de desenvolvimento e administração, e tem a desvantagem que seu custo de implementação é muito elevado.Arquitetura de DMs independentes É a arquitetura normalmente sugerida pelos fornecedores de software para consulta de informações no DW, pois é isolada e agrada os usuários. De acordo com Machado (2012, p. 51), Pág. 40 de 83 a arquitetura independente implica em Data Marts stand alone controlados por um grupo específico de usuários e que atende somente às suas necessidades específicas e departamentais, sem foco corporativo nenhum. Este fato faz com que não exista nenhuma conectividade desses Data Marts com outros Data Marts de outros departamentos ou áreas de negócio. Nesta abordagem, cada departamento realiza a extração dos dados dos seus sistemas transacionais, com apoio do setor de TI. O setor de TI somente auxilia na manutenção técnica do ambiente, não sendo responsável pelo controle da implementação e do desenvolvimento do DW. Caso existam dados externos a serem utilizados, o setor de TI deve ser envolvido para orientar a adequação dos formatos de arquivos e demais aspectos técnicos. A figura 24 ilustra esta arquitetura. Figura 24 – Arquitetura de DMs independentes. Fonte: MACHADO, 2012, p. 52. A arquitetura independente requer profissionais de TI especializados, mas tanto a equipe operacional quanto os recursos podem ser administrados pelo grupo responsável pelo projeto do DW ou pelo próprio departamento. Pág. 41 de 83 Esse tipo de arquitetura impacta pouco nos recursos de TI e geralmente sua implementação é rápida. Porém, resulta em repositórios com pouca integração corporativa, que não permite visão global da empresa. Normalmente cada DM fica acessível apenas ao pessoal do departamento “proprietário” do DM. Machado (2012) afirma que, infelizmente, esta é uma situação muito comum no Brasil e também bastante disseminada pelo mundo, reflexo do foco de negócios de venda de produtos sugerida pelos fornecedores de software, como já dissemos. Arquitetura de DM integrados De acordo com Machado (2012, p. 52), a arquitetura de Data Marts integrados é basicamente uma distribuição da implementação do DW. Apesar de os Data Marts serem implementados separadamente por grupos de trabalho ou departamentos, eles são integrados ou interconectados, fornecendo uma visão corporativa maior dos dados e informações. Neste caso, o alto nível de integração é similar ao da arquitetura global e os usuários de um departamento podem acessar e utilizar os dados de um Data Mart de outro departamento. Essa arquitetura, comparada à arquitetura de DMs independentes, permite muitas outras funções e acesso às informações. Entretanto, a integração dos DMs aumenta muito o nível de complexidade dos requisitos do ambiente. Isso requer que o setor de TI atue de forma mais incisiva do que na arquitetura independente, ficando sob sua responsabilidade o controle e administração dos Data Marts, em um ambiente mais complexo. Em contrapartida, esta arquitetura apresenta como vantagem a ampliação da capacidade e da qualidade da visão corporativa das informações. A figura 25 ilustra esta arquitetura. Pág. 42 de 83 Figura 25 – Arquitetura de DMs integrados. Fonte: MACHADO, 2012, p. 53. FERRAMENTAS PARA CONSTRUÇÃO E CONSULTAS A UM DW Etapas e componentes da implantação de um ambiente de apoio à decisão O processo de criação de um ambiente que suporte adequadamente a tomada de decisões corporativas envolve a construção de um grande repositório de dados, o DW, que é realizado em diversas etapas e utiliza ferramentas de apoio específicas, que podem ser resumidas em: 1. Fontes de dados: os dados podem vir de sistemas transacionais, de ERPs (sistemas integrados de gestão), de sistemas legados ou de diversas outras fontes, como bancos de dados transacionais, planilhas e arquivos-texto. 2. ETL: os dados são extraídos das diversas fontes, transformados e carregados nos DMs e/ ou no DW por meio de ferramentas especiais que realizam o processo de ETL. 3. Ferramentas OLAP: “navegam” nos dados do DW para realizar pesquisas e apresentar as informações de forma adequada aos tomadores de decisão. 4. Ferramentas de análise de big data e data mining: ferramentas para análise de big data e de mineração de dados procuram padrões ocultos, utilizando modelos matemáticos, Pág. 43 de 83 nas coleções de dados de forma a transformá-los em informações úteis para se prever tendências e comportamentos futuros e se alcançar metas de negócios específicas. Dentre as ferramentas de data mining encontram-se as de text mining, que procuram padrões ocultos nos arquivos de textos puros, e as de web mining, que procuram os padrões em páginas da web. 5. Ferramentas de monitoramento: as ferramentas de monitoramento e visualização são mais fáceis de serem implementadas quando os dados estão armazenados em um DW. As ferramentas OLAP também podem se beneficiar do DW mostrando as informações de forma tridimensional, ou na forma de cubos. A figura 26 ilustra estas etapas. Figura 26 – Etapas para implantação de um ambiente de suporte à decisão. Fonte: Elaborado pela autora Nas seções seguintes, os conceitos e definições de data mart, processo de ETL, OLAP, big data, data mining, incluindo text e web mining, e ferramentas de monitoramento serão apresentados. Pág. 44 de 83 Extract, Transform and Load (ETL) ETL (Extract, Transform and Load ou Extração, Transformação e Carga) é o processo de extrair os dados de uma ou várias fontes, transformá-los de alguma forma sem alterar seu conteúdo e inseri-los em outro banco de dados, que, no caso de nosso estudo, é o DW. Os processos ETL são considerados como uma das fases mais complexas do ciclo de vida do DW, pois envolve diversas fontes de dados, transformações e critérios de qualidade que preparam os dados para o DW. Estes processos são realizados através de automatizações que podem ser programadas (scheduling) para execução diária, semanal, mensal, dentre outras possibilidades. O ETL consiste na extração de dados dos sistemas transacionais, transformação e carga destes dados de acordo com as regras de negócio da empresa, garantindo o controle de qualidade dos dados para sua publicação e posterior uso. (Fonte: traduzido de KIMBALL e CASERTA, 2004) O processo de ETL para a construção de um DW pode contar ou não com uma staging area ou ODS (Operational Data Store), sendo uma decisão do projeto. De acordo com Machado (2012, p. 39), em projetos que envolvam vários tipos de bancos de dados ou diferentes plataformas nos quais as fontes de dados estejam distribuídas, a staging area torna-se muito importante para que os dados possam ser ali integrados e limpos. A figura 27 ilustra o processo de ETL com staging area. Figura 27 - Processo ETL usando staging area. Fonte: <https://www.dbbest.com/blog/wp-content/uploads/2012/12/BI_ETL.jpg> Pág. 45 de 83 Staging Area De acordo com Kimball e Caserta (2004, p. 65), a decisão de se armazenar os dados fisicamente em uma staging area ou processá-los em memória depende de dois objetivos conflitantes: obter os dados das fontes para o destino tão rápido quanto possível e manter a habilidade de se recuperar de falhas sem ter que reiniciar o processo. Os autores indicam que há vantagens em se usar staging area, como: ter pontos de recuperação de dados; utilizar este repositório como backup de dados; e possibilitar a auditoria do processo de ETL. Quando o histórico dos dados é mantido, a staging area é persistente, e quando os dados são apagados em cada carga, esta área é considerada transitória. Mas é interessante que a staging area assume uma forma híbrida, sendo composta de tabelas persistentes e transitórias. Extract (Extração) A extração é a primeira etapa do processo de ETL para obtenção dos dados no ambiente do DW. Consiste basicamente em ler, entender e copiar os dados necessários dos sistemas-fontes para a área de transformação de dados para utilizá-los posteriormente. O principal objetivo é recuperar todos os dados requeridos das fontesutilizando tão poucos recursos quanto for possível, sem afetar os sistemas-fontes em seu desempenho, tempo de resposta e bloqueios (KIMBALL; CASERTA, 2004). Os dados extraídos são originados de diversas fontes independentes, que podem ser sistemas transacionais (OLTP), planilhas Excel, sistemas legados de diversos fabricantes, dentre outras. De acordo com Dataintegration.com (2015), há algumas diferentes formas de se realizar a extração: Notificação de atualização: se o sistema fonte for capaz de fornecer uma notificação quando um registro for alterado e descrever esta alteração, esta é a forma mais fácil de obter dados. Extração incremental: há sistemas fonte que não são capazes de fornecer notificação quando uma atualização ocorre, mas conseguem identificar quais registros foram modificados e fornecer a extração de tais registros. Isso será importante em passos posteriores do ETL, quando o sistema precisar identificar as mudanças e propagá- las. O cuidado a ser tomado neste caso é que, usando extração diária, pode-se não tratar registros excluídos adequadamente. Extração completa: alguns sistemas fonte não conseguem identificar nenhuma mudança, desta forma a extração completa é a única maneira de obter dados destes sistemas. A extração completa requer que uma cópia da última extração seja mantida no mesmo formato e ordem para se que possa identificar as mudanças. Este processo também trata as exclusões. Pág. 46 de 83 Quando a extração incremental ou completa forem utilizadas, a frequência da extração é muito importante, notadamente na completa, na qual grandes volumes de itens são tratados. Transformation (Transformação) Após a extração dos dados, são aplicadas transformações de acordo com as regras de negócio da organização. São exemplos de transformações: geração de novas chaves; conversão de tipos; formatação de campos; definição de valores derivados; agregações; sumarizações; traduções; entre outras operações. A integração das informações originadas de múltiplas e complexas fontes de dados também é realizada nesta fase. Grandes riscos ocorrem quando as regras de transformações e integrações não são definidas claramente, resultando em cargas de informações equivocadas, o que pode gerar consequências imprevisíveis nas próximas fases do projeto. Para garantir a qualidade dos dados no DW, deve ocorrer, nesta fase, a limpeza dos dados que aplica regras para a unificação dos dados básicos, como: • Unificar identificadores, como nomes e categorias de sexo expressas de diversas formas em diferentes fontes, que devem ser expressas de uma única forma; • Converter valores nulos em padrões, como não disponível, por exemplo; • Converter números de telefone, CEP e datas em formatos únicos padronizados; • Validar campos de endereços e convertê-los para formatos padronizados, como ruas, avenidas, estado, cidade etc. A figura 28 ilustra este processo. Pág. 47 de 83 Figura 28 – Exemplo de transformação e limpeza no processo de ETL. Fonte: <http://player.slideplayer.com.br/19/6079627/data/images/img1.jpg> . Load (Carga) Para iniciar a etapa de carga, os dados devem estar no formato apropriado, com as devidas limpeza e transformação aplicadas. Esta etapa possui grande complexidade, pois é necessário considerar os seguintes fatores: • Integridade dos dados: consiste em validar todas as chaves estrangeiras da tabela, analisando se os valores realmente existem nas tabelas de origem, que contêm a chave primária. • Tipo de carga (incremental ou total): na carga inicial do DW é usual fazer a carga total, que contempla todos os dados oriundos do sistema-fonte. Nos processos de carga realizados posteriormente é usual que seja feita somente a carga incremental, que contempla somente os registros novos e alterados desde a carga anterior, gerando, assim, menor tempo de processamento e menor tráfego na rede. No processo de carga dos dados pode-se utilizar um mecanismo de defesa, chamado Quality Assurance, ou Garantia de Qualidade de Dados. Este mecanismo evita que sejam carregadas massas de “lixo” para dentro das bases, como dados nulos, brancos ou inconsistentes. Pág. 48 de 83 Durante a etapa de carga, é necessário garantir que sua execução seja realizada corretamente, com menos recursos quanto possível. O alvo do processo de carga é geralmente uma base de dados e, para tornar o processo eficiente, é útil desabilitar quaisquer restrições e índices antes da carga e habilitá-los após o processo completo. A integridade referencial precisa ser mantida pela ferramenta de ETL para garantir a consistência. Por ser a última etapa do ETL, após o sucesso em sua execução, o DW ou o DM ficarão disponíveis com os dados íntegros e históricos para as análises realizadas nas fases posteriores do desenvolvimento do projeto. Data Marts Data Mart (DM), na definição de Machado (2012, p. 45), é um subconjunto de dados do DW que permite acesso descentralizado, servindo de fonte para os dados que comporão os bancos de dados individuais, conforme pode ser visto na figura 29. Um ponto a destacar aqui é que o Data Mart pode ser tratado como um projeto-piloto para que a empresa conheça os benefícios da tecnologia antes da decisão de construir um DW. (Fonte: MACHADO, 2012, p. 46) Pág. 49 de 83 Figura 29 - Data Marts e Data Warehouse. Fonte: <http://slideplayer.com.br/slide/4249907/14/images/4/Prepara%C3%A7%C3%A3o+do+Data+Warehouse.jpg>. Conforme vimos, o projeto do DW pode ser implementado usando uma arquitetura de DMs independentes ou integrados. Na arquitetura independente, os DMs fornecem suporte à decisão para os grupos de usuários ou departamentos, desempenhando o papel de um DW departamental, sem foco corporativo. Pág. 50 de 83 Na arquitetura integrada, os DMs, apesar de serem implementados separadamente por grupos de usuários ou departamentos, são integrados ou interconectados, permitindo uma visão corporativa dos dados. Vários tipos de implementação dos DMs nas arquiteturas independente e integrada podem ser usados. Vamos tratar aqui apenas duas destas abordagens: top-down e botton-up. A abordagem top-down consiste em implementar os DMs a partir da implementação do DW. Neste ambiente os dados são resumidos, dimensionados e distribuídos para um ou mais DMs dependentes, como mostra a figura abaixo. Estes DMs são “dependentes” porque eles derivam todos os seus dados de um DW centralizado. Figura 30 - Arquitetura top-down de DMs. Fonte: <http://www.dataprix.net/files/uploads/250image/HEFESTO%20v2_0/data%20mart%20-%20top%20down.png>. De acordo com Machado (2012, p. 54), as vantagens da implementação top-down podem ser assim definidas: • Herança de arquitetura: todos os DM originados de um DW utilizam a arquitetura e os dados desse DW, permitindo uma fácil manutenção. • Visão de empreendimento: o DW concentra todos os negócios da empresa, sendo possível extrair dele níveis menores de informações. Pág. 51 de 83 • Repositório de metadados centralizado e simples: o DW provê um repositório de metadados central para o sistema. Essa centralização permite manutenções mais simples do que aquelas realizadas em múltiplos repositórios. • Controle e centralização de regras: a arquitetura top-down garante a existência de um único conjunto de aplicações para extração, limpeza e integração dos dados, além de processos centralizados de manutenção e monitoração. Mas esta abordagem também apresenta desvantagens, e Machado (2012, p. 54) elenca como as principais: • Implementação muito longa: os DWs são, normalmente, desenvolvidos de modo iterativo, separados por áreas de assuntos, como, por exemplo, vendas, finanças e recursos humanos. Mesmo assim, são necessários, em média, 15 ou mais meses para que a primeira área de assunto entre em produção, dificultando a garantia de apoio político e orçamentário. • Alta taxa de risco: não existem garantias para o investimento nesse tipo de ambiente. • Herançasde cruzamentos funcionais: é necessária uma equipe de desenvolvedores e usuários finais altamente capacitados para avaliar as informações e consultas que garantam à empresa habilidade para lidar com as mudanças de competições políticas, geográficas e organizacionais. • Expectativas relacionadas ao ambiente: a demora do projeto e a falta de retorno podem induzir expectativas nos usuários. Já na abordagem bottom-up os DMs são organizados de forma independente, representando determinadas áreas setoriais ou departamentos da empresa e, após sua implementação, parte-se para a construção do DW. Assim, o DW será corporativo, representando o conjunto de todos os assuntos da empresa de forma que o suporte à decisão atue em todos os níveis da organização. A figura 31 mostra esta configuração. Pág. 52 de 83 Figura 31 - Arquitetura bottom-up de DMs. Fonte: <http://www.dataprix.net/files/uploads/250image/HEFESTO%20v2_0/data%20mart%20-%20bottom%20up.png> De acordo com Machado (2012, p. 56), as vantagens da implementação bottom-up são: Implementação rápida: a construção dos DMs é altamente direcionada, permitindo um rápido desenvolvimento. Normalmente, um DM pode ser colocado em produção em um período de seis a nove meses. Retorno rápido: a arquitetura baseada em DM com incremento demonstra rapidamente seu valor, permitindo uma base para investimentos adicionais com um nível mais elevado de confiança. Manutenção do enfoque da equipe: A elaboração de DMs incrementais permite que os principais negócios sejam enfocados inicialmente, sem que haja gastos no desenvolvimento de áreas que não são essenciais ao problema. Herança incremental: a estratégia de DMs incrementais obriga a entrega de recursos de informação passo a passo. Isso permite à equipe crescer e aprender, reduzindo os riscos. A avaliação de ferramentas, tecnologias, consultores e vendedores só deve ser realizada uma vez, a não ser que existam restrições que impeçam o reaproveitamento”. Mas suas desvantagens, ainda segundo Machado (2012, p. 56), incluem: Perigo de ‘legamarts’: um dos maiores perigos na arquitetura de DW é a criação de DMs independentes. O advento de ferramentas drag-and-drop (clique e arraste) facilitou o desenvolvimento de soluções individuais de acordo com as necessidades da empresa. Essas soluções podem não considerar a arquitetura de forma global. Desse modo, os DMs independentes transformam-se em DMs legados, ou legamarts que dificultam, quando não inviabilizam, futuras integrações. Eles são parte do problema e não da solução. Pág. 53 de 83 Desafio de possuir a visão de empreendimento: durante a construção dos DMs incrementais, é necessário que se mantenha um rígido controle do negócio como um todo. Esse controle requer maior trabalho ao extrair e combinar as fontes individuais do que utilizar um DW. Administrar e coordenar múltiplas equipes e iniciativas: normalmente, esse tipo de arquitetura emprega o desenvolvimento de DMs em paralelo. Isso pode conduzir a uma rígida administração, tentando coordenar os esforços e recursos das múltiplas equipes, especialmente nas áreas de regras e semântica empresariais. Custos de implantação de DMs e DW Por serem menores, os DMs possuem uma implantação mais rápida do que o DW, porém utilizam a mesma abordagem. De acordo com Sowek (2009): o maior atrativo para implementar um Data Mart é seu custo e prazo. Segundo estimativas, enquanto um DM custa em torno de R$ 100 mil a R$1 milhão e leva cerca de 120 dias para estar pronto, um DW integral começa em torno dos R$ 2 milhões e leva cerca de um ano para estar consolidado. Mas não existe um projeto padrão que possa ser implementado em todas as empresas. Assim, estes valores citados por Sowek e mostrados na quadro 1, são apenas estimativas, pois o investimento para o projeto do DW depende de cada caso. Quadro 1 - Comparação entre implantação de DM e de DW. Data mart Data warehouse Tamanho De 50 GB a 250 GB Vários terabytes ou mais Propósito Área ou assunto específico Visão departamental Repositório da organização Visão corporativa Como iniciar Bottom-up Top-down Controle Departamental Sistema de Informação Tempo Implementação 3 a 6 meses 1 até 2 anos Custo Implementação De R$ 100.000 a R$ 1.000.000 Milhões de reais Fonte: SOWEK, 2009. Pág. 54 de 83 Figura 32 – TCO – Total Cost of Ownership. Fonte: Biz Idea Production/Shutterstock. De acordo com Bedi (2015), a melhor forma de analisar dados vindos de múltiplas fontes é usando um DW. Mas, independentemente do uso de data warehousing, a tecnologia tem um custo alto (TCO – Total Cost of Ownership), incluindo custos diretos e indiretos, como software, hardware, recursos humanos etc. Todos estes custos devem ser considerados antes que uma empresa inicie a implantação do DW e/ou DMs. Ainda de acordo com o autor, os custos são assim definidos: • Software: O software necessário para executar um DW não vem com o hardware, por isso licenças têm que ser adquiridas para atender a demanda da empresa. Mesmo começando em poucos milhares de dólares, esse custo pode subir muito. O pleno funcionamento do DW inicia-se depois da carga de terabytes de dados e o volume de dados tende a crescer. Os custos também crescem a partir do aumento do número de usuários, aquisição de mais licenças e mais servidores etc. • Hardware: A aquisição de hardware poderoso o suficiente para suportar e executar consultas complexas resulta em altos custos. Um DW necessita de servidores para executar software especializado, espaço em data center para os servidores, hardware para armazenamento de big data, rede de computadores de alta velocidade para acesso aos dados do DW, hardware para a redundância de dados etc. Estes custos tendem a aumentar na medida em que o volume de dados e de consultas aumenta, refletindo no aumento de todos os componentes de hardware que suportam o DW. • Pessoas: Mesmo que haja software e hardware adequados, esforços humanos são essenciais para gerir e manter o ambiente de DW. Além disso, o pessoal do departamento de TI e usuários regulares têm que ser capacitados e treinados para usar efetivamente todo o aparato. Isso implica igualmente em custos crescentes. Em função do exposto, o TCO resultante da soma dos cursos de software, hardware e pessoas para construção de um DW pode ser muito grande. Bedi (2015), entretanto, pondera que algumas tecnologias podem contribuir para a redução de custos, como o uso de Data Warehouse as a Service (DWaaS). DWaaS pode significar a utilização de software sob medida, pagando-se pelo uso de licenças, no modelo pay-as-you-go. Em relação ao hardware, o mesmo pode ser contratado sob demanda, de forma que passe do modelo de capital expenditure (capex) para o modelo operational expenditure Pág. 55 de 83 (opex) baseado em taxas de uso por hora ou por mês. Desta forma, o hardware pode ser aumentado de forma elástica, sob demanda. Negócios baseados em DWaaS especializados em DW podem reduzir os custos de US$ 20 mil a US$ 40 mil dólares por terabyte para US$ 1.000 a US$ 5.000 dólares por terabyte. Com a contratação de software e hardware, os custos com pessoal também são reduzidos. SAIBA MAIS Data warehouse ou Data mart? “Ralph Kimball é um defensor da teoria de que o DW deve ser dividido para depois ser conquistado, ou seja, que o mais viável para as empresas é desenvolver vários Data Marts para posteriormente integrá-los e, assim, chegar-se ao DW. Na sua avaliação, as empresas devem construir Data Marts orientados por assuntos. Ao final, teriam uma série de pontos de conexão entre eles, que seriam as tabelas Fato e Dimensão em conformidade. Dessa forma, informações entre os diferentes Data Marts poderiam ser geradas de maneira íntegra e segura. Kimball batizou esse conceito de Data Warehouse Bus Architeture. Bill Inmon rebate essa teoria e propõe justamente o contrário. Na sua avaliação deve-se construir primeiro um Data Warehouse,modelando-se toda a empresa para se chegar a um único modelo corporativo, partindo-se posteriormente para os Data Marts construídos por assuntos ou departamentais. Inmon defende a ideia de que o ponto de partida seriam os CIF – Corporate Information Factory – uma infraestrutura ideal para ambientar os dados da empresa. O CIF seria alimentado pelos sistemas transacionais. A construção de um ODS- Operational Data Store seria facultativa, mas essa iniciativa ajudaria a reduzir a complexidade da construção de um DW, uma vez que todo o esforço de integração entre os sistemas transacionais da empresa seria depositado nele.” (Fonte: <https://social.technet.microsoft.com/wiki/pt-br/contents/articles/10274.data-warehouse-x-data-mart. aspx>) OLAP - On Line Analytical Processing O DW, por si só, não fornece as informações que os níveis gerenciais necessitam. As ferramentas OLAP (On Line Analytical Processing ou processamento analítico online) têm como função “navegar” nos dados do DW para realizar pesquisas e apresentar as informações de forma adequada. Assim, OLAP reúne ferramentas que permitem a exploração e análise dos dados no DW. Pág. 56 de 83 Figura 33 – OLAP. Fonte: one photo/ Shutterstock. OLAP é o conjunto de ferramentas que possibilita efetuar a exploração dos dados de um DW através da análise multidimensional, em que os dados são representados como dimensões ao invés de tabelas. Os resultados deste tipo de análise, por meio do comportamento de determinadas variáveis ao longo do tempo, é permitir a descoberta de tendências e cenários, e com isso transformar os dados de um DW em informação estratégica. (Fonte: MACHADO, 2012, p. 85) Algumas ferramentas permitem criar modelos de consultas (views ou visões) usando uma interface amigável, possibilitando a análise em diversos níveis de agregação. Essa análise multidimensional implica na utilização de operações como comparação de valores entre períodos, percentual de variação, médias, somas ou valores cumulativos, além de funções estatísticas e financeiras. As ferramentas que manipulam dados por meio de interfaces amigáveis e de forma ágil facilitam o uso do DW. Desta forma, os relatórios são mais utilizados em tela, não precisando ser impressos. Por meio destas interfaces, o usuário consegue navegar nas informações de diferentes maneiras e, ao final da consulta, pode imprimir os dados de seu interesse ou salvar aquela visão para continuar a consulta futuramente. As ferramentas OLAP geralmente apresentam as características: • Permitem uma visão multidimensional dos dados; • Realizam cálculos complexos; • Criam agregações e consolidações; • Fazem previsões e análises de tendência; • Constroem cenários a partir de suposições; • Fazem cálculos e manipulam dados através de diferentes dimensões. Pág. 57 de 83 Modelagem e visão multidimensional dos dados Kimball e Caserta (2004) definem modelagem multidimensional como uma técnica de concepção e visualização de um modelo de dados com o objetivo de reestruturar os dados e possibilitar que sejam apresentados em visões que permitam a análise dos valores a eles associados. Um modelo multidimensional é formado por três elementos básicos: fatos, dimensões e medidas. As dimensões e fatos são representados em tabelas e pode haver diversas dimensões e diferentes tabelas de fatos. Estes elementos são explicados a seguir. Fatos Machado (2012, p. 79) define fato como uma coleção de itens de dados, composta de dados de medidas e de contexto. Cada fato representa um item, uma transação ou um evento de negócio. É utilizado para analisar o processo de negócio de uma empresa e tudo aquilo que reflete a evolução dos negócios do dia-a-dia de uma organização. A característica básica de um fato é que ele é representado por valores numéricos e implementado em tabelas denominadas tabelas fato (fact tables). Dimensões Para Machado (2012, p. 80) dimensões são os elementos que participam de um fato (assunto de negócios). São as possíveis formas de visualizar os dados, como: “por mês”, “por país”, “por produto”, “por região” etc. As dimensões determinam o contexto de um assunto de negócios, por exemplo, as vendas de produtos. As dimensões que participam desse fato vendas de produtos comumente são tempo, localização, clientes, vendedores, cenários (realizados, projetados). Dimensões normalmente não possuem atributos numéricos, pois são somente descritivas e classificatórias dos elementos que participam de um fato. Medidas De acordo com Machado (2012, p. 81) medidas são os atributos numéricos que representam um fato; medem a performance de um objetivo de negócio representado por um indicador relativo às dimensões que participam desse fato. Os números atuais são denominados de variáveis. Medidas podem ser, por exemplo, o valor em reais das vendas, o número de unidades de produtos vendidas, a quantidade em estoque, o custo de venda, entre outras. Uma medida é determinada pela combinação das dimensões que participam de um fato, e estão localizadas como atributos de um fato. O caminho mais utilizado para visualizar um modelo dimensional é o desenho de um cubo. Entretanto, usualmente um modelo dimensional consiste em mais de três dimensões, o que é Pág. 58 de 83 definido como um hipercubo. Visualizar graficamente um hipercubo é muito difícil; desta forma, utiliza-se a referência a um cubo para qualquer modelo multidimensional. A figura abaixo traz a representação de um fato “vendas” por meio de um cubo. Figura 34 – Visão multidimensional do fato “vendas”. Fonte: baseado em MACHADO, 2012, p. 82. No exemplo da figura acima, Machado (2012, p. 82) define: medida é o volume de vendas, que é determinado pela combinação de três dimensões: localização, produto e tempo. As dimensões localização e produto possuem dois níveis de hierarquia. Por exemplo, a dimensão localização tem o nível estado e o nível cidade, na qual temos os membros SP e Rio. A dimensão tempo nesta figura poderia representar os anos de venda, tais como 2016, 2017 e 2018. Cada subcubo possui o valor da medida de quantidade de venda. Por exemplo, em um período específico de tempo (não expresso na figura), na cidade de Campinas, SP, foram vendidos 110 mil tablets do modelo 20A1. Navegação multidimensional A análise multidimensional representa os dados como dimensões ao invés de representá-los por tabelas. Combinando as dimensões, o usuário tem uma visão dos dados de um DW que permite a ele efetuar operações básicas, como slice and dice, que é uma forma de mudança das dimensões a Pág. 59 de 83 serem visualizadas, drill down e roll up, que é navegação entre os níveis de detalhamento dos dados do DW. As operações OLAP podem ser utilizadas combinadas, ou seja, realizar um slice e um dice ao mesmo tempo com operações de drill down ou roll up. Nas ferramentas de navegação OLAP é possível navegar entre diferentes granularidades (detalhamento) de um cubo de dados. O drill movimenta a visão dos dados ao longo das hierarquias de uma dimensão, permitindo ao usuário navegar entre o mais alto nível até a informação detalhada, na sua menor granularidade. Essas operações, como já dissemos, são conhecidas como drill down e roll up. O drill down ocorre quando o usuário aumenta o nível de detalhe da informação, diminuindo o nível de granularidade. Roll up, ao contrário do drill down, ocorre quando o usuário aumenta o nível de granularidade, diminuindo o nível de detalhe da informação. Observe a figura 35. Pág. 60 de 83 Figura 35 - Exemplo de drill down e roll up. Fonte: baseado em MACHADO, 2012, p. 86-87. Na 1ª tabela, na figura 35, temos a visualização dos valores de produção globais (independente do produto) na região Sul nos estados do Rio Grande do Sul e Santa Catarina, distribuídos por trimestre, de 2016. Na 2ª tabela temos os mesmos dados, mas somente do 1º trimestre. A operação de sair da 2ª tabela para a 1ª é uma roll up: estamos saindode um nível mais baixo de detalhe (um trimestre específico de um ano) para um nível mais alto (todos os trimestres de um ano). Esse roll up está sendo realizado sobre a dimensão tempo. Da 2ª para a 3ª tabela, no exemplo da figura 35, temos uma operação de drill down que acontece sobre a dimensão localização geográfica. A 2ª tabela apresenta a produção por região geográfica (Sul) e pelos estados dessa região (RS e SC). Ao realizar um drill down, estamos abrindo o nível de detalhe da dimensão localização geográfica, visualizando somente um estado (RS) da região (Sul), e abrindo os valores para as cidades desse estado (Canoas e Porto Alegre). Pág. 61 de 83 Slice and dice, resumidamente, significa a redução do escopo das informações analisadas, permitindo ao usuário explorar os mesmos dados com uma visão ou dimensão diferente. Essa característica das ferramentas OLAP é de grande importância, pois com ela podemos analisar as informações de diferentes prismas limitados somente pela nossa imaginação. Slice and dice é o mesmo que filtrar. Utilizando essas operações, conseguimos ver a informação sobre ângulos que inexistiam, sem a implementação de um DW e a utilização de uma ferramenta OLAP. Slice é a operação que corta o cubo, mas mantém a mesma perspectiva de visualização dos dados. Dice é a mudança de perspectiva da visão. É a extração de um “subcubo” ou a interseção de vários slices. É como se girássemos o cubo em nossas mãos. Observe a figura 36, que mostra uma tabela que apresenta as vendas de celulares e tablets e o cubo sendo “fatiado”. Pág. 62 de 83 Figura 36 - Exemplo de slice and dice. Fonte: baseado em MACHADO 2012, p. 89-90. Neste exemplo da figura, o cubo foi fatiado, ou um slice realizado, representado pela operação de visualizarmos somente um tipo de produto, no caso, os celulares. De acordo com a Microsoft (2015), existe uma variedade de ferramentas com diferentes abordagens para OLAP. Algumas delas podem ser: • ROLAP (OLAP relacional): ferramentas OLAP que acessam bancos de dados relacionais; • MOLAP (OLAP multidimensional): ferramentas OLAP que acessam bancos de dados multidimensionais; Pág. 63 de 83 • HOLAP (OLAP híbrida): ferramentas OLAP que permitem acesso tanto aos bancos de dados relacionais como aos multidimensionais; • DOLAP (OLAP desktop): ferramentas OLAP voltadas para computadores pessoais, acessando bancos de dados individuais. As ferramentas OLAP permitem a exploração de dados do DW e são utilizadas quando se deseja investigar os dados, de forma interativa, para realização de análises. Permitem o cruzamento de informações e emitem relatórios detalhados e resumidos, de maneira rápida. Como os dados consultados já estão no DW, dispensam consultas aos bancos de dados relacionais. FERRAMENTAS PARA CONSTRUÇÃO E CONSULTAS A UM DW – PARTE II Big data e data mining Conforme já dissemos, no mercado corporativo atual, as organizações têm se mostrado muito eficientes em capturar, organizar e armazenar grandes quantidades de dados, obtidos de suas operações diárias ou de pesquisas do mercado, mas a maior parte delas ainda não consegue usar essa gigantesca montanha de dados para transformá-los em conhecimentos que possam ser utilizados em seus negócios de forma adequada. Figura 37 – Big data. Fonte: Wright Studio/ Shutterstock. Big data é um termo que se refere à enorme quantidade de dados não estruturados que é produzido no mundo. De acordo com Proffitt (2017), o Grupo Gartner informou que o mundo produz mais de 15 petabytes de dados estruturados e não estruturados por dia, incluindo filmes de vídeos, textos, áudios, imagens, informações produzidas pelas redes sociais etc. O Grupo ainda afirma que, em 2018, 50% das violações de ética nos negócios ocorre por meio do uso inadequado do big data. A analista Cas Proffitt informa que a tendência é de “everything-as-a-service”, e as maiores empresas do mundo continuarão trabalhando com volumes crescentes de dados, como a empresa CenturyLink, que anunciou o BDaaS como opção para empresas que querem aproveitar o poder do big data, mas não possuem recursos e expertise próprios disponíveis. Ou seja, podemos continuar esperando inovações vindas de tecnologias para trabalhar com big data. De acordo com a empresa SAS (2017), Doug Laney, um analista de dados, relacionou a definição de big data com três Vs: Pág. 64 de 83 Volume (volume): organizações coletam dados de uma grande variedade de fontes, incluindo transações comerciais, redes sociais e informações de sensores ou dados transmitidos de máquina a máquina. Velocity (velocidade): os dados fluem em uma velocidade sem precedentes e devem ser tratados em tempo hábil. Tags de RFID, sensores, celulares e contadores inteligentes estão impulsionado a necessidade de lidar com imensas quantidades de dados em tempo real, ou quase real. Variety (variedade): os dados são gerados em todos os tipos de formatos, desde dados estruturados, como dados numéricos em bancos de dados tradicionais, até documentos de texto não estruturados, como e-mail, vídeo, áudio, dados de cotações da bolsa e transações financeiras. A estes três Vs foi acrescentado um quarto V: Veracity ou veracidade, conforme ilustra a figura abaixo. Figura 38 – Os quatro Vs do big data. Fonte: T. L. Furrer/ Shutterstock. Ainda de acordo com a SAS (2017), a importância do big data não está ligada à quantidade de dados que uma empresa possui, mas o que a empresa pode fazer com eles. É necessário que os dados sejam analisados de forma a encontrar respostas ou realizar atividades que levem a empresa a: • reduzir custos e reduzir tempo; • alavancar a criação de novos produtos e/ou ofertas; • permitir a tomada de decisão mais inteligente; • obter a causa raiz de falhas, problemas e defeitos em tempo quase real; • criar políticas de promoção de vendas com base em cupons baseados no gosto e hábitos dos clientes; • obter análises de riscos em tempos muito curtos; • detectar ações fraudulentas de forma a defender os negócios. Pág. 65 de 83 ACONTECEU Uso do big data na análise 360º do mercado “Hoje, praticamente tudo o que fazemos ou o que acontece ao nosso redor pode ser analisado por um software big data. Se você está dirigindo o seu carro e de repente uma luz no painel o alerta que o óleo do motor precisa ser trocado, ou quando você assiste a um jornal na TV e a “moça do tempo” diz que na próxima semana vai chover, pode ter certeza que essas conclusões só foram feitas graças ao cruzamento de uma porção de informações através de um software big data. Na internet isso é diferente e tudo o que fazemos deixa um rastro digital. Práticas comuns do dia a dia, como enviar e-mails ou mensagens de texto, pesquisar ou comprar produtos e serviços pela internet, comentar ou avaliar um post de uma empresa no Facebook, são alguns dos poucos exemplos perto de uma infinidade de ações que podem gerar informações a serem analisadas por um Big Data System. Essa gigantesca quantidade de informações é, na maioria das vezes, desorganizada e desestruturada. Com o auxílio da aplicação da matemática e dos insights obtidos é possível, por exemplo, melhorar o atendimento ao consumidor, identificar tendências de mercado, aumentar as vendas, prever problemas, mensurar riscos e diminuir gastos. Grandes empresas como Amazon e Walmart foram pioneiras no uso de sistemas de análise de big data. Depois disso, o uso destes softwares tomaram uma proporção tão grande e variada que há quem diga que o atual presidente dos Estados Unidos, Barack Obama, se reelegeu para o seu segundo mandato devido à inteligência da análise de dados. E que esta mesma tecnologia foi uma das grandes aliadas para a seleção alemã ter vencido a copa do mundo de 2014.” (Fonte: <https://visie.com.br/o-que-e-big-data-e-qual-a-sua-importancia-para-os-negocios/>) Nesses grandes volumes de dados, ou seja, no big data, existem informações úteis que estãoinvisíveis aos tomadores de decisões. Muitas delas poderiam ser aproveitadas para prever um comportamento futuro, ou seja, poderiam ir além do armazenamento explícito de dados. Para ajudar as organizações empresariais a descobrir informações úteis das suas bases de dados são utilizadas ferramentas de data mining. No cenário atual, extremamente rápido e competitivo, as grandes organizações precisam contar com um sistema de gestão que incorpore ferramentas de mineração de dados. De acordo com Gassenferth et al. (2015, p. 111), data mining, ou mineração de dados, é o processo de extração de conhecimento de grandes bases de dados, convencionais ou não. Seu objetivo é encontrar, automaticamente, padrões, anomalias e regras com o propósito de transformar dados, aparentemente ocultos, em informações úteis para a tomada de decisão e/ou avaliação de resultados. Pág. 66 de 83 Data mining ou mineração de dados consiste em um processo analítico projetado para explorar grandes quantidades de dados na busca de padrões consistentes e/ou de relacionamentos sistemáticos entre variáveis, transformando-os em novas informações. Os dados, armazenados em grande volume, geralmente encontram-se em bancos de dados e/ou em data warehouses. (Fonte: LAUDON; LAUDON, 2011, p. 159) Figura 39 – Business intelligence. Fonte: a-image/ Shutterstock. Milhares de informações são processadas diariamente nas organizações, provenientes de seus diversos departamentos, incluindo dados de estoques, pedidos, compras, orçamentos, operações contábeis e financeiras, relatórios jurídicos, venda, pós-venda, relacionamento com cliente, dentre tantos outros. Este grande volume é armazenado em bancos de dados convencionais e/ou no DW. Face a este volume de dados, ferramentas de data mining podem atuar como sistemas de gerenciamento de informação, revelando estruturas de conhecimento que conseguem guiar decisões em situações que se tem certeza limitada sobre os possíveis acontecimentos. Data mining é parte de um processo maior de conhecimento denominado Knowledge Discovery in Database (KDD – descoberta de conhecimento em bancos de dados). De acordo com Kimball e Caserta (2004), KDD consiste, fundamentalmente, nas etapas: 1. estruturação do banco de dados ou repositório de dados; 2. seleção, preparação e pré-processamento dos dados; 3. transformação, adequação e redução da dimensionalidade dos dados; 4. processo de data mining; 5. análises, assimilações, interpretações e uso do conhecimento extraído do banco de dados, por meio do processo de data mining. O processo de data mining utiliza técnicas estatísticas, matemáticas, de inteligência artificial e de aprendizagem automática que procuram relações de similaridade ou discordância entre dados. Uma empresa que utiliza ferramentas de mineração de dados é capaz, dentre outras possibilidades, de: • criar parâmetros para entender o comportamento do consumidor; • identificar afinidades entre as escolhas de produtos e serviços; Pág. 67 de 83 • prever hábitos de compras; • analisar comportamentos habituais para detectar fraudes. Um exemplo de mineração de dados pode ser visto na figura abaixo. Pela análise dos dados, pode-se concluir que “Produtos azuis geram alto lucro” e “Estado do Arizona (AZ) produz baixo lucro”. Figura 40 – Exemplo de mineração de dados. Fonte: baseado em ALBUQUERQUE, 2017. Para termos uma ideia mais precisa da aplicabilidade da mineração de dados, podemos considerar alguns cenários, como: • Lanchonetes fast food, ou franquias semelhantes, apenas com 50 itens de venda, podem gerar 500 compras/dia. • Lojas de departamentos ou supermercados com mais de 1.000 itens, podem gerar 500 compras/dia. • Lojas de departamentos ou supermercados com mais de 10 mil itens, podem gerar 2.000 compras/dia. • Na análise de um carrinho de compras de um supermercado, pode haver 360 mil registros/ mês para listar o que foi comprado por um determinado consumidor em um determinado dia. A mineração de dados fornece maneiras de responder perguntas do tipo: • Quem comprou carne importada? • Quem comprou carne e cervejas importados e na mesma compra? • Qual é o gasto médio de compras para pessoas diferentes? • Qual loja da cadeia vendeu mais cervejas importadas? • Em que mês é vendido mais cervejas importadas? Pág. 68 de 83 • Quais lojas vendem mais no dia dos pais? • Qual item é comprado com maior frequência juntamente com carne importada? • Quais itens são comprados juntos com maior frequência? • Quais itens são comprados juntos com maior frequência e em que período do ano? Outras perguntas possíveis sobre grandes conjuntos de dados, que podem ser respondidas pelas técnicas de mineração de dados, são: • Como identificar hábitos ou perfis de consumo? • Como prever que usuários vão mudar para outro provedor de serviços? • Como identificar coisas semelhantes? • Como identificar o que é diferente de um padrão esperado (ou não)? • Por que o volume de compras diminuiu? O interesse pela mineração de dados vem aumentando, pois as empresas estão coletando e armazenando, cada vez mais, maiores quantidades de dados como consequência da queda dos preços de meios de armazenamento, do armazenamento em nuvem (cloud storage) e dos computadores, e do aumento da capacidade de todos eles. A disseminação da utilização de DWs tende a aumentar ainda mais a quantidade de informações disponíveis. As tradicionais planilhas Excel não conseguem armazenar nem permitir análises de grandes volumes de dados; o máximo que conseguem é gerar relatórios informativos sobre os dados. Já as ferramentas de data mining vão muito além, conseguindo realizar operações importantes como análise preditiva e análise futura para indicar tendências. De acordo com Goldschmidt, Bezerra e Passos (2015, p. 16), os dois objetivos de maior destaque da mineração de dados são a predição e a descrição. Os padrões preditivos são encontrados para resolver o problema de predizer o valor futuro de um ou mais atributos do banco de dados a partir do valor conhecido dos demais atributos; ou seja, a partir de um histórico de casos anteriores, prever os valores dos atributos em outras situações. Os padrões descritivos, ou informativos, têm por objetivo encontrar padrões interessantes, de forma interpretável pelo usuário, que descrevam os dados, ou seja, encontrar um modelo que descreva o conhecimento existente em um conjunto de dados. Esses padrões e regras são utilizados para direcionar a tomada de decisões e prever as consequências das decisões. As ferramentas de data mining podem ser combinadas com planilhas e outras ferramentas similares de uso mais comum, facilitando a análise dos dados. A associação Pág. 69 de 83 com ferramentas sofisticadas de visualização de dados pode contribuir bastante na descoberta de associações novas de dados, aumentando a competitividade da empresa. Casos de sucesso com a utilização de data mining Estes casos foram obtidos de diversas fontes em pesquisas por sites da internet. Figura 41 – Logotipo do Walmart. Fonte: <https://upload.wikimedia.org/wikipedia/commons/thumb/c/ ca/Walmart_logo.svg/2000px-Walmart_logo.svg.png>. Walmart: Ao procurar eventuais relações entre o volume de vendas e os dias da semana, o software de data mining do Walmart apontou que, às sextas-feiras, as vendas de cervejas cresciam na mesma proporção que as de fraldas. Uma investigação mais detalhada revelou que, ao comprar fraldas para seus bebês, os pais aproveitavam para abastecer o estoque de cerveja para o final de semana. Assim, foi identificado que homens casados, entre 25 e 30 anos, compravam fraldas e/ ou cervejas às sextas-feiras à tarde no caminho do trabalho para casa. A rede americana Walmart otimizou as suas gôndolas nos pontos de vendas, colocando as fraldas ao lado das cervejas. Resultado: o consumo cresceu 30%. Este se tornou um caso clássico amplamente utilizado como exemplo de sucesso douso de data mining, passando a ser denominado “princípio de fraldas e cerveja”. A Walmart possui um dos maiores DWs do mundo. Figura 42 – Logotipo do Bank of America. Fonte: <https://www.cancer.org/our-partners/bank-of-america/_jcr_content/par/ responsive_columns_5/column-0/image.img.jpg/1490371056008.jpg>. Bank of America: É possível detectar fraudes, cortar gastos ou aumentar a receita da empresa com a ajuda da mineração de dados. O Bank of America usou essas técnicas para selecionar, entre seus 36 milhões de clientes, aqueles com menor risco de dar calote em um empréstimo. A partir desses relatórios, enviou cartas oferecendo linhas de crédito para os correntistas cujos filhos tivessem entre 18 e 21 anos e, portanto, precisassem de dinheiro para ajudar os filhos a comprar Pág. 70 de 83 o próprio carro, uma casa ou arcar com os gastos da faculdade. Resultado: em três anos, o banco lucrou US$ 30 milhões com a carteira de empréstimos. Figura 43 – Logotipo do Itaú. Fonte: http://www.cbve.org.br/wp-content/uploads/Logo_Itau_Social_VOLUMETRICA.jpg Banco Itaú: Passou a utilizar ferramentas de data mining em seu DW para gerenciar as movimentações de três milhões de clientes. O banco costumava enviar mais de um milhão de malas diretas aos correntistas, com uma taxa resposta de 2%. Após a implementação das ferramentas conseguiu uma redução de 1/5 das despesas postais e aumentou a taxa de resposta para 30%. Harrah’s Entertainment Inc .: Dobrou lucros usando informações de cartões de “jogadores frequentes”, identificando grupos de jogadores que gastavam pouco mas geravam muito lucro, e criou promoções diferenciadas. Figura 44 – Logotipo da Verizon Wireless. Fonte: <https://upload.wikimedia.org/wikipedia/commons/thumb/3/39/Verizon- Wireless-Logo.svg/2000px-Verizon-Wireless-Logo.svg.png>. Verizon Wireless: Empresa americana de Telecom, conseguiu redução de churn (abandono de clientes) de 2% para menos de 1,5%: de 34,6 milhões de usuários, aproximadamente 170 mil foram retidos. Pág. 71 de 83 Text mining Figura 45 – Text mining. Fonte: Jirsak/ Shutterstock. De acordo com Rouse (2017), text mining pode ajudar as organizações a extrair informações valiosas para os negócios a partir de textos contidos em documentos, e-mails e postagens em mídias sociais, como Facebook, Twitter, Linkedin etc. Trata-se de fazer a mineração e extração em dados não estruturados usando processamento de linguagem natural, aplicando-se modelos estatísticos e técnicas de aprendizagem por máquinas. Como textos escritos em linguagem natural geralmente apresentam inconsistências e ambiguidades em relação à semântica (significado) e sintaxe (forma escrita), como uso de gírias, termos não técnicos, ironias, sarcasmos etc., o text mining é um processo complexo. Os aplicativos de análise de texto podem transferir palavras e frases de dados não estruturados para valores numéricos que podem ser ligados a dados estruturados em banco de dados. Estando em bases de dados, podem ser aplicadas técnicas de data mining. O uso de ferramentas de text mining apoia o processo de inteligência competitiva. Enquanto o data mining obtém conhecimento com os dados de dentro da empresa, o text mining obtém conhecimento a partir de dados obtidos fora da empresa, com o objetivo de conhecer os clientes, concorrentes e clientes dos concorrentes. As fontes de dados podem ser redes sociais, jornais e revistas eletrônicas, e-mails, memorandos etc. Usando text mining é possível, dentre outros exemplos, extrair frases de um artigo ou livro e criar um resumo de seu conteúdo, analisar currículos e obter os dados de seus sujeitos, como e-mail, telefone, endereço, habilidades profissionais etc. Em aplicações que envolvem a análise semântica (de significado), é possível analisar as palavras no texto e saber se o conteúdo expressa opinião positiva ou negativa. Uma empresa poderia utilizar este recurso para saber se as pessoas estariam emitindo opiniões favoráveis ou desfavoráveis sobre seus produtos ou serviços. Com a crescente adesão de pessoas nas redes sociais, as empresas preocupam-se em saber a opinião dos internautas e, para isso, utilizam ferramentas de web mining, que extraem informações de páginas web. Pág. 72 de 83 CURIOSIDADE As maiores bases de dados do mundo! 1. World Data Centre for Climate (WDCC) operado pelo Max Planck Institute for Meteorology and German Climate Computing Centre: 6 Petabytes. 2. The National Energy Research Scientific Computing Center (NERSC): 2.8 Petabytes 3. AT&T: entrega serviços móveis avançados, TV de última geração, internet de alta velocidade e soluções inteligentes para pessoas e negócios; banco de dados com mais de 1,9 trilhões de colunas. 4. Google: contabiliza e armazena cada pesquisa simples em seu banco de dados, que gira em torno de 91 milhões de pesquisas por dia; coleta informações sobre usuários e armazena-as como entradas em seu banco de dados, da ordem de 33 trilhões. 5. Sprint: banco de dados registra mais de 365 milhões de detalhes de chamadas por dia; possui mais de 2,85 trilhões de colunas; registra cerca de 70 mil chamadas por segundo. 6. ChoicePoint / LexisNexis: seu banco de dados contém informação de 250 milhões de pessoas dos Estados Unidos, como endereços, telefones, registros criminais, DNA: 250 terabytes 7. Youtube: cerca de 100 milhões de vídeos são vistos, 60% de todos os vídeos são vistos online; 65 mil vídeos são postados por dia; são mais de 45 terabytes de dados. 8. Amazon: 59 milhões de clientes ativos, uma coleção de 250 mil textos completos de livros online e mais de 42 terabytes de dados. 9. Central Intelligence Agency (CIA): coleta informação pública e privada, e parte dela é disponível para consulta pública através do Electronic Reading Room and The World Fact Book; cerca de 100 FOIA (Freedom of Information Act items) são adicionados a cada mês, com dados estatísticos de mais de 250 países. 10. Library of Congress: biblioteca do congresso dos Estados Unidos com 130 milhões de itens de livros e jornais novos e antigos; mais de 20 terabytes de dados. Fonte: JOBANDWORK.ASIA (2017) Pág. 73 de 83 1 byte = 8 bits 1 kilobyte (KB) = 1024 bytes 1 megabyte (MB) = 1024 kilobytes 1 gigabyte (GB) = 1024 megabytes 1 terabyte (TB) = 1024 gigabytes 1 petabyte (PB) = 1024 terabytes 1 exabyte (EB) = 1024 petabytes 1 zettabyte (ZB) = 1024 exabytes 1 yottabyte (YB) = 1024 zettabytes. Monitoramento e visualização de dados As ferramentas que permitem a visualização de dados podem condensar milhares de números em uma única imagem e tornar as ferramentas de suporte à decisão mais atraentes, mais fáceis de usar e, principalmente, mais compreensíveis aos usuários e tomadores de decisão. Estas ferramentas podem incluir imagens digitais, sistemas geográficos, interfaces gráficas com o usuário, gráficos, interfaces de realidade virtual, representações multidimensionais, vídeos, animações etc. Além disso, estas ferramentas podem ajudar no monitoramento de dados, identificando de forma mais rápida tendências em dados corporativos e de mercado, representando uma enorme vantagem competitiva para a empresa. Assim, associar ferramentas de análise de big data/data mining às ferramentas de visualização pode ser uma combinação excelente para a tomada de decisão gerencial. As ferramentas de monitoramento e visualização são mais fáceis de serem implementadas quando os dados estão armazenados em um DW. As ferramentas OLAP também podem se beneficiar do DW mostrando as informações de forma tridimensional, ou na forma de cubos. Dentre os recursos de visualização de dados estão os dashboards e scorecards. Embora muitas vezes sejam vistos como um único conceito, é necessário fazer a distinção entre eles: suas características são apresentadas no quadro 2 e ilustradas na figura seguinte. Pág. 74 de 83 Quadro 2 - Diferenças entre dashboard e scorecard. Dashboard ScorecardFoco Tático – tem foco em operações e metas de curto prazo Estratégico – tem foco em metas de longo prazo Medidas Métrica: mostra uma fotografia do desempenho do negócio em um dado momento Métrica e KPI: mostra o progresso nas atividades do negócio ao longo do tempo Frequência Tempo real Atualizado periodicamente Propósito Fornecer visão geral de alto nível da performance atual Ajudar na execução da estratégia de negócios Parece-se com Painel de carro (mostra como o carro está funcionando) GPS (ajuda a entender onde a empresa está e quando atingirá o destino) Fonte: baseado em GARETT, 2017. Figura 46 - Scorecards x dashboards. Fonte: <https://image.slidesharecdn.com/developingscorecardsanddashboards-1229469074863631-2/95/ developing-and-implementing-scorecards-and-dashboards-2-728.jpg>. Os dashboards fornecem informações imediatas sobre o desempenho dos negócios em toda a empresa. Já os scorecards apresentam uma visão consolidada sobre os objetivos estratégicos da empresa. Privilegiam informações estratégicas que são obtidas em um dado momento para análise crítica da alta direção. Scorecards não apresentam dados operacionais, como quantidade de chamados por clientes, avaliação de desempenho de colaboradores, dentre outros indicadores Pág. 75 de 83 específicos. Eles demonstram graficamente o quão próximo ou distante a empresa está dos seus objetivos estratégicos. Figura 47 – Visualização de KPIs. Fonte: NicoElNino/ shutterstock Os KPIs (Key Performance Indicators, ou Indicadores- Chave de Desempenho) geralmente são definidos com o objetivo de medir as etapas mais relevantes de um processo, visando acompanhar seu progresso. Usando dashboards, muitas empresas desenvolvem “cockpits” (como mostra a figura 46), por meio dos quais podem acompanhar os resultados. O Balanced Scorecard (BSC) é um dos métodos mais utilizados pelas organizações para a definição dos indicadores-chave de desempenho. Os dashboards e scorecards fornecem informações imediatas sobre o desempenho dos negócios em toda a empresa. De uma maneira geral, são criados para os gestores que precisam, em dado momento, de uma visão geral do negócio ou de uma operação específica e consideram primordial dispor de uma visualização intuitiva e oportuna dos dados estratégicos, financeiros e operacionais. Os dashboards fornecem uma representação gráfica do desempenho dos negócios de toda a organização. Os scorecards fornecem uma representação visual dos KPIs, que são cuidadosamente selecionados para ajudar as empresas a medir e gerenciar o desempenho. As diversas ferramentas para gerenciamento de desempenho, de uma forma geral, apresentam as seguintes características: • Oferecem recursos para visualização dos dados-chave do desempenho em formato gráfico; • Mostram os resultados de desempenho rapidamente, utilizando recursos visuais; • Utilizam dashboards e scorecards como para análise de primeira ordem e análise avançada; • Monitoram zonas vermelhas e definem níveis limiares para indicadores, de forma a disparar os alertas de entregas; • Ligam os KPIs individuais às metas da empresa; • Oferecem scorecards em cascata e dashboards de toda a organização e através da cadeia de valores; • Enviam dashboards e scorecards via e-mail, de forma programada ou por meio de alertas; • Atingem todas as pessoas – dos gerentes executivos aos novos funcionários; • Incorporam todos os dados empresariais, financeiros e operacionais, de todo processo de negócio em todo o mundo. Pág. 76 de 83 As principais empresas de soluções de CPM/BI estão melhorando suas ferramentas de visualização de dados. Em 2010, a empresa QlikTech ofereceu suas ferramentas de forma gratuita ao mercado. Atualizado para Qlik, a empresa oferece produtos como o Qlik View e Qlik Sense. Figura 48 – Ferramentas da empresa QlickTech. Fonte: <http://www.qlik.com/pt-br>. Ferramentas avançadas de visualização e descoberta de dados continuam a despertar grande interesse em função da sua facilidade de uso, de seu apelo visual e de sua capacidade de acelerar o tempo de trabalho, numa época em que ocorre uma explosão de dados. 5.2.1. Business Activity Monitoring (BAM) Business Activity Monitoring, ou monitoramento das atividades de negócios (BAM) está entre os mais efetivos conceitos de gestão de performance. Ferramentas BAM são capazes de analisar e reportar dados estratégicos em tempo real, ou seja, as informações publicadas nos dashboards e scorecards não são obtidas diaria, semanal ou mensalmente, mas no momento em que ocorrem ou são captadas. O uso do BAM permite configurar alertas de processos para as áreas de negócios e construir painéis interativos em tempo real. Pág. 77 de 83 Para ilustrar o uso de BAM, vamos imaginar uma grande rede de supermercados que efetua uma grande compra de ovos de páscoa. Cada loja possui seu estoque e terá um perfil de venda, ou seja, um determinado tipo de ovo de páscoa pode faltar ou sobrar. Neste caso as ferramentas de BAM poderão auxiliar o gestor, em tempo real, para redistribuir o estoque em função da demanda de cada ponto de venda. Outra aplicação típica refere-se ao monitoramento de dados de controle de tráfego em grandes cidades. Figura 49 – BAM Fonte: TechnoVectors/ Shutterstock. Business Activity Monitoring (BAM) De acordo com o Gartner, o Business Activity Monitoring (BAM) descreve os processos e as tecnologias que melhoram a percepção de situação e permitem a análise de indicadores críticos de desempenho de negócios de uma empresa com base em dados em tempo real. O BAM é usado para melhorar a velocidade e a eficácia das operações de negócios, mantendo o controle [...]. O Monitoramento das Atividades de Negócios (BAM) é o termo do Gartner que define como podemos fornecer acesso em tempo real aos indicadores críticos de desempenho de negócios para aumentar a velocidade e a eficácia das operações de negócios. Ao contrário de monitoramento em tempo real tradicional, o BAM vai buscar a informação em múltiplos sistemas de aplicação e também em outras fontes internas e externas, permitindo uma visão mais ampla e mais rica das atividades empresariais. Como tal, tende a ser uma extensão natural dos investimentos que as empresas estão fazendo na integração de aplicações em termos de visualização de dados. [...] Pág. 78 de 83 O Gartner estima que um percentual muito pequeno do faturamento dos integradores pode ser efetivamente relacionado ao BAM, mesmo com seu crescimento acentuado nos últimos anos. Muitos deles ainda não possuem uma estratégia relacionada a isso. O cenário do BAM até o final da última década é muito parecido com o do BPM no final dos anos 90, que passou da obscuridade para se tornar um dos pilares da integração de aplicativos, fusões, aquisições e novos desenvolvimentos no processo de condução do negócio, além, é claro, do seu foco em automação de processos. O BAM nos próximos anos irá crescer exponencialmente para direcionar toda a integração de aplicações. Fornecedores dependerão destes sistemas para mostrar diferencial competitivo e, de acordo com o Gartner, o BAM é a próxima grande tecnologia que os fornecedores de integração de aplicações querem e precisam. Apesar do seu grande potencial na integração de aplicativos, o BAM também abrange inteligência de negócios, rede e sistemas de gestão, visualização de dados e áreas afins, fortemente apoiado no lado de negócios da empresa. Fonte: <https://www.opservices.com.br/files/business-activity-monitoring.pdf>. CONSIDERAÇÕES FINAIS Caro aluno, vimos nesta aula que as organizações, de forma geral, possuem muitos dados, porém, pouca informação, e que a falta de informação pode prejudicar sobremaneira a tomada de decisão dentro dessas empresas. Mas, estudamos que essa situação pode ser revertida com a utilização de ferramentas de BI. Uma solução importante, mas ainda cara, é a construção de um DW. Estudamos que o DW é formado pelo conjunto dedados históricos, obtidos com base na estratégia de negócios da empresa. A formação do DW inicia-se pela extração dos dados, que são provenientes de diferentes fontes. Os dados são transformados e carregados no DW por meio do processo de ETL. O DW, que utiliza uma modelagem multidimensional, fomenta as ferramentas de OLAP, que permitem a realização da análise das informações, possibilitando ao tomador de decisão respostas rápidas para as questões relevantes aos negócios. As ferramentas de visualização são mais fáceis de serem implementadas quando os dados estão armazenados em um DW. As ferramentas OLAP também podem se beneficiar do DW mostrando as informações de forma tridimensional, ou na forma de cubos, utilizando ferramentas de visualização de dados. Vimos que não basta que a empresa apenas tenha big data, ou seja, grandes volumes de dados, mas é essencial que seja capaz de explorar, extrair e analisar as informações por meio do processo de data mining, ou mineração de dados. Assim, o CPM e as ferramentas de BI fomentam Pág. 79 de 83 os executivos com informações “inteligentes”, ou seja, o seu foco não é a quantidade de dados, mas a inteligência do negócio. Estes sistemas possuem as seguintes características: • Retratam a evolução das empresas, mostrando como seus dados vêm sendo transformados em informações qualificadas; • Permitem a disponibilização das informações para toda a empresa, não se detendo apenas aos cargos de chefia; • Ampliam muito a complexidade das consultas e das análises; • Permitem uma nova abordagem e integram toda a tecnologia que possa prover ao usuário um poder de análise, permitindo transformar dados transacionais em informação; • Permitem projetar o futuro da empresa, embasando projeções e decisões com informações mais precisas. Podemos concluir, também, que os DW revitalizam os sistemas da empresa, pois: • permitem que sistemas mais antigos continuem em operação; • consolidam dados inconsistentes dos sistemas mais antigos em conjuntos coerentes com os dados atuais; • extraem benefícios de novas informações originadas das operações realizadas; • provêm ambiente para o planejamento e arquitetura de novos sistemas de cunho operacional. Para finalizar, caro aluno, podemos concluir que existe uma grande conscientização das empresas, em nível mundial, em torno da utilização de sistemas inteligentes de apoio à decisão, pois são ferramentas fundamentais para o sucesso das organizações e certamente para a sua sobrevivência. Atualmente as empresas reconhecem que um conjunto de informações, competências e conhecimentos bem geridos e tratados pode lhes render grandes vantagens na economia atual e no futuro. Certamente, o CPM/BI oferecerá as ferramentas que permitirão projetar e implementar essas soluções de inteligência empresarial. Profa . Elisamara Pág. 80 de 83 GLOSSÁRIO CPM: é um termo guarda chuva que descreve as metodologias, métricas, processos e sistemas usados para monitorar e gerenciar o desempenho dos negócios de uma empresa. Aplicações de CPM traduzem estrategicamente informações para planos operacionais e agregam resultados. Essas aplicações são também integradas em diversos elementos de planejamento e controle ou endereçam BAM (Business Activity Monitoring). CPM deve ser suportado por uma suíte de aplicações analíticas que fornecem funcionalidades para dar apoio a estes processos, metodologias e métricas. Fonte: traduzido de Gartner (2017) Dashboard: é um conjunto de gráficos e indicadores que resumem determinada operação ou negócio e são frequentemente utilizados como uma ferramenta rápida para visualização de dados operacionais e/ou táticos. Um dashboard bem preparado deve sinalizar e resumir ao seu usuário a situação atual de um determinado aspecto do negócio, e se possível, indicar tendências a partir das informações disponíveis. (Fonte: http://www.cavalcanteassociados.com.br/article.php?id=643) REFERÊNCIAS BIBLIOGRÁFICAS ALBUQUERQUE, Régis. Data mining - mineração de dados. 2017. Disponível em: <http://slideplayer. com.br/slide/1247752/>. Acesso em: 11 jan. 2018. BEDI, Harmeek. Understanding The Costs Of Data Warehouses. 2015. Disponível em: <http://www. datacenterjournal.com/understanding-costs-data-warehouses/>. Acesso em 25 mai. 2017. DATAINTEGRATION.INFO. ETL (Extract-Transform-Load) . 2015. Disponível em: <http://www.dataintegration. info/etl>. Acesso em 10 mai. 2017. FRANCO, Décio H. Tecnologias e ferramentas de gestão. Campinas: Alinea, 2009. GARETT, John. Scorecard vs Dashboard – What’s the Difference?. 2017. Disponível em: <https:// facilitiesmanagementadvisors.wordpress.com/2012/09/16/scorecard-vs-dashboard-whats-the-difference/>. Acesso em 9 abr. 2017. Pág. 81 de 83 GARTNER. CPM (Corporate Performance Management) . 2017. Disponível em: <http://www.gartner. com/it-glossary/cpm-corporate-performance-management>. Acesso em: 9 abr. 2017. GASSENFERTH, Walter et al. Gestão de Negócios e Sustentabilidade: Textos selecionados. Rio de Janeiro: Brasport, 2015. GOLDSCHMIDT, Ronaldo; BEZERRA, Eduardo. Exemplos de aplicações de data mining no mercado brasileiro . 2016. Disponível em: <http://computerworld.com.br/exemplos-de-aplicacoes-de-data-mining-no- mercado-brasileiro>. Acesso em 24 mai. 2017. GOLDSCHMIDT, Ronaldo; BEZERRA, Eduardo; PASSOS, Emmanuel. Data Mining: conceitos, técnicas, algoritmos, orientações e aplicações. Rio de Janeiro: Elsevier, 2015. HOPPEN, Joni; SANTOS, Marcos. Dos dados à inovação. 2015. Disponível em: <https://aquare.la/pt/ artigos/2015/02/12/dos-dados-inovacao/>. Acesso em 9 abr. 2017. IBGE. Conceitos e Definições. Metadados. Disponível em: <http://www.metadados.ibge.gov.br/consulta/ default.aspx>. Acesso em: 24 jan. 2018. INMON, William H. Como construir o Data Warehouse. Rio de Janeiro: Campus, 1997. JOBANDWORK.ASIA. Top 15 of the Largest Databases in the World. 2017. Disponível em: <http:// jobandwork.asia/corporate/databases/>. Acesso em: 25 mai. 2017. KAPLAN, Robert S; NORTON, David P. A estratégia em ação: Balanced Scorecard. Rio de Janeiro: Campus, 1997. KIMBALL, Ralph; CASERTA, Joe. The data warehouse ETL toolkit: practical techniques for extracting, cleaning, conforming, and delivering data. E-book. Indianapolis: John Wiley Professional, 2004. Disponível em: <http://users.itk.ppke.hu/~szoer/DW/Kimball%20&%20Caserta%20-The%20Data%20Warehouse%20 ETL%20Toolkit%20%5BWiley%202004%5D.pdf>. Acesso em: 7 mai. 2017. KIMBALL, Ralph; ROSS, Margy. (e-book)The data warehouse ETL toolkit - the definitive guide to dimensional modeling. E-book. Indianapolis: John Wiley Professional, 2013. Disponível em: https:// books.google.com.br/books?id=4rFXzk8wAB8C&printsec=frontcover&dq=inauthor:%22Ralph+Kimball%22&hl=pt-BR &sa=X&ved=0ahUKEwjtsqXdwN7TAhXJipAKHTuNBEwQ6AEILTAB#v=onepage&q&f=false. Acesso em 7 mai. 2017. Pág. 82 de 83 LAUDON, Kenneth; LAUDON, Jane. Sistemas de Informações Gerenciais: Fundamentos da inteligência de negócios: gestão da informação e de banco de dados. São Paulo: ABDR, 2011. LEME, Amanda. Os pilares da empresa: planejamentos estratégico, tático e operacional. 2017. Disponível em: <https://blog.99corp.com.br/os-pilares-da-empresa-planejamentos-estrategico-tatico-e- operacional/>. Acesso em: 10 jan. 2018. MACEDO, Carlos. Onde acaba o BI e onde começa o CPM? 2011. Disponível em: <https://www. tiespecialistas.com.br/2011/08/onde-acaba-o-bi-e-onde-comeca-o-cpm/>. Acesso em: 10 jan. 2018. MACHADO, Felipe N. R. Tecnologia e projeto de data warehouse. São Paulo: Editora Érica, 2012. METADADOS. O que são metadados? 1º abr. 2002. Disponível em: <http://www.metadados.pt/ oquesaometadados>. Acesso em: 24 jan. 2018. MICROSOFT. Differences Between OLAP, ROLAP, MOLAP, and HOLAP. 2015. Disponível em: https:// social.technet.microsoft.com/wiki/contents/articles/19898.differences-between-olap-rolap-molap-and-holap. aspx. Acesso em: 11 jan. 2018. NOVATO, Douglas. O que é Business Intelligence?2017. Disponível em: <https://www.oficinadanet.com. br/post/13153-o-que-e-business-intelligence>. Acesso em: 25 abr. 2017. O’BRIEN, James A. Sistemas de Informação e as decisões gerenciais na era da Internet . São Paulo: Saraiva, 2010. OLIVEIRA, Djalma P. R. Sistemas de informações gerenciais: estratégias, táticas, operacionais. São Paulo: Atlas, 2014. OLIVEIRA, Édipo; FELIPE, Marcos. Inovação Organizacional: Softcom Tecnologias. Disponível em: <https://pt.slideshare.net/killerlsk8l/data-warehousing-30588159>. Acesso em: 11 jan. 2018. PAULA, Gilles B. Gestão do Desempenho Empresarial: saiba o que é CPM, BPM ou EPM e como o Corporate Perfomance Management pode ser útil em sua empresa. 2014. Disponível em: <https://www. treasy.com.br/blog/gestao-do-desempenho-empresarial-o-que-e-cpm-bpm-ou-epm>. Acesso em: 25 abr. 2017. PROFFITT, Cas. Top 10 Big Data Companies to Watch in 2017. 2017. Disponível em: <https://disruptordaily. com/top-10-big-data-companies-to-watch-in-2017/>. Acesso em: 22 mai. 2017. Pág. 83 de 83 ROUSE, Margaret. Text mining (text analytics) . 2017. Disponível em: <http://searchbusinessanalytics. techtarget.com/definition/text-mining>. Acesso em: 25 mai. 2017. RUGGIERO, Mario. Corporate Performance Management Software. 2016. Disponível em: <https://www. linkedin.com/pulse/corporate-performance-management-software-mario-ruggiero>. Acesso em: 25 abr. 2017. SANTOS, Luizianno. Business Intelligence 2 .0: Conceitos, Componentes e Arquitetura. 2017. Disponível em: <http://www.devmedia.com.br/business-intelligence-2-0-conceitos-componentes-e-arquitetura/28899>. Acesso em: 26 abr. 2017. SAS. O que é Big Data e por que é importante? 2017. Disponível em: https://www.sas.com/pt_br/insights/ big-data/what-is-big-data.html>. Acesso em: 22 mai. 2017. SILBERSCHATZ, Abraham et al. Sistemas de Banco de Dados . Rio de janeiro: Elsevier, 2012. SOWEK, Carlos Alberto. Data warehouse - banco de dados. 2009. Disponível em: <http://www.batebyte. pr.gov.br/modules/conteudo/conteudo.php?conteudo=497>. Acesso em: 26 abr. 2017. TERRIBILI FILHO, Armando. O Business Intelligence pode ir além da área de negócios . . . 13 jul. 2009. Disponível em: <https://www.baguete.com.br/artigos/137/armando-terribili-filho/13/07/2009/o-business- intelligence-pode-ir-alem-da-area-de-negoc>. Acesso em: 24 jan. 2018. TURBAN, Efraim, et al. Business Intelligence: um enfoque gerencial para a inteligência do negócio. Porto Alegre: Bookman, 2009. UNIVERSIDADE ESTADUAL DE MARINGÁ (UEM). Departamento de Informática (DIN). Grupo de Sistemas Inteligentes (GSI). Processos em data warehousing. 1º fev . 2011 . Disponível em: <http:// www.din.uem.br/ia/mineracao/tecnologia/warehouse.html>. Acesso em: 24 jan. 2018. VERAS, Manoel. Gerenciamento de Projetos: Project Model Canvas. Rio de Janeiro: Brasport, 2014. WEILL, Peter; ROSS, Jeanne W. Governança de TI - Tecnologia da Informação. São Paulo: Makron Books, 2005.