Baixe o app para aproveitar ainda mais
Prévia do material em texto
INTELIGÊNCIA EMPRESARIAL Aula 1 Tomada de decisão Questões para tomada de decisão impõem novos requisitos aos SGBDs. Os dados usados para suporte à decisão são conceitualmente diferentes dos dados usados nos BDs para processamento de informações. Portanto, os BDs que conseguem armazenar tais dados r arquiteturas computacionais que podem processar esses dados também são diferentes, assim como também são diferentes as características dos sistemas que permitem a consulta a estas bases de tomada de decisão. *O que é tomada de decisão? É um processo de escolha entre diferentes cursos de ação com o propósito de alcançar um ou mais objetivos e frequentemente considerada o mesmo que resolver problemas. Processo de tomada de decisão O modelo mental de cada pessoal interfere na codificação e decodificação dos dados, informações e conhecimentos, acarretando muitas vezes distorções individuais que poderão ocasionar problemas no processo de comunicação, influenciando na capacidade de se chegar à resposta para situações que demandem algum tipo de tomada de decisão. O decisor deve ter consciência de que o maior desafio não é o de obter dados, informações e conhecimentos, mas sim a aceitação de que, no processo de codificação/decodificação, as distorções ocorrem e existem formas para amenizá-las. O processo de tomada de decisão exige que o decisor tenha conhecimento em relação ao assunto a ser decidido. Então, a transformação dos dados em conhecimento é fundamental para que o decisor possa atingir seu objetivo. Usando a tecnologia como suporte Nos dias atuais, o mercado empresarial está em constante mudança e, para se manterem competitivas, as empresas necessitam estar atentas a estas mudanças e desenvolverem cada vez mais sua capacidade de prever as novas tendências do mercado onde atuam. Neste cenário, algumas tendências podem ser destacadas, como por exemplo o estudo da concorrência, o compartilhamento do conhecimento e a busca de novas tecnologias que flexibilizem o acesso e a compreensão de informações estratégicas, facilitando a tomada de decisão empresarial. Tecnologia no ambiente empresarial No ambiente empresarial atual, a tecnologia é essencial tanto para a comunicação e armazenamento de dados, das informações e dos conhecimentos quanto para a integração destes conhecimentos voltados para os tomadores de decisão. Isto significa que, quanto maior a capacidade das TIC, maior a capacidade de inter-relacionamentos e maior a capacidade de aprender e lucrar com o compartilhamento da informação e do conhecimento. *O executivo do início do século tomava decisões baseado na escassez de informações. Atualmente os executivos se deparam com uma quantidade cada vez maior de informações disponíveis fazendo com que desenvolvam habilidades e competências para buscar as informações que realmente são relevantes, uma vez que, para a informação e o conhecimento serem considerados úteis, devem ser compreendidos e de fácil uso pelo tomador de decisão. A TI é um recurso que, estando em sintonia com as necessidades e objetivos dos usuários, possibilita maior eficiência e eficácia no relacionamento interno e externo das organizações, evidenciado assim, agilidade e qualidade no processo de tomada de decisão. Podemos considerar a TI como um dinamizador das mudanças que ocorrem nas organizações e da maneira como estas organizações se posicionam para fazer frente a concorrência, desempenhando um papel fundamental para torná-las mais aptas a responder às mudanças que ocorrem no mercado e para buscar novos parâmetros de aprendizado, especialmente no que diz respeito à globalização de mercados. Atualmente sabe-se que um dos principais papéis da TI é o de fornecer meios para que a organização encontre novas oportunidades de negócio, além do tradicional papel de oferecer meios para melhoria da eficiência das operações, através dos Sistemas de Informação baseados em computador. O uso da tecnologia envolve a necessidade de visão e perspectiva, observando-se para onde a empresa está caminhando e como suportar a dinâmica das mudanças, superando restrições e criando oportunidades. O uso estratégico da TI, pode, sem dúvidas, ser um facilitador para o alcance de objetivos globais de negócios, ajudando a administrar fluxos essenciais de modo integrado, compartilhar conhecimento e transferir habilidades e, ainda reduzir os impactos de tempo e distância. Aula 2 Motivação para Inteligência empresarial Uma das principais características da sociedade moderna é a dinâmica das transformações e a globalização dos mercados. A globalização tem forçado as organizações a se preocuparem com a competitividade e com a colocação no mercado de produtos com uma melhor qualidade a preços menores. Nos dias atuais, como consequência do avanço da tecnologia e da economia globalizada, as empresas tem seus custos, margens e preços afetados diretamente pelo aumento da competitividade. Para sobreviver diante das adversidades, é preciso que a empresa conheça seu ambiente e atua com eficácia diante da concorrência. Os tempos atuais demandam novas teorias, novas capacidades de pensamento, novas capacidades para transformar dados em informação útil e novos níveis de inovação capazes de desenvolver aplicações práticas para estas informações. A capacidade de identificar e utilizar os conhecimentos que são estratégicos para a gestão do negocio tornou-se fundamental para que a empresa identifique a necessidade de mudanças e atuam de modo positivo diante dessas mudanças, canalizando os recursos da organização para a produtividade e competitividade. Não podemos nos contentar em gerar apenas novos conhecimentos, em apenas fazer a pesquisa pela pesquisa ou simplesmente coletar informações e guardá-las. Sem capacidade para inovar (criar produtos/ serviços) ou criar novos mercados, exportar e empreender negócios, nenhuma empresa se tornara líder em seu setor ou mesmo conseguira sobreviver nessa economia globalizada. Inteligência empresarial = tripé: Conhecimento, inovação e empreendedorismo. Conhecimento, inovação e empreendedorismo foram assim, um tripé indissociável para o sucesso das organizações da nova economia. A esta sinergia entre os 3, damos o nome de Inteligência Empresarial. Informação e conhecimento estão presentes em todos os processos e atividades organizacionais, direta ou indiretamente. Ao utilizar da melhor forma possível esse recurso, as organizações tendem a obter um melhor desenvolvimento e competitividade frente ao mercado. A principal função da inteligencia empresarial é suprir as organizações com informações a fim de prepará-las para o acirramento da concorrência e da globalização dos mercados. A Inteligência Empresarial diz respeito à capacidade de uma organização em reunir informações do ambiente interno e do mercado, facilitar o uso dessas informações na criação de conhecimentos e atuar efetivamente com base nesses conhecimentos. Dizemos então que a inteligencia empresarial está relacionada aos diversos processos de coleta, organização, análise e utilização de dados e informações que permitem implementar novas ações de mercado e apoiar a tomada de decisão. Cabe então à inteligencia empresarial, desenvolver, de forma estruturada, sistemática e continua, as fases de coleta, análise e disseminação do conhecimento relevante para subsidiar o processo de tomada de decisão no que diz respeito aos movimentos da concorrência e dos mercados, além da busca de novas oportunidades de negócio. Objetivos da inteligência empresarial A inteligência empresarial é a capacidade de uma empresa para capturar, selecionar, analisar e gerenciar as informações relevantes para a gestãodo negócio com o objetivo de: Inovar e criar conhecimento Reduzir riscos na tomada de decisão e evitar surpresas Direcionar, assertivamente, os planos de negócios e a implementação de ações Criar oportunidades de negócios Gerar valor aos negócios Apoiar o desenvolvimento de produtos/serviços com uma base de informação confiável, eficiente e ágil Monitorar, analisar e prever, eficientemente as questões relacionadas ao core business. Inteligência competitiva É a utilização de métodos, meios e técnicas para se gerenciar estrategicamente as informações nas organizações. Este processo sistemático da busca, análise, estruturação e disseminação das informações oriundas das várias fontes existentes tanto na empresa quanto no ambiente externo é de vital importância na gestão e planejamento estratégico. O atual mercado competitivo fez com que a inteligência competitiva e a gestão dos SI se tornassem uma atividade fundamental para sobrevivência das organizações. A integração dessas atividades possibilitou a mudança de mentalidade nas organizações, que passaram a tratar conhecimento como um fator de vantagem competitiva. O uso da inteligência competitiva permite que a organização passe a atuar no sentido de identificar oportunidades e não se perder em ações de curto prazo, destacando-se assim, as empresas que trabalham com cenários de prospecção e analíticos que consigam colocar em prática o conhecimento adquirido. Através da inteligência competitiva são identificadas as oportunidades e/ou ameaças do ambiente externo, que contribuirão na busca das vantagens competitivas, facilitando à organização alcançar posição de destaque no cenário empresarial. O ciclo da inteligência competitiva É um clico contínuo e se compõe de 5 fases: 1) Planejar e identificar as necessidades de informação – junto aos tomadores de decisão são definidas as necessidades de inteligência. 2) Coletar e tratar a informação – de forma ética e legal, são identificadas as fontes e como as informações serão coletadas e armazenadas. 3) Analisar e validar a informação – especialistas analisam e validam as informações, fazem a sua interpretação e compilam recomendações. 4) Disseminar e utilizar a informação – os resultados da análise são apresentados aos tomadores de decisão. 5) Avaliar – a resposta dos tomadores de decisão e suas necessidades de inteligência são analisadas de modo contínuo. Inteligência Organizacional A organização que não conhece o seu ambiente e a sua real potencialidade neste cenário está sujeita ao insucesso por despender esforços redundantes e, muitas vezes de baixa eficácia em suas atividades rotineiras, não estando preparada para responder com agilidade aos eventuais imprevistos que possam surgir. A solução para adquirir o conhecimento de seu ambiente é a implementação de um sistema de inteligência organizacional que seja capaz de monitorar este ambiente. Esta solução está associada á capacidade da organização para reunir informações, inovar, criar conhecimento e atuar efetivamente com base no conhecimento gerado. Os SI desenvolvidos para este objetivo são sistemas complexos, que necessitam de interações entre os usuários finais e os responsáveis pela análise, desenvolvimento e manutenção, e não são programas que podem ser comprados, instalados e imediatamente utilizados. A partir de seu uso é possível encontrar novas formas de entender os dados disponíveis na organização, gerando informações e novos conhecimentos para o usuário final que, neste caso é o tomador de decisão. Aula 3 Tomada de decisão O conhecimento é fator diferencial na economia globalizada de hoje. Assim os principais ativos necessários à criação de riquezas não são mais bens físicos, mas sim ativos intangíveis originados pelo conhecimento. Estes ativos são potencializados pelas modernas ferramentas de TIC que viabilizam sistemas desenvolvidos para apoiar a atividade de tomada de decisão, permitindo a existência da inteligência empresarial na organização. A inteligência empresarial fornece subsídios para os executivos através da disponibilização de informações estratégicas e relevantes com o objetivo de minimizar as incertezas associadas ao processo de tomada de decisão estratégica. A inteligência empresarial pressupõe que os objetivos estratégicos são previamente definidos e conhecidos pelos tomadores de decisão, tornando efetiva a ação do processo decisório estratégico. Quanto mais estruturados os sistemas suportam o processo decisório na organização, mais facilmente as decisões podem ser disseminadas. De modo geral, podemos definir tomada de decisão como um processo de escolha entre diferentes cursos de ação, com o propósito de alcançar um ou mais objetivos. Frequentemente a toma de decisão é considerada o mesmo que resolver problemas. Podemos identificar 2 abordagens para buscarmos a solução de problemas: Reativas – O solucionador espera o aparecimento do problema. Pró-ativas – O solucionados monitora as atividades procurando e corrigindo problemas no início. Risco é a medida da probabilidade de que uma alternativa selecionada resulte em um produto não esperado ou não desejado. Tipos de riscos: À própria decisão (risco da decisão) Ao processo de estimativa (risco de estimativa) *Quanto mais fatos relevantes o tomador de decisão conseguir obter, menor o risco da estimativa e melhor a estimativa das probabilidades de resultado. O que é um problema? Situação quando o estado atual das coisas é diferente do estado desejado. Quais as situações de alerta devemos observar para identificar um problema? Desvio em relação a experiências passadas padrão anterior quebrado queda de vendas baixo desempenho aumento de turnover Problemas trazidos por outras pessoas clientes insatisfeitos conflitos pessoais no setor/ departamento demissão de funcionários no setor/ departamento Desvio em relação ao plano traçado projeções e expectativas não alcançados estouro de orçamento atraso em projeto Atuação e desempenho de competidores concorrentes com novos e melhores processos/ novos lançamentos/ melhor atendimento/ desempenho Níveis de tomada de decisão de uma organização Administração operacional – Desenvolvem planos de curto prazo como os programas de produção semanal. Dirigem o uso de recursos e desempenho das tarefas de acordo com procedimentos e dentro dos orçamentos e programações definidos. As decisões operacionais estão associadas à operação diária da organização como, por exemplo, a definição de um cronograma para manutenção de equipamentos e a quantidade mínima de matéria-prima em estoque. Administração tática – Desenvolve planos de curto a médio prazo, programações e orçamentos e especificam políticas, procedimentos e objetivos do negócio para as subunidades, como também distribui recursos e monitora o desempenho. As decisões táticas são mais específicas que as decisões estratégicas, são normalmente relacionadas com as operações de controle administrativo e utilizadas para gerar novas regras de decisão que irão ser aplicadas por parte do pessoal de operação. Administração estratégica – Normalmente um conselho de diretores e um comitê exclusivo do presidente e principais executivos que desenvolvem metais globais, estratégicas, políticas e objetivos da organização como parte do processo de planejamento estratégico. As decisões estratégicas determinam os objetivos da organização como um todo, suas metas, diretrizes, políticas e critérios gerais para a organização. Tipos de decisões Decisões estruturadas – Envolvem situações em que os procedimentos a serem seguidos podem ser especificados previamente. Operações ou transações cujos processos se recuperaçãoe controle de dados são repetitivos Facilmente automatizados Todos os dados relevantes estão disponíveis Necessitam de pouco julgamento ou avaliação humana Decisor necessita de procedimentos operacionais escritos tendo em vista suas características: Repetitivas Rotineiras Padrões pré-existentes Decisão não estruturada – Envolvem situações nas quais não é possível especificar de antemão a maioria dos procedimentos a serem seguidos. Nesse tipo de decisão, o tomador de decisão necessita de algum julgamento, avaliação ou percepção na definição do problema. Situações específicas, frequentemente únicas (ambientes complexos e dinâmicos) Dificilmente automatizados Necessitam de muito julgamento humano São originais, não rotineiras e importantes Decisor necessita de competências pessoais específicas: Capacidade de julgamento Senso crítico Capacidade de reflexão Intuição Criatividade Decisão semi-estruturada – Sugere que alguns procedimentos podem ser especificados, mas não o suficiente para levar a uma decisão definida recomendada. Nesse tipo de decisão somente parte do problema possui resposta clara e fornecida por um procedimento já aceito. Condições de decisões e tipos de problemas Uma decisão pode ser tomada nas seguintes condições: Decisão em condições de certeza – ocorre quando a decisão é feita com pleno conhecimento de todos os estados da natureza do processo decisório. Existe a certeza do que irá ocorrer durante o período em que a decisão é tomada. É possível atribuir probabilidade de 100% a um estado especifico da natureza. Decisão em condição de risco – ocorre quando são conhecidas as probabilidades associadas a cada um dos estados da natureza ou mesmo a parcela dos estados conhecidos. Decisão em condições de incerteza ou decisão em condições de ignorância – ocorre quando não se obteve o total estado da natureza ou mesmo a parcela dos estados conhecidos da natureza possui dados obtidos com probabilidade incerta, ou é desconhecida a probabilidade associada aos eventos. Decisão em condições de competição ou decisão em condições de conflitos – ocorre quando estratégias e estados da natureza dão determinados pela ação de competidores. Existem obrigatoriamente 2 ou mais decisores envolvidos, o resultado depende da escolha de cada um dos decisores. Processo de tomada de decisões – etapas Aula 4 Técnicas da tomada de decisão A teoria da decisão não é uma teoria descritiva ou explicativa, já que não faz parte de seus objetivos descrever ou explicar como e/ou por que as pessoas (ou instituições) agem de determinada forma ou tomam certas decisões. A teoria da decisão é um conjunto de procedimentos e métodos de análise que procuram assegurar a coerência, eficácia e eficiência das decisões tomadas em função das informações disponíveis, antevendo cenários possíveis. Para exercer este papel, essa teoria pode usar ferramentas matemáticas ou não. A teoria da decisão é uma teoria de escolhas entre alternativas. Existem várias técnicas que os analistas e decisores utilizam para viabilizar o estudo e estruturação dos problemas que demandam alguma ação decisória. Exemplos: Brainstorm ou brainstorming – técnica usada para auxiliar um grupo a imaginar/criar tantas idéias quanto possível em torno de um assunto ou problema. Deve ser usada quando for necessário conhecer melhor o universo de uma situação, colher informações, opiniões e sugestões dos participantes, identificando problemas existentes e encontrando soluções criativas para o problema identificado. O número total de participantes é no mínimo 5 e no máximo 15. Normalmente as reuniões tem duração de 45 a 150 minutos, onde se reserva 30 minutos para a geração de idéias. Vantagens: 1) Praticamente todos os problemas podem ter seu estudo inicial conduzido com uso dessa técnica. 2) Não pressupõe a necessidade de especialistas. Desvantagens: Se não houver estímulos à participação, poderá ocorrer a inibição de alguns participantes do grupo. Matriz de prioridade – técnica que prioriza alternativas com base em determinados critérios e deve ser usada quando queremos estabelecer uma entre diversas alternativas por meio de análise mais criteriosa. Também chamada de matriz de impacto. O grupo participante é formado por 10 a 15 componentes. Vantagens: 1) Permite a priorização das alternativas à media que estabelece uma função objetivo que quantifica em termos numéricos o valor (por vezes subjetivo) agregado a cada alternativa. 2) A posterior análise destas alternativas, dispondo do valor agregado delas, permite ao decisor examinar de forma mais clara e estabelecer quais serão as alternativas a serem implantadas. 3) Permite a exploração dos efeitos colaterais das alternativas passíveis de serem implementadas. Desvantagens: 1) A comparação paritária dos critérios de priorização das alternativas e a posterior comparação das alternativas sob influência desses mesmos critérios podem acarretar a perda da visão geral do contexto. 2) Dificuldade de trabalhar com impactos múltiplos em que vários eventos influenciam simultaneamente uns sobre os outros. Diagrama de peixe – É uma técnica que permite visualizar melhor o universo em que o problema está inserido. Isto é feito através da construção de um diagrama no qual as causas vão sendo cada vez mais discriminadas até chegar a sua origem. Deve ser aplicada a um problema que apresenta causas decorrentes de causas anteriores ou quando queremos esmiuçar as causas de um problema ou visualizá-las mais claramente e agrupadas por fatores-chave. Os participantes podem variar de 5 a 15 pessoas. Essa técnica também é chamada de diagrama de Ishikawa, diagrama de influência, diagrama de 4P ou diagrama de causa e efeito. Vantagens: Permite a visualização das causas de um problema de forma mais clara e agrupadas por fatores-chaves. Desvantagens: Para o correto uso dessa técnica, é necessária a presença de pelo menos um especialista no problema e um especialista na utilização da técnica. Árvores de decisão ou diagrama da árvore – Técnica que permite indicar, de forma gráfica e cronológica, um caminho a ser seguido em um processo de decisão, explicitando etapas a serem cumpridas para alcançar o objetivo pretendido. Representa um processo de decisão em que os nós são os momentos no tempo em que o decisor deve efetuar uma decisão. O grupo participante ideal deve ter entre 5 e 8 pessoas. Vantagens: 1) Permite a subdivisão do objetivo em metas e submetas, indicando o caminho para alcançá-las. 2) Orienta o decisor à medida que responde à pergunta: “O que é necessário para fazer alavancar a meta pretendida?” 3) Permite o exame, pelo decisor, de todas as possibilidades. 4) Permite a criação de algoritmos facilmente implementados em computadores. Desvantagens: 1) O resultado é extremamente dependente dos conhecimentos técnicos dos participantes. 2) Esse método não deve ser utilizado por pessoas leigas no problema em estudo. Mapas cognitivos – Técnica que permite retratar idéias, sentimentos, valores e atitudes e seus inter- relacionamentos de forma que torne possível um estudo e uma análise posterior, utilizando para tal uma representação gráfica. Quando da resolução de um problema complexo é muito importante que antes ele esteja bem estruturado. Essa estruturação é necessária para que se parta dos fatores realmente mais importantes relacionados ao problema. A construção destes mapas originou-se na Psicologia. Segundo Cossete e Audet, o mapa cognitivo é “uma representação gráfica de uma representação mental que o pesquisador (facilitador) faz aparecer de uma representação discursiva formulada pelo sujeito (decisor) sobre um objeto (problema) e obtido de sua reserva de representação mental.” Formalmente, os mapas cognitivossão definidos como grafos, onde cada conceito é considerado um nó e uma relação de influência é uma ligação entre os nós. Possui estrutura hierárquica na forma de meios/fins que pode, por vezes, ser quebrada devido a laços fechados formados entre os nós. Vantagens: 1) Em tomadas de decisão em grupo, o processo de construção dos mapas cognitivos provoca uma geração de conhecimentos, cria uma linguagem comum para a comunicação e inibe rivalidades pessoais, uma vez que os conceitos apresentados no mapa são anônimos e, ao mesmo tempo, pertencem a todos. 2) Todos os mapas individuais são agrupados em um único, que pertence ao grupo e não mais a uma pessoa, Essas características vão possibilitar maior discussão sobre o assunto, melhorando assim a qualidade da decisão tomada. 3) Possui característica reflexiva: permite aos atores da decisão aprender sobre o problema, ao mesmo tempo em que “negociam” sua interpretação e percepção. Desvantagens: Para o correto uso da técnica é necessária a presença de especialistas no problema que esta sendo discutido, e de especialistas no uso da técnica. Análise por Multicritério - Técnica de previsão qualitativa na qual um grupo de especialistas avalia diversas alternativas atribuindo valores numéricos a critérios escolhidos pelo consenso. A abordagem de análise multicritério se constitui em formas de modelar os processos de decisão, onde entram em jogo: Estes modelos refletem, de maneira suficientemente estável, o juízo de valores dos decisores. Dessa forma, as abordagens multicritérios funcionam como uma base para discussão, principalmente nos casos onde há conflitos entre os decisores, ou ainda, quando a percepção do problema pelos vários atores envolvidos ainda não está totalmente consolidada. Estas abordagens foram desenvolvidas para problemas que incluem aspectos qualitativos e/ou quantitativos, tendo como base o princípio de que a experiência e o conhecimento das pessoas é pelo menos tão valioso quanto os dados utilizados para a tomada de decisão. Vantagens – 1) Apoiada em um consenso geral: com o uso da análise multicritérios, não é necessário que todos concordem com a importância relativa dos critérios ou o ranking das alternativas. 2) Estabelecer e evidenciar a responsabilidade do decisor, melhorando a transparência no processo de decisão. Desvantagens - Para viabilizar o uso da técnica, são geradas matrizes com diferentes objetivos, metas e pesos, evidenciando as diferentes perspectivas dos especialistas envolvidos no processo, o que requer um número expressivo de informações dificultando a análise e o estabelecimento de metas. Tecnologia da Informação e a Tomada de Decisão A informação ocupa lugar importante na formulação dos objetivos estratégicos das empresas e no acompanhamento dos processos que ela desempenha. Aliada às diversas tecnologias se tornou o maior ativo da empresa, sendo sua utilização de vital importância para sobrevivência e manutenção na realidade de toda e qualquer empresa no mercado competitivo atual. O processo de tomada de decisões tem como sua referencia e consulta as informações sobre o mercado, economia, comportamento, entre outros fatores determinantes para mudança e adaptação do produto ou serviço no mercado organizacional. A necessidade da utilização dos sistemas de informação surge devido ao grande número de informações que circulam dentro e fora da organização e também por viabilizar o uso de técnicas complexas que facilitam a análise e estudos dos problemas. O Planejamento Estratégico e as metas globais da empresa estabelecem o estágio para a adoção dos processos de valor adicionado e da tomada de decisão requeridos para fazê-los funcionar. De uma forma geral, os Sistemas de Informação dão o suporte ao planejamento estratégico e à solução de problemas. Com um sistema de informação bem estruturado a empresa consegue ter um valioso instrumento de apoio as sua decisões, garantindo vantagem competitiva com relação aos concorrentes, pois os gestores podem tomar decisões rápidas e seguras. * Quanto mais fatos relevantes o tomador de decisão conseguir obter, menor o risco da estimativa e melhor a estimativa das probabilidades de resultado. - Um sistema de informação (SI) lida com sistemas de decisão que envolvem riscos, mas não pode eliminá-los completamente. - Os SI podem e devem ajudar a identificar erros em potencial e fornecer uma estrutura de informação que torne mais difícil uma pessoa cometer um erro. Podemos associar a cada uma das fases do Processo Decisório de Simon, aplicativos e ferramentas de TI que as auxiliam: Aula 5 Introdução aos sistemas de apoio à decisão Para alcançar seus objetivos e metas, a organização depende de uma tomada de decisão efetiva. Na maioria dos casos, o planejamento estratégico e as metas gerais da organização determinam o âmbito dos processos que agregam valor e a tomada de decisão necessária para fazê-los funcionar. Neste cenário, a estratégia empresarial tem importante papel no processo de tomada de decisão, pois é através desta estratégia que o ambiente de negócio é analisado, objetivos são estabelecidos e os planos para alcance destes objetivos são desenvolvidos. De forma geral, os processos gerenciais são suportados por sistemas ligados aos indicadores destes processos empresariais. Estes sistemas devem conter informações precisas no tempo hábil para tomar ações corretivas e suportar o planejamento estratégico. Entretanto, estas mesmas empresas não são bem sucedidas em ligar informação à ação e ao seu correspondente valor aos negócios. * Não adianta construirmos um SAD (Sistema de apoio à decisão) se não o integrarmos aos demais componentes da empresa. Visão Geral do SAD – Sistema de Apoio à Decisão SAD é uma classe de sistemas utilizada para apoiar o processo decisório e a atividade gerencial. É um sistema construído para capturar, tratar e disponibilizar informações estruturadas e consolidadas, com o propósito de auxiliar as empresas no processo decisório e na análise da informação. Tem como objetivo principal auxiliar na solução de problemas mais complexos – semi-estruturados ou desestruturados. A ênfase de um SAD recai sobre os estilos e as técnicas individuais da tomada de decisão, ou seja, quem toma a decisão a pessoa ainda toma a decisão, não a máquina. O SAD deve ser projetado, desenvolvido e utilizado para auxiliar a organização a atingir suas metas e objetivos. Frequentemente está associado à tomada de decisão relativa a processos que agregam valor ao negócio. Exemplo: estimar o impacto de um aumento no preço do papel nos lucros de um jornal. - um SAD pode estimular o aumento do espaço destinado à publicidade em vez de elevar o preço do jornal Embora destinado aos níveis mais elevados, são utilizados em todos os níveis, pois cada vez mais gerentes de diferentes níveis hierárquicos enfrentam problemas não-rotineiros. - A quantidade e a importância das decisões aumentam conforme o gerente ascende profissionalmente. Níveis Hierárquicos e as Informações Gerenciais O SAD é um sistema analítico, e não um sistema transacional. Um sistema de previsão de estoque é um sistema analítico. Um sistema de controle de lançamentos de estoque é transacional. Um sistema analítico é desenhado para atender demandas gerenciais e apoiar o processo decisório. Um sistema transacional é desenhado para atender as demandas operacionais e apoiar a execução de tarefas operacionais. Características de um SAD: Abordagens de otimização, satisfação e heurística Modelo de Otimização - busca a melhor solução para um problema, geralmente a que mais ajudará a realização das metas empresariais. São utilizados para problemas que podem sermodelados matematicamente com um baixo grau de risco de avaliação. Modelo de Satisfação - encontrará uma boa solução, não necessariamente a melhor. Este modelo leva em consideração dentre as soluções possíveis aquelas com a maior probabilidade de dar bons resultados. Heurística - considerada um método empírico, baseado na experiência através de procedimentos ou diretrizes comumente aceitos e que levam a uma boa solução. Problemas Típicos que indicam a necessidade de uso de um SAD em uma organização: Dificuldade em consolidar informações para tomar decisões; Muitos sistemas de informação dispersos na empresa; Diferenças e erros nos conceitos de dados; Conceitos de dados variando conforme o intérprete; Incapacidade de decidir com base em informações confiáveis; Dificuldade em compartilhar informações entre as várias áreas da empresa; Problemas de qualidade dos dados; Dados chegam atrasados para a tomada de decisão. O ambiente de negócio onde está inserido o SAD A figura a seguir representa o ambiente de negócio onde está inserido o SAD. Nas próximas aulas veremos o conceito de Data Warehouse, que aparece na figura. Classificação do SAD SAD é um tipo de sistema que possui diversas espécies. Engloba o conjunto de potenciais sistemas de suporte à decisão. Principais espécies: - Sistemas de Suporte à Decisão (DSS); - Sistemas de Suporte à Decisão em Grupo (GDSS) - Sistemas de Informação Executiva (EIS) - Sistemas Especialistas (Expert Systems) - Sistemas Artificiais / Redes Neurais Então ...... em relação ao SAD podemos dizer que: - São instrumentos que facilitam a tarefa de tomada de decisão e que tentam otimizar os resultados obtidos melhorando assim a qualidade das decisões - Utilizados tanto pelo nível tático quanto pelo nível estratégico da organização Tarefas: - Produção de informação - Difusão da informação Saídas: - Fornecem relatórios e sumários para a tomada de decisão - O usuário controla os inputs e outputs (não são pré-definidos) Ambiente: analítico O SAD é uma classe de sistema pertencente ao chamado ambiente analítico (OLAP) da organização. Vejamos então o que é este ambiente, suas características e diferenças em relação ao ambiente transacional (OLTP) em uma organização. OLAP x OLTP: dois ambientes distintos OLAP – On-Line Analytical Processing Dão suporte às funções associadas à concepção do negócio da empresa Necessidade de ver o dado sob diferentes #perspectivas: as aplicações são dinâmicas Operações de agregação e cruzamentos Dados Históricos são relevantes Atualização quase inexistente, apenas novas inserções Consistência é fundamental OLTP – On-Line Transactional Processing Dão suporte às funções de sistemas administrativos - controle de estoque - sistemas associados à execução do negócio da empresa: - expedição, etc baseado em transações voltado para velocidade e automação de funções “repetitivas” mantém a situação corrente (atual) atualizações e consultas em grande número trabalha com alto nível de detalhamento Sistemas do Ambiente Sistemas do Ambiente Operacional - Tempo de Resposta - Segurança - Recuperação de Falhas - Muitos usuários concorrentes Sistemas do Ambiente Analítico ou “Informacionais” - Flexibilidade, facilidade de navegação - Consultas complexas, não antecipadas - Gerenciamento de enormes volumes de dados - Necessidade de examinar o dado em diferentes níveis de detalhe - Necessidade de acesso a dados de fontes de dados diversas INTELIGÊNCIA EMPRESARIAL Aula 6 Os sistemas de apoio à decisão Os sistemas de apoio à decisão são sistemas interativos cujo principal objetivo é auxiliar os tomadores de decisão na utilização de dados e modelos que permitam não apenas a identificação e solução de problemas, mas também a tomada de decisões. Para cumprir este papel, o SAD é constituído por um conjunto de subsistemas, que têm como finalidade garantir a sua aplicabilidade, desenvolvimento e funcionalidade. A figura a seguir ilustra estes componentes: Subsistema de Gerenciamento de Dados (ou Subsistema de Gestão de Dados) A função do subsistema de gerenciamento de dados é receber, organizar e armazenar uma série de informações numa base de dados bem estruturada e de fácil captura para utilização por parte dos usuários. Esta base de dados fornece informações em resposta às consultas dos usuários, dados para o processamento de modelos assim como armazena os resultados intermediários e finais das análises efetuadas, quando necessário. A principal diferença entre esta base de dados e a dos sistemas transacionais está na acessibilidade de seu conteúdo. As bases construídas para apoiar os sistemas que auxiliam a tomada de decisão devem apresentar muitas facilidades que possibilitem ao usuário utilizar dados de diversas fontes com a certeza de que estes dados estão com sua integridade e coerência asseguradas. Este componente proporciona uma fácil captura dos dados, bem como a sua atualização, manutenção e segurança. O Subsistema de gerenciamento de dados é composto de: Módulo Gerenciador de Banco de Dados (SGBD = DBMS) Módulo Extrator (Data Extraction) Módulo Facilitador de Consultas (Query Facility) Banco de dados do SAD (DSS Database) Diretório de Dados (Data Directory) Um dos principais componentes deste subsistema é o banco de dados, que armazena os dados relevantes para os processos de decisão que serão suportados pelo sistema. Geralmente este banco de dados é projetado de acordo com o tipo de problema específico para o qual o sistema é projetado. O subsistema de gestão de dados é constituído ainda pelo sistema de gestão, diretório de dados (definição e significado dos dados armazenados na base de dados) e pelo módulo de facilidade de consultas. Subsistema de Gerenciamento de Modelos As funções deste subsistema são: manipular modelos para testes; armazenar e catalogar os modelos existentes; registrar a utilização destes modelos; relacionar os modelos com os dados necessários; manter a base de modelos (armazenar, atualizar e registrar). A base de modelos contém uma série modelos rotineiros e especiais como, por exemplo, estatísticos, financeiros, de previsão, etc., que dão ao SAD capacidades analíticas. Estes modelos podem ser divididos por categorias, a saber: 1) Modelos estratégicos - Apoiam gestores de alto escalão na elaboração de planos estratégicos, estudos de impacto ambiental, etc. Estes modelos tendem a ter uma ampla faixa de limites e variáveis agregadas 2) Modelos táticos - Apoiam gestores de nível médio no processo de distribuição e controle dos recursos da organização. Por exemplo, contém modelos como planos de promoções, planos orçamentais, etc. Estes modelos recorrem apenas a dados internos e fazem previsões num horizonte temporal que não ultrapassa os 2 anos. 3) Modelos operacionais - Apoiam as atividades operacionais do dia a dia da empresa. Por exemplo: empréstimos pessoais solicitados a instituições financeiras, programação da produção, controle de estoque. Fazem previsões em um período provisional de dias, no máximo, meses. 4) Modelos analíticos - São usados para fazer análises sobre os dados contidos na base de dados da SAD. São compostos por modelos estatísticos, modelos de gestão científica, algoritmos de mineração de dados e modelos financeiros. Podem estar associados a outros modelos que fazem parte dos modelos estratégicos. Um subsistema de gerenciamento de modelos é constituído pela base de modelos, sistema de gestão, diretório de modelos e pelo módulo processador de comandos. Os modelos existentes na base de modelos dependerão essencialmente, à semelhança do que acontecia com os dados, da sua adequação ao tipo de problemaem análise e avaliação. Estes modelos fornecem os recursos para análise do SAD. Utilizam representação matemática do problema e empregam processos algorítmicos para a geração de informações que servem de apoio às decisões. * Cabe aqui uma diferenciar os modelos que podem ser utilizados interativamente e os modelos que podem ser executados “off-line” e os resultados trazidos através da interface com o usuário para interpretação posterior. No primeiro caso os modelos precisam produzir resultados em tempo de decisão, isto é, um intervalo suficientemente pequeno, de forma a não impedir a tomada de decisão. No segundo caso, os arquivos de saída serão armazenados na base para serem interpretados posteriormente. Vantagens do banco de modelos: Modelos podem ser construídos à baixo custo para se determinar o impacto de diversas decisões. Modelagem costuma ser mais rápida que a experimentação com sistemas reais. Apresenta menos riscos e mostra como a decisão pode impactar todo o sistema. Excelente experiência de aprendizagem, à medida que, ao realizar experiências com modelos, podemos conhecer os efeitos de imediato. Previsão de consequências futuras. Desvantagens do banco de modelos: Por definição um modelo requer a simplificação de algumas suposições. Se as hipótese se desviam muito da realidade, os resultados podem ser bastante suspeitos. Com a diversidade de modelos disponíveis, os tomadores de decisão podem gastar muito tempo para decidir qual modelo usar. Modelos não preveem sistemas reais com exatidão. Alguns modelos exigem alto grau de sofisticação matemática tornando-os extremamente complexos de se construir e os resultados muito difíceis de se interpretar. Subsistema de Gerenciamento do Conhecimento O subsistema de gerenciamento do conhecimento fornece informações a respeito do problema que se está tratando e, por meio do subsistema de interface com o usuário, permite ao tomador de decisão comandar o sistema de apoio à decisão e adquirir novos conhecimentos, melhorando sua capacidade para a tomada de decisão. Importante ressaltar que o usuário é considerado parte do sistema. Outra característica deste componente é que pode ser utilizado de forma isolada, sem estar associado a um sistema específico. * Embora o usuário não faça parte da arquitetura de um SAD, é ele quem irá lidar com o sistema em questão e deverá optar entre as diversas questões existentes nesses programas, tornando-se assim uma parte importante no conjunto como um todo. Cada usuário possui um estilo cognitivo, que o diferencia dos outros decisores no que diz respeito à sua maneira de analisar os dados. Este estilo irá influenciar tanto o projeto da base de dados quanto da interface que será construída para acesso a esta base de dados. Subsistema de Interface com o Usuário Considerado por muitos autores como o componente mais importante do SAD, pois permite a comunicação entre os usuários e os demais subsistemas do SAD. Exige cuidados na apresentação e disposição dos dados, para permitir uma clara comunicação entre os subsistemas e o usuário. Assim deve-se utilizar uma linguagem simples, natural e de fácil interpretação. Da sua qualidade depende em grande parte uma melhor ou pior utilização do sistema. Se o decisor sentir dificuldade no uso da ferramenta pode simplesmente não utilizá-la, uma vez que o decisor não está interessado em conhecer com profundidade os softwares utilizados e os algoritmos empregados pelos modelos. O que importa para ele é saber como utilizar o sistema para realizar suas atividades. A figura ilustra os componentes deste subsistema: Algumas das funções e competências do subsistema de interface com o usuário são: interagir com diversos estilos de diálogo e de usuários; fornecer ambiente para vários dispositivos de entrada; apresentar dados em grande variedade de formatos e dispositivos; suportar comunicações entre usuários; disponibilizar gráficos e saídas concorrentes; disponibilizar apoio à utilização (help); permitir formatar saídas de dados; fornecer adaptabilidade a novas tecnologias. Aula 7 Data Warehouse Como vimos na nossa aula 1 as questões para tomada de decisão impõem novos requisitos aos SGBDs, uma vez que os dados utilizados para suporte à decisão são conceitualmente diferentes dos dados utilizados nos bancos de dados para processamento de transações. Diariamente nas organizações uma grande quantidade de dados sobre as diversas operações é gerada e armazenada. Os sistemas utilizados no dia-a-dia das empresas são projetados para permitir o funcionamento da organização e não são adequados para apoiar a análise destes dados por tomadores de decisão. Os tomadores de decisão necessitam de informações confiáveis sobre operações atuais, tendências e mudanças. Além disso, os dados necessários para a tomada de decisão estão espalhados em diversas áreas da empresa. Consequentemente, a integração e análise dos dados existentes nestes diferentes sistemas, é uma tarefa árdua que demanda tempo e recursos. Por este motivo, surge a necessidade de um ambiente voltado para os tomadores de decisão, que permita que estes analisem dados confiáveis de forma eficiente e flexível. Os bancos de dados que conseguem armazenar tais dados e arquiteturas computacionais que podem processar estes dados também são diferentes, assim como também são diferentes as características dos sistemas que permitem a consulta a estas bases de tomada de decisão. Para suprir as deficiências de inadequação do ambiente operacional para análise de informações pelos tomadores de decisão, surge o Data Warehouse, que integra e organiza os dados de modo consistente, confiável e disponível, sempre que necessário. * Segundo Turban et All, “Um data warehouse é um conjunto de dados produzido para oferecer suporte à tomada de decisões; é um repositório de dados atuais e históricos de possível interesse aos gerentes de toda a organização. Os dados normalmente são estruturados de modo a estarem disponíveis em um formato pronto para as atividades de processamento analítico. Portanto, um data warehouse é uma coleção de dados orientada por assunto, integrada, variável no tempo e não volátil, que proporciona suporte ao processo de tomada de decisão” O Data Warehouse é um banco de dados que armazena dados sobre as operações da empresa como, por exemplo, vendas e compras, extraídos de uma fonte única ou múltipla, oferecendo enfoque histórico, para permitir um suporte efetivo à tomada de decisão. Este banco de dados é construído utilizando-se processos de limpeza, transformação, integração e carga dos dados, e atualizado periodicamente. Características do Data Warehouse: Integração - Os dados necessários aos tomadores de decisão estão em diversas áreas da empresa. Geralmente esses dados não estão padronizados e é necessário integrar antes de serem carregados em um DW de forma que passem a ter um único significado. A maior parte do trabalho na construção de um DW está na análise dos sistemas em operação e dos dados que ele contém. Como não existem padrões de codificação, cada analista pode definir a mesma estrutura de dados de várias formas, fazendo com que dados que signifiquem a mesma informação sejam representados de diversas maneiras dentro dos sistemas utilizados pela empresa o longo dos anos. Exemplo: A representação do sexo de uma pessoa pode ter sido definida como um campo alfanumérico de uma posição: M ou F e em outro sistema a mesma informação pode ser representada por 1 e 0 ou H e M, e assim por diante. Volatilidade - Os dados não sofrem atualizações. Eles são carregados uma única vez e, a partir desse momento, só podem ser consultados, pois representam as informaçõesem um determinado instante de tempo. Os dados passam por filtros antes de entrarem no DW; com isso, muitos dados nunca saem do ambiente transacional e outros são resumidos de tal forma que não são encontrados fora do DW. Variante no tempo - Os dados são armazenados para fornecer informações de uma perspectiva histórica. A cada mudança ocorrida num dado, uma nova entrada é criada e não atualizada, como acontece nos sistemas tradicionais. Localização - Os dados podem estar fisicamente armazenados de três formas: centralizados, distribuídos e por níveis de detalhes. Centralizados: solução muito utilizada, mas com o inconveniente de requerer investimento em um servidor com alta capacidade de processamento e armazenamento. Distribuídos: dados armazenados em diferentes locais, chamados DataMarts, de acordo com áreas de interesse (Exemplo: financeiro, marketing). Níveis de Detalhes: dados altamente consolidados/resumidos em um servidor e dados detalhados em outro. Credibilidade de dados - Para o sucesso de qualquer Data Warehouse é determinante a credibilidade dos dados. Simples distorções podem causar sérios problemas quando se quer extrair dados para suportar decisões estratégicas para o negócio das empresas. Dados não confiáveis podem resultar em relatórios inúteis, sem importância. Por exemplo, um simples CEP errado não afetará uma simples transação de compra e venda, mas poderá influenciar informações referentes a uma cobertura geográfica ou uma expansão de rede de filiais. Orientado ao assunto - Um DW sempre armazena dados importantes sobre temas específicos da empresa de acordo com o interesse das pessoas que irão utilizá-los. Exemplo: Assunto clientes e faturamento para os setores de marketing e finanças. Data Warehouse: forma de funcionamento A partir do Data Warehouse é possível a obtenção de modo imediato de respostas para perguntas que normalmente não possuem respostas em seus sistemas operacionais, permitindo a tomada de decisão com base em fatos, não em intuições ou especulações. Importante ressaltar que o Data Warehouse não é um software que pode ser comprado e instalado em todos os computadores da empresa em algumas horas, sua implantação exige a integração de vários produtos e processos. Além disto, o Data Warehouse não é um fim, mas sim uma facilidade que permite às empresas analisar informações históricas, podendo utilizá-las para a melhoria dos processos atuais e futuros. * A confiabilidade do Data Warehouse é imprescindível, e a resposta a uma pergunta como “ Qual foi o total de vendas do produto X na região Y no ano de 2001? “ deve ser a mesma, seja qual for a ocasião em que se faça tal pergunta, ou quem faça. Os dados históricos não mudam. Principal desafio na construção de data warehouse Integração de dados, eliminando as redundâncias e identificando informações iguais que possam estar representadas sob formatos diferentes em sistemas distintos, uma vez que os dados de origem estão espalhados em diversos locais, gerados por sistemas diferentes, desenvolvidos em diferentes ambientes e linguagens. A figura a seguir ilustra o ambiente do Data Warehouse: Principais tarefas efetuadas pelo DW: - Obter dados dos BDs operacionais e externos - Armazenar os dados - Fornecer informações para tomada de decisão - Administrar o sistema e os dados Principais componentes do DW: - Mecanismos para acessar e transformar dados - Mecanismo para armazenamento de dados - Ferramentas para análise de dados - Ferramentas de gerência Modelo de Camadas Podemos entender melhor o funcionamento do Data Warehouse, através do Modelo de Camadas, ilustrado na figura a seguir: Dados Operacionais – Fontes de dados de origem do Data Warehouse. Dados Externos – Fontes de dados de origem do Data Warehouse. Acesso aos Dados – Permite a extração dos dados dos Bds. Data Staging – Auxilia no processo de transformação e carga dos dados. Data Warehouse Físico – Armazena os dados prontos para apoiar a tomada de decisão. Acesso aos Dados – Permite localizar dados para análise. Acesso à Informação – Permite a análise dos dados. Troca de mensagens – Transporta dados pelas camadas. Gerenciamento de processos – Controla as atividades. Granularidade Outro conceito muito importante quando falamos de Data Warehouse é o conceito de “granularidade”. A granularidade diz respeito ao nível de detalhe dos dados existentes no Data Warehouse. Quanto maior o nível de detalhe, menor o nível de granularidade. A granularidade afeta o volume de dados armazenados no Data Warehouse e o tipo de consulta que pode ser suportada por este Data Warehouse. Definir a granularidade adequada é vital para que o Data Warehouse atenda seus objetivos: - Mais detalhes - Mais dados - Análise mais longa - Informação mais detalhada. - Menos detalhes - Menos dados - Análise mais curta - Informação menos detalhada. Exemplo: Visualização da evolução de vendas, mensalmente, por vendedor: Data marts Muitas vezes, apesar do Data Warehouse possuir um grande volume de dados de toda a empresa, é necessário trabalhar apenas com uma parte desses dados, correspondente a um setor da empresa, ou fazer a implantação do Data Warehouse de forma fracionada até se formar o sistema corporativo. O Data Warehouse pode ser subdividido em mercados de dados [Data Marts] que guardam subconjuntos específicos de dados a partir do repositório original. * Um Data mart é um banco de dados de suporte à decisão construído para utilização por um departamento ou grupo específico de uma empresa. Pode ser considerado como um subconjunto de dados que possui regras de negócio e de cálculo específicas, sumarizados ou agregados de um database maior. Utilização de Data Mart: “Pequenos” bancos de dados departamentais orientados por assunto. Solução “Tática” (possuem implementação mais simples). Menor tempo de desenvolvimento. Atenção: a integração de Data Marts exige planejamento avançado. Aula 8 Metadados Metadados são normalmente definidos como “dados sobre os dados”. Os Metadados tem papel muito importante na administração de dados, mas quando falamos de Data Warehouse, são considerados fundamentais uma vez que é a partir deles que as informações serão processadas, atualizadas e consultadas. Nos Bancos de Dados Operacionais a estrutura e o significado dos dados estão embutidos nas aplicações, já no ambiente de Data Warehouse os usuários, através dos Metadados, podem conhecer a estrutura e o significado dos dados. Quando falamos de projeto de Data Warehouse, os Metadados devem gerar e gerenciar uma documentação sobre o levantamento de dados do banco de dados, dos relatórios a serem gerados, da origem dos dados que alimentam o Data Warehouse, dos processos de extração, do tratamento e rotinas de carga dos dados, as regras de negócio da empresa e todas as suas mudanças. São divididos em dois grupos: Metadados Técnicos Fornecem aos desenvolvedores e usuários técnicos a confiança de que os dados estão corretos e são críticos para a manutenção e o crescimento contínuo do Data Warehouse. Exemplos: - Tabelas com a estrutura do Data Warehouse; - Dependência dos programas; - Nomes das tabelas do Data Warehouse. Metadados de Negócio São o elo de ligação entre os usuários de negócios e o Data Warehouse. Mostram que relatórios, consultas e dados estão no Data Warehouse, a localização dos dados, contexto dos dados, regras de transformação que foram aplicados e as origens desses dados. Exemplos: Mapeamento dos campos das tabelas físicas do Data Warehouse; Regras para drill-down, drill-up e drill-across; Informações sobre sumarizações e transformações dos dados; Estruturas dos dados com a nomenclatura que possa ser facilmente entendida pelo usuáriofinal; Tipos de Informação do Metadados Por serem considerados um dicionário de informações os metadados devem descrever: Fonte dos dados: todo elemento de dado precisa ter sua origem ou o processo que o gera identificado. Destino dos dados: tão importante quanto saber a origem do dado é saber o seu destino, principalmente quando esse dado é usado como fonte para outras informações. Formato dos dados: todo elemento de dados deve ter identificado seu tamanho e o tipo de dados Nome e Alias: todo elemento de dado deve ser identificado por um nome que pode ser da área de negócios ou um nome técnico. Podemos generalizar dizendo que os aspectos sobre os quais os metadados mantêm informações são: - A estrutura dos dados segundo a visão do programador; - A estrutura dos dados segundo a visão dos analistas de SAD; - A fonte de dados que alimenta o Data Warehouse; - A transformação sofrida pelos dados no momento de sua migração para o Data Warehouse; - A frequência de atualização das fontes de dados; - A frequência de atualização do Data Warehouse; - Fidelidade dos dados. Exemplo: se todos os dados de janeiro foram recebidos; - O histórico das extrações de dados - Métodos e permissões de acesso, privilégios e senhas de fontes de dados; - Horários de trabalho dos sistemas em que se encontram as fontes de dados; - Extratos ou resultados de cada processo de extração, incluindo o tempo necessário, conteúdos e nível de perfeição da operação; - Versões dos diversos softwares envolvidos em todas as fases; - Estatísticas de uso dos dados; Fontes de Metadados Podem ser formais ou informais: Formais - dados que foram amplamente discutidos, documentados e formalizados na organização. São armazenados em ferramentas ou documentos que são mantidos e distribuídos dentro da empresa. Podem fazer parte dos metadados formais tanto os metadados técnicos quando os de negócio. Informais - são os dados que são tácitos ao conhecimento corporativo, não tendo nenhum tipo de documentação a respeito. Todos os metadados informais, quando relevantes ao processo, deverão ser incluídos no projeto do Data Warehouse e documentados, transformando-se em metadados formais. Outras fontes: - Repositórios de ferramentas CASE; - Código fonte dos sistemas operacionais; - Entrevistas com especialistas do negócio; - O próprio ambiente do Data Warehouse. - Os programas construídos para carga do DW podem manter metadados sobre a data de atualização das informações e indicadores de qualidade da informação carregada. Camadas de metadados Normalmente, os metadados em uma Data warehouse podem ser apresentados em 3 camadas: Metadados operacionais - Definem a estrutura dos dado mantidos pelos bancos operacionais, usados pelas aplicações de produção da empresa. Metadados centrais do data warehouse - São orientados por assunto e definem como os dados transformados devem ser interpretados, incluem definições de agregação e campos calculados, assim como visões sobre cruzamento de assuntos. Metadados de nível do usuário - Organizam os metadados do Data Warehouse para os conceitos que sejam familiares e adequados aos usuários finais. Ambiente OLAP e operações OLAP Os usuários quando utilizam Data Warehouse estão interagindo com o chamado ambiente OLAP da organização, isto é, o ambiente voltado para operações analíticas. Na aula 5 abordamos as principais diferenças entre o ambiente operacional (OLTP) e o analítico( OLAP). Vamos agora entender um pouco mais sobre este ambiente utilizado pelos tomadores de decisão. O termo processamento analítico on-line (OLAP), segundo Turban et All, refere-se a uma variedade de atividades normalmente executadas pelos usuários finais em sistemas on-line. As chamadas “ferramentas OLAP” permitem a geração de relatórios, a análise de um grande volume de dados e a obtenção de informações estratégicas que podem facilitar a tomada de decisão. Dizemos, então, que o termo OLAP refere-se a um conjunto de ferramentas voltadas para acesso e análise ad-hoc de dados, cujo principal objetivo é a transformação de dados em informações capazes de dar suporte às decisões gerenciais de foma amigável e flexível ao usuário e, fundamental, em tempo hábil. A funcionalidade OLAP é inicialmente caracterizada pela análise dinâmica e multidimensional dos dados consolidados de uma organização, permitindo que as atividades do tomador de decisão sejam tanto analíticas quanto navegacionais. Do ponto de vista gerencial é uma ferramenta muito importante pois proporciona uma grande capacidade de efetuar cálculos complexos como previsões, percentuais de crescimento e médias diversas, considerando-se a variável tempo. Aula 9 Modelagem de dados para Data Warehouse A modelagem de dados para Data Warehouse é diferente da utilizada para sistemas OLTP uma vez que as características e objetivos destes dois ambientes são distintos. O modelo de dados tradicional utiliza uma abordagem normalizada para o projeto de banco de dados. As ferramentas baseadas em SQL podem ajudar na pesquisa, mas não são flexíveis o suficiente para fornecer as respostas em um tempo hábil, dificultando o trabalho do tomador de decisão. A modelagem de dados para Data Warehouse, chamada Modelagem Multidimensional, é uma técnica de concepção e visualização de um Modelo de Dados apresentado em uma arquitetura intuitiva, a partir de um conjunto de medidas que descrevem aspectos comuns de negócios. É utilizada especialmente para sumarizar e reestruturar dados e apresentá-los em visões que suportem a análise dos valores desses dados. Mundo de Negócios Modelo Dimensional Um modelo dimensional é formado por 3 elementos básicos: 1) Fatos - Um fato é uma coleção de itens de dados, composta de dados de medidas e de contexto. Cada fato representa um item, uma transação ou um evento de negócio de uma empresa. É tudo aquilo que reflete a evolução dos negócios do dia-a-dia de uma organização. A característica básica de um fato é que ele é representado por valores numéricos e implementado em tabelas denominadas Tabela Fato. A tabela Fato contém medidas que são usadas para realizar análises e também as chaves que ligam as dimensões. 2) Medidas (variáveis) - São os atributos numéricos que representam um fato. Uma medida é determinada pela combinação das dimensões que participam de um fato, e estão localizadas como atributos de um fato. Exemplos: valor em reais das vendas, número de unidades de produtos vendidas, quantidade de unidades em estoque, custo de uma venda, etc... 3) Dimensões - Conceitualmente são os elementos que participam de um fato, assunto de negócios. As dimensões determinam o contexto de um assunto de negócios, por exemplo, um banco de dados que analise as vendas de produtos teria, em geral, as seguintes Tabelas Dimensão: Tempo; Localização; Clientes; Vendedores; Cenários (realizados, projetados) As tabelas de dimensões contem os atributos que descrevem os componentes de dados e proveem a informação para realizar análises comparativas. Normalmente não possuem atributos numéricos, são somente descritivas e classificatórias dos elementos que participam de um fato. Dica: São as possíveis formas de visualizar os dados, ou seja, são os “por” dos dados: “por mês”, “por produto”, “por país”, “por região”, etc … Uma nova forma de ver os dados A metáfora do cubo dá a impressão de múltiplas dimensões. Os “cubos” podem ter 2, 3, 4 ou mais dimensões. O usuário pode rolar e cortar (“slice and dice”) o cubo, escolhendo qual a dimensão(ões) que será usada em cada consulta (query). Vamos entender melhor esta visualização do “cubo”. Vamos iniciar com: Uma dimensão - Utilizando-se uma única dimensão(Região) para obter a agregação de um fato relacionado (Vendas) teríamos a seguinte representação: 2 dimensões - Utilizando-se 2 dimensões (Região e Tempo) para obter a agregação de um fato relacionado (Vendas) teríamos a seguinte representação: 3 dimensões - Utilizando-se 3 dimensões (Região,Tempo e Linha de Produto) para obter a agregação de um fato relacionado (Vendas) teríamos a seguinte representação: Cada nova dimensão aumenta o nível de detalhe. Exemplo: acrescentando-se uma quarta dimensão (Produto) é possível analisar as Vendas por Produto, por Linha de produtos, por Trimestre, por Região. “Aplanando” a Visão Multidimensional Modelo Dimensional – Representação Diagrama Estrela (Star Schema) - Star Schema é o termo comum para designação de modelos de dados multidimensionais; - Como o termo esquema nos leva diretamente a uma idéia de modelo físico, costumamos utilizar a nomenclatura “modelo estrela”; - O modelo estrela é a estrutura básica de um modelo de dados multidimensional; - Sua composição típica possui uma grande entidade central denominada fato e um conjunto de entidades menores denominadas dimensões, arranjadas ao redor dessa entidade central, formando uma estrela. - Cada face representa uma dimensão ou perspectiva de interesse do negócio. - O núcleo contém medidas do negócio tomadas na interseção das faces. A Tabela FATO - As tabelas Fato contêm a maioria das linhas de dados; - As Dimensões tendem a ter um número menor de linhas; - Os Joins em um Modelo Estrela, tipicamente, envolvem uma tabela fato grande e uma ou mais tabelas Dimensão pequenas, o que torna a operação mais rápida. Comparação dos Modelos: Transacional Relacional e Esquema Estrela Modelo Estrela Altamente desnormalizado para melhor performance; Os dados transacionais são armazenados em Tabelas Fato e os dados de referência são armazenados em Tabelas Dimensão . Modelo relacional normalizado - Minimiza a redundância de dados; - Os dados transacionais podem ser armazenados em qualquer tabela. Diagrama Floco de Neve (Snowflake) - O modelo Snowflake é o resultado da decomposição de uma ou mais dimensões que possuam hierarquias entre seus membros; - Podemos definir relacionamento muitos para um entre os membros em uma dimensão, formando uma hierarquia por meio desses relacionamentos entre entidades dimensões; - O modelo floco de neve é resultado da aplicação da terceira forma normal sobre as entidades dimensão; - Acrescenta estruturas hierárquicas ao Modelo Estrela. Agregações - Fornecem níveis múltiplos de detalhes do fato; - Os resultados das queries (ou seus valores intermediários) são pré-calculados, o que melhora muito a performance; - As agregações podem ser acumuladas através de agrupamentos diferentes - Freqüentemente através de várias dimensões ou combinações de dimensões; - Os valores agregados podem ser armazenados em tabelas de fatos separadas, compartilhando dimensões com a tabela de fatos básica ou podem ser armazenados codificados nas mesmas tabelas de dimensões e de fatos básica . - Agregam-se vários fatos por Loja por Dia; - Número de clientes - Quantos clientes fizeram compras? - Quantidade de produtos - Quantas unidades de produtos foram vendidas? - Valor da venda - Qual foi o faturamento bruto do dia? Aula 10 Ambiente do Data Warehouse Vamos inciar nossa aula observando novamente o ambiente onde está inserido o Data Warehouse: Podemos verificar que os dados são inicialmente extraídos de sistemas operacionais e de fontes externas, posteriormente são integrados e transformados para serem carregados no Data Warehouse. Esta é uma etapa crítica da construção de um Data Warehouse pois envolve toda a movimentação dos dados. A mesma se dá basicamente em três passos, conhecidos como Extração, Transformação (passo este que inclui a limpeza dos dados) e Carga dos dados. Este processo é conhecido na áea de TI como Processo ETL Este processo é responsável por integrar, transformar e salvar dados, não importando sua fonte nem seu destino. Os dados, oriundos de diversas fontes de dados são submetidos a severas transformações e disponibilizados de forma normalizada. Em ambientes complexos existe a possibilidade de utilização de softwares que executam as transformações automaticamente. Dependendo da periodicidade de atualização dos dados devem ser estabelecidos mecanismos de sincronização de dados para garantir a integridade dos dados. Extração de dados A extração é o primeiro passo na obtenção de dados para o ambiente do DW. Basicamente diz respeito à busca dos dados nas diversas fontes de origem e à cópia destes dados para a área de transformação de dados, a fim de serem trabalhadas posteriormente. Nesta construção deste processo é fundamental o acesso e a clara compreensão dos dados de origem. Normalmente há a geração de arquivos intermediários para a carga uma vez que a existência de uma única fonte de dados é rara. Uma vez que os dados são extraídos devem passar por uma série de tratamentos. O primeiro passo destes tratamentos refere-se à limpeza ou filtragem dos dados, onde o objetivo é garantir a integridade dos dados através de programas ou rotinas especiais que tentam identificar anomalias e resolvê-las, deixando os dados em um estado consistente antes de serem instalados no Data Warehouse. Exemplos: correção de erros de digitação, descoberta de violações de integridade, substituição de caracteres desconhecidos, padronização de abreviações. Em algumas situações, múltiplos estágios de transformações são necessários para que o dado possa ser migrado para o Data Warehouse, dependendo da natureza dos sistemas fontes. Transformação de dados A etapa de Transformação dos Dados é a maior preocupação da área de informática pois se não existir uma estratégia adequada, o Data Warehouse pode falhar. É comum a utilização dos seguintes termos quando nos referimos à Transformação de Dados: Limpeza - Tem por objetivo deixar os elementos de dados padronizados (uniformizados), não duplicados, corretos, consistentes e espelhando a realidade. Dentre as atividades executadas podemos citar a correção de inconsistências de códigos e caracteres especiais, solução de problemas de conflito de domínios, recuperação de dados perdidos e a correção de valores duplicados ou errados. Locais Potenciais de “Dados Sujos”: Quantidades: - casas decimais - truncagem, regras de arredondamento - galões/litros Dados codificados: - Mudanças de códigos e algorítimos - Diferentes regras de codificação - Reutilização de códigos Texto puro: - Proibido em Data Warehouse!!!! - Não há forma possível de análise - Não há forma de “tradução” da linguagem natural Outros termos relacionados à transformação de dados: Integração Enriquecimento Qualificação (Scoring) Validação Atualização de mudanças Cálculos Carga de dados Depois de transformados e “limpos” os dados estão aptos para serem carregados no Data Warehouse. A etapa de carga também demanda muita atenção de TI pois exige uma série de cuidados, por exemplo: Integridade dos dados - Assim como nos bancos de dados operacionais, é preciso asegurar que as regras de integridade das chaves estrangeiras sejam respeitadas no momento da carga. Tipo de carga a ser realizada (Incremental ou total) - A carga incremental normalmente é feita para tabelas de fatos e a carga total é feita em tabelas de dimensão onde o analista terá que excluir os dados existentes e incluí-los novamente. Mas isso depende da necessidade do negócio em questão. Otimização do processo de carga - Todo banco de dados possui um conjunto de técnicas para otimizar o processo de carga, tais como evitar a geraçãode log durante o processo, criar índices e agregar dados. Suporte completo ao processo de carga - O serviço de carga também precisa suportar as exigências antes e depois da carga atual, como eliminar e recriar índices e particionamento físico de tabelas e índices. Dificuldades do Processo ETL (Extract, transform, load) Podem ser internas ou externas. Qual é o resultado de enganos sucessivos no ETL? - Perda da confiança dos usuários; - Perda da motivação dos usuários para apoiar; - Redução no moral da equipe de sistemas Quanto custa a baixa qualidade dos dados ? Rever regras de negócio, distorções dos dados nas fontes e nos destinos; Rever o processo (etapa a etapa); Corrigir programas, rotinas e dados; Refazer a carga, analisar resultados e ajustar; Convencer os usuários, a gerência, etc a acreditar no projeto; Desenvolver aplicações fora do escopo original para ajudar no convencimento do usuário. Tipos de Implementação do DW As abordagens de implementação de Data Warehouse em uso pelas organizações são 3: 1) Implementação Top Down - Esta abordagem é conhecida como padrão inicial do conceito de Data Warehouse e necessita de maior planejamento assim como demanda um trabalho maior de definições conceituais de tecnologia antes de iniciar-se o projeto propriamente dito. As decisões sobre fontes de dados que serão utilizadas, segurança, estruturas de dados, qualidade de dados, padrões de dados e os vários modelos de dados dos sistemas transacionais atuais devem estar completos antes do início da implementação. Nesta arquitetura o processo se inicia com a extração, a transformação e a integração das informações dos sistemas transacionais e dados externos para um ODS ou diretamente das fontes operacionais. A seguir, os dados e metadados são transferidos para o Data Warehouse, a partir do qual são extraídos os dados e metadados para os Data Marts, onde as informações estão em maior nível de sumarização e, normalmente, não apresentam o nível histórico encontrado no Data Warehouse. A figura a seguir ilustra este tipo de abordagem: O ponto positivo a se destacar na abordagem Top Down é que obriga a empresa a definir regras de negócio de forma corporativa, antes de iniciar-se o projeto de Data Warehouse em si. Vantagens da Implementação Top Down Desvantagens da Implementação Top Down 2) Implementação Bottom Up - Esta abordagem permite que o planejamento e o desenho dos Data Marts possam ser realizados sem esperar que seja definida uma infra-estrutura corporativa para o Data Warehouse. Essa infra-estrutura não deixará de existir, apenas poderá ser implementada incrementalmente conforme forem sendo realizados os Data Marts. Como a implementação Top Down é politicamente difícil de ser definida e cara, a abordagem Bottom Up vem se tornando popular. É bastante aceita pelos executivos por possuir um retorno de investimento rápido. O objetivo desta implementação é a construção de um Data Warehouse incremental a partir do desenvolvimento de Data Marts independentes. O processo começa com a extração, a transformação e a integração dos dados para um ou mais Data Marts. A figura a seguir ilustra este tipo de abordagem: Um dos grandes problemas dessa implementação é a falta de um gerenciador que garanta padrões únicos de metadados. Essa dificuldade é responsável pela falha na elaboração incremental do Data Warehouse. Podem ocorrer redundâncias de dados e inconsistências entre os Data Marts, mas que podem ser minimizados por meio de um planejamento, monitoração e estabelecimento de regras ( metodologia ). Outro problema é que o processo de extração pode tornar-se crítico na interferência junto aos sistemas transacionais, devido à estrutura de múltiplos Data Marts. Vantagens da Implementação Bottom Up Desvantagens da Implementação Bottom Up 3) Implementação Intermediária - Essa abordagem integra a implementação Top Down com a Bottom Up. Nessa abordagem, efetua-se a modelagem de dados do Data Warehouse com visão macro. A partir daí, cada Data Mart pode ser gerado a partir do macromodelo de dados do Data Warehouse e integrado ao modelo físico do Data Warehouse. A figura a seguir ilustra este tipo de abordagem: * A principal vantagem dessa abordagem é a garantia da consistência dos dados, pois o modelo de dados para os Data Marts é único. A opção por um dos tipos de abordagem de implementação é influenciada por fatores como infra-estrutura de TI, arquitetura escolhida, escopo da implementação, recursos disponíveis e, principalmente, pela necessidade ou não de acesso aos dados corporativos, recursos disponíveis e velocidade de implementação. Metodologia para o Projeto de Data Warehouse O sucesso do desenvolvimento de um Data Warehouse depende da escolha correta da estratégia a ser adotada, de forma que seja adequada às características e necessidades específicas do ambiente onde será implementado. No que diz respeito à metodologia para o desenvolvimento de projetos de Data Warehouse não existe uma abordagem única entre os autores. A figura a seguir ilustra as etapas deste processo: 1) Planejamento - Nesta etapa ocorre a definição do escopo do projeto, considerando-se as áreas críticas da empresa e as necessidades mais permanentes de informações gerenciais. 2) Levantamento das necessidades - Nesta etapa serão identificados dois modelos de projeto: o modelo dimensional e o modelo relacionado às fontes das informações. O modelo dimensional representa os blocos conceituais de dados necessários para atender os objetivos do sistema de suporte à decisão. O modelo relacionado às fontes das informações permite avaliar a qualidade e a integridade dos dados-fonte, além da sua duração histórica. 3) Modelagem dimensional - Consiste em fazer um projeto de quais os indicadores (medidas) que serão analisados, e as dimensões de análise, considerando quais indicadores são necessários para gerenciar o negócio. Deve considerar quais são os dados disponíveis para gerar os indicadores, e aqueles que precisam serem disponibilizados. Como fator crítico de sucesso, a modelagem de dados deverá passar por observações nem sempre percebidas em um projeto de Banco de Dados convencional, como por exemplo, o nível de granularidade ou detalhe e o volume desses dados. 4) Projeto físico dos BDs - Nessa etapa são definidas as tabelas Fato e Dimensão bem como os relacionamentos, indices e a implantação de regras associadas. 5) Projeto ETL - Nesta etapa são definidos vários elementos que irão compor as atividades do processo de ETL, por exemplo: Filtro de Dados: procedimentos e condições para se eliminar os elementos de dados indesejáveis no modelo dimensional; Integração de Dados: define a forma de se correlacionar informações existentes em fontes distintas, e que deverão ser integradas no Data Warehouse; Condensação de Dados: define a forma de se reduzir volumes de dados visando a obter informações resumidas e sumarizadas; Conversão/Integração de Dados: define os procedimentos para padronizar dados que se encontram com unidades, formatos e dimensões diferentes. Por exemplo: vendas de produtos no mês, produção de componentes por dia e compra de materiais por semana; Derivação de Dados: define os meios e fórmulas para produzir dados virtuais, a partir de dados existentes. 6) Desenvolvimento de aplicações - O objetivo final do Data Warehouse é o ambiente de consultas OLAP. Este ambiente deve ter uma interface amigável e simples, onde o usuário pode construir suas consultas, de acordo com sua necessidade ou intuição. Caso necessário podem ser desenvolvidas aplicações para os usuários. Neste caso é preciso tomar cuidado com telas carregadas e excessos de informação. As aplicações ou ferramentas deste ambiente devem possibilitar a visualização
Compartilhar