Baixe o app para aproveitar ainda mais
Prévia do material em texto
INTELIGÊNCIA EMPRESARIAL (CCT0189/2368919) 9001 Aula 1: Conceitos Básicos Tomada de Decisão: É um processo de escolha entre diferentes cursos de ação com o propósito de alcançar um ou mais objetivos e, frequentemente considerada o mesmo que resolver problemas. Decisão é a escolha entre caminhos alternativos que levam a determinado resultado. O modelo mental de cada pessoa interfere na codificação e decodificação dos dados, informações e conhecimentos, acarretando muitas vezes distorções individuais que poderão ocasionar problemas no processo de comunicação, influenciando na capacidade de se chegar à resposta para situações que demandem algum tipo de tomada de decisão. O processo de tomada de decisão exige que o decisor tenha conhecimento em relação ao assunto a ser decidido. Então a transformação dos dados em conhecimento é fundamental para que o decisor possa atingir seu objetivo. Nas organizações tradicionais as decisões são tomadas por uma elite decisória provocando distanciamento dos macroobjetivos e perda de informação Conhecimento Tácito: é aquele disponível com pessoas e que não se encontra formalizado em meios concretos. Formado dentro de um contexto social e individual Conhecimento Explícito: é aquele que pode ser armazenado, por exemplo, em documentos, manuais, bancos de dados ou em outras mídias. O conhecimento explícito é adquirido principalmente através das informações. Nas organizações, o conhecimento é basicamente tácito e tem origem na cabeça das pessoas! A organização precisa transformar o conhecimento tácito em conhecimento explícito! Transferência do conhecimento é feito pelo Espiral do Conhecimento - Dado: Simples observações sobre o estado do mundo; Facilmente estruturado; Facilmente obtido por máquinas; Frequentemente qualificado; Facilmente transferível. - Informação: Dados dotados de relevância e propósito; Requer unidade de análise; Exige consenso em relação ao resultado; Exige necessariamente a mediação humana. - Conhecimento: Informação valiosa da mente humana; Inclui reflexão e síntese; De difícil estruturação; De difícil captura através das máquinas; Frequentemente tácito; De difícil transferência. OBS: Podemos considerar como conhecimento tácito: R: Lugar de lazer preferido de seu melhor cliente Aula 2: Inteligência Empresarial Inteligência: Capacidade de entender, pensar, raciocinar, compreender e interpretar, entendimento, intelecto. (Dicionário Michaelis) Capacidade de conhecer, entender, aprender conhecimento adquirido seja por estudo, pesquisa ou experiência, requer observação e reflexão” (Dicionário Webster). Motivação para Inteligência Empresarial: Os tempos atuais demandam novas teorias, novas capacidades de pensamento, novas capacidades para transformar dados em informação útil e novos níveis de inovação capazes de desenvolver aplicações práticas para estas informações. A capacidade de identificar, e utilizar, os conhecimentos que são estratégicos para a gestão do negócio tornou-se fundamental para qual a empresa identifique a necessidade de mudanças e atuem de modo positivo diante destas mudanças canalizando, assim, os recursos da organização para a produtividade e a competitividade. Conhecimento, inovação e empreendedorismo formam, assim, um tripé indissociável para o sucesso das organizações na nova Economia. A esta sinergia entre Conhecimento, inovação e empreendimento damos o nome de Inteligência Empresarial. A principal função da Inteligência Empresarial é suprir as organizações com informações, a fim de prepará-las para o acirramento da concorrência e da globalização dos mercados. A Inteligência Empresarial diz respeito à capacidade de uma organização em reunir informações do ambiente interno e do mercado, facilitar o uso destas informações na criação de conhecimentos e atuar efetivamente com base nestes conhecimentos. Dizemos, então, que a Inteligência Empresarial está relacionada aos diversos processos de coleta, organização, análise e utilização de dados e informações que permitem implementar novas ações de mercado e apoiar a tomada de decisão. A Inteligência Empresarial é a capacidade de uma empresa para capturar, selecionar, analisar e gerenciar as informações relevantes para a gestão do negócio com o objetivo de: Inovar e criar conhecimento. Reduzir riscos na tomada de decisão e evitar surpresas. Direcionar, assertivamente, os planos de negócios e a implementação de ações. Criar oportunidades de negócios. Gerar valor aos negócios. Apoiar o desenvolvimento de produtos/serviços com uma base de informação confiável, eficiente e ágil. Monitorar, analisar e prever, eficientemente, as questões relacionadas ao core business. Business Intelligence: Tem como objetivo criar sistemas de informação computacionais, geralmente a partir de grandes volumes de dados, capazes de prover aos gerentes as melhores informações para a tomada de decisão Inteligência Competitiva: é a utilização de métodos, meios e técnicas para se gerenciar estrategicamente as informações nas organizações. Este processo sistemático da busca, análise, estruturação e disseminação das informações oriundas das várias fontes existentes tanto na empresa quanto no ambiente externo é de vital importância na gestão e planejamento estratégico. Este processo é fundamental para a criação do conhecimento e a tomada de decisão, em qualquer nível da organização. O uso da Inteligência Competitiva permite que a organização passe a atuar no sentido de identificar oportunidades e não se perder em ações de curto prazo destacando-se, assim, as empresas que trabalhem com cenários de prospecção e analíticos e que consigam colocar em prática o conhecimento adquirido. Podemos dizer então que a Inteligência Competitiva, (IC), é parte da Inteligência Empresarial e engloba, principalmente, informações sobre o mercado e a concorrência. - O Ciclo da Inteligência Competitiva: 1. Planejar e identificar as necessidades de informação: junto aos tomadores de decisão são definidas as necessidades de inteligência. 2. Coletar e tratar a informação: de forma ética e legal, são identificadas as fontes e como as informações serão coletadas e armazenadas. 3. Analisar e validar a informação: especialistas analisam e validam as informações, fazem a sua interpretação e compilam recomendações. 4. Disseminar e utilizar a informação: os resultados da análise são apresentados aos tomadores de decisão. 5. Avaliar: a resposta dos tomadores de decisão e suas necessidades de inteligência são analisadas de modo contínuo. Se você conhece o inimigo e conhece a si mesmo, não precisa temer o resultado de cem batalhas. Se você se conhece, mas não conhece o inimigo, para cada vitória ganha sofrerá também uma derrota. Se você não conhece nem o inimigo nem a si mesmo, perderá todas as batalhas” (Sun Tzu A Arte da Guerra) - Inteligência Empresarial: Capacidade da empresa em selecionar, capturar, analisar e gerenciar as informações relevantes para a gestão de seu negócio. - Inteligência Organizacional: Capacidade da empresa em reunir informação, inovar, criar conhecimento e atuar com base neste conhecimento. - Inteligência Competitiva: Capacidade de reunir, analisar e administrar informações externas que podem afetar planos, decisões e operações de uma empresa. - Business Intelligence: Concentra-se no desenvolvimento de tecnologias Saiba mais Acesse o site Inteligência Empresarial: http://www.revie.com.br/site-pagina?id=28 OBS: Para desenvolvermos um projeto de Inteligência Empresarial temos que seguir as seguintes etapas: Planejamento e formulação; Desenvolvimento de projetos; Implementação; Monitoramento contínuo. Aula 3: Tomada de Decisão O conhecimento é fator diferencial na economia globalizada de hoje. Assim, os principais ativos necessários à criação de riquezas, não são mais bens físicos, comoa terra, equipamentos ou fábricas, mas sim ativos intangíveis originados pelo conhecimento. Estes ativos são potencializados pelas modernas ferramentas de Tecnologia da Informação e Comunicação, que viabilizam sistemas desenvolvidos para apoiar a atividade de tomada de decisão, permitindo a existência da Inteligência Empresarial na organização. A Inteligência Empresarial fornece subsídios para os executivos através da disponibilização de informações estratégicas e relevantes com o objetivo de minimizar as incertezas associadas ao processo de tomada de decisão estratégica. - Tomada de Decisão: Podemos definir como um processo de escolha entre diferentes cursos de ação, com o propósito de alcançar um ou mais objetivos. Frequentemente a tomada de decisão é considerada o mesmo que resolver problemas. Podemos identificar duas abordagens distintas para buscarmos a solução de problemas: Reativas: O Solucionador espera o aparecimento do problema. Proativas: O Solucionador monitora as atividades procurando e corrigindo problemas no início. - Risco: É a medida da probabilidade de que uma alternativa selecionada resultará em um produto não- esperado ou não-desejado. Tipos de Riscos: - à própria decisão (risco da decisão) - ao processo de estimativa (risco de estimativa) Quanto mais fatos relevantes o tomador de decisão conseguir obter, menor o risco da estimativa e melhor a estimativa das probabilidades de resultado. Níveis de Tomada de Decisão em uma organização: - Administração Operacional: Desenvolvem planos de curto prazo como os programas de produção semanal. Dirigem o uso de recursos e desempenho das tarefas de acordo com procedimentos e dentro dos orçamentos e programações definidos. As decisões operacionais estão associadas à operação diária da organização como, por exemplo, a definição de um cronograma para manutenção de equipamentos e a quantidade mínima de matéria-prima em estoque. - Administração Tática: Desenvolve planos de curto e médio prazo, programações, orçamentos e especificam políticas, procedimentos e objetivos do negócio para as subunidades, como também distribui recursos e monitora o desempenho. As decisões táticas são mais específicas que as decisões estratégicas, são normalmente relacionadas com as operações de controle administrativo e utilizadas para gerar novas regras de decisão que irão ser aplicadas por parte do pessoal de operação. - Administração Estratégica: Normalmente um conselho de diretores e um comitê executivo do presidente e principais executivos que desenvolvem as metas globais, estratégias, políticas e objetivos da organização como parte do processo de planejamento estratégico. As decisões estratégicas determinam os objetivos da organização como um todo, suas metas, diretrizes, políticas e critérios gerais para a organização. - As decisões tomadas no nível da Administração Operacional tendem a ser mais (Estruturadas), as tomadas no nível da Administração Tática mais (Semiestruturadas) e as tomadas no nível da Administração Estratégica mais (Não Estruturadas). Tipos de Decisões: - Decisão Estruturada: Envolvem situações em que os procedimentos a serem seguidos podem ser especificados previamente. Operações ou transações, cujos processos de recuperação e controle de dados são repetitivos: Facilmente automatizados, Todos os dados relevantes estão disponíveis, Necessitam de pouco julgamento ou avaliação humana. Decisor necessita de procedimentos operacionais escritos tendo em vista sua característica: Repetitivas, Rotineiras, Padrão pré existente. – Decisão Não Estruturada: Envolvem situações nas quais não é possível especificar de antemão a maioria dos procedimentos a serem seguidos. Neste tipo de decisão o tomador de decisão necessita de algum julgamento, avaliação ou percepção na definição do problema. Situações específicas, frequentemente únicas (ambientes complexos e dinâmicos): Dificilmente automatizados, Necessitam muito julgamento humano, São originais, não rotineiras e importantes. Decisor necessita de competências pessoais específicas: Capacidade de julgamento, Senso crítico, Capacidade de reflexão, Intuição, Criatividade. – Decisão Semiestruturada: Sugerem que alguns procedimentos podem ser especificados, mas não o suficiente para levar a uma decisão definida recomendada. Neste tipo de decisão somente parte do problema possui resposta clara e fornecida por um procedimento já aceito. - Decisão em Condições de Certeza: A certeza é um estado de conhecimento em que o tomador de decisão tem informações completas sobre o problema com o qual se defronta. Neste tipo de decisão, os decisores têm conhecimento prévio sobre os resultados das várias alternativas que estão sendo consideradas para a tomada de decisão. - Decisão em Condições de Risco: Condição em que o decisor conhece a probabilidade de que uma determinada alternativa leve a um resultado não esperado. O risco é um estado de conhecimento em que cada alternativa possui um conjunto de resultados e cada resultado ocorre com uma probabilidade bem definida. - Decisão em Condições de Incerteza: Condição na qual o decisor se depara com situações externas imprevisíveis ou não possui as informações necessárias para estabelecer a probabilidade de determinados eventos. A informação é incompleta demais para permitir que ele identifique cada alternativa e faça estimativas acerca dos resultados prováveis sobre os quais se possa colocar um alto grau de confiabilidade. - Decisão em Condições de Competição ou em Condições de Conflitos: O decisor é confrontado com um opositor agressivo (um concorrente) cujos interesses entram em confronto direto com o seus. Existem, obrigatoriamente, dois ou mais decisores envolvidos, o resultado depende da escolha de cada um dos decisores. Situações desse tipo surgem, por exemplo, na elaboração de estratégias de propagandas ou na escolha de um novo local para uma filial. Processo de Tomada de Decisão: - Etapa: Inteligência (Compreensão): Refere-se à fase de investigação do ambiente para encontrar situações que exigem uma tomada de decisão. Os problemas e/ou oportunidades em potencial são identificados e definidos assim como informações associadas à causa e o escopo do problema. São investigados os possíveis obstáculos na solução de problemas. - Etapa: Projeto: Refere-se à fase onde o objetivo é o desenvolvimento e análise de possíveis cursos de ação. Inclui o entendimento do problema e o teste de viabilidade das soluções. As soluções alternativas são desenvolvidas e são avaliadas a viabilidade e as implicações dessas alternativas. - Etapa: Escolha: Envolve avaliação e recomendação de um determinado rumo de ação traçado na fase anterior. È importante salientar que o limite entre as etapas (ou fases) de Projeto e Escolha é, muitas vezes, impreciso. Ex.: pode-se gerar novas alternativas enquanto se avalia as existentes. - Etapa: Implementação da Solução (Revisão): A última etapa refere-se à fase em que se faz a avaliação da solução escolhida, bem como os rumo e condições que levaram a tal decisão. Ocorre a reavaliação do processo de Tomada de decisão. Aula 4: Técnicas de Tomada de Decisão Teoria da Decisão: é um conjunto de procedimentos e métodos de análise que procuram assegurar a coerência, a eficácia e a eficiência das decisões tomadas em função das informações disponíveis, antevendo cenários possíveis. Para exercer este papel essa teoria pode usar ferramentas matemáticas ou não. A teoria da decisão é uma teoria de escolhas entre alternativas. - Brainstorm ou Brainstorming: Técnica usada para auxiliar um grupo a imaginar/criar tantas ideias quanto possível em torno de um assunto ou problema. Deve ser usada quando for necessário conhecer melhor o universo de uma situação, colher informações, opiniões e sugestões dos participantes, identificando problemas existentes e encontrandosoluções criativas para o problema identificado. O número total de participantes é no mínimo 5 e no máximo 15. Normalmente, as reuniões têm duração de 45 a 150 minutos, onde se reserva 30 minutos para a geração de ideias. Vantagens: Praticamente todos os problemas podem ter seu estudo inicial conduzido com uso dessa técnica. Não pressupõe a necessidade de especialistas. Desvantagens: Se não houver estímulos à participação, poderá ocorrer a inibição de alguns participantes do grupo. - Matriz de Prioridade: Técnica que prioriza alternativas com base em determinados critérios e deve ser usada quando queremos estabelecer uma entre diversas alternativas por meio de análise mais criteriosa. Também chamada de matriz de impacto. O grupo participante é formado por 10 a 15 componentes. Vantagens: Permite a priorização das alternativas a medida que estabelece uma função objetivo que quantifica em termos numéricos o valor (por vezes subjetivo) agregado de cada alternativa. A posterior analise destas alternativas, dispondo do valor agregado delas, permite ao decisor examinar de forma mais clara e estabelecer quais serão as alternativas a serem implantadas. Permite a exploração dos efeitos colaterais das alternativas passíveis de ser implementadas. Desvantagens: A comparação paritária dos critérios de priorização das alternativas e a posterior comparação das alternativas sob a influência desses mesmos critérios podem acarretar a perda da visão geral do contexto. Dificuldade de trabalhar com impactos múltiplos, em que vários eventos influem simultaneamente uns sobre os outros. - Diagrama de Peixe: É a técnica que permite visualizar melhor o universo em que o problema está inserido. Isto é feito através da construção de um diagrama no qual as causas vão sendo cada vez mais discriminadas até chegar a sua origem. Deve ser aplicada a um problema que apresenta causas decorrentes de causas anteriores, ou quando queremos esmiuçar as causas de um problema, ou visualizá- las mais claramente e agrupadas por fatores-chave. Os participantes podem variar de 5 a 15 pessoas. Essa técnica também é chamada de diagrama de Ishikawa, diagrama de influência, diagrama de 4P ou diagrama de causa e efeito. Vantagens: Permite a visualização das causas de um problema de forma mais clara e agrupadas por fatores-chaves. Desvantagens: Para o correto uso dessa técnica, é necessária a presença de pelo menos um especialista no problema e um especialista na utilização da técnica. - Árvores de Decisão ou Diagrama da Árvore: Técnica que permite indicar, de forma gráfica, e cronológica, um caminho a ser seguido em um processo de decisão, explicitando etapas a serem cumpridas para alcançar o objetivo pretendido. Representa um processo de decisão em que os nós são os momentos no tempo em que o decisor deve efetuar uma decisão. O grupo participante ideal deve ter entre 5 e 8 pessoas. Vantagens: Permite a subdivisão do objetivo em metas e submetas, indicando o caminho para alcançá-las. Permite o exame, pelo decisor, de todas as possibilidades. Permite a criação de algoritmos facilmente implementados em computadores. Desvantagens: O resultado é extremamente dependente dos conhecimentos técnicos dos participantes. Este método não deve ser utilizado por pessoas leigas no problema em estudo. - Mapas Cognitivos: Técnica que permite retratar idéias, sentimentos valores e atitudes e seus inter- relacionamentos, de forma que torne possível um estudo e uma análise posterior, utilizando para tal uma representação gráfica. Quando da resolução de um problema complexo é muito importante que antes ele esteja bem estruturado. Esta estruturação é necessária para que se parta dos fatores realmente mais importantes relacionados ao problema. A construção destes mapas originou-se na psicologia. Segundo Cossette e Audet, o mapa cognitivo é "uma representação gráfica de uma representação mental que o pesquisador (facilitador) faz aparecer de uma representação discursiva formulada pelo sujeito (decisor) sobre um objeto (problema) e obtido de sua reserva de representação Mental” Formalmente os mapas cognitivos são definidos como grafos, onde cada conceito é considerado um nó, e uma relação de influência é uma ligação entre os nós. Possui estrutura hierárquica na forma de meios/fins que pode, por vezes, ser quebrada devido a laços fechados formados entre os nós. Vantegens: Em tomadas de decisão em grupo, o processo de construção dos mapas cognitivos provoca uma geração de conhecimentos, cria uma linguagem comum para a comunicação e inibe rivalidades pessoais, uma vez que os conceitos apresentados no mapa são anônimos e, ao mesmo tempo, pertencem a todos. Todos os mapas individuais são agrupados em um único, que pertence ao grupo e não mais a uma pessoa, Essas características vão possibilitar maior discussão sobre o assunto, melhorando assim a qualidade da decisão tomada. Possui característica reflexiva: permite aos atores da decisão aprender sobre o problema, ao mesmo tempo em que “negociam” sua interpretação e percepção. Desvantagens: Para o correto uso da técnica é necessária a presença de especialistas no problema que esta sendo discutido, e de especialistas no uso da técnica. - Análise por Multicritério: Técnica de previsão qualitativa na qual um grupo de especialistas avalia diversas alternativas atribuindo valores numéricos a critérios escolhidos pelo consenso. A abordagem de análise multicritério se constitui em formas de modelar os processos de decisão, onde entram em jogo: Uma decisão a ser tomada. Os eventos desconhecidos que podem afetar os resultados. Os possíveis cursos de ação e os próprios resultados. Estes modelos refletem, de maneira suficientemente estável, o juízo de valores dos decisores. Dessa forma, as abordagens multicritérios funcionam como uma base para discussão, principalmente nos casos onde há conflitos entre os decisores, ou ainda, quando a percepção do problema pelos vários atores envolvidos ainda não está totalmente consolidada. Estas abordagens foram desenvolvidas para problemas que incluem aspectos qualitativos e/ou quantitativos, tendo como base o princípio de que a experiência e o conhecimento das pessoas é pelo menos tão valioso quanto os dados utilizados para a tomada de decisão. Vantagens: Apoiada em um consenso geral: com o uso da análise multicritérios, não é necessário que todos concordem com a importância relativa dos critérios ou o ranking das alternativas. Estabelecer e evidenciar a responsabilidade do decisor, melhorando a transparência no processo de decisão. Desvantagens: Para viabilizar o uso da técnica, são geradas matrizes com diferentes objetivos, metas e pesos, evidenciando as diferentes perspectivas dos especialistas envolvidos no processo, o que requer um número expressivo de informações dificultando a análise e o estabelecimento de metas. - Tomada de Decisão Apoiada por Tecnologias: Os sistemas construídos para apoiar a tomada de decisão empresarial é necessário por diversas razões, entre as quais podemos destacar: Operações mais rápidas. Aumento da produtividade montar um grupo de responsáveis pelas decisões, especialmente os peritos, pode custar caro. O apoio computadorizado pode reduzir o tamanho do grupo, permitindo assim que os membros do grupo possa estar em diferentes lugares, sem detrimento da produtividade. Apoio técnico muitas decisões envolvem computações complexas. Apoio da qualidade os sistemas podem melhorar a qualidade das decisões feitas. Por exemplo, várias alternativas podem ser avaliadas, ou, a análise de risco pode ser executada rapidamente. Os tomadores de decisão podem executar simulações complexas, verificar muitos cenários possíveis e avaliar impactos. Aula 5: Introdução aos Sistemas de Apoio à Decisão Sistema de Apoio à Decisão: SAD é uma classe de sistemas utilizada para apoiar o processo decisório e aatividade gerencial. É um sistema construído para capturar, tratar e disponibilizar informações estruturadas e consolidadas, com o propósito de auxiliar as empresas no processo decisório e na análise da informação. Tem como objetivo principal auxiliar na solução de problemas mais complexos semiestruturados ou desestruturados. Analisa dados on-line coletados por sistemas de processamento de transação, para ajudar as pessoas a tomarem decisões de negócios. A ênfase de um SAD recai sobre os estilos e as técnicas individuais da tomada de decisão, ou seja, a pessoa ainda toma a decisão, não a máquina. O SAD deve ser projetado, desenvolvido e utilizado para auxiliar a organização a atingir suas metas e objetivos. Frequentemente está associado à tomada de decisão relativa a processos que agregam valor ao negócio. O SAD é um sistema analítico, e não um sistema transacional (Um sistema de previsão de estoque é um sistema analítico. Um sistema de controle de lançamentos de estoque é transacional) Um sistema analítico é desenhado para atender demandas gerenciais e apoiar o processo decisório. Um sistema transacional é desenhado para atender as demandas operacionais e apoiar a execução de tarefas operacionais. - Características de um SAD: Grandes volumes de dados e de diferentes fontes; Flexibilidades de relatórios e apresentações; Orientação gráfica e de texto; Suportar análise Drill Down; Realizar analise complexas e sofisticadas, utilizando pacotes de software avançados; Suportar abordagens de otimização, satisfação e heurísticas; Executar análise de sensibilidade, simulação e de atingimento de metas; Orientado por métricas de desempenho; Baseado nos papéis organizacionais desempenhados; Orientado a processos de negócios; Apoiado por tecnologias especializadas. - SAD é um tipo de sistema que possui diversas espécies. Engloba o conjunto de potenciais sistemas de suporte à decisão. Principais espécies: Sistemas de Suporte à Decisão (DSS); Sistemas de Suporte à Decisão em Grupo (GDSS); Sistemas de Informação Executiva (EIS); Sistemas Especialistas (Expert Systems); Sistemas Artificiais / Redes Neurais. SAD são instrumentos que facilitam a tarefa de tomada de decisão e que tentam otimizar os resultados obtidos melhorando assim a qualidade das decisões. Utilizados tanto pelo nível tático quanto pelo nível estratégico da organização. Com base na capacidade dos indivíduos em pré-definir o processo de tomada de decisão, podemos classificar as decisões como: - Estruturadas: podem ser pré-especificadas por um conjunto de regras ou procedimentos que, se presume, podem ser manipuladas por um programa de computador. São o que chamamos de decisões programáveis. - Não estruturadas: mudam a cada vez que são necessárias. São o que chamamos de não programáveis - Modelo de Otimização: Busca a melhor solução para um problema, geralmente a que mais ajudará a realização das metas empresariais. São utilizados para problemas que podem ser modelados matematicamente com um baixo grau de risco de avaliação. - Modelo de Satisfação: Encontrará uma boa solução, não necessariamente a melhor. Este modelo leva em consideração dentre as soluções possíveis aquelas com a maior probabilidade de dar bons resultados. - Heurística: Considerada um método empírico, baseado na experiência através de procedimentos ou diretrizes comumente aceitos e que levam a uma boa solução. - Problemas Típicos que indicam a necessidade de uso de um SAD em uma organização: Dificuldade em consolidar informações para tomar decisões; Muitos sistemas de informação dispersos na empresa; Diferenças e erros nos conceitos de dados; Conceitos de dados variando conforme o intérprete; Incapacidade de decidir com base em informações confiáveis; Incapacidade de decidir com base em informações confiáveis; Dificuldade em compartilhar informações entre as várias áreas da empresa; Problemas de qualidade dos dados; Dados chegam atrasados para a tomada de decisão. - OLTP – On-Line Transactional Processing: Dão suporte às funções de sistemas administrativos, controle de estoque, sistemas associados à execução do negócio da empresa, expedição, etc. Baseado em transações, voltado para velocidade e automação de funções “repetitivas”. Mantém a situação corrente (atual). Atualizações e consultas em grande número. Trabalha com alto nível de detalhamento. - OLAP – On-Line Analytical Processing: Dão suporte às funções associadas à concepção do negócio da empresa. Necessidade de ver o dado sob diferentes perspectivas: as aplicações são dinâmicas. Operações de agregação e cruzamentos. Dados Históricos são relevantes. Atualização quase inexistente, apenas novas inserções. Consistência é fundamental. - Sistemas do Ambiente: - Operacional: Tempo de Resposta. Segurança. Recuperação de Falhas. Muitos usuários concorrentes; - Analítico ou Informacionais: Flexibilidade, facilidade de navegação. Consultas complexas, não antecipadas. Gerenciamento de enormes volumes de dados. Necessidade de examinar o dado em diferentes níveis de detalhe. Necessidade de acesso a dados de fontes de dados diversas. Revisão – Aula 1 a 5 - Dado: Simples observações sobre o estado do mundo. Facilmente Estruturado. Facilmente obtido por máquinas. Frequentemente Quantificado. Facilmente Transferível. - Informação: Dados dotados de relevância e propósito: Requer análise. Exige consenso em relação ao significado. Exige, necessariamente, a mediação humana. - Conhecimento: Informação valiosa da mente humana, inclui reflexão e síntese: De difícil estruturação. - De difícil captura em máquinas. Frequentemente tácito. De difícil transferência. - Tomada de Decisão: A decisão existe mesmo quando, ao analisarmos um problema, possuímos uma única opção a seguir, pois poderemos ter a alternativa de adotar ou não essa opção. Decisão é a escolha entre caminhos alternativos que levam a determinado resultado. - Estruturadas: podem ser pré- especificadas por um conjunto de regras ou procedimentos que, se presume, podem ser manipuladas por um programa de computador. São o que chamamos de decisões programáveis; - Não estruturadas: mudam a cada vez que são necessárias. São o que chamamos de não programáveis. - Processo de Tomada de Decisão: Etapa: Inteligência (Compreensão); Etapa: Projeto; Etapa: Escolha; Etapa: Implementação da Solução (Revisão). - Inteligência Empresarial: Processo de coleta, organização, análise, compartilhamento e monitoramento de informações cujo objetivo é atender as demandas de informação do planejamento estratégico das organizações. O conceito de Inteligência Empresarial parte do princípio que não basta uma empresa investir em bons sistemas de informação para alcançar uma gestão bem sucedida. - Business Intelligence: É um conjunto de ferramentas e aplicativos que permite aos gestores organizar, analisar, distribuir e agir, sustentando a tomada de decisões. O Business Intelligence concentra-se no desenvolvimento de tecnologias. - Teoria da Decisão: É um conjunto de procedimentos e métodos de análise que procuram assegurar a coerência, a eficácia e a eficiência das decisões tomadas em função das informações disponíveis, antevendo cenários possíveis. - Brainstorming (“tempestade do cérebro”): É um processo no qual um grupo de pessoas gera um grande número de ideias e soluções sobre um tema específico. É uma técnica de ideias em grupo que envolve a contribuição espontânea de todos os participantes. - Matriz de Prioridade (Matriz de Impacto): Técnica que prioriza alternativas com base em determinados critérios e deve ser usada quando queremos estabelecer uma entre diversas alternativas por meio de análise mais criteriosa. - Diagrama de Causa e Efeito (Espinha de Peixe/Diagrama de Ishikawa): É uma técnica muito utilizada que mostra a relação entre um efeito e as possíveis causas que podem estar contribuindopara que ele ocorra. Utilizada para: Visualizar, em conjunto, as causas principais e secundárias de um problema. Ampliar a visão das possíveis causas de um problema, enriquecendo a sua análise e a identificação de soluções. Analisar processos em busca de melhorias. - Arvores de Decisão ou Diagrama da Arvore: Técnica que permite indicar, de forma gráfica, e cronológica, um caminho a ser seguido em um processo de decisão, explicitando etapas a serem cumpridas para alcançar o objetivo pretendido. Representa um processo de decisão em que os nós são os momentos no tempo em que o decisor deve efetuar uma decisão. - SAD (Sistema de Apoio a Decisão): É uma classe de sistemas utilizada para apoiar o processo decisório e a atividade gerencial. É um sistema construído para capturar, tratar e disponibilizar informações estruturadas e consolidadas, com o propósito de auxiliar as empresas no processo decisório e na análise da informação. Tem como objetivo principal auxiliar na solução de problemas mais complexos – semi- estruturados ou desestruturados. Aula 6: Componentes de um Sistema de Apoio à Decisão - Sistemas de Apoio à Decisão: são sistemas interativos cujo principal objetivo é auxiliar os tomadores de decisão na utilização de dados e modelos que permitam não apenas a identificação e solução de problemas, mas também a tomada de decisões. Para cumprir este papel, o SAD é constituído por um conjunto de subsistemas, que têm como finalidade garantir a sua aplicabilidade, desenvolvimento e funcionalidade. O SAD permite que o tomador de decisão possa: Buscar informações em bancos de dados diferentes, mesmo que estejam em lugares distintos. Acessar a outras fontes de dados pela Internet ou por uma Intranet da organização. Obter informações específicas sobre o determinado problema para facilitar a análise de alternativas de solução. Obter somente as informações que necessita, uma vez que a variedade de problemas e necessidades dos tomadores de decisão é muito ampla. Planejar a decisão a ser tomada, pois é possível modificar hipoteticamente os dados e obter uma visão do que acontecerá se aquela decisão for tomada. Obter a probabilidade de algo acontecer através da simulação de cenários construídos a partir de decisões tomadas. Obter os resultados das possíveis soluções de problemas a partir da interação com o sistema, permitindo visualizar o alcance de uma determinada meta. - Subsistema Gerenciamento de Dados ou Subsistema de Gestão de Dados: A função do subsistema de gerenciamento de dados é receber, organizar e armazenar uma série de informações numa base de dados bem estruturada e de fácil captura para utilização por parte dos usuários. Esta base de dados fornece informações em resposta às consultas dos usuários, dados para o processamento de modelos assim como armazena os resultados intermediários e finais das análises efetuadas, quando necessário. Um dos principais componentes deste subsistema é o banco de dados, que armazena os dados relevantes para os processos de decisão que serão suportados pelo sistema. Geralmente este banco de dados é projetado de acordo com o tipo de problema específico para o qual o sistema é projetado. O subsistema de gestão de dados é constituído ainda pelo sistema de gestão, diretório de dados (definição e significado dos dados armazenados na base de dados) e pelo módulo de facilidade de consultas. É composto de: Módulo Gerenciador de Banco de Dados (SGBD = DBMS). Módulo Extrator (Data Extraction). Módulo Facilitador de Consultas (Query Facility). Banco de dados do SAD (DSS Database). Diretório de Dados (Data Directory). - Subsistema Gerenciamento de Modelos: As funções deste subsistema são: manipular modelos para testes; armazenar e catalogar os modelos existentes; registrar a utilização destes modelos; relacionar os modelos com os dados necessários; manter a base de modelos (armazenar, atualizar e registrar). A base de modelos contém uma série modelos rotineiros e especiais como, por exemplo, estatísticos, financeiros, de previsão, etc., que dão ao SAD capacidades analíticas. Estes modelos podem ser divididos por categorias: - Modelos Estratégicos: Apoiam gestores de alto escalão na elaboração de planos estratégicos, estudos de impacto ambiental, etc. Estes modelos tendem a ter uma ampla faixa de limites e variáveis agregadas; - Modelos Táticos: Apoiam gestores de nível médio no processo de distribuição e controle dos recursos da organização. Por exemplo, contém modelos como planos de promoções, planos orçamentais, etc. Estes modelos recorrem apenas a dados internos e fazem previsões num horizonte temporal que não ultrapassa os 2 anos; - Modelos Operacionais: Apoiam as atividades operacionais do dia a dia da empresa. Ex.: empréstimos pessoais solicitados a instituições financeiras, programação da produção, controle de estoque. Fazem previsões em um período provisional de dias, no máximo, meses; - Modelos Analíticos: São usados para fazer análises sobre os dados contidos na base de dados da SAD. São compostos por modelos estatísticos, modelos de gestão científica, algoritmos de mineração de dados e modelos financeiros. Podem estar associados a outros modelos que fazem parte dos modelos estratégicos. - Vantagens do uso de modelos: Modelos podem ser construídos ao baixo custo para se determinar o impacto de diversas decisões; Modelagem costuma ser mais rápida que a experimentação com sistemas reais; Apresenta menos riscos e mostra como a decisão pode impactar todo o sistema; Excelente experiência de aprendizagem, à medida que, ao realizar experiências com modelos, podemos conhecer os efeitos de imediato; Previsão de consequências futuras. - Desvantagens de uso de modelos: Um modelo requer a simplificação de algumas suposições. Se as hipóteses se desviam muito da realidade, os resultados podem ser bastante suspeitos. Com a diversidade de modelos disponíveis, os tomadores de decisão podem gastar muito tempo para decidir qual modelo usar. Modelos não preveem sistemas reais com exatidão. Alguns modelos exigem alto grau de sofisticação matemática tornando-os extremamente complexos de se construir e os resultados muito difíceis de se interpretar. - Subsistema Gerenciamento de Conhecimento: O subsistema de gerenciamento do conhecimento fornece informações a respeito do problema que se está tratando e, por meio do subsistema de interface com o usuário, permite ao tomador de decisão comandar o sistema de apoio à decisão e adquirir novos conhecimentos, melhorando sua capacidade para a tomada de decisão. Importante ressaltar que o usuário é considerado parte do sistema. Outra característica deste componente é que pode ser utilizado de forma isolada, sem estar associado a um sistema específico. - Subsistema de Interface com o Usuário: Considerado por muitos autores como o componente mais importante do SAD, pois permite a comunicação entre os usuários e os demais subsistemas do SAD. Exige cuidados na apresentação e disposição dos dados, para permitir uma clara comunicação entre os subsistemas e o usuário. Assim deve-se utilizar uma linguagem simples, natural e de fácil interpretação. Da sua qualidade depende em grande parte uma melhor ou pior utilização do sistema. Se o decisor sentir dificuldade no uso da ferramenta pode simplesmente não utilizá-la, uma vez que o decisor não está interessado em conhecer com profundidade os softwares utilizados e os algoritmos empregados pelos modelos. O que importa para ele é saber como utilizar o sistema para realizar suas atividades. Aula 7: Data Warehouse Para suprir as deficiências de inadequação do ambiente operacional para análise de informações pelos tomadores de decisão, surge o Data Warehouse, que integra e organiza os dados de modo consistente, confiável e disponível, sempre que necessário. Segundo Turban et All, “Um data warehouse é um conjuntode dados produzido para oferecer suporte à tomada de decisões; é um repositório de dados atuais e históricos de possível interesse aos gerentes de toda a organização. Os dados normalmente são estruturados de modo a estarem disponíveis em um formato pronto para as atividades de processamento analítico. Portanto, um data warehouse é uma coleção de dados orientada por assunto, integrada, variável no tempo e não volátil, que proporciona suporte ao processo de tomada de decisão”. O Data Warehouse é um banco de dados que armazena dados sobre as operações da empresa como, por exemplo, vendas e compras, extraídos de uma fonte única ou múltipla, oferecendo enfoque histórico, para permitir um suporte efetivo à tomada de decisão. Este banco de dados é construído utilizando-se processos de limpeza, transformação, integração e carga dos dados, e atualizado periodicamente. Características do Date Warehouse: - Integração: Os dados necessários aos tomadores de decisão estão em diversas áreas da empresa. Geralmente esses dados não estão padronizados e é necessário integrar antes de serem carregados em um DW de forma que passem a ter um único significado. A maior parte do trabalho na construção de um DW está na análise dos sistemas em operação e dos dados que ele contém; - Volatibilidade: Os dados não sofrem atualizações. Eles são carregados uma única vez e, a partir desse momento, só podem ser consultados, pois representam as informações em um determinado instante de tempo. Os dados passam por filtros antes de entrarem no DW, com isso, muitos dados nunca saem do ambiente transacional e outros são resumidos de tal forma que não são encontrados fora do DW; - Variante no Tempo: Os dados são armazenados para fornecer informações de uma perspectiva histórica. A cada mudança ocorrida num dado, uma nova entrada é criada e não atualizada, como acontece nos sistemas tradicionais; - Localização: Os dados podem estar fisicamente armazenados de três formas: centralizados, distribuídos e por níveis de detalhes. Centralizados: solução muito utilizada, mas com o inconveniente de requerer investimento em um servidor com alta capacidade de processamento e armazenamento. Distribuídos: dados armazenados em diferentes locais, chamados DataMarts, de acordo com áreas de interesse (Exemplo: financeiro, marketing). Níveis de Detalhes: dados altamente consolidados/resumidos em um servidor e dados detalhados em outro; - Credibilidade de dados: Para o sucesso de qualquer Data Warehouse é determinante a credibilidade dos dados. Simples distorções podem causar sérios problemas quando se quer extrair dados para suportar decisões estratégicas para o negócio das empresas. Dados não confiáveis podem resultar em relatórios inúteis, sem importância. Por exemplo, um simples CEP errado não afetará uma simples transação de compra e venda, mas poderá influenciar informações referentes a uma cobertura geográfica ou uma expansão de rede de filiais; - Orientado ao Assunto: Um DW sempre armazena dados importantes sobre temas específicos da empresa de acordo com o interesse das pessoas que irão utilizá-los. Ex.: Assunto clientes e faturamento para os setores de marketing e finanças. - Principais tarefas efetuadas pelo DW: Obter dados dos BDs operacionais e externos. Armazenar os dados. Fornecer informações para tomada de decisão. Administrar o sistema e os dados - Principais componentes do DW: Mecanismos para acessar e transformar dados. Mecanismo para armazenamento de dados. Ferramentas para análise de dados. Ferramentas de gerência. - Granularidade: diz respeito ao nível de detalhe dos dados existentes no Data Warehouse. Quanto maior o nível de detalhe, menor o nível de granularidade. A definição do menor intervalo correspondendo a um dia, sem levar em conta suas subdivisões tais como horas, minutos e assim sucessivamente. Definir a granularidade adequada é vital para que o Data Warehouse atenda seus objetivos: Mais detalhes: Mais dados - Análise mais longa - Informação mais detalhada; Menos detalhes: Menos dados - Análise mais curta - Informação menos detalhada. - Data Marts: Muitas vezes, apesar do Data Warehouse possuir um grande volume de dados de toda a empresa, é necessário trabalhar apenas com uma parte desses dados, correspondente a um setor da empresa, ou fazer a implantação do Data Warehouse de forma fracionada até se formar o sistema corporativo. O Data Warehouse pode ser subdividido em mercados de dados [Data Marts] que guardam subconjuntos específicos de dados a partir do repositório original. Um Datamart é um banco de dados de suporte à decisão construído para utilização por um departamento ou grupo específico de uma empresa. Utilização DataMarts: Pequenos bancos de dados departamentais orientados por assunto. Solução “Tática” (possuem implementação mais simples). Menor tempo de desenvolvimento. Atenção: a integração de DataMarts exige planejamento avançado. Observações: Dados podem estar repetidos em diversos Data Marts. O mesmo dado pode ser representado com granularidade diferente. OBS: Data Warehouse tem por característica ser: R: Orientado a Assuntos Aula 8: Metadados e Operações OLAP Metadados: São normalmente definidos como “dados sobre os dados”. Tem papel muito importante na administração de dados, mas quando falamos de Data Warehouse, são considerados fundamentais uma vez que é a partir deles que as informações serão processadas, atualizadas e consultadas. Nos Bancos de Dados Operacionais a estrutura e o significado dos dados estão embutidos nas aplicações, já no ambiente de Data Warehouse os usuários, através dos Metadados, podem conhecer a estrutura e o significado dos dados. Quando falamos de projeto de Data Warehouse, os Metadados devem gerar e gerenciar uma documentação sobre o levantamento de dados do banco de dados, dos relatórios a serem gerados, da origem dos dados que alimentam o Data Warehouse, dos processos de extração, do tratamento e rotinas de carga dos dados, as regras de negócio da empresa e todas as suas mudanças. São divididos em dois grupos: - Metadados Técnicos: Fornecem aos desenvolvedores e usuários técnicos a confiança de que os dados estão corretos e são críticos para a manutenção e o crescimento contínuo do Data Warehouse. Ex.: Tabelas com a estrutura do Data Warehouse; Dependência dos programas; Nomes das tabelas do Data Warehouse. - Metadados de Negócio: São o elo de ligação entre os usuários de negócios e o Data Warehouse. Mostram que relatórios, consultas e dados estão no Data Warehouse, a localização dos dados, contexto dos dados, regras de transformação que foram aplicados e as origens desses dados. Ex.: Mapeamento dos campos das tabelas físicas do Data Warehouse; Regras para drill-down, drill-up e drill-across; Informações sobre sumarizações e transformações dos dados; Estruturas dos dados com a nomenclatura que possa ser facilmente entendida pelo usuário final. Por serem considerados um dicionário de informações os metadados devem descrever: - Fonte dos dados: todo elemento de dado precisa ter sua origem ou o processo que o gera identificado. - Destino dos dados: tão importante quanto saber a origem do dado é saber o seu destino, principalmente quando esse dado é usado como fonte para outras informações. - Formato dos dados: todo elemento de dados deve ter identificado seu tamanho e o tipo de dados. - Nome e Alias: todo elemento de dado deve ser identificado por um nome que pode ser da área de negócios ou um nome técnico. Tipos de Informações do Metadados: Podemos generalizar dizendo que os aspectos sobre os quais os metadados mantêm informações são: A estrutura dos dados segundo a visão do programador; A estrutura dos dados segundo a visão dos analistas de SAD; A fonte de dados que alimenta o Data Warehouse; A transformação sofrida pelos dados no momento de sua migraçãopara o Data Warehouse; A frequência de atualização das fontes de dados; A frequência de atualização do Data Warehouse; Fidelidade dos dados. Ex.: se todos os dados de janeiro foram recebidos; O histórico das extrações de dados; Métodos e permissões de acesso, privilégios e senhas de fontes de dados; Horários de trabalho dos sistemas em que se encontram as fontes de dados; Extratos ou resultados de cada processo de extração, incluindo o tempo necessário, conteúdos e nível de perfeição da operação; Versões dos diversos softwares envolvidos em todas as fases; Estatísticas de uso dos dados. Fontes de Metadados: - Formais: dados que foram amplamente discutidos, documentados e formalizados na organização. São armazenados em ferramentas ou documentos que são mantidos e distribuídos dentro da empresa. Podem fazer parte dos metadados formais tanto os metadados técnicos quando os de negócio. – Informais: são os dados que são tácitos ao conhecimento corporativo, não tendo nenhum tipo de documentação a respeito. Todos os metadados informais, quando relevantes ao processo, deverão ser incluídos no projeto do Data Warehouse e documentados, transformando-se em metadados formais. Camadas de Metadados: - Metadados Operacionais: Definem a estrutura dos dados mantidos pelos bancos operacionais, usados pelas aplicações de produção da empresa. – Metadados Centrais do Data Warehouse: São orientados por assunto e definem como os dados transformados devem ser interpretados, incluem definições de agregação e campos calculados, assim como visões sobre cruzamento de assuntos. – Metadados de Nível do Usuário: Organizam os metadados do Data Warehouse para os conceitos que sejam familiares e adequados aos usuários finais. Ambiente OLAP: Os usuários quando utilizam Data Warehouse estão interagindo com o chamado ambiente OLAP da organização, isto é, o ambiente voltado para operações analíticas. O termo processamento analítico on-line (OLAP), segundo Turban et All, refere-se a uma variedade de atividades normalmente executadas pelos usuários finais em sistemas on-line. As chamadas “ferramentas OLAP” permitem a geração de relatórios, a análise de um grande volume de dados e a obtenção de informações estratégicas que podem facilitar a tomada de decisão. Dizemos, então, que o termo OLAP refere-se a um conjunto de ferramentas voltadas para acesso e análise ad-hoc de dados, cujo principal objetivo é a transformação de dados em informações capazes de dar suporte às decisões gerenciais de forma amigável e flexível ao usuário e, fundamental, em tempo hábil. A funcionalidade OLAP é inicialmente caracterizada pela análise dinâmica e multidimensional dos dados consolidados de uma organização, permitindo que as atividades do tomador de decisão sejam tanto analíticas quanto navegacionais. Do ponto de vista gerencial é uma ferramenta muito importante pois proporciona uma grande capacidade de efetuar cálculos complexos como previsões, percentuais de crescimento e médias diversas, considerando- se a variável tempo. Operações OLAP: Dril-down: analisa os dados em níveis de agregação progressivamente mais detalhados, ou de menor granularidade. Roll-up: analisa os dados em níveis de agregação progressivamente menos detalhados, ou de maior granularidade. Slice and disse: restringe os dados sendo analisados a um subconjunto destes dados, slice: corte para um valor fix, dice: seleção de faixas de valores. Drill-across: compara medidas numéricas distintas que são relacionadas entre si através de pelo menos uma dimensão em comum. Pivot: reorienta a visão multidimensional dos dados, oferecendo diferentes perspectivas dos mesmos dados. OBS: O usuário pode utilizar as ferramentas para navegar entre diferentes níveis de granularidade de um cubo de dados, aumentando ou diminuindo o nível de detalhamento dos dados, através de processos denominados Drill up e Drill down. R: OLAP - Quando usuário necessita mudar perspectiva da visão de análise dos dados, utiliza operação de. R: Dice Aula 9: Modelagem de Data Warehouse Modelagem de Dados para Data Warehouse: é diferente da utilizada para sistemas OLTP uma vez que as características e objetivos destes dois ambientes são distintos. O modelo de dados tradicional utiliza uma abordagem normalizada para o projeto de banco de dados. As ferramentas baseadas em SQL podem ajudar na pesquisa, mas não são flexíveis o suficiente para fornecer as respostas em um tempo hábil, dificultando o trabalho do tomador de decisão. A modelagem de dados para Data Warehouse, chamada Modelagem Multidimensional, é uma técnica de concepção e visualização de um Modelo de Dados apresentado em uma arquitetura intuitiva, a partir de um conjunto de medidas que descrevem aspectos comuns de negócios. É utilizada especialmente para sumarizar e reestruturar dados e apresenta-los em visões que suportem a análise dos valores desses dados. Uma visão multidimensional é usualmente representada por um cubo. A metáfora do cubo dá a impressão de múltiplas dimensões. Os “cubos” podem ter 2, 3, 4 ou mais dimensões. O usuário pode rolar e cortar (“slice and dice”) o cubo, escolhendo qual a dimensão(ões) que será usada em cada consulta (query). Modelo Dimensional: Um modelo dimensional é formado por três elementos básicos: - Fatos: Um fato é uma coleção de itens de dados, composta de dados de medidas e de contexto. Cada fato representa um item, uma transação ou um evento de negócio de uma empresa. É tudo aquilo que reflete a evolução dos negócios do dia-a-dia de uma organização. A característica básica de um fato é que ele é representado por valores numéricos e implementado em tabelas denominadas Tabela Fato. A tabela Fato contém medidas que são usadas para realizar análises e também as chaves que ligam as dimensões. As tabelas Fato contêm a maioria das linhas de dados; - Medidas (Variáveis): São os atributos numéricos que representam um fato. Uma medida é determinada pela combinação das dimensões que participam de um fato, e estão localizadas como atributos de um fato. Ex.: valor em reais das vendas, número de unidades de produtos vendidas, quantidade de unidades em estoque, custo de uma venda, etc.; - Dimensões: Conceitualmente são os elementos que participam de um fato, assunto de negócios. As Dimensões tendem a ter um número menor de linhas. As dimensões determinam o contexto de um assunto de negócios, por exemplo, um banco de dados que analise as vendas de produtos teria, em geral, as seguintes Tabelas Dimensão: Tempo; Localização; Clientes; Vendedores; Cenários (realizados, projetado). As tabelas de dimensões contém os atributos que descrevem os componentes de dados e provêm a informação para realizar análises comparativas. Normalmente não possuem atributos numéricos, são somente descritivas e classificatórias dos elementos que participam de um fato. Dica: São as possíveis formas de visualizar os dados, ou seja, são os “por” dos dados: “por mês”, “por produto”, “por país”, “por região”, etc … - Modelo Dimensional – Representação: Diagrama Estrela (Star Schema). Star Schema é o termo comum para designação de modelos de dados multidimensionais; Como o termo esquema nos leva diretamente a uma ideia de modelo físico, costumamos utilizar a nomenclatura “modelo estrela”; O modelo estrela é a estrutura básica de um modelo de dados multidimensional; Sua composição típica possui uma grande entidade central denominada fato e um conjunto de entidades menores denominadas dimensões, arranjadas ao redor dessa entidade central, formando uma estrela. Cada face representa uma dimensão ou perspectiva de interesse do negócio. O núcleo contém medidas do negócio tomadas na interseção das faces. Os Joins em um Modelo Estrela, tipicamente, envolvem uma tabela fato grande e uma ou mais tabelas Dimensão pequenas, o que torna a operação mais rápida. - Modelo Estrela: Altamentedesnormalizado para melhor performance; Os dados transacionais são armazenados em Tabelas Fato e os dados de referência são armazenados em Tabelas Dimensão. - Modelo Relacional Normalizado: Minimiza a redundância de dados. Os dados transacionais podem ser armazenados em qualquer tabela. - Diagrama Floco de Neve (Snowflake): O modelo Snowflake é o resultado da decomposição de uma ou mais dimensões que possuam hierarquias entre seus membros. Podemos definir relacionamento muitos para um entre os membros em uma dimensão, formando uma hierarquia por meio desses relacionamentos entre entidades dimensões. O modelo floco de neve é resultado da aplicação da terceira forma normal sobre as entidades dimensão. Acrescenta estruturas hierárquicas ao Modelo Estrela. Variante do modelo estrela. Tabelas de dimensões estão normalizadas (3FN). Representação explícita das hierarquias. Vantagem: Evita redundância (mais economia de espaço). Desvantagem: maior número de tabelas (maior número de junções). - Esquema Constelação: União de esquemas estrela e/ou floco de neve. Esquema estrela: modela em geral um Data Mart. Esquema constelação: modela o DW - Agregações: Fornecem níveis múltiplos de detalhes do fato; Os resultados das queries (ou seus valores intermediários) são pré-calculados, o que melhora muito a performance; As agregações podem ser acumuladas através de agrupamentos diferentes. Frequentemente através de várias dimensões ou combinações de dimensões; Os valores agregados podem ser armazenados em tabelas de fatos separadas, compartilhando dimensões com a tabela de fatos básica ou podem ser armazenados codificados nas mesmas tabelas de dimensões e de fatos básica. OBS: Na modelagem tradicional usamos normalização para evitar redundância. Com DW privilegiamos a velocidade da consulta e a normalização torna-se irrelevante. Um projeto de DW necessita saber onde buscar um determinado dado (tabela, coluna, campo) e como lidar com a ausência de dado. Patrocinador forte do negócio é um fator de sucesso num projeto de DW. - A respeito de Data Warehouse (DW) e modelagem multidimensional: R: O volume de dados de um DW geralmente é superior ao volume de dados de um BD transacional Aula 10: Processo Data Warehousing Podemos verificar que os dados são inicialmente extraídos de sistemas operacionais e de fontes externas, posteriormente são integrados e transformados para serem carregados no Data Warehouse. Esta é uma etapa crítica da construção de um Data Warehouse pois envolve toda a movimentação dos dados. A mesma se dá basicamente em três passos, conhecidos como Extração, Transformação (passo este que inclui a limpeza dos dados) e Carga dos dados. Este processo é conhecido na área de TI como Processo ETL. Este processo é responsável por integrar, transformar e salvar dados, não importando sua fonte nem seu destino. Os dados, oriundos de diversas fontes de dados são submetidos a severas transformações e disponibilizados de forma normalizada. Em ambientes complexos existe a possibilidade de utilização de softwares que executam as transformações automaticamente. Dependendo da periodicidade de atualização dos dados devem ser estabelecidos mecanismos de sincronização de dados para garantir a integridade dos dados. - Extração de Dados: A extração é o primeiro passo na obtenção de dados para o ambiente do DW. Basicamente diz respeito à busca dos dados nas diversas fontes de origem e à cópia destes dados para a área de transformação de dados, a fim de serem trabalhadas posteriormente. Na construção deste processo é fundamental o acesso e a clara compreensão dos dados de origem. - Transformação de Dados: Uma vez que os dados são extraídos devem passar por uma série de tratamentos. O primeiro passo destes tratamentos refere-se à limpeza ou filtragem dos dados, onde o objetivo é garantir a integridade dos dados através de programas ou rotinas especiais que tentam identificar anomalias e resolve-las, deixando os dados em um estado consistente antes de serem instalados no Data Warehouse. Ex.: correção de erros de digitação, descoberta de violações de integridade, substituição de caracteres desconhecidos, padronização de abreviações. É comum a utilização dos seguintes termos quando nos referimos à Transformação de Dados: Limpeza, Integração, Enriquecimento, Qualificação (Scoring), Validação, Atualização de mudanças, Cálculos. - Carga de dados: Depois de transformados e “limpos” os dados estão aptos para serem carregados no Data Warehouse. A etapa de carga também demanda muita atenção de TI pois exige uma série de cuidados, por exemplo: Integridade dos dados: Assim como nos bancos de dados operacionais, é preciso assegurar que as regras de integridade das chaves estrangeiras sejam respeitadas no momento da carga; Tipo de carga a ser realizada – incremental ou total: A carga incremental normalmente é feita para tabelas de fatos e a carga total é feita em tabelas de dimensão onde o analista terá que excluir os dados existentes e incluí-los novamente. Mas isso depende da necessidade do negócio em questão; Otimização do processo de carga: Todo banco de dados possui um conjunto de técnicas para otimizar o processo de carga, tais como evitar a geração de log durante o processo, criar índices e agregar dados; Suporte completo ao processo de carga: O serviço de carga também precisa suportar as exigências antes e depois da carga atual, como eliminar e recriar índices e particionamento físico de tabelas e índices. Dificuldades no Processo ETL: - Externas: Prazos muito curtos; Relacionamento com outras equipes: a falta de tempo dos analistas OLTP. a falta de paciência dos usuários; Falta de documentação: Necessidade de reduzir custos do projeto. - Internas: Erros humanos como troca de nomes e tipos de variáveis; Uso de regras de extração em desarmonia com as regras necessárias; Dados não esperados sendo extraídos (tipo, tamanho, formato e conteúdo). Inserção de erros de transformação (escala de valor ou unidade); Uso de equações matemáticas. Aplicação de seleções não planejadas no momento da carga; Erros de codificação, tipo e formato de dados; Diferença entre modelagens de dados. Enganos sucessivos no ETL: Perda da confiança dos usuários; Perda da motivação dos usuários para apoiar; Redução no moral da equipe de sistemas. As abordagens de implementação de Data Warehouse em uso pelas organizações são três: - TopDown: Esta abordagem é conhecida como padrão inicial do conceito de Data Warehouse e necessita de maior planejamento assim como demanda um trabalho maior de definições conceituais de tecnologia antes de iniciar-se o projeto propriamente dito. As decisões sobre fontes de dados que serão utilizadas, segurança, estruturas de dados, qualidade de dados, padrões de dados e os vários modelos de dados dos sistemas transacionais atuais devem estar completos antes do início da implementação. Nesta arquitetura o processo se inicia com a extração, a transformação e a integração das informações dos sistemas transacionais e dados externos para um ODS ou diretamente das fontes operacionais. A seguir, os dados e metadados são transferidos para o Data Warehouse, a partir do qual são extraídos os dados e metadados para os Data Marts, onde as informações estão em maior nível de sumarização e, normalmente, não apresentam o nível histórico encontrado no Data Warehouse. O ponto positivo a se detacar na abordagem Top Down é que obriga a empresa a definir regras de negócio de forma corporativa, antes de iniciar-se o projeto de Data Warehouse em si; - Bottom Up: Esta abordagem permite que o planejamento e o desenho dos Data Marts possam ser realizados sem esperar que seja definida uma infra-estrutura corporativa para o Data Warehouse. Essa infra-estrutura não deixará de existir, apenas poderá ser implementada incrementalmente conformeforem sendo realizados os Data Marts. Como a implementação Top Down é politicamente difícil de ser definida e cara, a abordagem Bottom Up vem se tornando popular. É bastante aceita pelos executivos por possuir um retorno de investimento rápido. O objetivo desta implementação é a construção de um Data Warehouse incremental a partir do desenvolvimento de Data Marts independentes. O processo começa com a extração, a transformação e a integração dos dados para um ou mais Data Marts. Um dos grandes problemas dessa implementação é a falta de um gerenciador que garanta padrões únicos de metadados. Essa dificuldade é responsável pela falha na elaboração incremental do Data Warehouse. Podem ocorrer redundâncias de dados e inconsistências entre os Data Marts, mas que podem ser minimizados por meio de um planejamento, monitoração e estabelecimento de regras (metodologia). Outro problema é que o processo de extração pode tornar-se crítico na interferência junto aos sistemas transacionais, devido à estrutura de múltiplos Data Marts; - Intermediária: Essa abordagem integra a implementação Top Down com a Bottom Up. Nessa abordagem, efetua-se a modelagem de dados do Data Warehouse com visão macro. A partir daí, cada Data Mart pode ser gerado a partir do macromodelo de dados do Data Warehouse e integrado ao modelo físico do Data Warehouse. A principal vantagem dessa abordagem é a garantia da consistência dos dados, pois o modelo de dados para os Data Marts é único. - Planejamento: Definição do escopo do projeto, considerando-se as áreas críticas da empresa e as necessidades mais permanentes de informações gerenciais. - Levantamento de Necessidades: Identificados os modelos de projeto: o modelo dimensional e o modelo relacionado às fontes das informações. Modelo dimensional: representa os blocos conceituais de dados necessários para atender os objetivos do sistema de suporte à decisão. Modelo relacionado às fontes das informações: permite avaliar a qualidade e a integridade dos dados-fonte, além da sua duração histórica. - Modelagem Dimensional: Projeto de quais os indicadores (medidas) que serão analisados, e as dimensões de análise, considerando quais indicadores são necessários para gerenciar o negócio. Deve considerar quais são os dados disponíveis para gerar os indicadores, e aqueles que precisam ser disponibilizados. - Projeto Físico dos BDs: Definição das tabelas Fato e Dimensão e seus relacionamentos e índices. Implantação de regras associadas. - Projeto ETL: Definição dos vários elementos que irão compor as atividades do processo de ETL: Filtro de Dados. Procedimentos e condições para se eliminar os elementos de dados indesejáveis no modelo dimensional. Integração de Dados: Define a forma de se correlacionar informações existentes em fontes distintas, e que deverão ser integradas no Data Warehouse. Condensação de Dados: Define a forma de se reduzir volumes de dados visando a obter informações resumidas e sumarizadas. Conversão/Integração de Dados: Define os procedimentos para padronizar dados que se encontram com unidades, formatos e dimensões diferentes. Exemplo: vendas de produtos no mês, produção de componentes por dia e compra de materiais por semana. Derivação de Dados: Define os meios e fórmulas para produzir dados virtuais, a partir de dados existentes. - Desenvolvimento de Aplicações: O objetivo final do Data Warehouse é o ambiente de consultas OLAP. Este ambiente deve ter uma interface amigável e simples, onde o usuário pode construir suas consultas, de acordo com sua necessidade ou intuição. As aplicações ou ferramentas deste ambiente devem possibilitar a visualização de dados em formas variadas e a importação dos dados obtidos para ferramentas do usuário final, como por exemplo, planilhas e processadores de textos. - Validação e Teste: Teste do sistema é testado considerando-se, o máximo possível, as simulações de volume e de processamentos. - Treinamento: Todos os usuários envolvidos com a atividade gerencial de negócio deverão ser treinados, não apenas nas ferramentas/aplicações, mas também nos conceitos associados ao Data Warehouse. - Implantação: Acompanhamento de uso das aplicações disponibilizadas. A equipe do projeto deverá incentivar os usuários a apresentarem críticas e sugestões de melhorias para as próximas versões do sistema. As etapas de Planejamento e Modelagem são decisivas para o sucesso de sua implementação. Uma solução bem desenhada tem por objetivos: Analisar as informações dos usuários, satisfazendo suas necessidades. Monitorar e comparar as operações do momento atual com momentos passados. Prever situações futura. Projeto Data Warehouse: - Mitos: Os dados não mudam na migração, Os dados são migrados apenas uma vez, Tudo está bem documentado, Toda a documentação está disponível, A conversão e a movimentação de dados é fácil, A transformação é uma pequena parte do projeto; - Fatos: Os dados antigos não são conhecidos ou entendidos, Muitas aplicações encontram-se em sistemas proprietários, A data de entrega é normalmente estabelecida antes da análise do problema, Há uma complexidade e diversidade de sistemas e de culturas, Não há controle dos processos do negócio, Não há especialização em muitas das linguagens e banco de dados, Fontes de dados externas são necessárias. OBS: Qual das alternativas abaixo apresenta uma das vantagens da Implementação Top Down? R: Todos os negócios da empresa estão concentrados no Data Warehouse Revisão - Aula 6 a 10 - SAD (Sistema de Apoio à Decisão): É um sistema de informação baseado em computador que utiliza conhecimentos para apoiar gerentes (ou pessoas autorizadas) que trabalham naquela área a solucionar problemas, ou seja, tomar decisões. um SAD deve comandar um sistema interativo para auxiliar tomadores de decisão a utilizar dados e modelos para solucionar problemas não estruturados. O SAD permite que o tomador de decisão possa: Buscar informações em bancos de dados diferentes, mesmo que estejam em lugares distintos. Acessar a outras fontes de dados pela Internet ou por uma Intranet da organização. Obter informações específicas sobre o determinado problema para facilitar a análise de alternativas de solução. - Data Warehouse: Banco de dados que armazena dados sobre as operações da empresa, como vendas e compras, extraídos de uma fonte única ou múltipla, oferecendo enfoque histórico, para permitir um suporte efetivo à tomada de decisão. Dados integrados e históricos que servem desde a alta direção, que necessita de informações mais resumidas, até as gerências de baixo nível, onde os dados detalhados ajudam a observar aspectos mais táticos da empresa. Principai tarefas: Obter dados dos BD’s operacionais e externos; Armazenar os dados; Fornecer informações para tomada de decisão; Administrar o sistema e os dados. - Granularidade de Dados: Diz respeito ao nível de detalhe dos dados existentes no Data Warehouse. Quanto maior o nível de detalhe, menor o nível de granularidade. - DataMarts: Muitas vezes, apesar do Data Warehouse possuir um grande volume de dados de toda a empresa, é necessário trabalhar apenas com uma parte destes dados, correspondente a um setor da empresa, ou fazer a implantação do Data Warehouse de forma fracionada até se formar o sistema corporativo. Pode ser considerado como um subconjunto de dados que possui regras de negócio e de cálculo específicas, sumarizados ou agregados de um data base maior. - Metadados: A definição mais simples de metadados é que eles são dados sobre dados – mais especificamente, informações (dados) sobre um determinado conteúdo (os dados). Os metadados são utilizados para facilitar o entendimento, o uso e o gerenciamento de dados. Um registro de metadados consiste de alguns elementos pré-definidos que representam determinados atributos de um recurso, sendo que cada elemento pode ter umou mais valores. - Metadados Técnicos: Fornecem aos desenvolvedores e usuários técnicos a confiança de que os dados estão corretos; São críticos para a manutenção e o crescimento contínuo do DW. Ex.: Controles de auditoria; Tabelas com a estrutura do DW; Dependência dos programas; Nomes das tabelas do DW. - Metadados de Negócio: São o elo de ligação entre os usuários de negócios e o DW; Mostram que relatórios, consultas e dados estão no DW, a localização dos dados, contexto dos dados, regras de transformação que foram aplicados e as origens desses dados. Ex.: Mapeamento dos campos das tabelas físicas do DW; Regras para drill-down, drill-up e drill-across; Informações sobre sumarizações e transformações dos dados; Estruturas dos dados com a nomenclatura que possa ser facilmente entendida pelo usuário final. - Processo ETL (Extração, Tratamento e Loader (carga)): Responsável por integrar, transformar e salvar dados, não importando sua fonte nem seu destino. Os dados são submetidos a severas transformações e disponibilizados de forma normalizada. Dependendo da periodicidade de atualização dos dados devem ser estabelecidos mecanismos de sincronização de dados para garantir a integridade dos dados. - Extração de Dados: Primeiro passo na obtenção de dados para o ambiente do DW. Busca dados nas diversas fontes de origem e os transporta para a área de transformação de dados. Na construção deste processo é fundamental o acesso e a clara compreensão dos dados de origem. - Transformação de Dados: Após a extração de dados deve existir o tratamento destes dados. O primeiro passo deste tratamento refere-se à limpeza, ou filtragem dos dados, cujo objetivo é garantir a integridade dos dados através de programas ou rotinas especiais que tentam identificar anomalias e resolve-las. É maior preocupação da área de TI pois, se não existir uma estratégia adequada, o Data Warehouse pode falhar. - Carga de Dados: Depois de transformados e “limpos” os dados estão aptos para serem carregados no Data Warehouse. Esta etapa também demanda muita atenção de TI pois exige uma série de cuidados, Ex.: Integridade dos dados. Tipo de carga a ser realizada. Otimização do processo de carga. Suporte completo ao processo de carga. - Modelagem de Dados: A Modelagem Multidimensional é uma técnica de concepção e visualização de um Modelo de Dados de um conjunto de medidas que descrevem aspectos comuns de negócios. É utilizada especialmente para sumarizar e reestruturar dados e apresenta-los em visões que suportem a análise dos valores desses dados. - Modelo Dimensional - Diagrama Estrela (Star Schema): Star Schema é o termo comum para designação de modelos de dados multidimensionais; Como o termo esquema nos leva diretamente a uma ideia de modelo físico, o mais usual é denominarmos de modelo estrela; O modelo estrela é a estrutura básica de um modelo de dados multidimensional. Sua composição típica possui uma grande entidade central denominada fato e um conjunto de entidades menores denominadas dimensões, arranjadas ao redor dessa entidade central, formando uma estrela. - Diagrama Floco de Neve (Snowflake): O modelo Snowflake é o resultado da decomposição de uma ou mais dimensões que possuam hierarquias entre seus membros; Podemos definir relacionamento muitos para um entre os membros em uma dimensão, formando uma hierarquia por meio desses relacionamentos entre entidades dimensões; O modelo floco de neve é resultado da aplicação da terceira forma normal sobre as entidades dimensão. Variante do modelo estrela. Tabelas de dimensões estão normalizadas (3FN). Representação explícita das hierarquias. Vantagem: Evita redundância (mais economia de espaço). Desvantagem: Maior número de tabelas (maior número de junções). Modelo estrela é considerado mais apropriado. Desperdício de espaço é menos crítico que tempo para recuperação de dados em um DW. - Esquema Constelação: União de esquemas estrela e/ou floco de neve. Esquema estrela: modela em geral um Data Mart. Esquema constelação: modela o DW.
Compartilhar