Baixe o app para aproveitar ainda mais
Prévia do material em texto
Esses são exemplos típicos de perguntas para suporte à decisão realizadas todos os dias por gerentes no mundo inteiro. As respostas a estas questões normalmente exigem instruções de programação complexas cuja codificação e execução pode levar horas. Além disto, a formulação de algumas destas consultas pode depender de dados que fazem parte de um conjunto diverso de sistemas legados internos e de outras fontes externas, do mercado, que podem pertencer a bancos de dados relacionais e não relacionais. Tomada de Decisão Questões para tomada de decisão impõem novos requisitos aos SGBDs. Os dados usados para suporte à decisão são conceitualmente diferentes dos dados usados nos bancos de dados para processamento de transações. Portanto, os bancos de dados que conseguem armazenar tais dados e arquiteturas computacionais que podem processar esses dados também são diferentes, assim como também são diferentes as características dos sistemas que permitem a consulta a estas bases de tomada de decisão. Usando a Tecnologia como suporte Nos dias atuais o mercado empresarial está em constante mudança e, para se manterem competitivas, as empresas necessitam estar atentas a estas mudanças e desenvolverem cada vez mais sua capacidade de prever as novas tendências do mercado onde atuam. Neste cenário algumas tendências podem ser destacadas, como por exemplo, o estudo da concorrência, o compartilhamento do conhecimento e a busca de novas tecnologias que flexibilizem o acesso e compreensão de informações estratégicas, facilitando a tomada de decisão empresarial. “Uma boa utilização da TI permite a minimização dos impactos negativos de distância e tempo e o compartilhamento mais fluido de conhecimento dentro e fora da empresa “(Fonte: Vieira, R. P. - Globalização, avanço tecnológico e a necessidade ) A importância da tecnologia da informação Podemos considerar a Tecnologia da Informação como um ‘dinamizador’ das mudanças que ocorrem nas organizações e da maneira como estas organizações se posicionam para fazer frente à concorrência, desempenhando um papel fundamental para torná-las mais aptas a responder às mudanças que ocorrem no mercado e para buscar novos parâmetros de aprendizado, especialmente no que diz respeito à globalização de mercados. Atualmente sabe-se que um dos principais papéis da Tecnologia da Informação é o de fornecer meios para que a organização encontre novas oportunidades de negócio, além do tradicional papel de oferecer meios para melhoria da eficiência das operações, através dos Sistemas de Informação Baseados em Computador. A importância da tecnologia da informação O uso da tecnologia envolve a necessidade de visão e perspectiva, observando-se para onde a empresa está caminhando e como suportar a dinâmica das mudanças, superando restrições e criando oportunidades. O uso estratégico da Tecnologia da Informação pode, sem dúvida, ser um facilitador para o alcance de objetivos globais de negócios, ajudando a administrar fluxos essenciais de modo integrado, compartilhar conhecimento e transferir habilidades e, ainda, reduzir os impactos de tempo e distância. Motivação para Inteligência Empresarial Uma das principais características da sociedade moderna é a dinâmica das transformações e a globalização dos mercados. A globalização tem forçado as organizações a se preocuparem com a competitividade e com a colocação no mercado de produtos com uma melhor qualidade a preços menores. Nos dias atuais, como consequência do avanço da tecnologia e da economia globalizada, as empresas têm seus custos, margens e preços afetados diretamente pelo aumento da competitividade. Para sobreviver diante das adversidades que se apresentam é preciso que a empresa conheça seu ambiente e atue com eficácia diante da concorrência. Os tempos atuais demandam novas teorias, novas capacidades de pensamento, novas capacidades para transformar dados em informação útil e novos níveis de inovação capazes de desenvolver aplicações práticas para estas informações. A capacidade de identificar, e utilizar, os conhecimentos que são estratégicos para a gestão do negócio tornou-se fundamental para qua a empresa identifique a necessidade de mudanças e atuem de modo positivo diante destas mudanças canalizando, assim, os recursos da organização para a produtividade e a competitividade. As empresas querem ser produtivas para serem mais lucrativas. E lucratividade e competitividade são as verdadeiras determinantes da inovação tecnológica e do crescimento da produtividade. Assim, não podemos nos contentar em gerar novos Conhecimentos, em fazer apenas a pesquisa pela pesquisa, ou simplesmente em coletar informações e guardá-Ias. Sem capacidade de inovar – criar novos produtos e serviços - mas também, de criar novos mercados, exportar e empreender negócios, nenhuma empresa se tornará líder em seu setor ou mesmo conseguirá sobreviver nesta economia globalizada. Conhecimento, inovação e empreendedorismo formam, assim, um tripé indissociável para o sucesso das organizações na nova Economia. A esta sinergia entre Conhecimento, inovação e empreendimento damos o nome de Inteligência Empresarial. Informação e conhecimento direta ou indiretamente estão presentes em todos os processos e atividades organizacionais. Ao utilizar da melhor forma possível esse recurso as organizações tendem a obter um melhor desenvolvimento e competitividade frente ao mercado. A principal função da Inteligência Empresarial é suprir as organizações com informações, a fim de prepará-las para o acirramento da concorrência e da globalização dos mercados. A Inteligência Empresarial diz respeito à capacidade de uma organização em reunir informações do ambiente interno e do mercado, facilitar o uso destas informações na criação de conhecimentos e atuar efetivamente com base nestes conhecimentos. Dizemos, então, que a Inteligência Empresarial está relacionada aos diversos processos de coleta, organização, análise e utilização de dados e informações que permitem implementar novas ações de mercado e apoiar a tomada de decisão. Inteligência Competitiva Inteligência Competitiva é a utilização de métodos, meios e técnicas para se gerenciar estrategicamente as informações nas organizações. Este processo sistemático da busca, análise, estruturação e disseminação das informações oriundas das várias fontes existentes tanto na empresa quanto no ambiente externo é de vital importância na gestão e planejamento estratégico. Este processo é fundamental para a criação do conhecimento e a tomada de decisão, em qualquer nível da organização. O atual mercado competitivo fez com que, a Inteligência Competitiva e a gestão dos sistemas de informação se tornassem uma atividade fundamental para sobrevivência das organizações. A integração destas atividades possibilitou a mudança de mentalidade nas organizações, que passaram a tratar conhecimento como um fator de vantagem competitiva. O uso da Inteligência Competitiva permite que a organização passe a atuar no sentido de identificar oportunidades e não se perder em ações de curto prazo destacando-se, assim, as empresas que trabalhem com cenários de prospecção e analíticos e que consigam colocar em prática o conhecimento adquirido. Através da Inteligência Competitiva são identificadas as oportunidades e/ou ameaças do ambiente externo, que contribuirão na busca das vantagens competitivas, facilitando à organização alcançar posição de destaque no cenário empresarial. O Ciclo da Inteligência Competitiva Inteligência Organizacional “Se você conhece o inimigo e conhece a si mesmo, não precisa temer o resultadode cem batalhas. Se você se conhece, mas não conhece o inimigo, para cada vitória ganha sofrerá também uma derrota. Se você não conhece nem o inimigo nem a si mesmo, perderá todas as batalhas...” (Sun Tzu. A Arte da Guerra) Ao associarmos esta frase de Sun Tzu aos conceitos que estamos estudando iremos perceber a importância do conhecimento para que uma organização possa sobreviver e atingir seus objetivos estratégicos na economia globalizada atual. A organização que não conhece o seu ambiente e a sua real potencialidade neste cenário está sujeita ao insucesso por despender esforços redundantes e, muitas vezes, de baixa eficácia em suas atividades rotineiras, não estando preparada para responder com agilidade aos eventuais imprevistos que possam surgir. A solução para adquirir o conhecimento de seu ambiente é a implementação de um sistema de inteligência organizacional que seja capaz de monitorar este ambiente. Esta solução está associada à capacidade da organização para reunir informações, inovar, criar conhecimento e atuar efetivamente com base no conhecimento gerado. Os sistemas de informação computacionais desenvolvidos para este objetivo são sistemas complexos, que necessitam de interações entre os usuários finais e os responsáveis pela análise, desenvolvimento e manutenção, e não são programas que podem ser comprados, instalados e imediatamente utilizados. A partir de seu uso é possível encontrar novas formas de entender os dados disponíveis na organização, gerando informações e novos conhecimentos para o usuário final que, neste caso, é o tomador de decisão. Introdução O conhecimento é fator diferencial na economia globalizada de hoje. Assim, os principais ativos necessários à criação de riquezas, não são mais bens físicos, como a terra, equipamentos ou fábricas, mas sim ativos intangíveis originados pelo conhecimento. Estes ativos são potencializados pelas modernas ferramentas de Tecnologia da Informação e Comunicação, que viabilizam sistemas desenvolvidos para apoiar a atividade de tomada de decisão, permitindo a existência da Inteligência Empresarial na organização. A Inteligência Empresarial fornece subsídios para os executivos através da disponibilização de informações estratégicas e relevantes com o objetivo de minimizar as incertezas associadas ao processo de tomada de decisão estratégica. A Inteligência Empresarial pressupõe que os objetivos estratégicos são previamente definidos e conhecidos pelos tomadores de decisão, tornando efetiva a ação do Processo Decisório Estratégico. Quanto mais estruturados os sistemas que suportam o Processo Decisório na organização, mais facilmente as decisões podem ser disseminadas e, principalmente, retroalimentar este Processo Decisório com informações relevantes geradas a partir destas decisões. Definição De um modo geral, podemos definir tomada de decisão como um processo de escolha entre diferentes cursos de ação, com o propósito de alcançar um ou mais objetivos. Frequentemente a tomada de decisão é considerada o mesmo que resolver problemas. Podemos identificar duas abordagens distintas para buscarmos a solução de problemas: Risco é a medida da probabilidade de que uma alternativa selecionada resultará em um produto não-esperado ou não-desejado. Tipos de Riscos: - à própria decisão (risco da decisão) - ao processo de estimativa (risco de estimativa) Quanto mais fatos relevantes o tomador de decisão conseguir obter, menor o risco O que é um problema? Administração Estratégica - normalmente um conselho de diretores e um comitê executivo do presidente e principais executivos que desenvolvem as metas globais, estratégias, políticas e objetivos da organização como parte do processo de planejamento estratégico. As decisões estratégicas determinam os objetivos da organização como um todo, suas metas, diretrizes, políticas e critérios gerais para a organização. Administração Tática - desenvolve planos de curto e médio prazo, programações, orçamentos e especificam políticas, procedimentos e objetivos do negócio para as subunidades, como também distribui recursos e monitora o desempenho. As decisões táticas são mais específicas que as decisões estratégicas, são normalmente relacionadas com as operações de controle administrativo e utilizadas para gerar novas regras de decisão que irão ser aplicadas por parte do pessoal de operação. Administração Operacional - desenvolvem planos de curto prazo como os programas de produção semanal. Dirigem o uso de recursos e desempenho das tarefas de acordo com procedimentos e dentro dos orçamentos e programações definidos. As decisões operacionais estão associadas à operação diária da organização como, por exemplo, a definição de um cronograma para manutenção de equipamentos e a quantidade mínima de materia- prima em estoque. Condições de Decisões e Tipos de Problemas Uma decisão pode ser tomada nas seguintes condições: Decisão em condições de certeza Ocorre quando a decisão é feita com pleno conhecimento de todos os estados da natureza do processo decisório. Existe a certeza dom que irá ocorrer durante o período em que a decisão é tomada. É possível atribuir probabilidade de 100% a um estado específico da natureza. Decisão em condição de risco Ocorre quando são conhecidas as probabilidades associadas a cada um dos estados da natureza, ou mesmo a parcela dos estados conhecidos da natureza possui dados obtidos com probabilidade incerta, ou é desconhecida a probabilidade associada aos eventos. Decisão em condições de incerteza ou decisão em condições de ignorância Ocorre quando não se obteve o total estado da natureza, ou mesmo a parcela dos estados conhecidos da natureza possui dados obtidos com probabilidade incerta, ou é desconhecida a probabilidade associada aos eventos Decisão em condições de competição ou decisão em condições de conflitos Ocorre quando estratégias e estados da natureza são determinados pela ação de competidores Existem, obrigatoriamente, dois ou mais decisores envolvidos, o resultado depende da escolha de cada um dos decisores. Etapa: Inteligência (Compreensão) Esta etapa refere-se à fase de investigação do ambiente para encontrar situações que exigem uma tomada de decisão. Nesta fase iremos: Encontrar o problema Identificar objetivos e metas organizacionais Determinar se estão sendo alcançados Definir explicitamente o problema Categorizar o problema Programado / não programado Pode ou não ser decomposto em subproblemas Suporte computacional MIS OLAP, Mineração de Dados, Redes Neurais EIS, ERP, ES, SAD Etapa: Projeto Esta etapa refere-se à fase onde o objetivo é o desenvolvimento e análise de possíveis cursos de ação. Esta etapa inclui o entendimento do problema, o teste de viabilidade das soluções e a construção de um modelo testado e validado. Modelagem Conceituação do problema Abstração em formas quantitativas e/ou qualitativas Suporte Computacional Modelos Estatísticos, Redes Neurais, Lógica Fuzzy, Algoritmos Genéticos, Opções Reais EIS, ERP, SCM, CRM, ES, GDSS, SAD Etapa: Escolha Esta etapa envolve avaliação e recomendação de um determindo rumo de ação traçado na fase anterior. É importante salientar que o limite entre as etapas (ou fases ) de Projeto e Escolha é, muitas vezes, impreciso. Ex: pode-se gerar novas alternativas enquanto se avalia as existentes. Solução para o modelo: conjunto específico de valores dasvariáveis de decisão para a alternativa selecionada O problema é considerado resolvido somente depois que a solução recomendada é implementada com sucesso. Suporte Computacional Modelos Estatísticos, Redes Neurais, Lógica Fuzzy, Algoritmos Genéticos, Opções Reais EIS, ERP, SCM, CRM, ES, GDSS, SAD Etapa: Implementação da Solução (Revisão) A última etapa refere-se à fase em que se faz a avaliação das soluções escolhidas, bem como os rumos e condições que levaram a tal decisão. Nesta fase ocorre a reavaliação do processo de tomada de decisão. Questões importantes Resistência à mudança Grau de apoio da alta gerência Envolvimento e papéis dos usuários no desenvolvimento do Sistema Treinamento dos usuários Suporte Computacional EIS, ERP, ES, GDSS, SAD Introdução A teoria da decisão não é uma teoria descritiva ou explicativa, já que não faz parte de seus objetivos descrever ou explicar como e/ou por que as pessoas ( ou instituições) agem de determinada forma ou tomam certas decisões. A Teoria da Decisão é um conjunto de procedimentos e métodos de análise que procuram assegurar a coerência, a eficácia e a eficiência das decisões tomadas em função das informações disponíveis, antevendo cenários possíveis. Para exercer este papel essa teoria pode usar ferramentas matemáticas ou não. A teoria da decisão é uma teoria de escolhas entre alternativas. Diagrama de Peixe EXEMPLO Árvores de Decisão ou Diagrama da Árvore Análise por Multicritério Estas abordagens foram desenvolvidas para problemas que incluem aspectos qualitativos e/ou quantitativos, tendo como base o princípio de que a experiência e o conhecimento das pessoas é pelo menos tão valioso quanto os dados utilizados para a tomada de decisão. Tecnologia da Informação e a Tomada de Decisão A informação ocupa lugar importante na formulação dos objetivos estratégicos das empresas e no acompanhamento dos processos que ela desempenha. Aliada às diversas tecnologias se tornou o maior ativo da empresa, sendo sua utilização de vital importância para sobrevivência e manutenção na realidade de toda e qualquer empresa no mercado competitivo atual. O processo de tomada de decisões tem como sua referencia e consulta as informações sobre o mercado, economia, comportamento, entre outros fatores determinantes para mudança e adaptação do produto ou serviço no mercado organizacional. A necessidade da utilização dos sistemas de informação surge devido ao grande número de informações que circulam dentro e fora da organização e também por viabilizar o uso de técnicas complexas que facilitam a análise e estudos dos problemas. Tecnologia da Informação e a Tomada de Decisão O Planejamento Estratégico e as metas globais da empresa estabelecem o estágio para a adoção dos processos de valor adicionado e da tomada de decisão requeridos para fazê-los funcionar. De uma forma geral, os Sistemas de Informação dão o suporte ao planejamento estratégico e à solução de problemas. Com um sistema de informação bem estruturado a empresa consegue ter um valioso instrumento de apoio as sua decisões, garantindo vantagem competitiva com relação aos concorrentes, pois os gestores podem tomar decisões rápidas e seguras. Tecnologia da Informação e a Tomada de Decisão Podemos associar a cada uma das fases do Processo Decisório de Simon, aplicativos e ferramentas de TI que as auxiliam: AULA 05 Introdução Para alcançar seus objetivos e metas, a organização depende de uma tomada de decisão efetiva. Na maioria dos casos, o planejamento estratégico e as metas gerais da organização determinam o âmbito dos processos que agregam valor e a tomada de decisão necessária para fazê-los funcionar. Neste cenário, a estratégia empresarial tem importante papel no processo de tomada de decisão, pois é através desta estratégia que o ambiente de negócio é analisado, objetivos são estabelecidos e os planos para alcance destes objetivos são desenvolvidos. De forma geral, os processos gerenciais são suportados por sistemas ligados aos indicadores destes processos empresariais. Estes sistemas devem conter informações precisas no tempo hábil para tomar ações corretivas e suportar o planejamento estratégico. As empresas são bem sucedidas em: Visão Geral do SAD – Sistema de Apoio à Decisão SAD é uma classe de sistemas utilizada para apoiar o processo decisório e a atividade gerencial. É um sistema construído para capturar, tratar e disponibilizar informações estruturadas e consolidadas, com o propósito de auxiliar as empresas no processo decisório e na análise da informação. Tem como objetivo principal auxiliar na solução de problemas mais complexos – semi-estruturados ou desestruturados. A ênfase de um SAD recai sobre os estilos e as técnicas individuais da tomada de decisão, ou seja, quem toma a decisão a pessoa ainda toma a decisão, não a máquina. Características de um SAD Abordagens de otimização, satisfação e heurística Problemas Típicos que indicam a necessidade de uso de um SAD em uma organização Exemplos de perguntas que podem ser respondidas por um SAD 1. Qual a relação entre a satisfação dos clientes e os resultados de negócio e a lucratividade? 2. Os clientes mais satisfeitos são os mais rentáveis? 3. Os sistemas de incentivo de vendas estão dando resultado? 4. Qual a efetividade da estratégia da empresa? 5. Que áreas de negócio estão gerando lucro e quais não estão? 6. Nossos estoques estão otimizados? 7. Qual a posição de contas a receber x endividamento da empresa? 8. Qual a perda de faturamento mensal? 9. Qual o volume médio de vendas por mês por filial? 10. Quais os funcionários mais produtivos? Sistemas do Ambiente Sistemas do Ambiente Operacional - Tempo de Resposta - Segurança - Recuperação de Falhas - Muitos usuários concorrentes Sistemas do Ambiente Analítico ou “Informacionais” - Flexibilidade, facilidade de navegação - Consultas complexas, não antecipadas - Gerenciamento de enormes volumes de dados - Necessidade de examinar o dado em diferentes níveis de detalhe - Necessidade de acesso a dados de fontes de dados diversas Subsistema Gerenciamento de Dados ou Subsistema de Gestão de Dados A função do subsistema de gerenciamento de dados é receber, organizar e armazenar uma série de informações numa base de dados bem estruturada e de fácil captura para utilização por parte dos usuários. Esta base de dados fornece informações em resposta às consultas dos usuários, dados para o processamento de modelos assim como armazena os resultados intermediários e finais das análises efetuadas, quando necessário. A principal diferença entre esta base de dados e a dos sistemas transacionais está na acessibilidade de seu conteúdo. As bases construídas para apoiar os sistemas que auxiliam a tomada de decisão devem apresentar muitas facilidades que possibilitem ao usuário utilizar dados de diversas fontes com a certeza de que estes dados estão com sua integridade e coerência asseguradas. Este componente proporciona uma fácil captura dos dados, bem como a sua atualização, manutenção e segurança. Subsistema Gerenciamento de ConhecimentoO subsistema de gerenciamento do conhecimento fornece informações a respeito do problema que se está tratando e, por meio do subsistema de interface com o usuário, permite ao tomador de decisão comandar o sistema de apoio à decisão e adquirir novos conhecimentos, melhorando sua capacidade para a tomada de decisão. Importante ressaltar que o usuário é considerado parte do sistema. Outra característica deste componente é que pode ser utilizado de forma isolada, sem estar associado a um sistema específico. Usuário Embora o usuário não faça parte da arquitetura de um SAD, é ele quem irá lidar com o sistema em questão e deverá optar entre as diversas questões existentes nesses programas, tornando-se assim uma parte importante no conjunto como um todo. Cada usuário possui um estilo cognitivo, que o diferencia dos outros decisores no que diz respeito à sua maneira de analisar os dados. Este estilo irá influenciar tanto o projeto da base de dados quanto da interface que será construída para acesso a esta base de dados. Introdução Como vimos na nossa aula 1 as questões para tomada de decisão impõem novos requisitos aos SGBDs, uma vez que os dados utilizados para suporte à decisão são conceitualmente diferentes dos dados utilizados nos bancos de dados para processamento de transações. Diariamente nas organizações uma grande quantidade de dados sobre as diversas operações é gerada e armazenada. Os sistemas utilizados no dia-a-dia das empresas são projetados para permitir o funcionamento da organização e não são adequados para apoiar a análise destes dados por tomadores de decisão. Os tomadores de decisão necessitam de informações confiáveis sobre operações atuais, tendências e mudanças. Além disso, os dados necessários para a tomada de decisão estão espalhados em diversas áreas da empresa. Consequentemente, a integração e análise dos dados existentes nestes diferentes sistemas, é uma tarefa árdua que demanda tempo e recursos. Por este motivo, surge a necessidade de um ambiente voltado para os tomadores de decisão, que permita que estes analisem dados confiáveis de forma eficiente e flexível. Os bancos de dados que conseguem armazenar tais dados e arquiteturas computacionais que podem processar estes dados também são diferentes, assim como também são diferentes as características dos sistemas que permitem a consulta a estas bases de tomada de decisão. Data Warehouse Para suprir as deficiências de inadequação do ambiente operacional para análise de informações pelos tomadores de decisão, surge o Data Warehouse, que integra e organiza os dados de modo consistente, confiável e disponível, sempre que necessário. Mas ....o que é o Data Warehouse? Data Warehouse: Forma de funcionamento A partir do Data Warehouse é possível a obtenção de modo imediato de respostas para perguntas que normalmente não possuem respostas em seus sistemas operacionais, permitindo a tomada de decisão com base em fatos, não em intuições ou especulações. Importante ressaltar que o Data Warehouse não é um software que pode ser comprado e instalado em todos os computadores da empresa em algumas horas, sua implantação exige a integração de vários produtos e processos. Além disto, o Data Warehouse não é um fim, mas sim uma facilidade que permite às empresas analisar informações históricas, podendo utilizá-las para a melhoria dos processos atuais e futuros. Atenção A confiabilidade do Data Warehouse é imprescindível, e a resposta a uma pergunta como “ Qual foi o total de vendas do produto X na região Y no ano de 2001? “ deve ser a mesma, seja qual for a ocasião em que se faça tal pergunta, ou quem faça. Os dados históricos não mudam. Principal desafio na construção de data warehouse Integração de dados, eliminando as redundâncias e identificando informações iguais que possam estar representadas sob formatos diferentes em sistemas distintos, uma vez que os dados de origem estão espalhados em diversos locais, gerados por sistemas diferentes, desenvolvidos em diferentes ambientes e linguagens. A figura a seguir ilustra o ambiente do Data Warehouse: - Principais tarefas efetuadas pelo DW - Obter dados dos BDs operacionais e externos - Armazenar os dados - Fornecer informações para tomada de decisão - Administrar o sistema e os dados - Principais componentes do DW - Mecanismos para acessar e transformar dados - Mecanismo para armazenamento de dados - Ferramentas para análise de dados - Ferramentas de gerência Granularidade A granularidade afeta o volume de dados armazenados no Data Warehouse e o tipo de consulta que pode ser suportada por este Data Warehouse. Exemplo: Visualização da evolução de vendas, mensalmente, por vendedor. Um Datamart é um banco de dados de suporte à decisão construído para utilização por um departamento ou grupo específico de uma empresa. Pode ser considerado como um subconjunto de dados que possui regras de negócio e de cálculo específicas, sumarizados ou agregados de um database maior. Metadados Metadados são normalmente definidos como “dados sobre os dados”. Os Metadados tem papel muito importante na administração de dados, mas quando falamos de Data Warehouse, são considerados fundamentais uma vez que é a partir deles que as informações serão processadas, atualizadas e consultadas. Metadados Nos Bancos de Dados Operacionais a estrutura e o significado dos dados estão embutidos nas aplicações, já no ambiente de Data Warehouse os usuários, através dos Metadados, podem conhecer a estrutura e o significado dos dados. Quando falamos de projeto de Data Warehouse, os Metadados devem gerar e gerenciar uma documentação sobre o levantamento de dados do banco de dados, dos relatórios a serem gerados, da origem dos dados que alimentam o Data Warehouse, dos processos de extração, do tratamento e rotinas de carga dos dados, as regras de negócio da empresa e todas as suas mudanças. São divididos em dois grupos, clique nas caixas ao lado e os conheça. Metadados Técnicos Fornecem aos desenvolvedores e usuários técnicos a confiança de que os dados estão corretos e são críticos para a manutenção e o crescimento contínuo do Data Warehouse. Exemplos: - Tabelas com a estrutura do Data Warehouse; - Dependência dos programas; - Nomes das tabelas do Data Warehouse. Metadados de Negócio São o elo de ligação entre os usuários de negócios e o Data Warehouse. Mostram que relatórios, consultas e dados estão no Data Warehouse, a localização dos dados, contexto dos dados, regras de transformação que foram aplicados e as origens desses dados Exemplos: Mapeamento dos campos das tabelas físicas do Data Warehouse; Regras para drill-down, drill-up e drill-across; Informações sobre sumarizações e transformações dos dados; Estruturas dos dados com a nomenclatura que possa ser facilmente entendida pelo usuário final; Tipos de Informação do Metadados Podemos generalizar dizendo que os aspectos sobre os quais os metadados mantêm informações são: - A estrutura dos dados segundo a visão do programador; - A estrutura dos dados segundo a visão dos analistas de SAD; - A fonte de dados que alimenta o Data Warehouse; - A transformação sofrida pelos dados no momento de sua migração para o Data Warehouse; - A frequência de atualização das fontes de dados; - A frequência de atualização do Data Warehouse;- Fidelidade dos dados. Exemplo: se todos os dados de janeiro foram recebidos; - O histórico das extrações de dados - Métodos e permissões de acesso, privilégios e senhas de fontes de dados; - Horários de trabalho dos sistemas em que se encontram as fontes de dados; - Extratos ou resultados de cada processo de extração, incluindo o tempo necessário, conteúdos e nível de perfeição da operação; - Versões dos diversos softwares envolvidos em todas as fases; - Estatísticas de uso dos dados; Fontes de Metadados Podemos citar outras fontes: - Repositórios de ferramentas CASE; - Código fonte dos sistemas operacionais; - Entrevistas com especialistas do negócio; - O próprio ambiente do Data Warehouse. - Os programas construídos para carga do DW podem manter metadados sobre a data de atualização das informações e indicadores de qualidade da informação carregada. Ambiente OLAP e operações OLAP Os usuários quando utilizam Data Warehouse estão interagindo com o chamado ambiente OLAP da organização, isto é, o ambiente voltado para operações analíticas. Na aula 5 abordamos as principais diferenças entre o ambiente operacional (OLTP) e o analítico( OLAP). Vamos agora entender um pouco mais sobre este ambiente utilizado pelos tomadores de decisão. O termo processamento analítico on-line (OLAP), segundo Turban et All, refere-se a uma variedade de atividades normalmente executadas pelos usuários finais em sistemas on-line. As chamadas “ferramentas OLAP” permitem a geração de relatórios, a análise de um grande volume de dados e a obtenção de informações estratégicas que podem facilitar a tomada de decisão. Dizemos, então, que o termo OLAP refere-se a um conjunto de ferramentas voltadas para acesso e análise ad-hoc de dados, cujo principal objetivo é a transformação de dados em informações capazes de dar suporte às decisões gerenciais de foma amigável e flexível ao usuário e, fundamental, em tempo hábil. A funcionalidade OLAP é inicialmente caracterizada pela análise dinâmica e multidimensional dos dados consolidados de uma organização, permitindo que as atividades do tomador de decisão sejam tanto analíticas quanto navegacionais. Do ponto de vista gerencial é uma ferramenta muito importante pois proporciona uma grande capacidade de efetuar cálculos complexos como previsões, percentuais de crescimento e médias diversas, considerando-se a variável tempo. Modelagem de dados para Data Warehouse A modelagem de dados para Data Warehouse é diferente da utilizada para sistemas OLTP uma vez que as características e objetivos destes dois ambientes são distintos. O modelo de dados tradicional utiliza uma abordagem normalizada para o projeto de banco de dados. As ferramentas baseadas em SQL podem ajudar na pesquisa, mas não são flexíveis o suficiente para fornecer as respostas em um tempo hábil, dificultando o trabalho do tomador de decisão. A modelagem de dados para Data Warehouse, chamada Modelagem Multidimensional, é uma técnica de concepção e visualização de um Modelo de Dados apresentado em uma arquitetura intuitiva, a partir de um conjunto de medidas que descrevem aspectos comuns de negócios. É utilizada especialmente para sumarizar e reestruturar dados e apresenta-los em visões que suportem a análise dos valores desses dados. Mundo de Negócios Modelo Dimensional Um modelo dimensional é formado por três elementos básicos: Exemplo de Modelo Dimensional Atenção Cada nova dimensão aumenta o nível de detalhe. Exemplo: acrescentando-se uma quarta dimensão (Produto) é possível analisar as Vendas por Produto, por Linha de produtos, por Trimestre, por Região. “Aplanando” a Visão Multidimensional (Fonte: Valsoir, T.J, Data Warehousing: Aspectos Estratégicos e de Implementação, palestra acessada na Internet em 18 dezembro 2005, site: Google) Modelo Dimensional – Representação Diagrama Estrela ( Star Schema ) - Star Schema é o termo comum para designação de modelos de dados multidimensionais; - Como o termo esquema nos leva diretamente a uma idéia de modelo físico, costumamos utilizar a nomenclatura “modelo estrela”; - O modelo estrela é a estrutura básica de um modelo de dados multidimensional; - Sua composição típica possui uma grande entidade central denominada fato e um conjunto de entidades menores denominadas dimensões, arranjadas ao redor dessa entidade central, formando uma estrela. - Cada face representa uma dimensão ou perspectiva de interesse do negócio. - O núcleo contém medidas do negócio tomadas na interseção das faces. - As tabelas Fato contêm a maioria das linhas de dados; - As Dimensões tendem a ter um número menor de linhas; - Os Joins em um Modelo Estrela, tipicamente, envolvem uma tabela fato grande e uma ou mais tabelas Dimensão pequenas, o que torna a operação mais rápida. Modelo Estrela Altamente desnormalizado para melhor performance; Os dados transacionais são armazenados em Tabelas Fato e os dados de referência são armazenados em Tabelas Dimensão. (Fonte: Valsoir, T.J, Data Warehousing: Aspectos Estratégicos e de Implementação, palestra acessada na Internet em 18 dezembro 2005, site: Google) Extração de dados A extração é o primeiro passo na obtenção de dados para o ambiente do DW. Basicamente diz respeito à busca dos dados nas diversas fontes de origem e à cópia destes dados para a área de transformação de dados, a fim de serem trabalhadas posteriormente. Nesta construção deste processo é fundamental o acesso e a clara compreensão dos dados de origem. Normalmente há a geração de arquivos intermediários para a carga uma vez que a existência de uma única fonte de dados é rara. Uma vez que os dados são extraídos devem passar por uma série de tratamentos. O primeiro passo destes tratamentos refere-se à limpeza ou filtragem dos dados, onde o objetivo é garantir a integridade dos dados através de programas ou rotinas especiais que tentam identificar anomalias e resolve-las, deixando os dados em um estado consistente antes de serem instalados no Data Warehouse. Exemplos: correção de erros de digitação, descoberta de violações de integridade, substituição de caracteres desconhecidos, padronização de abreviações. Em algumas situações, múltiplos estágios de transformações são necessários para que o dado possa ser migrado para o Data Warehouse, dependendo da natureza dos sistemas fontes. A etapa de Transformação dos Dados é a maior preocupação da área de informática pois se não existir uma estratégia adequada, o Data Warehouse pode falhar. Locais Potenciais de “Dados Sujos” Dificuldades do Processo ETL Qual é o resultado de enganos sucessivos no ETL? - Perda da confiança dos usuários; - Perda da motivação dos usuários para apoiar; - Redução no moral da equipe de sistemas Quanto custa a baixa qualidade dos dados? Rever regras de negócio, distorções dos dados nas fontes e nos destinos; Rever o processo (etapa a etapa); Corrigir programas, rotinas e dados; Refazer a carga, analisar resultados e ajustar; Convencer os usuários, a gerência, etc a acreditar no projeto; Desenvolver aplicações fora do escopo original para ajudar no convencimento do usuário. Implementação Top Down Esta abordagem é conhecida como padrão inicial do conceito de Data Warehouse e necessita demaior planejamento assim como demanda um trabalho maior de definições conceituais de tecnologia antes de iniciar-se o projeto propriamente dito. As decisões sobre fontes de dados que serão utilizadas, segurança, estruturas de dados, qualidade de dados, padrões de dados e os vários modelos de dados dos sistemas transacionais atuais devem estar completos antes do início da implementação. Nesta arquitetura o processo se inicia com a extração, a transformação e a integração das informações dos sistemas transacionais e dados externos para um ODS ou diretamente das fontes operacionais. A seguir, os dados e metadados são transferidos para o Data Warehouse, a partir do qual são extraídos os dados e metadados para os Data Marts, onde as informações estão em maior nível de sumarização e, normalmente, não apresentam o nível histórico encontrado no Data Warehouse. Implementação Bottom Up Esta abordagem permite que o planejamento e o desenho dos Data Marts possam ser realizados sem esperar que seja definida uma infra-estrutura corporativa para o Data Warehouse. Essa infra-estrutura não deixará de existir, apenas poderá ser implementada incrementalmente conforme forem sendo realizados os Data Marts. Como a implementação Top Down é politicamente difícil de ser definida e cara, a abordagem Bottom Up vem se tornando popular. É bastante aceita pelos executivos por possuir um retorno de investimento rápido. O objetivo desta implementação é a construção de um Data Warehouse incremental a partir do desenvolvimento de Data Marts independentes. O processo começa com a extração, a transformação e a integração dos dados para um ou mais Data Marts. Metodologia para o Projeto de Data Warehouse Planejamento Levantamento de Necessidades Modelagem Dimensional Desenvolvimento de Aplicações Projeto ETL Projeto Físico dos BDs Validação e Teste Treinamento Implatanção Projeto Data Warehouse – Mitos e Fatos Principais Aplicações Comerciais que utilizam Data Warehouse
Compartilhar