Prévia do material em texto
WBA0748_v1.0 Modelagem e arquitetura do Data Warehouse (DW) Conceitos básicos sobre Data Warehouse Caracterização Bloco 1 Anderson da Silva Marcolino Bancos de Dados Analíticos e Data Warehouse Figura 1 – Relação de Bancos de Dados analíticos com Data Warehouse Fonte: adaptado de KIMBALL (2002). Banco de Dados Analítico JSONs, CSVs Banco de Dados Transacionais APIs e Aplicações Relatórios. Análise de Dados. Machine Learning e Data Science. Transformação e agregação dos dados. Data Warehouse. Caracterização • As informações são fundamentais para as organizações. • Diferente de organizar o uso de um banco de dados tradicional, que restringe-se a, geralmente, trabalhar com um registro por vez, para lidar com uma Data Warehouse, é preciso considerar milhares ou milhões de registros sendo utilizados ao mesmo tempo. • Um erro banal é considerar que ambos são parecidos e trabalhar com a mesma estrutura em ambos os casos. Caracterização • É necessário isolar os bancos tradicionais dos utilizados em data warehouse, especialmente pela questão de configuração e desempenho que este último deve possuir. • Assim, veremos os objetivos de um data warehouse. Objetivos de um Data Warehouse • Tornar a informação organizada facilmente acessível. • Entregar as informações de modo consistente. • Deve ser adaptativa e resiliente à mudanças. Objetivos de um Data Warehouse • Deve prover segurança aos ativos de informações. • Deve servir como uma fundação para melhorar a tomada de decisões das organizações. • O data warehouse deve ser aceito e aprovado pela comunidade para ser considerado bem-sucedido. Responsabilidades de um gerente de Data Warehouse • Entender seus usuários e suas áreas de atuação. • Determinar as decisões de negócios que os usuários querem realizar por meio do DW. • Identificar os melhores usuários. • Identificar potenciais novos usuários. • Selecionar os dados mais efetivos a serem integrados e apresentados no contexto do DW. • Tornar as interfaces de usuário e aplicações simples aos seus usuários. Responsabilidades de um gerente de Data Warehouse • Garantir que os dados são confiáveis. • Buscar e monitorar constantemente as fontes de dados e as adaptar continuamente para o DW. • Publicar os dados regularmente. • Manter a confiança dos usuários de negócios. • Manter os usuários, executivos e chefes, felizes! Conceitos básicos sobre Data Warehouse Componentes de um Data Warehouse Bloco 2 Anderson da Silva Marcolino Componentes de um DW • Os elementos vistos anteriormente são, então, combinados e integrados a elementos tecnológicos para criar um DW. • Um dos grandes problemas, ao se especificar um DW, é confundir os papéis com suas funções. Componentes de um DW Figura 2 – Componentes de um Data Warehouse Fonte: adaptado de Kimball e Ross (2011). Teoria em Prática Bloco 3 Anderson da Silva Marcolino Reflita sobre a seguinte situação • Considerando seu papel como gerente de um DW, deverá treinar novos funcionários para apoiar nas atividades de gerenciamento. Neste contexto, elenque elementos provenientes de serviços de bancos de dados e sistemas operacionais que devem ser considerados como entrada para um DW. • Na sequência, priorize as características que tornam os DW diferentes de tais bancos de dados e elenque, integrando-as aos objetivos do DW. • Ao final, considerando o modelo que especifica os componentes de um DW, integre e represente em um esquema que, completo, possa servir de material para o treinamento dos novos funcionários que trabalharão no DW. Reflita sobre a seguinte situação • Na sequência, priorize as características que tornam os DW diferentes de tais bancos de dados e elenque, integrando-as aos objetivos do DW. • Ao final, considerando o modelo que especifica os componentes de um DW, integre e represente em um esquema que, completo, possa servir de material para o treinamento dos novos funcionários que trabalharão no DW. Norte para a resolução • Tenha em mente o que são objetivos, responsabilidades do gerente de DW e as características do DW. • Crie uma lista dos elementos que compõem um DW e, para cada um deles, inclua um ou mais objetivos e responsabilidades do gerente. • O objetivo, aqui, é separar de acordo com as quatro partes do DW, suas especificidade, favorecendo o entendimento completo do mesmo. • Utilizando como base o esquema dos componentes do DW, represente-o, integrando as informações levantadas. Dicas do(a) Professor(a) Bloco 4 Anderson da Silva Marcolino Prezado aluno, as indicações a seguir podem estar disponíveis em algum dos parceiros da nossa Biblioteca Virtual (faça o login através do seu AVA). Algumas indicações também podem estar disponíveis em sites acadêmicos como o Scielo, repositórios de instituições públicas, órgãos públicos, anais de eventos científicos ou periódicos científicos, acessíveis pela internet. Isso não significa que o protagonismo da sua jornada de autodesenvolvimento deva mudar de foco. Reconhecemos que você é a autoridade máxima da sua própria vida e deve, portanto, assumir uma postura autônoma nos estudos e na construção da sua carreira profissional. Por isso, te convidamos a explorar todas as possibilidades da nossa Biblioteca Virtual e além! Sucesso! Leitura Fundamental Indicação de leitura 1 O texto apresenta os conceitos básicos sobre ciências de dados e data warehouse. Leitura do capítulo 1, Introdução à Ciência de Dados (página 13 até 17). Referência: MACHADO, A. L. Administração do Big Data. São Paulo: SENAC, 2017. Indicação de leitura 2 O texto apresenta fundamentos dos DW, apontando diferenças significativas dos bancos transacionais. Leitura do capítulo Data Warehousing (página 35 até 46). Referência: VIDA, E. da S. et al. Data Warehouse. Porto Alegre: SAGAH, 2021. Dica do(a) Professor(a) Recomendação do filme Ex Machina, disponível na Prime Vídeo ou Apple TV, para entender um pouco mais como a Inteligência Artificial faz uso dos dados e como a análise destes pode levar à tomada de decisões. Referências KIMBALL, R. The Data Warehouse Toolkit: guia completo para modelagem dimensional. Rio de Janeiro: Campus, 2002. KIMBALL, R.; ROS, M. O kit de ferramentas de data warehouse: o guia completo para modelagem dimensional. John Wiley & Filhos, 2011. MACHADO, A. L. Administração do Big Data. São Paulo: SENAC, 2017. VIDA, E. da S. et al. Data Warehouse. Porto Alegre: SAGAH, 2021. Bons estudos! Modelagem e arquitetura do Data Warehouse (DW) Conceitos básicos sobre Data Warehouse Bancos de Dados Analíticos �e Data Warehouse Caracterização Caracterização Objetivos de um Data Warehouse Objetivos de um Data Warehouse Responsabilidades de um �gerente de Data Warehouse Responsabilidades de um �gerente de Data Warehouse Conceitos básicos sobre Data Warehouse Componentes de um DW Componentes de um DW Teoria em Prática Reflita sobre a seguinte situação Reflita sobre a seguinte situação Norte para a resolução Dicas do(a) Professor(a) Número do slide 18 Indicação de leitura 1 Indicação de leitura 2 Dica do(a) Professor(a) Referências Bons estudos!