Questões do caso N1 ETL DW

Prévia do material em texto

Estudo de Caso: Implantação de processo de ETL em Data Warehouse em uma seguradora com foco em planos de saúde.
Questão
a) No caso apresentado da seguradora, o tempo de realização do projeto é limitado, principalmente quando é necessário auxiliar a área de marketing e vendas. As várias bases que englobam muitas informações e dados necessitam de análise prévia antes de sua extração. Um dos grandes desafios está em otimizar todos os processos para que o tempo de espera dos utilizadores seja o menor possível. A partir desse contexto e do roteiro de estudos, como é possível realizar esse procedimento por meio da ferramenta Knowage?
Resposta: Por meio da metodologia OLTP (Online Transaction Processing) e OLAP (Online Analitical Processing), atrelada a ETL (Extract, Transform and Load). Data Sources - OLTP são responsáveis pela extração dos dados mais brutos para a transformação e carga da Data Warehouse - OLAP fazendo a analise dos dados procurando padrões a fim de detectar relacionamentos sistemáticos entre variáveis onde permite que se achem informações através da busca de padrões e associações escondidas, construção de modelos analíticos, realizar classificações e predições. Os resultados dessa mineração de dados podem ser apresentados por ferramentas de visualização, como SpagoBI (atualmente Knowage). O Knowage na verdade é um conjunto de ferramentas possuindo duas suítes, a Knowage Server que é um servidor com uma suíte completa, que permite criar desde Data Sources até relatórios, é a ferramenta principal do conjunto e a Knowage Report Designer que é utilizado para criar relatórios e depois publica-los no servidor.
b) Para áreas como marketing e vendas de uma seguradora, existe uma grande dificuldade na hora de tomar decisões rápidas. Muitos se utilizam apenas da experiência pessoal (ou na falta dela) na hora de decidir e, muitas vezes, são escolhas vitais para a organização, portanto, deveriam ter sido baseadas em um estudo histórico. Além disso, uma seguradora, com o apoio de seu departamento de TI, consegue trabalhar com dados coletados ao longo dos anos, influenciando efetivamente as decisões de marketing e vendas. Dessa forma, como podemos utilizar a tecnologia de Data Warehouse associada à ferramenta iReport para apoiar as tomadas de decisão?
Resposta: A ferramenta iReport é responsável pela geração dos relatórios que pode ser considerada a última etapa do processo de Data Warehouse. A Data Warehouse nada mais é do que um tipo de sistema de gerenciamento de dados projetado para ativar e fornecer suporte às atividades de business intelligence, pois se trata de um conjunto de dados orientado para assunto, integrado, não volátil, variante ao tempo, no apoio a decisões gerenciais consequentemente criando data marts que se relacionam entre si. O iReport é um programa open source, ou seja seus códigos fontes são distribuídos gratuitamente de acordo com a GNU (General Public License) ele é capaz de criar visualmente os mais completo e complexos relatórios para aplicações Java no formato do framework JasperReports que por sua vez também é open source e auxilia na tomada de decisão pela geração de relatórios  que pode gravar em vários destinos, como: tela, impressora, HTML, PDF, XLSX, RTF, ODT, valores separados por vírgula ou arquivos XML. É desenvolvido na linguagem Java, por tanto é uma ferramenta multiplataforma. Através de uma interface gráfica intuitiva, o desenvolvedor é capaz de criar qualquer tipo de relatório de forma simples e rápida. Mesmo sabendo que o iReport desenvolve um formato XML usado pelo JasperReports, o que não é difícil de manipular, para os desenvolvedores iniciantes o iReport evita a necessidade de modificações no código fonte. Para desenvolvedores experientes na manipulação desse formato, o tempo de desenvolvimento é reduzido consideravelmente com a ferramenta.
c) Os dados importados via processo de ETL de um banco de dados do sistema da seguradora apresentam problemas advindos do processo de coleta e, por não estarem estruturados, se faz necessário executar o mesmo processo utilizado em dados estruturados, até que seja possível conseguir o DW. Assim, que conceitos de extração e tratamento de dados poderiam ser utilizados para evitar esses problemas?
Resposta: O processo de ETL (Extract, Transform and Load) se refere à extração, transformação e carga dos dados de uma ou mais bases de dados de origem para uma ou mais bases de dados de destino (Data Warehouse). A extração e carga são obrigatórias para o processo, sendo a transformação / limpeza opcional, porém nesse caso apresentado seria indispensável o processo de transformação e limpeza para evitar tais problemas na estruturação dos dados. O ETL se da inicio na extração dos dados do sistema de origem e cada sistema pode também utilizar uma organização de dados diferente, a extração dos dados converte para um determinado formato para a entrada no processamento da transformação que é a próxima etapa do ETL. Na parte de transformação aplica uma série de regras aos dados extraídos para determinar os dados a serem carregados. Dependendo dos dados extraídos algumas fontes necessitarão de muito pouca manipulação de dados.
Sucesso! Seu envio aparece nesta página. O número da confirmação do envio é 1c8182d1-8820-4b2e-b27f-935d5b53581e. Copie e salve este número como prova de seu envio.