Artigo Resumido VIII Simpósio - Provendo Usabilidade aos Dados Abertos Governamentais com Ferramentas OLAP de Código Aberto

Prévia do material em texto

Provendo Usabilidade aos Dados Abertos Governamentais com Ferramentas OLAP de Código Aberto
Maike J. R. Silva 1, Petrônio C. L. Silva1
1Instituto Federal do Norte de Minas Gerais (IFNMG) - Campus Januária
Fazenda São Geraldo, S/N, Januária - MG
maikejordan@gmail.com, petronio.candido@ifnmg.edu.br
Abstract. This paper proposes the creation of portals for viewing Open Government Data using dynamic reports with OLAP technology, based on free and open source tools to allow the use of such data by the population that has no technical knowledge. We propose a methodology of implementation and infrastructure support for these portals.
Resumo. Este artigo propõe a criação de portais para a visualização de Dados Abertos Governamentais utilizando relatórios dinâmicos com a tecnologia OLAP, baseado em ferramentas gratuitas e de código aberto, para permitir o consumo desses dados pela população que não dispõe de conhecimentos técnicos. Propõe-se uma metodologia de implantação e a infra-estrutura de suporte para esses portais. 
1. Introdução
A transparência pública sempre foi um desafio à democracia, pois permite aos cidadãos a fiscalização dos atos e gastos públicos. Desde a Constituição Federal de 1988 a publicidade é um dos princípios da administração pública (BRASIL, 1988) e, mais recentemente, a Lei de Acesso à Informação - LAI (BRASIL, 2011) garante a qualquer pessoa física ou jurídica, pleno acesso às informações geradas por qualquer poder em qualquer instância, desde que essa informação não seja sigilosa. A partir da promulgação da LAI, o Governo Federal colocou em prática o Portal Brasileiro de Dados Abertos, um repositório cujo objetivo é disponibilizar todo tipo de dado governamental baseado nos princípios dos Dados Abertos. Segundo OPEN KNOWLEADGE (2014) “dados são abertos quando qualquer pessoa pode livremente usá-los, reutilizá-los e redistribuí-los”.[0: http://dados.gov.br/]
Porém os dados disponibilizados pelos órgãos e entidades governamentais nem sempre seguem um padrão e o cidadão comum geralmente não detém conhecimento técnico para utilizar estes recursos. Nesses termos, os dados encontram-se disponíveis porém não estão consumíveis, dificultando a absorção dessas informações pela sociedade. O Instituto Federal do Norte de Minas - IFNMG disponibiliza em seu portal o conjunto de todos os dados produzidos pela instituição na forma da lei, em sua maioria hospedados no Portal da Transparência do Governo Federal. Os dados fornecidos nesses portais atendem a definição e boas práticas de Dados Abertos mas sua utilização prática pela comunidade é restrita pelo pouco conhecimento da população em informática o que limita sua capacidade de importar os dados, abrir, processar e consumir a informação neles contida.[1: http://www.ifnmg.edu.br/acessoainformacao/sobre-o-acesso-a-informacao][2: http://www.transparencia.gov.br/]
O objetivo dessa pesquisa e facilitar o consumo de dados abertos governamentais, utilizando como estudo de caso os dados abertos do IFNMG, através de ferramentas de análise e visualização dinâmica como a On Line Analytical Processing - OLAP, que permite que usuários leigos realizem consultas complexas nos dados sem necessidade de conhecimentos técnicos como importação de dados ou SQL. Já existem no Brasil iniciativas similares como os portais Olho Neles! e o Painel do PAC. Esse trabalho se concentra em elaborar uma metodologia adaptada a Rede Federal de Educação Profissional (BRASIL, 2008). Propõe-se a implantação de um portal para disponibilizar acesso visual e facilitado aos dados abertos primários disponibilizados para download. Esse portal não substitui os repositórios de dados abertos mas facilita o seu consumo pela população em geral, procendo facilidades como filtros, gráficos, etc.[3: http://olhoneles.org/][4: http://www.it4biz.com.br/apps/dados.gov.br/obrasdopac/]
2. Fundamentação Teórica
2.2 Dados Abertos Governamentais
Conforme OPEN KNOWLEDGE FOUNDATION (2013), “dados são abertos quando qualquer pessoa pode livremente usá-los, reutilizá-los e redistribuí-los, estando sujeito a, no máximo, a exigência de creditar a sua autoria e compartilhar pela mesma licença”. Um adendo importante a essa definição é dado por EAVES (2009) que propõe três leis para os dados abertos: “i) Se o dado não pode ser encontrado e indexado na Web, ele não existe; ii) Se não estiver aberto e disponível em formato compreensível por máquina, ele não pode ser reaproveitado; iii) Se algum dispositivo legal não permitir sua replicação, ele não é útil”. Essa última definição tornam explicítos os requisitos de disponibilidade, reusabilidade e abertura. Já o OPEN GOVERNMENT WORKING GROUP (2007) destaca oito princípios a serem seguidos pelos dados abertos governamentais: i) completude: todos os dados públicos são disponibilizados; ii) primacidade: dados primitivos como coletados na fonte e não agregados; iii) atualidade: dados publicados imediatamente após sua geração; iv) acessibilidade: disponível para o público geral v) processável por máquina: possuírem formato minimamente estruturado; vi) acesso não discriminatório: sem necessidade de identificação ou registro; vii) formato não proprietário: o formato dos dados não pode depender de softwares proprietários; viii) livre de licença: não estão sujeitos a restrições legais.
Esses conceitos representam um avanço democrático e alicerçaram o caminho para a criação de leis que garantem a divulgação dos dados governamentais em formato aberto. Embora louváveis e necessárias, essas definições não contemplam as demandas de um usuário final com conhecimentos básicos em informática, como um cidadão leigo comum.
2.2 Lei de Acesso à Informação
A LAI - Lei de Acesso a Informação (BRASIL, 2011) regulamenta o direito constitucional de acesso às informações públicas. Essa norma entrou em vigor em 2012 e criou mecanismos que possibilitam, à qualquer pessoa, física ou jurídica, sem necessidade de apresentar motivo, o recebimento de informações públicas dos órgãos e entidades da administração direta e indireta. A Lei vale para os todos os poderes de todas as instâncias da administração pública, bem como as entidades privadas sem fins lucrativos. Os padrões da LAI estabelecem, entre outros quesitos, o acesso como regra ( e o sigilo a exceção, a não exigência de motivação ( o requerente não precisa esclarecer o por quê e para quê deseja uma informação), a gratuidade da informação, transparência ativa (busca a divulgação automática de informações) e transparência passiva (divulgação sob demanda).
2.3 Data Warehouse e OLAP
Um data warehouse - DW (armazém de dados), é definido por INMON et al. (2002) como uma "coleção de dados orientado à assunto, integrados, não voláteis, variáveis em relação ao tempo". Dentre as características do data warehouse, a orientação à assunto é focada na Modelagem Dimensional (KIMBALL et al. , 2011), que objetiva simplificar o modelo de dados para facilitar a visualização das informações e eliminar detalhes das transações de negócio e dados operacionais que não são úteis à análise. A modelagem dimensional estrutura as tabelas do banco de dados em dois tipos: fatos (medidas numéricas) e dimensões (dados qualitativos/descritivos) que explicam os fatos. Normalmente os fatos estão ligados às transações de interesse do negócio e respondem a questões como quanto? e quantos?. As dimensões respondem questões como quem, quando, onde, por quê, o quê e como a respeito dos fatos. A camada de visualização de dados é composta por relatórios estáticos, cubos OLAP e painéis informativos (dashboards) que se alimentam do DW. Os relatórios estáticos são uma alternativa estática de visualização de dados apropriada para impressão ou distribuição via mídias digitais. A tecnologia OLAP - On Line Analytical Process ( CODD; CODD; SALLEY , 1993) permite a análise dinâmica de grandes volumes de dados sob diferentes perspectivas a partir de uma fonte de dados dimensional.
O OLAP permite ao usuário comum manipular esses dados sem nenhum conhecimento técnicosobre tecnologias de bancos de dados, apenas o conhecimento básico de informática. Os cubos, como são conhecidos os relatórios OLAP, são consultas multi dimensionais ao DW apresentadas como tabelas dinâmicas. Os painéis informativos - dashboards (FEW , 2006) são uma tecnologia para facilitar o acompanhamento e visualização de indicadores de performance e métricas de processos, utilizando gráficos. Os painéis garantem rápida assimilação dos indicadores e a partir deles podem se buscar mais detalhes em relatórios e cubos OLAP.
3. Materiais e Métodos
A metodologia proposta contempla as seguintes etapas: i) implantação da infraestrutura de suporte, composta pelo BI Server do Pentaho Comunity, que servirá como interface com o usuário final, o SGBD - Sistema Gerenciador de Banco de Dados que hospedará o data warehouse será o PostgreeSQL e o Mondrian atuará como servidor OLAP com o plugin Saiku Reports para visualização dos cubos (todas as ferramentas utilizadas são gratuitas e de código aberto); ii) aquisição de dados, fazendo o download dos dados disponíveis para cada área e armazenando-os localmente; iii) modelagem dimensional, identificando em cada conjunto de dados os fatos e dimensões e implementando as tabelas correspondentes do DW; iv) integração de dados, utilizando a ferramenta Kettle importar os dados originais no DW realizando as adaptações necessárias ; v) criação de cubos OLAP, utilizando as ferramenta Schema Workbench, formatando os relatórios dinâmicos e publicando para acesso público; vi) criação de dashboards, utilizando a ferramenta CTools desenhar e implementar painéis informativos com os dados e indicadores sintéticos mais importantes e disponibilizá-los para o público. As etapas dessa metodologia devem seguir um processo ágil, baseada na metodologia Scrum: o sistema evolui de forma incremental, em iterações curtas (1-2 meses) que focam um conjunto pequeno de dados por vez. O projeto total tem duração prevista de 18 meses. [5: http://community.pentaho.com/][6: http://www.postgresql.org/][7: http://sourceforge.net/projects/mondrian/][8: http://meteorite.bi/saiku][9: http://community.pentaho.com/projects/data-integration/][10: http://sourceforge.net/projects/mondrian/files/schema%20workbench/][11: http://www.webdetails.pt/ctools.html]
A infra-estrutura de suporte será hospedada, em sua fase de desenvolvimento e testes, no parque tecnológico do IFNMG mas poderá ser facilmente replicada em qualquer Instituição Federal de Educação Tecnológica. A pesquisa está em execução e encontra-se na fase de publicação dos cubos OLAP.
4. Conclusão
Os Dados Abertos Governamentais já são uma realidade garantida no Brasil desde o ano de 2012 pela Lei de Acesso à Informação – LAI. O formato dos dados disponibilizados, no entanto, ainda são uma barreira para o cidadão comum, que não dispõe do ferramental técnico necessário para o seu consumo. Essa realidade, especialmente presente no Instituto Federal do Norte de Minas – IFNMG, faz com que a LAI perca a efetividade enquanto mecanismo democrático de fiscalização popular. Essa deficiência pode ser sanada com a criação de portais interativos para visualização e consulta dinâmica dos dados, utilizando tecnologias como o OLAP. Para tal, foi proposta a criação de portais de visualização de dados, utilizando ferramentas gratuitas e de código aberto, a partir de uma metodologia simples e baseada em processos ágeis, que contempla a importação dos dados criação de data warehouses, a implementação de relatórios dinâmicos e dashboards.
Referências 
BRASIL. Constituição (1988). Constituição da República Federativa do Brasil. Organização de Alexandre de Moraes. 16.ed. São Paulo: Atlas, 2000. 
BRASIL. LEI Nº 11.892, DE 29 DE DEZEMBRO DE 2008. Institui a Rede Federal de Educação Profissional, Científica e Tecnológica, cria os Institutos Federais de Educação, Ciência e Tecnologia, e dá outras providências. Disponível em <http://documento.ifnmg.edu.br/action.php?kt_path_info=ktcore.actions.document.view&fDocumentId=533> . Acessado em: .11/09/2014.
BRASIL. Lei Nº 12.527, DE 18 DE NOVEMBRO DE 2011. Regula o acesso a informações previsto no inciso XXXIII do art. 5o, no inciso II do § 3o do art. 37 e no § 2o do art. 216 da Constituição Federal; altera a Lei no 8.112, de 11 de dezembro de 1990; revoga a Lei no 11.111, de 5 de maio de 2005; e dá outras providências. Diário Oficial da União, Brasília, DF, 18/11/2011.
CODD, E.; CODD, S.; SALLEY, C. Providing OLAP (On-line Analytical Processing). Codd & Date, Inc, 1993.
EAVES, Davis. The Three Laws of Open Government Data. Disponivel em <http://eaves.ca/2009/09/30/three-law-of-open-government-data/>. Acessado em: 11/09/2014.
FEW, S. Information dashboard design. [S.l.]: O’Reilly, 2006.
INMON, W. H. et al. Building the data warehouse. [S.l.]: J. Wiley, 2002.
KIMBALL, R. et al. The data warehouse lifecycle toolkit. [S.l.]: Wiley, 2011.
OPEN GOVERNMENT WORKING GROUP et al. Principles of Open Government Data. In: Workshop held in Sebastopol, CA, USA. Disponivel em <https://public.resource.org/open_government_meeting.html>. Acessado em: 11/09/2014.