seminário de mkt

Prévia do material em texto

1
SISTEMA DE METADADOS DO IBGE
Luigino Italo Palermo (IBGE/DI/COBAD 1)
Resumo
Este trabalho enfoca o Sistema de Metadados do IBGE, importante instrumento para
uma efetiva administração de dados e também para o planejamento e desenvolvimento
de trabalhos do instituto. O sistema abrange um banco de metadados e duas aplicações
de acesso a seu conteúdo, suportando de maneira centralizada as diferentes áreas
técnicas em muitas das etapas de produção. O banco de metadados do sistema -
conhecido pela sigla MetaBD - é um repositório central de metadados que inclui
descritores de microdados e agregados de dados estatísticos, assim como informações
sobre documentos cartográficos e sobre recursos naturais brasileiros, facilitando o
acesso ao patrimônio estatístico e geocientífico do IBGE. Esse repositório integra-se
de forma ativa a outros sistemas institucionais de processamento e de disseminação de
dados, inclusive permitindo a geração de dicionários para diversas plataformas de
software aplicativo. O MetaBD pode ser acessado através de duas aplicações: uma de
carga e atualização, restrita apenas aos técnicos responsáveis das áreas temáticas, e
outra de consulta, disponível na WEB, permitindo a pesquisa de metadados por
projeto, por tipo de elemento ou mesmo pela palavra-chave de interesse. O projeto de
um sistema institucional de metadados no IBGE começou na década passada,
encontrando-se hoje na segunda versão, mas está em constante evolução, incorporando
novas extensões graças às novas demandas dos usuários e às mudanças na infra-
estrutura da tecnologia da informação. 
 
1 Diretoria de Informática, Coordenação de Banco de Dados e Metodologia
2
1. Introdução
Metadados podem ser definidos de forma simples como “informações sobre o dado”, e
no âmbito do IBGE são úteis para identificar, localizar, compreender, gerenciar e usar os
arquivos de dados e outros produtos das áreas de Estatística e de Geociências.
À medida que esses arquivos se multiplicam, produzidos por diferentes
departamentos, e tornam-se disponíveis através de redes de computadores locais ou públicas
(internet), é essencial descrevê-los de forma padronizada e centralizada, permitindo que o
conhecimento sobre eles seja compartilhado de forma organizada e segura entre os
pesquisadores das áreas técnicas e (mais tarde) pelo público em geral.
As vantagens imediatas desse procedimento são a maior integração entre as áreas
produtoras, com a conseqüente eliminação de redundâncias, a diminuição do esforço de
desenvolvimento de novos trabalhos e a melhor qualidade dos resultados produzidos. Dessa
forma, cresce a importância da documentação e administração desses dados e, portanto, de
seus metadados.
Este trabalho enfoca o Sistema de Metadados do IBGE, importante instrumento para
uma efetiva administração de dados e também para o planejamento e desenvolvimento de
trabalhos do instituto. Entre os objetivos do sistema, destacam-se:
− Oferecer às áreas produtoras de dados um sistema centralizado de documentação, para que
possam alimentar seus diferentes tipos de metadados ao longo das fases de produção;
− Tornar o repositório de metadados do sistema ativo em relação à execução de outros
sistemas homologados no IBGE, disponíveis para o processamento de algumas das fases
de produção;
− Tornar-se uma referência para os produtos institucionais, atendendo ambas as áreas
produtoras de dados do IBGE: Estatística e Geociências, e facilitando a disseminação
desses produtos;
− Permitir a recuperação de metadados segundo diversos critérios como: tema ou assunto
(população, saúde, indústria, cartografia, etc), departamento responsável, nível geográfico
de disseminação, dentre outros;
− Prover mecanismos de indexação por palavra-chave, facilitando a pesquisa dos metadados
por usuários inexperientes.
A seguir, este artigo fará uma resumida apresentação do sistema, relatando nos
próximos tópicos: um breve histórico das versões do sistema; a arquitetura geral do sistema;
3
as características do repositório central de metadados do sistema; e suas 2 interfaces de
acesso: aplicação de carga e atualização e aplicação de consulta aos metadados. Por fim, a
conclusão abordará problemas enfrentados na utilização o sistema e perspectivas de novos
trabalhos.
2. Histórico
O sistema foi projetado pela Coordenação de Banco de Dados e Metodologia da
Diretoria de Informática do IBGE, e sua primeira versão foi implementada entre o final dos
anos 80 e início da década passada. Nessa época, a principal preocupação era documentar os
arquivos de microdados2 estatísticos resultantes das pesquisas, que eram incorporados ao
acervo institucional de dados, sob responsabilidade daquela coordenação.
Desta forma, dava-se mais importância aos metadados estruturais, que atuavam como
identificadores e descritores dos dados, tais como informações dos dicionários de arquivos,
seus tipos de registros e respectivos campos. A plataforma de hardware e software era baseada
em mainframe, apenas com acesso interno via terminais não-inteligentes.
Atualmente o sistema encontra-se na sua segunda versão, onde procura-se também
armazenar os metadados de referência, descrevendo melhor o conteúdo semântico (por
exemplo, objetivos das pesquisas, suas metodologias, conceitos das variáveis) e outros
produtos além dos arquivos de microdados, tais como agregados de dados estatísticos e
bancos de dados, assim como contemplar também a área geocientífica do IBGE, por exemplo
descrevendo documentos (mapas, folhas topográficas, etc) da área de Cartografia e coleções
científicas (herbários, insetos, etc) da área de Recursos Naturais e Estudos Ambientais.
Quanto ao hardware e software utilizados hoje, estes serão vistos a seguir.
3. Arquitetura Geral
O sistema abrange um banco de metadados, a ser descrito no tópico 4, e duas
aplicações de acesso a seu conteúdo, sendo uma de carga e atualização e outra de consulta
(vide figura 1). As aplicações de acesso serão abordadas no tópico 5.
Após processo de downsizing e descentralização do parque computacional do IBGE
ocorrido na década passada, o hardware da atual versão do sistema é baseada em dois
servidores PC, com acesso via rede interna (intranet) de microcomputadores em todas as
unidades do IBGE no Brasil, e via internet para o IPEA - Instituto de Pesquisa Econômica
Aplicada, este limitado apenas a consulta.
 
2 Dados a nível de unidade de informação
4
Ambos os servidores são divididos com o sistema SIDRA - Sistema IBGE de
Recuperação Automática [3][7], sendo um o servidor de Banco de Dados, e o outro o servidor
WEB. Entre eles, existe um canal cross-over de alta velocidade, visando priorizar as
demandas de metadados por ambos serviços WEB, otimizando seu desempenho.
Figura 1 – Arquitetura Geral do Sistema de Metadados
4. O Banco de Metadados (MetaBD)
O banco de metadados do sistema - conhecido pela sigla MetaBD - é um repositório
central de metadados que inclui descritores de processos e produtos de ambas as áreas do
IBGE, facilitando o acesso ao seu patrimônio estatístico e geocientífico.
O modelo conceitual de dados do MetaBD foi inicialmente concebido após várias
reuniões entre representantes das áreas produtoras de dados e especialistas da área de Banco
de Dados da Diretoria de Informática. O MetaBD tornou-se operacional em Janeiro de 2000,
mas seu modelo de dados continua evoluindo até hoje, recebendo extensões para cobrir
conteúdos inéditos. Um exemplo de extensão foi a incorporação de indicadores de qualidade
dos processos e produtos estatísticos da Diretoria de Pesquisas do IBGE no banco, seguindo
orientações do Programa de Cooperação Estatística entre a União Européia e o Mercosul [1].
Durante a fase de modelagem, percebeu-se que os metadados estatísticos podem ser
IPEA
5
descritos por um modelo genérico, resumido na figura 2, onde cada processo (pesquisa) daDiretoria de Pesquisas do IBGE se enquadra, assumindo valores distintos para cada atributo
das entidades de metadados.
Figura 2 – Principais Entidades de Metadados Estatísticos no MetaBD
Por outro lado, a análise de metadados geocientíficos do IBGE tem revelado que cada
assunto deve ser tratado em separado, com itens de metadados próprios, mas podendo haver
alguns em comum, em geral representados por entidades secundárias. Essa foi a experiência
observada ao modelar as extensões no MetaBD para contemplar projetos dos assuntos
Cartografia e Recursos Naturais.
No caso da Cartografia, dois projetos foram incorporados com sucesso ao MetaBD: os
Mapas Municipais Digitais do Censo Demográfico de 2000 (projeto MMDE 2000, vide
principais entidades na figura 3) e o Mapa Índice Digital, que já era disponível ao público do
IBGE como um produto em CD-ROM. Em ambos os casos, o objetivo foi aumentar o alcance
dos documentos cartográficos e temáticos (DCT) do IBGE, disponibilizando seus descritores
em outra mídia.
Atualmente o primeiro projeto na área de Geografia está sendo implementado, mais
especificamente no assunto Recursos Naturais e Estudos Ambientais [11], descrevendo o
patrimônio intelectual acumulado na instituição sobre espécies vegetais e animais – algumas
em extinção – mantidas na forma de coleções de espécimens numa reserva ecológica
GRUPO
RESPONSÁVEL
PROCESSO IBGE
OCORRÊNCIA
DE PROCESSO
INFORMAÇÃO
TERRITORIAL PRODUTO MÍDIA
CLASSIFICAÇÃO VARIÁVEL
CAMPO /
COLUNA ARQUIVO
FÍSICO
REGISTRO /
TABELA
DADOS
AGREGADOS
DICIONÁRIO /
ESQUEMA DE BD
PLANO DE
CRÍTICA
PLANO DE
TABULAÇÃO
6
pertencente ao IBGE, localizada no bioma do cerrado brasileiro, e também na forma de
cadastros da Coordenação de Recursos Naturais e Estudos Ambientais da Diretoria de
Geociências do IBGE.
Figura 3 – Principais Entidades de Metadados de Cartografia no MetaBD
O banco de metadados do IBGE integra-se de forma ativa a outros
sistemas/metodologias institucionais de processamento e de disseminação de dados, como é o
caso do próprio sistema SIDRA, cujos metadados são armazenados no MetaBD.
Recentemente, essa integração entre os 2 sistemas facilitou o desenvolvimento do
processo SIDRA-Tabula [6], para especificação e publicação de tabelas do plano tabular de
uma pesquisa estatística, de forma padronizada, reduzindo consideravelmente o tempo gasto
no processo de tabulação (vide figura 4).
Outras características interessantes na modelagem do MetaBD são:
− Possibilidade de acrescentar dinamicamente novas descrições textuais (armazenadas em
objetos Oracle do tipo CLOB – Caracter Long Object) a qualquer entidade do banco, sem
necessidade de modificação de sua estrutura;
− Armazenamento de imagens digitalizadas de questionários e outros documentos;
− Previsão de armazenamento de nomes e descrições em 2 outros idiomas (inglês e
espanhol), considerando a exposição dos metadados do IBGE a outros institutos e
parceiros estrangeiros e sua disponibilidade na Internet.
ARQUIVO DCT (meio magnético) PUBLICAÇÃO (meio impresso)
PROJETO
ATIVIDADE
ARQUIVO FÍSICO (prancha)
DOCUMENTO CARTOGRÁFICO
7
Figura 4 – Fluxo de Dados e Metadados no processo SIDRA-Tabula
5. Acesso aos Metadados
O banco MetaBD pode ser acessado através de duas aplicações: uma de carga e
atualização, e outra de consulta aos metadados.
5.1. Aplicação de Carga e Atualização
A aplicação de carga e atualização dos metadados é de uso restrito dos técnicos do
responsáveis pelas áreas temáticas e da equipe de Administração de Dados (AD) do IBGE. O
acesso aos itens de metadados é feito na forma de linha de tabela, e podem ser visualizados os
respectivos relacionamentos existentes com outros itens de metadados.
Trata-se de uma aplicação amigável do tipo Cliente/Servidor, voltada para ambiente
Windows e desenvolvida usando a linguagem Visual Basic. Sua instalação requer outros
softwares básicos, como a versão cliente do SGBD (Oracle) e um ODBC compatível.
A estrutura de “menús” da aplicação é organizada de acordo ao contexto dos
Arquivos
de
Microdados
Tabulação
Análise
Pesquis
a
Metadados
(microdados)
Dados do
Questionário
Microdados
Metadados
(microdados)
Metadados
(dados agregados)
Metadados
(dados agregados)
Banco
MetaBD
Dados Agregados
Tabelas
de Dados
Banco
SIDRA
Tabelas de
Disseminação
8
metadados: estatístico, geocientífico e administrativo (este restrito ao pessoal de AD).
A equipe de AD tem acesso pleno a todos os metadados e é encarregada de estabelecer
autorizações para os demais usuários, baseadas no perfil do grupo de cada usuário e no
conjunto de operações permitidas sobre as tabelas do MetaBD para aquele grupo. Ao definir
um usuário da aplicação, é necessário também informar as pesquisas/trabalhos sob a
responsabilidade desse usuário, assim como a qual grupo ele/ela pertence (ou criar um novo
grupo com o perfil do usuário, caso ainda não exista o respectivo grupo).
Apesar da existência dessa aplicação, não é eliminada a possibilidade de carga de lotes
de metadados, importados de outros sistemas ou fontes, como foi o caso dos descritores dos
documentos cartográficos das aplicações MMDE e Mapa Índice Digital.
5.2. Aplicação de Consulta
O MetaBD pode ser consultado através de uma aplicação WEB, até o momento
disponível apenas para usuários da rede local (Intranet) do instituto, incluindo as unidades
estaduais e as agências do IBGE distribuídas por todo o Brasil. O processo decisório de
liberá-la na Internet depende da políticas institucionais que incluem temas como a definição e
qualidade do conteúdo do banco a ser oferecido.
A aplicação de consulta foi construída na plataforma MS .Net, usando o Windows
2000 Server como sistema operacional e o IIS como servidor WEB. Ela pode ser acessada via
browser (por exemplo, Internet Explorer) e não necessita instalação prévia de nenhum outro
componente de software.
Ao apontar a página inicial (home-page) da aplicação, esta exibe informações sobre
dados e metadados recentemente incorporados ao acervo institucional, que é mantido pela
Coordenação de Banco de Dados e Metodologia. A equipe de desenvolvimento do Sistema de
Metadados também aproveita esse espaço para avisar sobre a implementação de novas
funcionalidades na aplicação.
A busca de descritores no banco de metadados pode ser feita por tipo de elemento
(pesquisa, variável, etc) ou por palavra-chave de interesse. Quando a pesquisa/trabalho
endereçado ainda não estiver pronta e liberada para consulta, apenas seus metadados básicos
são exibidos. Os demais metadados da pesquisa/trabalho só podem ser vistos pelo responsável
temático, mediante procedimento de identificação, protegido por senha.
Entre os atrativos dessa aplicação, destaca-se a produção semi-automática de
código/dicionários, contendo o layout do arquivo desejado em diferentes formatos/linguagens,
a serem usados por outras ferramentas off-line de processamento e análise estatística, tais
9
como: SAS [9], REDATAM, CriptaX [5] e DIA.
Outro interessante recurso é a geração de relatórios sobre o conteúdo do MetaBD.
Exemplos desses relatórios são: o de uma pesquisa ou censo (com suas variáveis, seus
dicionários de dados, as classificações utilizadas) e o dos indicadores de qualidade de um
processo estatístico e dos seus produtos.
6. Perspectivas e Conclusão
Deve-se ressaltar, conforme já dito anteriormente, que a presente versão do sistema
pode evoluir, incorporando novas extensões [1][11], graças às novas demandas dos usuários e
às mudanças na infra-estrutura da tecnologia da informação.
Entre os próximos passos – alguns recomendados em recente evento internacional
sobre Metadados Estatísticos [12] – previstos para o Sistema de Metadados do IBGE, podem
ser citados:
• Incorporação de novos projetos das áreas produtoras de dados, em especial da Diretoria de
Geociências do IBGE (principalmente nas áreas de Geografia, Geodésia e Estruturas
Territoriais, ainda não contempladas);
• Adaptação da aplicaçãode consulta (restrição de funcionalidades e de conteúdo) para
acesso público via Internet;
• Desenvolvimento de facilidades que possibilitem a carga dos metadados dentro da linha
de produção das áreas técnicas do IBGE;
• Integração do sistema às eventuais novas ferramentas de crítica/imputação/análise de
microdados estatísticos;
• Adequação do sistema para permitir o intercâmbio de metadados estatísticos e geográficos
segundo padrões internacionais (como o SDMX [10] e o FGDC [2]), garantindo a
comparação de dados entre agências nacionais e empresas, endereçando assim a questão
da globalização. Este propósito segue uma tendência mundial [8] e tem boa aderência ao
PID – Projeto de Interoperabilidade de Dados [4] do IBGE, que pretende estudar e definir
tais padrões no âmbito institucional.
A despeito dos limitados recursos de um órgão governamental como o IBGE, a
motivação principal de um projeto como o do Sistema de Metadados tem sido sempre o de ser
útil, documentando o trabalho do instituto e seus produtos; enfim, transformando dados em
informação.
10
Para alcançar esse objetivo, a equipe de AD e o corpo técnico do IBGE, com a ajuda
do Sistema de Metadados, tem acrescentado valor semântico aos seus dados, armazenando os
descritores necessários à melhor compreensão da realidade brasileira. Isso vem de encontro à
missão institucional do IBGE, beneficiando a sociedade em geral.
Bibliografia
1. BIANCHINI, Z. M.; ALBIERI, S. - “A prototype of the Quality Indicators System at the
Brazilian Institute of Geography and Statistics”. European Conference on Quality and
Methodology in Official Statistics, Mainz, Alemanha, 2004.
2. FEDERAL GEOGRAPHIC DATA COMMITTEE, “FGDC Standards Reference Model".
1996. Disponível em: http://ww.fgdc.gov [acessado em Julho 2006].
3. FIGUEREDO, L. A. G. de A.; MASELLO, J. “SIDRA - Banco de Dados Agregados -
Arquivo de Dados Agregados - Definição e Carga”, Nota Técnica 01/05, Diretoria de
Informática, IBGE, Rio de Janeiro, Brasil, Fevereiro 2005.
4. FLORENTINO, P. V.; PY, H. da S. “PID - Projeto de Interoperabilidade de dados”, 2º
Encontro Nacional de Produtores e Usuários de Informações Sociais, Econômicas e
Territoriais, IBGE, Rio de Janeiro, Brasil, Agosto 2006.
5. HANONO, R. M.; BARBOSA, D. M. R. “CRIPTAX - A Generalized Editing Application
Generator”, Work Session on Statistical Data Editing, Voorburg, Holanda, 1996.
6. HANONO, R. M.; FIGUEREDO, L. A. G. de A.; MASELLO, J. “Processo de
Tabulação SIDRA-Tabula”. Nota Técnica 02/05, Diretoria de Informática, IBGE, Rio de
Janeiro, Brasil, Setembro 2005.
7. INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA, "SIDRA". 1997.
Disponível em: http://www.sidra.ibge.gov.br/ [acessado em Julho 2006].
8. OECD - ORGANISATION FOR ECONOMIC CO-OPERATION AND
DEVELOPMENT, “Conclusions from the Meeting (OECD Expert Group on Statistical
Data and Metadata Exchange)”. 2006. Disponível em:
http://www.oecd.org/std/research/exchangeexpertgroup/2006 [acessado em Junho 2006].
9. PALERMO, L. I.; MASELLO, J. “Metadados e Geração Automática de Programas”, 13º
Encontro do Grupo de Usuários SAS Brasil (GUSAS-13), São Paulo, Brasil, 2003.
10. SDMX EXPERTS GROUP, "SDMX - Statistical Data and Metadata Exchange". 2006.
Disponível em: http://www.sdmx.org [acessado em Junho 2006].
11. SILVA, A. F. da; FILHO, C. J. M.; PY, H. da S. “Extensão do Sistema de Metadados
para Recursos Naturais”, 2º Encontro Nacional de Produtores e Usuários de Informações
Sociais, Econômicas e Territoriais, IBGE, Rio de Janeiro, Brasil, Agosto 2006.
11
12. UNECE - UNITED NATIONS ECONOMIC COMMISSION FOR EUROPE,”Report of
the April 2006 UNECE Work Session on Statistical Metadata (METIS)”. 2006.
Disponível em: http://www.unece.org/stats/documents/2006.03.metis.htm [acessado em
Junho 2006].