Governo Eletronico.docx

Prévia do material em texto

Programa de Pós-Graduação em Administração Pública 
Governo Eletrônico
Avaliação de sistemas de participação social eletrônica sobre a perspectiva centrada no cidadão.
RESUMO
O objetivo deste trabalho é analisar as formas de avaliação de serviços públicos eletrônicos. Mais especificamente, trabalhar esse tema com a perspectiva centrada no cidadão para sistemas que tem como objetivo promover a participação social. 
Apesar de existirem várias propostas de avaliação de governo eletrônico, foram identificadas lacunas importantes que devem ser preenchidas.
Primeiro, não encontramos trabalhos que testem os métodos de avaliação de governo eletrônico elaborados sobre a perspectiva centrada no cidadão em serviços eletrônicos do governo brasileiro. Segundo, não encontramos trabalhos que testem empiricamente um desses métodos em serviços de participação eletrônica. 
Para preencher essas lacunas foi avaliado o sistema Participa.br usando o método de avaliação de governo eletrônico centrado no cidadão COBRA.
{RESULTADOS}
1. INTRODUÇÃO
O setor público teve um enorme progresso com a implementação do governo eletrônico a partir da década de 1990 (CHEN et al., 2009) e por isso ele é considerado como uma das evoluções mais importantes para a administração pública (LUPU; LAZĂR, 2015; RANA; DWIVEDI, 2015; SHULER; JAEGER; BERTOT, 2014).
Mesmo que todo seu potencial ainda não tenha sido explorado, os resultados até agora proporcionados pelo governo eletrônico estão transformando continuamente a forma de prestação de serviços públicos (KARLSSON et al., 2012; KRISHNAN; TEO, 2012; SHULER; JAEGER; BERTOT, 2014; ZHENG; SCHACHTER; HOLZER, 2014) e por isso, a crescente oferta de serviços eletrônicos está se tornando uma estratégia cada vez mais importante para os governos (OECD, 2014; UNITED NATIONS, 2014).
Por esse motivo o governo eletrônico é um tema relevante de pesquisa em sistemas de informação e administração pública (LINDGREN; JANSSON, 2013). Seus principais objetivos são aumentar a eficiência dos órgãos públicos, oferecer benefícios aos cidadãos (AXELSSON; MELIN; LINDGREN, 2013) e, principalmente, contribuir para o fortalecimento da democracia (KOHLBORN, 2014; LARSSON; GRÖNLUND, 2014). 
Além disso, há evidências que o governo eletrônico fornece uma oportunidade para restaurar as relações entre o governo e os cidadãos e aumentar a participação social nos assuntos governamentais (WAGNER; HASSANEIN; HEAD, 2014; ZHENG; SCHACHTER; HOLZER, 2014) através da possibilidade da participação eletrônica.
Provavelmente, por esse motivo, o Programa de Governo Eletrônico Brasileiro definiu entre seus princípios a utilização avançada de tecnologia da informação para, entre outras coisas, democratizar o acesso à informação e ampliar discussões na sociedade (BRASIL, 2015a). Para auxiliar no alcance desses objetivos foi desenvolvido o Portal da Participação Social (Participa.br), instituído pela portaria Nº 36, de 11 de Novembro de 2014 da Secretária-Geral da Presidência da República como o ambiente virtual oficial de participação social.
Entretanto, iniciativas como esta terão pouco impacto social se os cidadãos não forem capazes ou tiverem dificuldade de usar os serviços públicos eletrônicos disponibilizados (IRANI; LOVE; JONES, 2008; ORGERON; GOODMAN, 2011; PAPADOMICHELAKI; MENTZAS, 2012).
Por esse motivo as metodologias de avaliação de governo eletrônico são importantes para obter o resultado do serviço eletrônico e, principalmente, identificar aspectos que podem ser melhorados (BERNTZEN, 2013; GRIMSLEY; MEEHAN, 2007; TSOHOU et al., 2013).
Existem várias propostas de modelo de avaliação centrado no cidadão que podem ser aplicados a qualquer tipo de serviço público eletrônico, entretanto não foram encontrados estudos empíricos que testaram esses métodos em sistemas de participação eletrônica. Provavelmente é esse o motivo de aspectos típicos de participação social não terem sido considerados como critérios de avaliação nesses métodos.
Para preencher essas lacunas, o método de avaliação COBRA, proposto por OSMAN et al. (2014), foi traduzido, adaptado e usado para avaliar o sistema ‘Participa.br’, com o objetivo de verificar empiricamente se esse método é adequado para avaliar sistemas de participação social na realidade brasileira.
Nessa pesquisa espera-se contribuir com a melhoria de métodos de avaliação de governo eletrônico pela perspectiva de governo centrado no cidadão, levando em consideração as especificidades dos sistemas de participação eletrônica e o contexto brasileiro.
2. FUNDAMENTAÇÃO TEÓRICA
2.1 Governo Centrado no cidadão
Na administração burocrática a ênfase está no cumprimento dos procedimentos e regulamentos internos, sendo isso um fator limitante para que os cidadãos sejam atendidos de forma satisfatória (BARCELOS; CALMON, 2014; GOMES, 2014; SARAIVA; CAPELÃO, 2000; WOSNIAK; REZENDE, 2012). Nesses casos, as ações são centradas no sistema, e o foco está no funcionamento da administração estatal (BRASIL, 2014).
A administração centrada no cidadão é o oposto da administração burocrática. Na perspectiva centrada no cidadão o serviço é projetado e executado para proporcionar a melhor experiência para o cidadão (BRASIL, 2014; CHEN; ZHANG, 2012; DAIS; NIKOLAIDOU; ANAGNOSTOPOULOS, 2013; OBLAK ČRNIČ, 2012; OSMAN et al., 2014; RANA; DWIVEDI; WILLIAMS, 2013a) e não para atender à formalidade pré-estabelecida na estrutura administrativa do Estado. 
A administração centrada no cidadão não vê o usuário de um serviço público como um cliente-usuário, que pagou seus impostos e por isso tem o direito de receber um serviço público, como pensado inicialmente na administração gerencial, mas como um cidadão pleno, ou cidadão-usuário do serviço público (ATKEARNEY, 2013; BERNTZEN, 2013; MITRAKAS, 2002; TSOHOU et al., 2013; VELICU, 2012). 
Dessa forma, a administração pública voltada para o cidadão pode ser definida como um modelo gerencial, cujo objetivo é oferecer serviços públicos de maior qualidade, atendendo melhor às demandas da população (COUTINHO, 2000; GRAHAM; PHILLIPS, 1997; OECD, 2009, 2014; UNITED NATIONS, 2014).
Para que o governo possa ser considerado centrado no cidadão a formulação e a implementação das políticas públicas devem contar com a participação ativa dos cidadãos (LEE; LEE, 2014; MISRA, 2007; OECD, 2009, 2013) e o governo deve reconhecer o indivíduo que usa os serviços públicos como um cidadão pleno, fazendo com que os valores públicos tenham maior relevância que os valores de eficiência e eficácia (BRESSER-PEREIRA, 1998).
Atribuir maior relevância aos valores públicos significa buscar vários benefícios para a sociedade que podem variar de acordo com a perspectiva ou os atores, incluindo: 1) bens ou serviços que satisfazem os desejos dos cidadãos; 2) possibilidades de escolha que atendam as expectativas dos cidadãos de justiça, equidade, eficiência e eficácia; 3) instituições públicas que refletem os desejos e preferências dos cidadãos; 4) equidade e eficiência na distribuição dos serviços públicos; 5) uso legítimo de recursos para realizar fins públicos; e 6) a inovação e adaptabilidade às mudanças de preferências e demandas (OECD, 2014).
Fazer com que a administração pública seja centrada no cidadão exige uma mudança significativa na forma de atuar dos administradores públicos. Para que os serviços sejam centrados no cidadão é necessário que os beneficiários do serviço público estejam engajados em todas as fases do projeto, da origem de sua demanda até sua avaliação final (AXELSSON; MELIN; LINDGREN, 2013; BRIDGE, 2012; KING; COTTERILL, 2007; OECD, 2009, 2014). Pesquisas apontaram que, em alguns projetos que se dizem centrados no cidadão, o beneficiário do serviço só é envolvido na fase final, teste ou na avaliação, pouco antes da implantação, e sua contribuição é quase sempre desconsiderada pela inviabilidade de alterar o que já foi feito (BERNTZEN, 2013; BRIDGE, 2012; IVANYNA; SHAH, 2009). 
Há três condições para o sucesso da abordagem centrada no cidadão dos governos: (1) participaçãodos cidadãos na definição do serviço (2) o envolvimento dos cidadãos no desenvolvimento/projeto do serviço; e (3) participação dos cidadãos na avaliação de serviços (NET-EUCEN, 2012). 
Segundo a OECD (2009) a abordagem centrada no cidadão levanta uma série de questões para os governos: 
Como os governos podem permitir e apoiar uma abordagem mais participativa e inclusiva para o desenvolvimento de serviços públicos?
Como o setor público pode atender ao interesse público e não se deixar levar por interesses individuais ou de grupos de interesses?
Como dividir as responsabilidades e estruturas organizacionais dentro do setor público para atender a essa nova abordagem? 
Trabalhos tem sinalizado que medir a satisfação dos usuários com os bens e serviços públicos é essencial para uma abordagem centrada no cidadão, pois essas informações podem ajudar os gestores públicos a identificar quais elementos devem ser melhorados, bem como permite monitorar o impacto dos últimos ajustes no serviço e, principalmente, permite que os gestores públicos compreendam melhor as necessidades dos usuários dos serviços (OECD, 2009, 2013; OSMAN et al., 2014; TSOHOU et al., 2013).
2.2 Governo Eletrônico
Assim como outros conceitos, existem várias definições de governo eletrônico entre os pesquisadores e especialistas (ALMARABEH; ABUALI, 2010). Segundo a Organisation for Economic Cooperation and Development (OECD), o governo eletrônico é a utilização de tecnologia da informação nas atividades governamentais (OECD, 2015). Já a União Europeia o define como ferramentas e sistemas digitais para fornecer melhores serviços públicos aos cidadãos e empresas (EUROPEAN COMMISSION, 2010). O governo eletrônico também é definido como o uso da tecnologia da informação como instrumento para fornecer informações e serviços governamentais (AE CHUN; LUNA-REYES; SANDOVAL-ALMAZÁN, 2012; EUROPEAN COMMISSION, 2010; LARSSON; GRÖNLUND, 2014; MEIJER, 2015; RANA; DWIVEDI, 2015; WIRTZ et al., 2014; ZHANG; XU; XIAO, 2014) ou como a seleção, implementação e utilização das tecnologias da informação e da comunicação no governo para fornecer serviços públicos, melhorar a eficácia da gestão, e promover os valores e mecanismos democráticos, bem como o desenvolvimento de um enquadramento legal e regulamentar que facilita iniciativas de informação intensiva e promove a sociedade do conhecimento (GIL-GARCIA; LUNA-REYES, 2006; LUNA-REYES; GIL-GARCIA; ROMERO, 2012).
Vários termos têm sido usados para nomear os serviços eletrônicos prestados pelos governos para a população, como por exemplo, government e-service, e-service, public, e-service, digital service, e-Public-Service e Website channel (LINDGREN; JANSSON, 2013).
A aplicação do governo eletrônico pode ser dividida em quatro áreas: prestação de serviços públicos eletrônicos; a utilização das tecnologias da informação para melhorar e inovar as operações do governo, aumentar a eficiência interna; a promoção da participação eletrônica dos cidadãos e o incentivo às relações democráticas eletrônicas entre governo, cidadãos e outros atores sociais e à criação de um quadro legal e regulamentar que facilita iniciativas de governo eletrônico e promove cenário favorável às políticas públicas eletrônicas (LUNA-REYES; GIL-GARCIA; ROMERO, 2012).
Em resumo, os serviços de governo eletrônico são projetados para tornar o governo mais eficaz e os cidadãos mais satisfeitos (ÇELIK; KABAKUŞ, 2015). 
Os investimentos em governo eletrônico têm sido justificados pela promessa de tornar a administração pública mais rápida, fácil e eficiente (BANNISTER; CONNOLLY, 2015; LEE, 2010; VAN DER WEE et al., 2014), beneficiar cidadãos, empresas, servidores públicos e outras partes interessadas (CODAGNONE et al., 2015; KRISHNAN; TEO, 2012) e pela possibilidade de crescimento da receita do Estado e a redução de custos (CHEN et al., 2009).
Contudo, mesmo com os volumosos investimentos, alguns desses projetos não têm atendido as expectativas em termos de custo, prazo e o mais grave, no produto entregue (AIKINS, 2012). Apesar dos benefícios apontados em diversas pesquisas, alguns estudos criticaram o fato de muitos serviços públicos eletrônicos terem sido elaborados pelo ofertante, com base na disponibilidade de recursos tecnológicos ou na estrutura já existente na agência estatal e não por uma demanda ou necessidade dos cidadãos (BERTOT; JAEGER, 2006; HEEKS; BAILUR, 2007; TITAH; BARKI, 2006; VERDEGEM; VERLEYE, 2009).
Também é importante destacar que, além de ser economicamente viável, o projeto de governo eletrônico precisa atender aos valores democráticos (LARSSON; GRÖNLUND, 2014). Porém, pesquisas têm indicado que o foco na eficiência e eficácia dos projetos de governo eletrônico tem sobreposto os valores e princípios do setor público (LARSSON; GRÖNLUND, 2014; SMITH; NOORMAN; MARTIN, 2010). 
Nesses casos, o potencial do governo eletrônico é subutilizado, pois ele pode, além de tornar a gestão mais eficiente e eficaz, ser um importante instrumento para fortalecer a democracia (KARDAN; SADEGHIANI, 2011). 
A participação eletrônica (e-participation) pode ser definida como a utilização das tecnologias de informação para aumentar a participação política e o engajamento dos cidadãos (PANOPOULOU; TAMBOURIS; TARABANIS, 2014).
Apesar da participação dos cidadãos preceder a popularização da internet, ela proporcionou um impulso significativo nessa área (MOSS; COLEMAN, 2013) ao torna-se um meio para restabelecer a confiança política e satisfação dos cidadãos nas democracias (PANOPOULOU; TAMBOURIS; TARABANIS, 2014).
O objetivo da e-participação é tornar a administração pública participativa, inclusiva e colaborativa (UNITED NATIONS, 2014). Para isso a transparência e o direito de acesso à informação pública são essenciais para que seja ampliada a confiança no governo, a prevenção da corrupção e o fornecimento de informação aos cidadãos (LUPU; LAZĂR, 2015). Por esse motivo a administração pública dos governos democráticos tem se esforçado para facilitar a participação dos cidadãos na formação e avaliação de políticas e oferecer uma maior troca de informações entre os cidadãos e o governo (KIM; LEE, 2012). A comunidade internacional tem enfatizado a importância de envolver os cidadãos e atores não estatais no processo de decisão das políticas públicas e na prestação de serviços públicos (UNITED NATIONS, 2014). 
Entretanto, pesquisas já indicaram que a disponibilização de sistemas que permitem a participação eletrônica pode, em alguns casos, ser um obstáculo para a ampla participação pública e, mais grave que isso, servir de instrumento para dar ares de democrático a um governo que não está disposto a levar em consideração a opinião pública na tomada de decisão (SUSHA; GRÖNLUND, 2012). 
Por esse motivo é necessário compreender as dificuldades do uso da tecnologia para ampliar a participação dos cidadãos nos processos governamentais (MEIJER, 2015) para entregar serviços públicos de qualidade que permitam uma ampla participação social por meio da internet.
2.3 Avaliação de Governo Eletrônico
A satisfação do usuário ao operar o sistema sempre foi um fator relevante para o sucesso de qualquer tipo de software (AFONSO et al., 2014; BRUUN; STAGE, 2015; HENRIKSSON et al., 2006; ORGERON; GOODMAN, 2011; TSOHOU et al., 2013). Além disso, a satisfação do cidadão pode ser um importante indicador de resultado de desempenho do governo (KANG; GEARHART, 2010; OECD, 2014; UNITED NATIONS, 2014). 
Em um cenário de crescente relacionamento entre o cidadão e o governo por meio da internet, a facilidade ou dificuldade de interação dos usuários com o serviço público eletrônico pode determinar o seu sucesso ou fracasso (FERNANDEZ; INSFRAN; ABRAHÃO, 2011), pois a insatisfação dos cidadãos-usuários pode afetar de forma negativa a credibilidade da política pública (HUANG; BENYOUCEF, 2014; OSMAN et al., 2014; TSOHOU et al., 2013). 
Há critérios de avaliação de qualidade de sistemas eletrônicos que são genéricos, e fazem sentido para aplicações comerciais e serviçosgovernamentais, contudo existem aspectos que são específicos para o contexto da iniciativa privada e outros que são específicos para o contexto governamental (BATINI; VISCUSI; CHERUBINI, 2009; PAPADOMICHELAKI; MENTZAS, 2012; RANA; DWIVEDI, 2015; TSOHOU et al., 2013).
Para Alshawi e Alalwany (2009) a avaliação do governo eletrônico é uma tarefa complexa, devido às múltiplas perspectivas dos envolvidos, as dificuldades de quantificar os benefícios, bem como o contexto social e técnico de utilização; e importante devido ao enorme investimento feito nesses projetos.
Apesar disso, a maior parte dos governos não tem processos sistemáticos e contínuos de avaliação de governo eletrônico que envolvam múltiplos stakeholders e considerem os interesses políticos, sociais e econômicos, e abordem de forma apropriada questões de natureza social e técnica (TSOHOU et al., 2013).
Existem abordagens de avaliação que se concentram na qualidade das informações do site governamental e outros na qualidade de um serviço, pois os cidadãos podem usar um site governamental para buscar informações ou para receber um serviço público (PAPADOMICHELAKI; MENTZAS, 2012).
Nos esforços para melhorar a capacidade de resposta e qualidade dos serviços públicos eletrônicos, as organizações governamentais estão buscando agir sobre o feedback dos cidadãos sobre as suas experiências ao usar os serviços públicos na internet (OECD, 2013). 
Estudos indicam que as avaliações de governo eletrônico devem ser orientadas para o cidadão, para capturar suas perspectiva e satisfação (IRANI; LOVE; JONES, 2008; IRANI et al., 2012; OSMAN et al., 2014; TSOHOU et al., 2013). Essa nova perspectiva fez com que a Comissão Europeia e a OECD incorporassem novos indicadores em suas avaliações de governo eletrônico (TSOHOU et al., 2013).
Além disso, há estudos que sugerem que as abordagens que se limitam a medir a satisfação do usuário após o uso do sistema de governo eletrônico não são adequados para avaliar a qualidade do serviço público, pois os cidadãos podem usar o serviço eletrônico porque é mais cômodo para eles que se deslocar até a agência governamental e ficar satisfeitos com um sistema de baixa qualidade por ter poupado tempo e o custo do deslocamento físico (AL-HADDAD; HYLAND; HUBONA, 2011). 
A avaliação de serviços eletrônicos sobre a perspectiva do cidadão-usuário tem sido pouco explorada em trabalhos acadêmicos (ÇELIK; KABAKUŞ, 2015; DAIS; NIKOLAIDOU; ANAGNOSTOPOULOS, 2013; RANA; DWIVEDI; WILLIAMS, 2013b; RANA; DWIVEDI, 2015) e a medição das variáveis que envolvem aspectos de cidadania tem sido negligenciada na maior parte dos estudos da área (OECD, 2013; SINGH; WALSH, 2012). 
Por esse motivo, avaliar questões relacionadas à participação social nos serviços de governo eletrônico ainda é um desafio (GUHA; CHAKRABARTI, 2014; MEIJER, 2015; SOBACI; ERYIGIT, 2015).
2.4 A política nacional de participação social e a plataforma Participa.BR
Os países democráticos têm buscado formas de gestão mais participativas e centradas no cidadão (COMMISSION EUROPEAN, 2006; PANOPOULOU; TAMBOURIS; TARABANIS, 2014). Esse também tem sido o caminho trilhado pelo Brasil. 
Após o processo de redemocratização e a promulgação da constituição de 1988, o governo brasileiro instituiu vários mecanismos e formas de participação social que incluem “conselhos, conferências, ouvidorias, processos de participação no ciclo de planejamento e orçamento público, audiências e consultas públicas, mesas de diálogo e negociação” (BRASIL, 2015b). Além disso, o sucesso das experiências de participação digital em vários países do mundo e “as mobilizações e manifestações da sociedade brasileira expressam a necessidade de ampliação e qualificação dos mecanismos já existentes, bem como a criação de novos processos e formas de participação” (BRASIL, 2015b).
Para garantir o diálogo permanente e incentivar a participação dos cidadãos na elaboração, na implementação, no acompanhamento das políticas públicas e, principalmente “aprofundar e aperfeiçoar a participação social como método de gestão” foi publicado o decreto que institui a política nacional de participação social (BRASIL, 2015c). 
O governo federal pretende com essa política ampliar a aderência social às políticas públicas e contribuir para o aumento da transparência e da eficácia da administração pública (BRASIL, 2015c) e, principalmente, fomentar “novas formas de participação social, por meio das redes sociais e dos mecanismos digitais de participação via internet” (BRASIL, 2015c).
Com isso o governo federal pretende consolidar a participação social como método de governo e para isso os órgãos e entidades da administração pública federal foram incumbidos de elaborar um plano para ampliação e fomento da participação social (BRASIL, 2015b).
A principal iniciativa do governo federal nesse sentido foi a criação do portal Participa.br. Esse portal disponibiliza “amplo acesso dos usuários a ferramentas de comunicação e interação, fóruns de debate, salas de bate papo, vídeos, mapas, trilhas de participação com diversos mecanismos de consulta” (BRASIL, 2015d). Esse sistema tem a finalidade de ser um espaço para participação social no Brasil, promovendo a escuta e o diálogo entre o governo federal e a sociedade civil (BRASIL, 2015d). Este serviço também está disponível para celular na loja da Google para Android (GOOGLE, 2015).
O portal do participa.br tem como objetivo criar práticas inovadoras de participação via internet e ofertar espaços para a manifestação e debate para qualquer cidadão ou organização, a fim de desenvolver políticas públicas cada vez mais eficazes e efetivas (BRASIL, 2015d).
2.5 Trabalhos relacionados
Osman et al. (2014) no artigo COBRA framework to evaluate e-government services: A citizen-centric perspective fizeram uma análise da literatura existente para identificar os fatores mais críticos e suas variáveis que ​​manifestam a satisfação do usuário na utilização de serviços de governo eletrônico. Eles agrupam as variáveis em quatro dimensões: custo; benefício; riscos e oportunidades. A escala de medição do framework foi desenvolvida, testada, refinada e validada em uma amostra de usuários da Turquia. Os resultados empíricos dessa pesquisa indicam que o quadro proposto pelos autores é uma abordagem interessante para avaliar o sucesso dos serviços eletrônicos sobre a perspectiva centrada no cidadão.
Tsohou et al. (2013) no artigo Proposing a reference process model for the citizen‐centric evaluation of e‐government services identificaram como lacuna de pesquisa o fato da maior parte dos trabalhos que tratam do tema avaliação de governo eletrônico não ter dado atenção à necessidade de incorporar a satisfação do usuário no uso do serviço público eletrônico. Os autores buscaram atingir dois objetivos nesse trabalho: contribuir para a compreensão da avaliação de governo eletrônico centrado no cidadão e criar uma lista de indicadores de desempenho para avaliar os serviços de governo eletrônico. Eles realizaram uma pesquisa do tipo quantitativa para a avaliação dos serviços de governo eletrônico fundamentada no data envelope analysis (DEA). Essa abordagem é interessante por fornecer sugestões para a melhoria dos serviços eletrônicos.
Rana; Dwivedi e Williams (2013a) no artigo Evaluating alternative theoretical models for examining citizen centric adoption of e‐government tiveram como objetivo examinar empiricamente os modelos usados com maior frequência na avaliação de sistemas de governo eletrônico centrado no cidadão. Esse trabalho indica uma direção para estabelecer as bases para a formulação de um modelo de adoção de governo eletrônico nessa perspectiva.
Percebe-se que o tema avaliação de governo eletrônico centrado no cidadão ainda é pouco explorado em trabalhos acadêmicos. Não foram encontrados trabalhos que busquem avaliar sistemas de participação eletrônica e, e por conta disso, não foram identificadas propostas de avaliação que tratem das especificidades da participação eletrônica e da democracia eletrônica.3 PROCEDIMENTOS METODOLÓGICOS
3.1. Caracterização da Pesquisa
 Essa pesquisa pode ser classificada como aplicada, porque tem como objetivo produzir conhecimento para uma situação prática (SILVA; MENEZES, 2005), nesse caso aperfeiçoar a avaliação do governo eletrônico centrado no cidadão. Ela também pode ser considerada exploratória, porque pretende ampliar o entendimento da matéria pesquisada (GIL; ATLAS, 2002), nesse caso, ampliar o conhecimento sobre a avaliação de sistemas de participação eletrônica sobre a perspectiva centrada no cidadão. Quanto ao procedimento de pesquisa, ela faz uso das técnicas de análise quantitativa e qualitativa, por fazer uso de análise estatística em algumas etapas e em outras o “processo e seu significado são os focos principais de abordagem” (SILVA; MENEZES, 2005, p. 20). 
3.2 Avaliação do sistema Participa.br
O modelo de avaliação COBRA, proposto por OSMAN et al. (2014), foi usado para avaliar o sistema Participa.br. Esse método foi escolhido por ser um trabalho recente e apresentar uma proposta inovadora de avaliação de governo eletrônico centrado no cidadão.
A avaliação foi realizada com quarenta pessoas, dividas por nível de instrução, sexo e idade. Antes do teste o participante da pesquisa selecionou, dentre as opções disponíveis no dia da avaliação, um assunto que mais lhe interessa que estava disponível no participa.br. Depois foi passada uma lista com as atividades que seriam realizadas no sistema, com as tarefas:
Cadastre seu usuário
Entre na comunidade do assunto escolhido
Leia algum texto que lhe chame atenção
Dê a sua opinião sobre o texto lido. 
Saia do sistema. 
Após a operação do sistema, o usuário respondeu ao questionário online de avaliação de governo eletrônico, elaborado a partir da tradução dos constructos do COBRA.
RESULTADOS
Descrição dos resultados da pesquisa
CONCLUSÃO
Este estudo apresenta as seguintes contribuições teóricas: ele valida e testa os procedimentos de avaliação de um serviço público eletrônico brasileiro sobre a perspectiva centrada no cidadão e faz uma avaliação empírica de um sistema de participação social com um método de avaliação de governo eletrônico centrado no cidadão.
CONTINUA..... 
4 REFERÊNCIAS
AE CHUN, S.; LUNA-REYES, L. F.; SANDOVAL-ALMAZÁN, R. Collaborative e-government. Transforming Government: People, Process and Policy, v. 6, n. 1, p. 5–12, 16 mar. 2012. 
AFONSO, A. P. et al. UsaWeb. A model for usability evaluation web interfaces2014 9th Iberian Conference on Information Systems and Technologies (CISTI). Anais...IEEE, jun. 2014Disponível em: <http://ieeexplore.ieee.org/lpdocs/epic03/wrapper.htm?arnumber=6876952>. Acesso em: 20 abr. 2015
AIKINS, S. K. Managing E-Government Projects: Concepts, Issues, and Best Practices. Hershey PA USA: IGI Global, 2012. 
AL-HADDAD, S.; HYLAND, P.; HUBONA, G. An assessment tool for E-government system performance: a citizen-centric modelFaculty of Informatics - Papers (Archive), 2011. Disponível em: <http://ro.uow.edu.au/infopapers/1955>. Acesso em: 10 abr. 2015
ALMARABEH, T.; ABUALI, A. A general framework for e-government: definition maturity challenges, opportunities, and success. European Journal of Scientific Research, 2010. 
ALSHAWI, S.; ALALWANY, H. E-government evaluation: Citizen’s perspective in developing countries. Information Technology for Development, v. 15, n. 3, p. 193–208, jul. 2009. 
ATKEARNEY. ATKearney. Disponível em: <http://www.atkearney.com/documents/10192/4459884/Agile+Government+-+A+Citizen-Centric+Approach+to+Growth.pdf/938cdcdd-227d-4450-b84e-57f169923750>. Acesso em: 25 maio. 2015. 
AXELSSON, K.; MELIN, U.; LINDGREN, I. Public e-services for agency efficiency and citizen benefit — Findings from a stakeholder centered analysis. Government Information Quarterly, v. 30, n. 1, p. 10–22, jan. 2013. 
BANNISTER, F.; CONNOLLY, R. The great theory hunt: Does e-government really have a problem? Government Information Quarterly, v. 32, n. 1, p. 1–11, jan. 2015. 
BARCELOS, C.; CALMON, P. A reforma gerencial do orçamento brasileiro: em busca de múltiplos significados. Revista de Administração Pública, v. 48, n. 1, p. 159–181, 2014. 
BATINI, C.; VISCUSI, G.; CHERUBINI, D. GovQual: A quality driven methodology for E-Government project planning. Government Information Quarterly, v. 26, n. 1, p. 106–117, jan. 2009. 
BERNTZEN, L. Citizen-centric eGovernment Services.CENTRIC 2013: The Sixth International Conference on Advances in Human-oriented and Personalized Mechanisms, Technologies, and Services. Anais...2013Disponível em: <http://www.thinkmind.org/index.php?view=article&articleid=centric_2013_6_50_30500>. Acesso em: 9 maio. 2015
BERTOT, J. C.; JAEGER, P. T. User-centered e-government: Challenges and benefits for government Web sites. Government Information Quarterly, v. 23, n. 2, p. 163–168, jan. 2006. 
BRASIL. Cinco Princípios para Novos Serviços Públicos. Primeiro: Centrado no Cidadão ~ inovação em governo. Disponível em: <http://www.igovbrasil.com/2014/12/cinco-principios-para-novos-servicos.html>. Acesso em: 9 maio. 2015. 
BRASIL. Programa de Governo Eletrônico Brasileiro. Disponível em: <http://www.governoeletronico.gov.br/o-gov.br>. Acesso em: 8 abr. 2015a. 
BRASIL. Participação Social — Arena de Diálogos Sociais. Disponível em: <http://www4.planalto.gov.br/arenadaparticipacaosocial/a-politica-nacional-de-participacao-social>. Acesso em: 15 maio. 2015b. 
BRASIL. Política Nacional de Participação Social — Secretaria-Geral. Disponível em: <http://www.secretariageral.gov.br/participacao-social/politica>. Acesso em: 15 maio. 2015c. 
BRASIL. Portal da Participação Social. Disponível em: <http://www.participa.br/ajuda/ajuda/quem-somos>. Acesso em: 30 abr. 2015d. 
BRESSER-PEREIRA, L. C. Reforma do Estado para a Cidadania: A Reforma Gerencial Brasileira na Perspectiva Internacional. 1. ed. [s.l.] EDITORA 34, 1998. 
BRIDGE, C. Citizen Centric Service in the Australian Department of Human Services: The Department’s Experience in Engaging the Community in Co-design of Government Service Delivery and Developments in E-Government Services. Australian Journal of Public Administration, v. 71, n. 2, p. 167–177, 9 jun. 2012. 
BRUUN, A.; STAGE, J. New Approaches to Usability Evaluation in Software Development: Barefoot and Crowdsourcing. Journal of Systems and Software, 2015. 
ÇELIK, A. K.; KABAKUŞ, A. K. Do E-government Services “Really” Make Life Easier? Analyzing Demographic Indicators of Turkish Citizens’ E-government Perception Using Ordered Response ModelsMediterranean Journal of Social Sciences, 7 jan. 2015. Disponível em: <http://www.mcser.org/journal/index.php/mjss/article/view/5452>. Acesso em: 4 maio. 2015
CHEN, A. J. et al. Managing e-government implementation in China: A process perspective. Information & Management, v. 46, n. 4, p. 203–212, maio 2009. 
CHEN, Y. C.; ZHANG, J. C. Citizen-centric e-government performance: satisfaction with e-information. Electronic Government, an International Journal, v. 9, n. 4, p. 388, 2012. 
CODAGNONE, C. et al. Institutional isomorphism, policy networks, and the analytical depreciation of measurement indicators: The case of the EU e-government benchmarking. Telecommunications Policy, v. 39, n. 3, p. 305–319, fev. 2015. 
COMMISSION EUROPEAN. White Paper on a European Communication Policy. p. 1–13, 2006. 
COUTINHO, M. J. V. Administração pública voltada para o cidadão: quadro teórico-conceitualRevista do Serviço Público, 24 fev. 2000. Disponível em: <http://seer.enap.gov.br/index.php/RSP/article/view/331>. Acesso em: 23 abr. 2015
DAIS, A.; NIKOLAIDOU, M.; ANAGNOSTOPOULOS, D. A Web 2.0 Citizen-Centric Model for T-Government Services. IEEE Intelligent Systems, v. 28, n. 5, p. 10–18, set. 2013. 
EUROPEAN COMMISSION. The European eGovernment Action Plan 2011-2015. p. 1–16, 2010. 
FERNANDEZ, A.; INSFRAN, E.; ABRAHÃO, S. Usability evaluation methods for the web: A systematic mapping study. Information and Software Technology, v. 53, n. 8, p. 789–817, ago. 2011. 
GIL, A. C.; ATLAS,E. Como elaborar projetos de pesquisa. São Paulo: 4o Edição, 2002. 
GIL-GARCIA, J. R.; LUNA-REYES, L. F. Encyclopedia of E-Commerce, E-Government, and Mobile CommerceIGI Global, , 2006. (Nota técnica).
GOMES, N. Ética na administração pública: desafios e possibilidades1. RAP: Revista Brasileira de Administração Pública, 2014. 
GOOGLE. ParticipaBR – Apps para Android no Google Play. Disponível em: <https://play.google.com/store/apps/details?id=br.participa>. Acesso em: 16 maio. 2015. 
GRAHAM, K. A.; PHILLIPS, S. D. Citizen engagement: beyond the customer revolution. Canadian Public Administration/Administration publique du Canada, v. 40, n. 2, p. 255–273, jun. 1997. 
GRIMSLEY, M.; MEEHAN, A. e-Government information systems: Evaluation-led design for public value and client trust. European Journal of Information Systems, v. 16, n. 2, p. 134–148, 1 abr. 2007. 
GUHA, J.; CHAKRABARTI, B. Making e-government work: Adopting the network approach. Government Information Quarterly, v. 31, n. 2, p. 327–336, abr. 2014. 
HEEKS, R.; BAILUR, S. Analyzing e-government research: Perspectives, philosophies, theories, methods, and practice. Government Information Quarterly, v. 24, n. 2, p. 243–265, abr. 2007. 
HENRIKSSON, A. T. et al. Evaluation instrument for e-government websites, 9 out. 2006. Disponível em: <http://eprints.qut.edu.au/3113/1/3113.pdf>. Acesso em: 2 abr. 2015
HUANG, Z.; BENYOUCEF, M. Usability and credibility of e-government websites. Government Information Quarterly, v. 31, n. 4, p. 584–595, set. 2014. 
IRANI, Z. et al. An analysis of methodologies utilised in e-government research. Journal of Enterprise Information Management, v. 25, n. 3, p. 298–313, 13 abr. 2012. 
IRANI, Z.; LOVE, P. E. D.; JONES, S. Learning lessons from evaluating eGovernment: Reflective case experiences that support transformational government. The Journal of Strategic Information Systems, v. 17, n. 2, p. 155–164, jun. 2008. 
IVANYNA, M.; SHAH, A. Citizen-Centric Governance Indicators: Measuring and Monitoring Governance by Listening to the People and Not the Interest Groups. SSRN Electronic Journal, 2009. 
KANG, S.; GEARHART, S. E-Government and Civic Engagement: How is Citizens’ Use of City Web Sites Related with Civic Involvement and Political Behaviors? Journal of Broadcasting & Electronic Media, v. 54, n. 3, p. 443–462, 17 ago. 2010. 
KARDAN, A. A.; SADEGHIANI, A. Is e-government a way to e-democracy?: A longitudinal study of the Iranian situation. Government Information Quarterly, v. 28, n. 4, p. 466–473, 2011. 
KARLSSON, F. et al. Exploring user participation approaches in public e-service development. Government Information Quarterly, v. 29, n. 2, p. 158–168, abr. 2012. 
KIM, S.; LEE, J. E-Participation, Transparency, and Trust in Local Government. Public Administration Review, p. n/a–n/a, 23 ago. 2012. 
KING, S.; COTTERILL, S. Transformational Government? The role of information technology in delivering citizen-centric local public services. Local Government Studies, v. 33, n. 3, p. 333–354, jun. 2007. 
KOHLBORN, T. Quality assessment of service bundles for governmental one-stop portals: A literature review. Government Information Quarterly, v. 31, n. 2, p. 221–228, abr. 2014. 
KRISHNAN, S.; TEO, T. S. H. Moderating effects of governance on information infrastructure and e-government development. Journal of the American Society for Information Science and Technology, v. 63, n. 10, p. 1929–1946, 29 out. 2012. 
LARSSON, H.; GRÖNLUND, Å. Future-oriented eGovernance: The sustainability concept in eGov research, and ways forward. Government Information Quarterly, v. 31, n. 1, p. 137–149, jan. 2014. 
LEE, J. 10year retrospect on stage models of e-Government: A qualitative meta-synthesis. Government Information Quarterly, v. 27, n. 3, p. 220–230, jul. 2010. 
LEE, J.; LEE, H. Developing and validating a citizen-centric typology for smart city services. Government Information Quarterly, v. 31, p. S93–S105, maio 2014. 
LINDGREN, I.; JANSSON, G. Electronic services in the public sector: A conceptual framework. Government Information Quarterly, v. 30, n. 2, p. 163–172, abr. 2013. 
LUNA-REYES, L. F.; GIL-GARCIA, J. R.; ROMERO, G. Towards a multidimensional model for evaluating electronic government: Proposing a more comprehensive and integrative perspective. Government Information Quarterly, v. 29, n. 3, p. 324–334, jul. 2012. 
LUPU, D.; LAZĂR, C. G. Influence of e-government on the Level of Corruption in some EU and Non-EU States. Procedia Economics and Finance, v. 20, p. 365–371, 2015. 
MEIJER, A. E-governance innovation: Barriers and strategies. Government Information Quarterly, v. 32, n. 2, p. 198–206, mar. 2015. 
MISRA, D. Defining e-government: A citizen-centric criteria-based approach. Proceedings of the 10th National Conference on e- …, 2007. 
MITRAKAS, A. Citizen Centric Identity Management: Chip Tricks? Network Security, v. 2002, n. 7, p. 15–16, jul. 2002. 
MOSS, G.; COLEMAN, S. Deliberative Manoeuvres in the Digital Darkness: e-Democracy Policy in the UK. The British Journal of Politics & International Relations, v. 16, n. 3, p. n/a–n/a, 4 mar. 2013. 
NET-EUCEN. Deliverable 1.4 – Final Network Report. 2013. Disponível em: <http://95.110.228.151/elgg/file/download/3573>. Acesso em: 9 maio. 2015. 
OBLAK ČRNIČ, T. Idea(l)s on e-democracy and direct online citizenship. Southeastern Europe, v. 36, n. 3, p. 398–420, 1 jan. 2012. 
OECD. Rethinking e-Government Services: User-centred Approaches. Disponível em: <http://www.planejamento.gov.br/secretarias/upload/Arquivos/seges/arquivos/OCDE2011/OECD_Rethinking_Approaches.pdf>. Acesso em: 24 abr. 2015. 
OECD. Government at a Glance 2013. Disponível em: <http://www.oecd-ilibrary.org/docserver/download/4213201e.pdf?expires=1395222439&id=id&accname=guest&checksum=F9C6674E09CE56B8C66B5B09314145B0>. Acesso em: 22 maio. 2015. 
OECD. Recommendation of the Council on Digital Government Strategies. Disponível em: <http://www.oecd.org/gov/public-innovation/Recommendation-digital-government-strategies.pdf>. Acesso em: 10 maio. 2015. 
OECD. OECD Glossary of Statistical Terms - E-government Definition. Disponível em: <https://stats.oecd.org/glossary/detail.asp?ID=4752>. Acesso em: 8 abr. 2015. 
ORGERON, C. P.; GOODMAN, D. Evaluating Citizen Adoption and Satisfaction of E-Government. International Journal of Electronic Government Research, v. 7, n. 3, p. 57–78, 2011. 
OSMAN, I. H. et al. COBRA framework to evaluate e-government services: A citizen-centric perspective. Government Information Quarterly, v. 31, n. 2, p. 243–256, abr. 2014. 
PANOPOULOU, E.; TAMBOURIS, E.; TARABANIS, K. Success factors in designing eParticipation initiatives. Information and Organization, v. 24, n. 4, p. 195–213, out. 2014. 
PAPADOMICHELAKI, X.; MENTZAS, G. e-GovQual: A multiple-item scale for assessing e-government service quality. Government Information Quarterly, v. 29, n. 1, p. 98–109, jan. 2012. 
RANA, N. P.; DWIVEDI, Y. K. Citizen’s adoption of an e-government system: Validating extended social cognitive theory (SCT). Government Information Quarterly, 2015. 
RANA, N. P.; DWIVEDI, Y. K.; WILLIAMS, M. D. Evaluating alternative theoretical models for examining citizen centric adoption of e‐government. Transforming Government: People, Process and Policy, v. 7, n. 1, p. 27–49, 15 mar. 2013a. 
RANA, N. P.; DWIVEDI, Y. K.; WILLIAMS, M. D. Evaluating alternative theoretical models for examining citizen centric adoption of e‐government. Transforming Government: People, Process and Policy, v. 7, n. 1, p. 27–49, 15 mar. 2013b. 
SARAIVA, L.; CAPELÃO, L. A nova administração pública e o foco no cidadão: burocracia X marketing? …  de Administração Pública, 2000. 
SHULER, J. A.; JAEGER, P. T.; BERTOT, J. C. Editorial: E-government without government. Government Information Quarterly, v. 31, n. 1, p. 1–3, jan. 2014. 
SILVA, E. L. DA; MENEZES, E. M. Metodologia da pesquisa e elaboração de dissertação (UFSC, Ed.)Florianópolis, 2005. Disponível em: <ftp://ftp.unilins.edu.br/brenoortega/metodologia/metodologia_de_pesquisa.pdf>SINGH, G.; WALSH, C. S. Transforming e‐democracy for equity and social justice: We Decide. Transforming Government: People, Process and Policy, v. 6, n. 4, p. 328–332, 5 out. 2012. 
SMITH, M.; NOORMAN, M.; MARTIN, A. Automating the public sector and organizing accountabilities. Communications of the Association for Information Systems, v. 26, n. 1, p. 24, 2010. 
SOBACI, M. Z.; ERYIGIT, K. Y. Determinants of E-Democracy Adoption in Turkish Municipalities: An Analysis for Spatial Diffusion Effect. Local Government Studies, v. 41, n. 3, p. 445–469, 23 jan. 2015. 
SUSHA, I.; GRÖNLUND, Å. eParticipation research: Systematizing the field. Government Information Quarterly, v. 29, n. 3, p. 373–382, jul. 2012. 
TITAH, R.; BARKI, H. E-Government Adoption and Acceptance. International Journal of Electronic Government Research, v. 2, n. 3, p. 23–57, 2006. 
TSOHOU, A. et al. Proposing a reference process model for the citizen‐centric evaluation of e-government services. Transforming Government: People, Process and Policy, v. 7, n. 2, p. 240–255, 24 maio 2013. 
UNITED NATIONS, O. United Nations E-Government Survey 2014 “E-Government for the Future We Want”. New York: United Nations Department of Economic and Social Affairs, 2014. 
VAN DER WEE, M. et al. Identifying and quantifying the indirect benefits of broadband networks for e-government and e-business: A bottom-up approach. Telecommunications Policy, v. 39, n. 3, p. 176–191, fev. 2014. 
VELICU, B. C. Creating a citizen centric administration through eGovernment in Romania. Romanian Journal of Political Science, v. 12, n. 2, p. 103–127, 2012. 
VERDEGEM, P.; VERLEYE, G. User-centered E-Government in practice: A comprehensive model for measuring user satisfaction. Government Information Quarterly, v. 26, n. 3, p. 487–497, jul. 2009. 
WAGNER, N.; HASSANEIN, K.; HEAD, M. The impact of age on website usability. Computers in Human Behavior, v. 37, p. 270–282, ago. 2014. 
WIRTZ, B. W. et al. Measuring eGovernment Portal Management on the Local Level: Results from a Survey of Public Administration OfficialsInternational Public Management Review, 10 dez. 2014. Disponível em: <http://journals.sfu.ca/ipmr/index.php/ipmr/article/view/232>. Acesso em: 30 mar. 2015
WOSNIAK, F.; REZENDE, D. Gestão de estratégias: uma proposta de modelo para os governos locais. Revista de Administração Pública-RAP, 2012. 
ZHANG, H.; XU, X.; XIAO, J. Diffusion of e-government: A literature review and directions for future directions. Government Information Quarterly, v. 31, n. 4, p. 631–636, out. 2014. 
ZHENG, Y.; SCHACHTER, H. L.; HOLZER, M. The impact of government form on e-participation: A study of New Jersey municipalities. Government Information Quarterly, v. 31, n. 4, p. 653–659, out. 2014. 
Página