186-Texto do artigo-3354-1-10-20130403

Prévia do material em texto

Desenvolvimento em Questão
editora unijuí • ano 11 • n. 22 • jan./abr. • 2013
artigo
p. 35-61
as técnicas de avaliação da eficiência, 
eficácia e efetividade na gestão Pública 
e sua relevância para o Desenvolvimento 
social e das ações Públicas
Hironobu Sano1 
Mário Jorge França Montenegro Filho2
resumo
A necessidade crucial de mais eficiência, eficácia e efetividade (3Es) das ações governamentais está 
intrinsecamente relacionada à questão do desenvolvimento, pois suas possibilidades são, muitas 
vezes, cerceadas devido aos limites que surgem quando os atores envolvidos na gestão pública não 
estão comprometidos com estes conceitos, resultando em impactos negativos na vida de todos os 
cidadãos. Daí a demanda por uma avaliação sistemática, contínua e eficaz que esbarra na falta de 
clareza quanto a indicadores de desempenho no setor público. Assim, o presente artigo tem por objetivo 
apresentar sete propostas de utilização dos citados indicadores (3Es) na gestão pública, visando o 
desenvolvimento das políticas sociais. As principais conclusões deste estudo são sobre a relevância 
dos conceitos apresentados (3Es) para o desenvolvimento social, a importância da comparação de 
desempenhos, a necessidade de adoção de mais de um método que seja eficiente, eficaz e efetivo e 
o carecimento de convencer e capacitar os envolvidos.
Palavras-chave: Avaliação. Políticas públicas. Eficiência. Eficácia. Efetividade.
1 Doutor em Administração Pública e governo pela Fundação Getúlio Vargas/SP. 
hiro.sano@gmail.com
2 Mestrando do Programa de Pós-Graduação em Administração (PPGA) da Universidade 
Federal do Rio Grande do Norte (UFRN). mario@cidadania.org.br
the evaluation techniQues of efficiency, efficacy anD effecti-
veness in Public management anD its relevance for the social 
DeveloPment anD Public action 
abstract
The crucial need for more effectiveness, efficiency and efficacy (3Es) of the governmental actions is 
inextricably related to development, because its chances are often curtailed when the actors involved in 
public administration are not committed to 3Es concepts, resulting in limitations and negative impacts 
on all citizens’ lives. Hence, the demand for a systematic, continuous and effective evaluation that is 
hindered by a lack of clarity on performance indicators in the public sector. Thus, this paper presents 
seven proposals of 3Es indicators use in public administration to develop social policies. The main 
conclusions of this study are: a) the relevance of the concepts presented (3Es) for social development; 
b) the importance of perform evaluation benchmarking; c) the need to adopt more than one efficient, 
effective and efficacious method and d) convince and empower those involved.
Keywords: Evaluation. Public policy. Efficiency. Effectiveness. Efficacy.
As TécnicAs de AvAliAção dA eficiênciA, eficáciA e efeTividAde nA GesTão PúblicA 
e suA RelevânciA PARA o desenvolvimenTo sociAl e dAs Ações PúblicAs
37desenvolvimento em Questão
A necessidade crucial de mais eficiência, eficácia e efetividade 
(3Es) das ações governamentais está intrinsecamente relacionada à ques-
tão do desenvolvimento social, pois suas possibilidades são, muitas vezes, 
cerceadas, devido aos limites que surgem quando os atores envolvidos na 
gestão pública não estão comprometidos com estes conceitos, resultando 
em impactos negativos na vida de todos os cidadãos. Daí a demanda por 
uma avaliação sistemática, contínua e eficaz que esbarra na falta de clareza 
quanto a indicadores de desempenho no setor público. Surge, então, um 
dilema sobre qual deve ser o foco e qual metodologia utilizar, problema que 
persiste apesar dos diversos estudos e discussões. Este aspecto é destacado 
por vários autores, entre eles Costa e Castanhar (2003), ao referirem-se ao 
“emaranhado conceitual” que ainda prevalece.
Devido à diversidade de indicadores de resultados, serão abordados 
aqueles relacionados aos três principais critérios de desempenho: 3Es. Sua 
relevância é destacada por vários autores, dentre eles Antico e Jannuzzi 
([2006?], p. 19), ao afirmarem que “a avaliação de um programa público 
requer indicadores que possam dimensionar o grau de cumprimento dos 
objetivos dos mesmos (eficácia), o nível de utilização de recursos frente aos 
custos em disponibilizá-los (eficiência) e a efetividade social”. Também é 
observável que a maior parte dos dez desafios para uma reinvenção da gestão 
pública, destacados por Marini (2008), está implicitamente relacionada com 
os conceitos dos 3Es, sendo quatro explicitamente: o da contratualização 
de resultados, o da melhoria da eficiência operacional, o da reinvenção do 
controle e o do comprometimento das pessoas. 
Diante do exposto, o presente artigo tem por objetivo apresentar 
propostas de utilização dos 3Es na gestão pública. Considerando que o 
assunto tratado é bastante vasto e dinâmico, a pretensão deste texto é 
contribuir para a melhoria da gestão pública, apresentando mais detalha-
damente apenas uma dentre as várias propostas pesquisadas, das quais seis 
são sumariamente apresentadas, destacando alguns importantes conceitos 
relacionados à temática. Assim, no campo das iniciativas será abordada a 
Hironobu sano – mário Jorge frança montenegro filho
38 Ano 11 • n. 22 • jan./abr. • 2013
adaptação do Balanced Scorecard, metodologia de medição e avaliação do 
desempenho empresarial para a área pública proposta por Ghelman (2006), o 
Quadro Lógico apresentado por Pfeiffer (2006), a construção de um sistema 
de indicadores introduzido por Jannuzzi e Patarra (2006), os indicadores de 
eficiência para órgãos públicos propostos por Garcia (2008), as auditorias de 
desempenho realizadas pelos Tribunais de Contas estudadas por Oliveira 
(2008), o modelo de gestão orientada para resultados de Minas Gerais es-
tudado por Lemos (2009) e a Transparência Orçamentária Municipal via 
Internet sugerida por Pires (2010).
A importância deste artigo é observável em constatações como a de 
Frey (2000, p. 229), ao afirmar que “a fase da avaliação é imprescindível para 
o desenvolvimento e a adaptação contínua das formas e instrumentos de ação 
pública”. Além de ser respaldada por pesquisas como a de Ghelman (2006), 
ao concluir que, apesar de a questão da eficiência fazer parte do discurso de 
melhora da gestão pública, sendo inclusive um princípio constitucional que 
rege a administração pública, a quase totalidade das organizações pesquisadas 
não possuíam indicadores que tratassem desta questão.
O artigo divide-se em quatro partes. Inicia abordando a avaliação 
focada nos 3Es, como primeiro tópico do referencial teórico utilizado. A se-
gunda parte contém uma breve apresentação de alguns conceitos relevantes 
sobre indicadores, como suas propriedades, técnicas, críticas, relevância e 
desafios. A terceira parte está subdividida em dois tópicos, sendo no primeiro 
exemplificadas, resumidamente, em razão das limitações de tamanho do 
artigo, seis propostas de utilização dos indicadores de desempenho (3Es) na 
gestão pública, enquanto no segundo tópico foi analisada uma sétima pro-
posta, com mais profundidade que as anteriores, por ser a mais abrangente 
dentre as pesquisadas. Por fim, conclui-se sobre a relevância dos conceitos 
apresentados para o desenvolvimento social, a importância da comparação 
de desempenhos, a necessidade de adoção de mais de um método que sejam 
eficientes, eficazes e efetivos, e o carecimento de convencer e capacitar os 
envolvidos além de sugerir futuros trabalhos.
As TécnicAs de AvAliAção dA eficiênciA, eficáciA e efeTividAde nA GesTão PúblicA 
e suA RelevânciA PARA o desenvolvimenTo sociAl e dAs Ações PúblicAs
39desenvolvimento em Questão
avaliação: eficiência, eficácia e efetividade(3es)
A temática da avaliação é bastante ampla, daí a necessidade de deli-
mitação dos principais critérios que se deseja estudar diante dos infindáveis 
questionamentos que podem ser elaborados na etapa de avaliação. Optou-se, 
assim, pelos três mais tradicionais, usados e fundamentais: os 3Es, segundo 
autores como Carvalho (2001) e Harmon e Mayer (1999) ao versarem sobre a 
eficiência e eficácia na administração pública. Sua relevância também pode 
ser observada quando Sulbrandt (1993) agrupa as experiências avaliativas de 
programas em três metodologias básicas: a) avaliação de metas (eficácia); b) 
avaliação de impacto (efetividade); e c) avaliação do processo (eficiência). 
Por seu turno, Jannuzzi e Patarra (2006) destacam a importância do moni-
toramento dos programas segundo o raciocínio insumo-processo-resultado-
impacto, que pode ser realizado com os 3Es, conforme ilustrado na Figura 
a seguir, inclusive para os insumos envolvidos, avaliando sua influência em 
cada uma das três etapas:
Figura 1 – Fluxograma da avaliação
Fonte: Elaborado pelos autores, 2012.
A Lei nº 11.653/2008 corrobora as perspectivas anteriormente apre-
sentadas ao estabelecer que a gestão do Plano Plurianual de 2008 a 2011 
observará os princípios de eficiência, eficácia e efetividade na avaliação dos 
seus programas (Brasil, 2008).
Diante das várias definições existentes dos 3Es, algumas delas 
inclusive contraditórias entre si, faz-se necessário explicitar que os concei-
tos adotados neste artigo são os de Washington Souza (2008), nos quais a 
efetividade é percebida mediante a avaliação das transformações ocorridas 
a partir da ação; a eficácia resulta da relação entre metas alcançadas versus 
metas pretendidas e a eficiência significa fazer mais com menos recursos. 
Hironobu sano – mário Jorge frança montenegro filho
40 Ano 11 • n. 22 • jan./abr. • 2013
Estas definições estão alinhadas a várias outras largamente utilizadas, entre 
elas as do manual Guide for monitoring and evaluation do Unicef, apresentadas 
no texto de Costa e Castanhar (2003), e do Tribunal de Contas da União 
(TCU), presentes no texto de Ghelman (2006).
Vale ressaltar que a efetividade está relacionada ao impacto social que 
procura identificar os efeitos produzidos sobre uma população-alvo de um 
programa social. Por seu turno, avaliar o impacto social é mensurar o real 
valor de um investimento social. O que torna sua avaliação indispensável é 
o fato de que, caso o impacto social não seja o esperado, poder-se-á repla-
nejar a atuação (Fontes, 2005). A principal dificuldade, porém, é garantir a 
vinculação entre as ações do programa e as mudanças percebidas. A eficácia, 
por sua vez, propicia que as instituições avaliadas respondam às pressões por 
transparência, demonstrando que resultados estão sendo alcançados.
A mensuração da eficiência de uma ação social pode ser realizada de 
várias formas e a falta de parametrização gera diversas dúvidas sobre quais 
ações são mais eficientes. A eficiência também não pode ser avaliada olhando-
se apenas para os aspectos internos da organização, devendo-se voltar para 
a globalidade das demais organizações (Araújo et al., 2008). Ou seja, não 
se deve apenas avaliar se houve desperdícios ou desvios dos recursos, mas 
também comparar a eficiência alcançada com a de outras organizações que 
podem vir a se tornar benchmarkers. Segundo Marinho e Façanha (2001, p. 
6), “avaliação pressupõe comparação”. Vale destacar, ainda, que a busca 
pela eficiência implica uma melhor utilização dos recursos, resultando no 
combate à corrupção. 
Com relação ao aspecto histórico da eficiência, sua presença é ob-
servada tanto no surgimento da teoria da administração quanto na teoria 
da administração pública. É, importante lembrar, todavia, que a sua busca, 
imbuída numa cultura racional burocrática, desvinculada de interferências 
morais, resultou no genocídio dos judeus e dos ciganos em Auschwitz, sím-
bolo, à época da 2ª Guerra, da modernidade e cientificamente organizada, 
que se utilizava das técnicas mais eficazes (Löwy, 2011).
As TécnicAs de AvAliAção dA eficiênciA, eficáciA e efeTividAde nA GesTão PúblicA 
e suA RelevânciA PARA o desenvolvimenTo sociAl e dAs Ações PúblicAs
41desenvolvimento em Questão
Também se entende pertinente situar os 3Es nas três fases de um 
processo avaliativo: a que antecede o início do projeto (ex-ante), estando 
vinculada às clássicas etapas de diagnóstico e formulação do programa social; 
a que ocorre durante a etapa de constituição (pari-pasu) e a que se sucede 
à ação (ex-post), na etapa de avaliação propriamente dita (Jannuzzi, 2005). 
Estas relações são sintetizadas no Quadro a seguir.
Quadro 1 – Os 3Es nas três fases da avaliação
Indicador
FASE
Ex-ante Pari-pasu Ex-post
Eficiência Estimativa baseada 
em iniciativas com-
paráveis. Pouco uti-
lizada.
Comparação entre 
o que foi previsto 
e o que se está rea-
lizando. Utilizada 
principalmente no 
controle orçamen-
tário.
Comparação com 
iniciativas similares 
ou com o planejado. 
Mais utilizada.
Eficácia Baseada em inicia-
tivas comparáveis. 
Pouco utilizada.
Acompanhamen-
to da realização 
das metas propos-
tas.
Verificação se as me-
tas propostas foram 
atingidas. 
Efetividade Expectativa base-
ada em iniciativas 
similares. Pouco 
utilizada.
Avaliações par-
ciais ao término 
das etapas de um 
programa.
Vinculação das mu-
danças, caso tenham 
ocorrido as ações 
empreendidas. Mais 
utilizada e recomen-
dada.
Fonte: Elaborado pelos autores, 2012.
Finalmente, é preciso destacar que a avaliação sistemática, contínua e 
eficaz é uma ferramenta gerencial poderosa, fornecendo aos formuladores e 
gestores de políticas públicas condições para aumentar a eficiência e efetivi-
dade dos recursos aplicados. Faz-se necessário, portanto, o desenvolvimento 
de um conjunto harmônico e sistemático de indicadores que abranjam os 
3Es e suas inter-relações, tema a ser tratado no próximo tópico. 
Hironobu sano – mário Jorge frança montenegro filho
42 Ano 11 • n. 22 • jan./abr. • 2013
indicadores
Lemos (2009) afirma haver um consenso de que todo monitoramento 
e avaliação baseiam-se em indicadores que auxiliam nas tomadas de decisão, 
permitindo um melhor desempenho, a formulação de um orçamento mais 
racional e uma prestação de contas mais clara e objetiva.
Costa e Castanhar (2003, p. 987) indicam que:
O grande desafio para a disseminação da prática da avaliação de projetos 
no setor público é, sem dúvida, encontrar formas práticas de mensurar o 
desempenho e fornecer ao responsável pela gestão dos programas sociais, 
bem como para os demais atores envolvidos, informações úteis para a 
avaliação sobre os efeitos de tais programas, necessidade de correções, 
ou mesmo da inviabilidade do programa.
O desafio em questão esbarra na falta de consenso a respeito da de-
finição de indicadores sociais. Situação diferente é a do setor privado, em 
que seus indicadores já são consagrados, sendo, muitos deles, inclusive, 
internacionalmente utilizados. Ocorre o mesmo em outros setores menos 
preocupados com as questões sociais e mais focados em suas respectivas 
especialidades e indicadores. Por exemplo, o setor econômico elege o Pro-
duto Interno Bruto (PIB) como um indicador da geração de riqueza, ao passo 
que o setor agrícola toma como parâmetro de produtividade as toneladas 
de grãos por safra, enquanto o judiciário baseia-se no número de processos 
por juiz para alocar seus recursos, entre outros. Tentar-se-á contribuir para a 
superação deste desafio, destacando algumas informações relevantes sobre 
indicadores para políticas públicas. Para um maior aprofundamento, porém, 
faz-se necessária a consulta aos artigos citados.Antico e Jannuzzi (2006) detalham em seu artigo os tipos, proprieda-
des e fontes de indicadores para cada uma das quatro etapas (diagnóstico, 
formulação, instituição e avaliação) do ciclo de avaliação de políticas públi-
cas. Alertam, também, sobre os bolsões de iniquidades escondidos pelos 
indicadores que refletem as médias municipais. Além disso, demonstram as 
As TécnicAs de AvAliAção dA eficiênciA, eficáciA e efeTividAde nA GesTão PúblicA 
e suA RelevânciA PARA o desenvolvimenTo sociAl e dAs Ações PúblicAs
43desenvolvimento em Questão
etapas de construção de indicadores multicritérios, que podem ser utilizados 
para programas intersetoriais. Exemplificam, igualmente, um Painel de 
Indicadores de Monitoramento, considerado como uma ferramenta “prag-
mática”. Por fim, escrevem brevemente (dois parágrafos) sobre a Análise 
Envoltória de Dados (DEA), sendo necessária a leitura complementar de 
obras específicas para sua utilização. Sobre a efetividade, sugerem o em-
prego de indicadores de diferentes naturezas e propriedades, na tentativa 
de captar as mudanças ocorridas, alertando para a necessidade de avaliações 
qualitativas e da lentidão do impacto, quando o marco zero não é trágico ou 
os recursos não são expressivos. 
 Já Costa e Castanhar (2003) apresentam no seu texto informa-
ções importantes para a elaboração de um sistema de avaliação, inclusive 
exemplificando-o. 
Por seu turno, Guimarães e Jannuzzi (2005) advertem, em sua análise 
crítica, sobre os problemas decorrentes do emprego de indicadores sintéticos 
(média de vários indicadores simples). Eles afirmam que, por mais abran-
gentes que esses indicadores tentem ser, alguns inclusive compostos por 38 
indicadores simples, como o Índice de Qualidade de Vida Urbana (IQVU),3 
não devem ser interpretados como um reflexo fiel e absoluto da realidade.
métodos de avaliação de desempenho 
na gestão pública: os 3es como indicadores
Exemplificando seis diferentes propostas
Por serem apresentados de forma bastante resumida, com objetivos 
meramente exemplificativos, torna-se indispensável a leitura dos seis textos 
a seguir referenciados para o seu pleno entendimento.
3 Mais informações sobre o IQVU disponíveis em: <http://portalpbh.pbh.gov.br/pbh/ecp/
comunidade.do?evento=portlet&pIdPlc=ecpTaxonomiaMenuPortal&app=planejamento
&tax=17975&lang=pt_BR&pg=6901&taxp=0&>.
Hironobu sano – mário Jorge frança montenegro filho
44 Ano 11 • n. 22 • jan./abr. • 2013
1ª) Balanced Scorecard
Pelo já comentado fato do setor privado possuir mais ferramentas, 
conhecimentos e histórico na utilização de indicadores, muitos estudiosos 
tentam adaptar ferramentas empresariais às necessidades públicas. À parte 
as críticas sobre estas adaptações, Ghelman (2006) também apresenta um 
modelo adaptado do Balanced Scorecard aos preceitos de uma nova gestão 
pública moderna e focada nos resultados, preservando, segundo o autor, as 
especificidades da área pública. Dentre as adaptações, o autor conclui pela 
necessidade das medidas de desempenho nas dimensões da: a) eficiência, 
visando à otimização dos recursos dos contribuintes; b) eficácia, por meio 
da melhoria da qualidade dos serviços; e c) efetividade, buscando orientar 
as ações públicas para o atendimento ao cidadão. Assim, é facilmente ob-
servável o uso de todos os 3Es, além da preocupação com o monitoramento 
sistemático dos resultados.
O autor também justifica a utilização conjunta dos 3Es ao afirmar que 
a busca isolada pela eficiência, reduzindo custos e/ou aumentando a produ-
tividade, pode comprometer a qualidade do serviço. Mesmo ofertando um 
serviço com eficiência e eficácia não há garantias do alcance da efetividade 
com a conquista da transformação desejada, citando inclusive exemplos.
Sobre a efetividade, o autor também conclui que, ao considerá-la como 
um dos aspectos medidos pelo modelo proposto, permite-se um aumento 
do controle social decorrente da possibilidade de avaliação do desempenho 
organizacional. Para que o cidadão seja um indutor da melhoria da quali-
dade do serviço público, porém, faz-se necessária a disponibilização destas 
informações de forma fácil e inteligível, caso contrário sua participação será 
cerceada.
Partindo da premissa de que o Estado é fator fundamental para o 
desenvolvimento, o autor estabelece a contribuição do seu modelo a partir 
do aperfeiçoamento dos instrumentos de gestão. São feitas, contudo, algumas 
ressalvas, como o fato de este modelo não poder ser aplicado diretamente em 
As TécnicAs de AvAliAção dA eficiênciA, eficáciA e efeTividAde nA GesTão PúblicA 
e suA RelevânciA PARA o desenvolvimenTo sociAl e dAs Ações PúblicAs
45desenvolvimento em Questão
todos os órgãos públicos, mas apenas naqueles que possuem um planejamen-
to estratégico estruturado e uma forte cultura de medição do desempenho 
organizacional. Vale frisar que o modelo desconsidera as especificidades 
de cada órgão público e, por isso, deve ser adaptado às especificidades de 
cada instituição.
2ª) Quadro lógico
Pfeiffer (2006) apresenta a metodologia do Quadro Lógico (QL) criada 
para demonstrar a efetividade dos projetos de cooperação internacional, ou 
seja, ao contrário da anteriormente apresentada na proposta anterior, ela 
não possui elementos da lógica empresarial. Sua matriz fornece respostas a 
questões intimamente associadas aos 3Es, tais como:
• Qual é o seu propósito e quais as mudanças a serem alcançadas?
• Como se pretende produzir melhorias?
• Como é possível identificar o alcance das melhorias e mudanças?
Logo, não se pode negar que o desafio na elaboração de um QL é 
selecionar e combinar, adequadamente, os processos que serão capazes 
de gerar os resultados desejados de forma eficiente. Esta relação pode ser 
visualizada na Figura 2.
Figura 2 – Eficiência e efetividade no QL
 
 
 
 
Fonte: Pfeiffer, 2006.
Hironobu sano – mário Jorge frança montenegro filho
46 Ano 11 • n. 22 • jan./abr. • 2013
Assim, define-se o êxito do projeto já na fase do seu planejamento, 
suprindo a falta de clareza e unanimidade da literatura especializada sobre 
como defini-lo. O QL também permite um acompanhamento sistemático 
e uma avaliação mais simples e objetiva, ao relacionar cada resultado e 
objetivo a um indicador vinculado a uma fonte de comprovação, conforme 
ilustrado a seguir.
Figura 3 – Estrutura do QL
 
 
 
 
 
 
Fonte: Pfeiffer, 2006.
Sendo o QL apenas um instrumento de gerência de projetos, faz-se 
necessária, para sua eficácia, sua integração num sistema mais amplo de 
gerenciamento, adaptando-o às especificidades de cada projeto. Constata-
se, ainda, ser ele um mapa que orienta as equipes e os gerentes, além de 
também apresentar-se como um acordo entre os interessados sobre os rumos 
do projeto e os compromissos assumidos.
Ressalte-se que, por não ser de fácil domínio, é recomendável a utiliza-
ção de especialistas ou a capacitação teórica e prática para seu emprego, tendo 
em vista que ele evolui na mesma proporção da concretização dos projetos. 
3ª) entidades de fiscalização
Oliveira (2008) destaca que as Entidades de Fiscalização Superior, 
como os Tribunais de Contas, estão sendo cada vez mais demandadas para 
realizar trabalhos qualitativos, abrangendo os 3Es. Estas auditorias são de-
As TécnicAs de AvAliAção dA eficiênciA, eficáciA e efeTividAde nA GesTão PúblicA 
e suA RelevânciA PARA o desenvolvimenTo sociAl e dAs Ações PúblicAs
47desenvolvimento em Questão
nominadas operacionais ou de desempenho e buscam avaliar as organizações 
públicas em aspectos como eficiência, economicidade, eficácia e efetividade. 
O referido autor apresenta o impacto da inclusão das auditorias de efetividadeno rol das tradicionais atribuições destes tribunais em verificar a regularidade 
das contas públicas, focando os aspectos legais, orçamentários, contábeis, 
financeiros e patrimoniais, realizadas via auditoria de conformidade. Os 
principais seriam a necessidade de diversificação dos seus profissionais, 
juntamente com novas rotinas, e sem esquecer o aspecto político, uma vez 
que os resultados podem suscitar questionamentos de natureza política.
O trabalho apresenta os tipos de auditorias de desempenho, dentre 
as quais constam a de eficiência e a de efetividade de programas, já pratica-
das em países como Austrália, França, Alemanha, Holanda, Suécia, Reino 
Unido e Estados Unidos. A primeira tem por objetivo examinar as funções 
organizacionais, os processos e os elementos de um programa para avaliar se 
os seus insumos estão sendo otimizados, focando principalmente os custos. 
Ela não implica “reformulação radical da missão, do papel e da estratégia 
dos órgãos de auditoria, além do fato da eficiência ser considerada um valor 
fundamental por unanimidade” (Oliveira, 2008, p. 40). Já a de efetividade 
examina o impacto do programa, e sua realização afetaria o papel, a estratégia 
e a missão, que se tornaria mais ampla e abstrata, das entidades de fisca-
lização. Estas mudanças ocorreriam pelo fato de esta modalidade ser mais 
complexa, não tendo um modelo rígido e padronizado como as auditorias 
de conformidade, exigindo, assim, um amplo domínio de conhecimentos 
multidisciplinares.
Não se pode deixar de observar que, por mais significativos que sejam 
os achados identificados durante uma auditoria operacional, as recomen-
dações para melhoria do desempenho da organização auditada não serão 
completamente instituídas, caso esta não disponha de recursos suficientes 
para o atendimento das sugestões realizadas. Como se pode ver, a capacidade 
contributiva das recomendações para a melhoria da gestão pública pode ser 
limitada pela ausência de diversos recursos, tais como humanos, financeiros, 
Hironobu sano – mário Jorge frança montenegro filho
48 Ano 11 • n. 22 • jan./abr. • 2013
políticos ou técnicos. Sobre este último, e diante da constatação do autor 
a respeito da necessidade de emprego de modelos analíticos na etapa de 
planejamento das auditorias, artigos como o presente buscam contribuir para 
a formação de um referencial teórico acessível. 
4ª) Planilhas
Garcia (2008) propõe a adoção de duas planilhas para avaliação da efi-
ciência na gestão pública. A apresentada na Figura 4 possui nove indicadores 
relacionados à gestão orçamentária, financeira e patrimonial, aos processos de 
aquisição, ao índice de inovação, a iniciativas sociais e aos serviços prestados. 
Sendo o alcance a tais informações restrito, seu preenchimento só poderia 
ser realizado por alguém com amplo acesso, como o gestor do órgão.
Figura 4 – Planilha para avaliação da eficiência na gestão
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Fonte: Garcia, 2008.
As TécnicAs de AvAliAção dA eficiênciA, eficáciA e efeTividAde nA GesTão PúblicA 
e suA RelevânciA PARA o desenvolvimenTo sociAl e dAs Ações PúblicAs
49desenvolvimento em Questão
A segunda planilha, apresentada na Figura 5, é empregada para gerar 
o indicador “Serviços Prestados” presente na primeira. Ela deve ser preen-
chida pelos cidadãos, usuários ou beneficiários dos serviços prestados pelo 
órgão público. É composta por 32 indicadores relacionados a serviços pela 
Internet, ao atendimento prestado, às instalações, ao processo de solicitação 
do serviço, à resolução do problema e ao pós-atendimento.
Figura 5 – Planilha para avaliação da eficiência nos serviços prestados
 
Fonte: Garcia, 2008.
Hironobu sano – mário Jorge frança montenegro filho
50 Ano 11 • n. 22 • jan./abr. • 2013
O autor peca ao não explicitar como os indicadores propostos são 
elaborados e ao não distinguir outros conceitos relacionados a eles, tais como 
eficácia, efetividade e qualidade. Logo, vários indicadores referem-se mais ao 
grau de qualidade da prestação do serviço da entidade do que propriamente 
a sua eficiência (quantidade de serviço x recursos).
5ª) estado para Resultados
O trabalho de Lemos (2009) investiga se o modelo de gestão do Es-
tado de Minas Gerais, conduzido pelo programa Estado para Resultados, é 
orientado para resultados, nos moldes do modelo de gestão desenvolvido 
pelo Banco Interamericano de Desenvolvimento (BID) juntamente com 
o Centro Latino-Americano de Administração para o Desenvolvimento 
(Clad). A autora concluiu que a gestão estadual passou a ser orientada para 
resultados, caracterizando-se “por uma cultura e um instrumental de gestão 
orientados a melhorar a eficácia, eficiência, produtividade e efetividade no 
uso dos recursos do Estado para melhorar os resultados de desempenho 
das organizações e dos servidores públicos” (p. 34). Com isso, a estratégia 
adotada permitiria a reformulação da gestão estadual, com novos valores e 
princípios, obtendo, no longo prazo, “uma nova cultura comportamental do 
setor público mineiro, voltado para o desenvolvimento da sociedade com 
critérios objetivos para se medir o desempenho dos resultados das ações 
governamentais” (p. 47).
Ao introduzir a problemática do seu estudo, a autora aponta como 
tendência uma gestão pública, provedora de serviços, orientada para o alcance 
de resultados de desenvolvimento, sendo o seu garantidor, além de comentar 
que nas últimas décadas o Estado vem desempenhando um papel-chave 
na criação de condições para o bem-estar social. Posteriormente, cita a dis-
ciplina “administração para o desenvolvimento”, surgida na década de 60, 
com a finalidade de gerar uma administração mais eficiente, efetiva e eficaz, 
capaz de criar os meios administrativos necessários para o desenvolvimento 
político, econômico e social. Ademais, afirma que, para a instituição de uma 
As TécnicAs de AvAliAção dA eficiênciA, eficáciA e efeTividAde nA GesTão PúblicA 
e suA RelevânciA PARA o desenvolvimenTo sociAl e dAs Ações PúblicAs
51desenvolvimento em Questão
nova administração para o desenvolvimento, faz-se necessário o estabeleci-
mento de relações claras entre os resultados das políticas e seus indicadores 
de eficácia e efetividade. A concepção de estratégias efetivas, que resultem 
em desenvolvimento, também é tida como central na governança da Nova 
Gestão Pública.4
Por fim, a autora afirma ser fundamental, neste modelo de gestão, 
o fornecimento de informações significativas e em tempo real à sociedade 
sobre o desempenho do setor público, aspecto este que será tratado na 
análise seguinte.
6ª) Tom Web
Pires (2010) propõe a adoção da Transparência Orçamentária Mu-
nicipal via Internet (TOM Web), que consiste na prestação de contas 
(accountability) pela Internet, disponibilizando em tempo real informações 
pormenorizadas sobre sua execução orçamentária e financeira. Seu foco são 
os municípios, tendo em vista que os Estados e principalmente o governo 
federal já adotam ferramentas similares. O autor defende que a transparência 
possibilitada por essa ferramenta é um pré-requisito da eficiência nas novas 
formas de governar.
Ele introduz sua Monografia manifestando a expectativa de que, com 
a adoção do modelo proposto, haverá mais transparência nos municípios 
brasileiros devido à redução das assimetrias informacionais entre “governan-
tes e governados, ampliando assim as oportunidades para que a cidadania 
se constitua numa alavanca para governos locais mais eficientes, efetivos, 
eficazes e responsivos, necessários ao desenvolvimento socioeconômico e 
à redução das desigualdades no país” (Pires, p. 4).
4 Originou-se das mudanças ocorridas nasadministrações públicas de países como a Inglaterra, 
em 1976. Focada em resultados, busca aumentar a eficiência, a eficácia e a efetividade das 
ações públicas.
Hironobu sano – mário Jorge frança montenegro filho
52 Ano 11 • n. 22 • jan./abr. • 2013
O TOM Web é definido como um modo de gerir a arrecadação e sua 
destinação, prestando contas, por meio de relatórios periódicos, via websites, 
deixando claros prazos, decisões, resultados e riscos, nas fases de planejamen-
to, aprovação, execução e avaliação. Esta modalidade é respaldada pela Lei 
Complementar 131/09, que cria a obrigatoriedade de publicação das contas 
públicas em tempo real, via Internet, para todos os entes da federação, com 
prazo até 2013 para os municípios de até 50.000 habitantes.
Operacionalmente, o TOM Web seria um link no site de cada prefei-
tura, contendo documentos, informações e dados relevantes sobre o plane-
jamento orçamentário, a sua execução e as compras públicas. O aprofunda-
mento do conteúdo das informações dar-se-ia de acordo com a profundidade 
da navegação empreendida pelo usuário, podendo manter-se superficial, 
atendendo assim tanto a demanda de especialistas quanto de leigos. O seu 
conteúdo deve ser consistente, completo e organizado, apresentando docu-
mentos integrais e tecnicamente bem-elaborados, regularmente atualizados 
e que ofereça condições de acesso fácil para qualquer usuário.
O autor relaciona os documentos considerados por ele básicos e ne-
cessários como ponto de partida para elaboração do conteúdo e sugere que 
sejam disponibilizados canais de comunicação e materiais didáticos, como 
glossários e textos de fácil compreensão.
análise da avaliação de programas sociais 
O texto “Indicadores para Diagnóstico, Monitoramento e Avaliação 
de Programas Sociais no Brasil”, de Jannuzzi e Patarra (2006), foi escolhido 
como o principal objeto de estudo, entre todos os pesquisados, pela sua 
clareza na apresentação das ideias, facilidade de leitura e por abranger os 
mais relevantes conceitos relacionados à temática pesquisada. 
As TécnicAs de AvAliAção dA eficiênciA, eficáciA e efeTividAde nA GesTão PúblicA 
e suA RelevânciA PARA o desenvolvimenTo sociAl e dAs Ações PúblicAs
53desenvolvimento em Questão
Os autores manualizaram as informações e conceitos fundamentais 
para a avaliação de programas sociais, a seguir descritos, como o processo 
de construção de um sistema de indicadores, os quadros de avaliação da 
aderência dos indicadores às propriedades desejáveis e a taxonomia dos 
indicadores. Também destacam que os indicadores permitem a operaciona-
lização de conceitos abstratos, possibilitando, assim, seu monitoramento e 
aprofundamento da investigação acadêmica, inclusive alertando para os casos 
de indicadores que adquirem o status de conceito e para as desvantagens e 
vantagens na utilização de indicadores sintéticos. Mostram quais indicado-
res, e suas respectivas propriedades e fontes, são requeridos em cada uma 
das quatro etapas do ciclo de formulação e avaliação de programas sociais. 
Discorrem sobre a necessidade de combinação de indicadores em programas 
intersetoriais devido aos vários objetivos envolvidos e à possibilidade de 
utilização da análise multicritério.
Ensinam que o processo de construção de um sistema de indicado-
res sociais inicia-se com a determinação do objetivo do programa. A seguir, 
delineiam-se quais ações serão necessárias a sua realização. Posteriormente, 
escolhem-se dados e estatísticas que possam acompanhar cada uma das 
ações, informando a eficiência no uso dos recursos, a eficácia no cumpri-
mento das metas e a efetividade das mudanças. Defendem que a escolha 
dos indicadores deve ser pautada pela adesão às propriedades desejadas (os 
autores sugerem 12). Por fim, concluem ser necessário, na etapa de “for-
mulação dos programas, prever a organização de procedimentos de coleta 
e tratamento de informações específicas e confiáveis em todas as fases do 
ciclo de implementação, que possam permitir a construção dos indicadores 
de monitoramento desejados” (Januzzi; Patarra, 2006, p. 52).
Assim, o importante é que a escolha dos indicadores baseie-se em uma 
avaliação crítica das suas propriedades e não se paute simplesmente pela 
tradição de uso. Os indicadores devem ser específicos e sensíveis. Deve-se 
Hironobu sano – mário Jorge frança montenegro filho
54 Ano 11 • n. 22 • jan./abr. • 2013
buscar avaliar os impactos sobre os determinados grupos da população por 
meio de indicadores subjetivos, empregando-se estratégias metodológicas 
avaliativas de natureza qualitativa.
Sobre a eficiência, os autores sugerem analisá-la a partir dos recursos 
alocados utilizando a técnica da Análise Envoltória de Dados (DEA). Deriva-
da dos métodos de pesquisa operacional, a DEA permitiria a identificação das 
unidades de operação mais eficientes. Considerando as condições estruturais 
de operação, ela leva em conta como os recursos, expressos pelos indicado-
res de insumo, são usados para gerar os resultados finais, representados por 
indicadores de resultado como a eficácia e efetividade.
Acerca da eficácia, os citados autores destacam sua vinculação aos 
objetivos finais dos programas públicos, sendo expressa pela categoria de 
indicadores-resultado, requeridos na última etapa do ciclo, que se inicia com 
o diagnóstico, passa pela formulação e efetivação, findando com a avaliação. 
Ressaltam que suas propriedades permitem a identificação de boas práticas 
e déficits sociais e que as pesquisas amostrais e os registros administrativos 
são sua fonte de dados predominante.
Por fim, relativamente à efetividade, é destacada a dificuldade 
de vinculação da política pública à mudança ocorrida. Por isso, o grande 
desafio relacionado a este indicador reside na obtenção de dados válidos 
que informem o alcance dos resultados e seu impacto social. Daí ser 
desejável a opinião da população atendida pelo programa, por fornecer 
indícios da efetividade social. Além disso, advertem ser questionável a 
utilização de indicadores sintéticos na avaliação da efetividade social, 
posto que, por combinarem várias medidas, não é possível vincular 
uma transformação específica como efeito direto de um determinado 
programa.
Visando a facilitar a compreensão pelos leitores do conteúdo exposto, 
elaborou-se o seguinte quadro comparativo com breves comentários acerca 
dos modelos apresentados:
As TécnicAs de AvAliAção dA eficiênciA, eficáciA e efeTividAde nA GesTão PúblicA 
e suA RelevânciA PARA o desenvolvimenTo sociAl e dAs Ações PúblicAs
55desenvolvimento em Questão
Quadro 2 – Comparativo entre os modelos
Modelo Vantagens Desvantagens Pode induzir o desen-
volvimento ao:
Sistema de 
indicadores
Possibi l idade de 
acompanhamento da 
eficiência no uso dos 
recursos, a eficácia 
no cumprimento das 
metas e a efetividade 
das mudanças.
Dificuldade de vincula-
ção da política pública à 
mudança ocorrida.
Fornecer informações 
sobre o uso dos recursos 
públicos, o cumprimen-
to dos compromissos 
governamentais e a 
mudança na vida dos 
cidadãos.
B a l a n c e d 
Scorecard
Monitoramento sis-
temático dos resul-
tados.
Dificuldades de moti-
vação dos funcionários 
públicos para um desem-
penho por resultados.
Direcionar o foco de 
toda gestão pública para 
a realização de efetivas 
mudanças sociais.
Quadro Ló-
gico
Relaciona cada resul-
tado e objetivo a um 
indicador.
Necessidade de especia-
listas por não ser de fácil 
domínio.
Demonstrar com clareza 
quais são as mudanças 
desejadas.
Entidades 
de Fiscali-
zação
Experiência em au-
ditorias e indepen-
dência funcional.
Conflitos resultantes de 
possíveis diferentes con-clusões sobre os aspectos 
subjetivos da efetividade 
das ações.
Necessidade de um am-
plo domínio de conhe-
cimentos multidiscipli-
nares.
Ampliarem seu papel 
de fiscalização introdu-
zindo a efetividade no 
rol de suas auditorias 
operacionais.
Planilhas Fácil estabelecimen-
to e entendimento.
Desconsidera os aspectos 
da eficácia e efetividade. 
Permitir que os cidadãos 
avaliem a qualidade e 
eficiência dos serviços 
públicos prestados.
Estado para 
Resultados
Abrange os 3Es. Difícil aceitação pelos 
executantes (servidores 
públicos).
Não avalia a coerência dos 
indicadores entre si.
Mudar a cultura vigente 
de baixa eficiência, efe-
tividade e eficácia dos 
serviços públicos.
TOM Web Fomento a transpa-
rência e eficiência 
no uso dos recursos 
municipais.
Desconsidera os aspectos 
da eficácia e efetividade.
Facilitar a fiscalização 
da aplicação dos recur-
sos municipais.
Fonte: Elaborado pelos autores, 2012.
Hironobu sano – mário Jorge frança montenegro filho
56 Ano 11 • n. 22 • jan./abr. • 2013
 Vale salientar que há dificuldade, especialmente nos países da 
América Latina, de formar coalizões capazes de equacionar minimamente 
políticas públicas capazes de impulsionar o desenvolvimento e promover a 
inclusão social de grande parte da população (Souza, 2006). Assim, pode-se 
deduzir que esta falta de equacionamento reflita-se em dificuldade, obs-
curidade e desacordo quanto à avaliação de tais políticas. Logo, em relação 
às informações contidas na coluna, “Pode induzir o desenvolvimento ao”, 
estas derivam dos trabalhos aos quais se referem, sendo sintetizadas para 
manutenção da estética do quadro anterior, e não confirmam a existência 
de uma relação entre mudanças sociais e os modelos propostos. São apenas 
apresentadas possibilidades cuja comprovação carece de estudos posteriores 
e específicos para cada modelo. Esclarece-se também que o Estado é con-
siderado apenas um dos três principais atores sociais, ao lado do mercado e 
da sociedade e, portanto, suas ações dependem dos demais segmentos para 
que o desenvolvimento social ocorra. 
Considere-se ainda que nenhum dos modelos apresentados pode ser 
visto como uma panaceia, devendo ser consideradas as características das 
ações desenvolvidas e as peculiaridades da organização executante, buscan-
do sempre a mais apropriada metodologia avaliativa. Nesse sentido alerta 
Arretche (1998, p. 30), ao afirmar que “o uso adequado dos instrumentos 
de análise e avaliação são fundamentais para que não se confunda opções 
pessoais com resultados”. Também deve ser levado em consideração o alerta 
de Lowi (1992, p. 1), que “every regime tends to produce a politics consonant 
with itself 5”, ou seja, os modelos de avaliação, seus indicadores e a utilização 
dos seus resultados tende a variar de acordo com as características da gestão 
em vigor. 
Por fim, quanto às três fases da avaliação anteriormente apresentadas 
na discussão sobre “Avaliação: eficiência, eficácia e efetividade (3Es)”, cabe 
situar os modelos apresentados em cada uma delas no quadro seguinte. 
5 Tradução livre dos autores: Cada regime tende a produzir sua própria política.
As TécnicAs de AvAliAção dA eficiênciA, eficáciA e efeTividAde nA GesTão PúblicA 
e suA RelevânciA PARA o desenvolvimenTo sociAl e dAs Ações PúblicAs
57desenvolvimento em Questão
Quadro 3 – Os modelos nas três fases da avaliação
MODELO
FASE
Ex-ante Pari-pasu Ex-post
Sistema de 
indicadores
Abrange. Abrange. Abrange.
B a l a n c e d 
Scorecard
Pode abranger no mo-
mento do planejamen-
to estratégico.
Pode abranger. Abrange.
Quadro Ló-
gico
Estimula a avaliação ao 
determinar com clareza 
os objetivos.
Possibilita por ser uma 
ferramenta de acompa-
nhamento.
Abrange.
Entidades de 
Fiscalização
Não abrange. Apenas em situações es-
pecíficas e sob deman-
da.
Abrange.
Planilhas Não abrange. Não abrange. Abrange.
Estado para 
Resultados
Pode abranger. Abrange. Abrange.
TOM Web Não abrange. Possibilita ao disponibili-
zar informações.
Possibilita ao 
disponibilizar 
informações.
Fonte: Elaborado pelos autores, 2012.
considerações finais
Sendo o objetivo deste artigo apenas compilar algumas propostas de 
utilização dos indicadores de desempenho (3Es) na gestão pública, dá-se por 
atingido o seu propósito de disponibilizar aos gestores públicos, num formato 
acessível, de fácil consulta e entendimento, vários métodos de avaliação, con-
tribuindo assim com o constante aperfeiçoamento das nossas políticas públicas. 
Sendo elas uma das principais indutoras do desenvolvimento nacional e regional, 
a consequência direta do seu contínuo aprimoramento é a melhoria na qualidade 
de vida de toda a população. Daí a relevância de estudos como este. 
Ao adotarem-se os 3Es como parâmetros para uma boa gestão pública, 
faz-se necessária também a constante avaliação de alternativas para obtenção 
de melhores resultados, pois a simples comparação com os efeitos da própria 
Hironobu sano – mário Jorge frança montenegro filho
58 Ano 11 • n. 22 • jan./abr. • 2013
ação governamental pode ocultar ineficiências, ineficácias e pouca efetivida-
de, quando confrontados a outros programas. Tal necessidade é decorrente do 
fato de os indicadores de desempenho serem relativos, requerendo sempre 
um padrão ou um objetivo para comparação, que poderá ser absoluto (me-
tas do próprio programa), normativo (relativo a outro programa), histórico 
(resultados anteriores), teórico (hipótese) ou negociado (acordo).
 São várias as experiências e propostas existentes, cada uma com 
diferentes graus de complexidade e aplicabilidade, sendo algumas comple-
mentares entre si. A própria diversidade e complexidade da administração 
pública inviabiliza a adoção de um único método, sendo necessária a adoção 
de metodologias já testadas e reconhecidas ou a escolha, parcimoniosa e 
criteriosa, das que indicam possuir o desempenho desejado e a consistência 
nos seus resultados. Diante desta variedade, é importante buscar métodos 
de baixo custo de instalação e manutenção (eficientes), que possibilitem o 
atendimento do maior número de metas (eficazes) e que realmente contri-
buam para as transformações desejadas (efetivos).
 Como muitos outros campos da Administração, a busca por con-
sensos necessários à construção de modelos de avaliação de desempenho 
amplamente aceitos ocorrerá com as contribuições práticas e teóricas, 
como, por exemplo, o levantamento de sete experiências realizado neste 
artigo. Enquanto persistirem as dificuldades operacionais e conceituais, as 
metodologias de avaliação carecerão de uma prévia estrutura particular de 
referência, além do convencimento e capacitação dos envolvidos.
Também é lícito dizer que os observatórios de políticas públicas 
constituem-se em dinâmicos instrumentos de avaliação. Dentre os exis-
tentes foram identificados o Observatório das Metrópoles, que reúne 159 
pesquisadores e trabalha com 14 metrópoles e uma aglomeração urbana, e o 
Observatório da Cidadania (2009), criado em 1995, que acompanha os avan-
ços e retrocessos em relação a diversas metas de desenvolvimento social e 
idealiza estabelecer, no âmbito da sociedade civil, mecanismos permanentes 
de monitoramento e avaliação.
As TécnicAs de AvAliAção dA eficiênciA, eficáciA e efeTividAde nA GesTão PúblicA 
e suA RelevânciA PARA o desenvolvimenTo sociAl e dAs Ações PúblicAs
59desenvolvimento em Questão
 Finalmente, sugere-se que futuros trabalhos busquem analisar 
outras metodologias de avaliação da eficiência, eficácia e efetividade na 
gestão pública, tais como a atuação e os impactos dos observatórios.
referências
ANTICO, C.; JANNUZZI, P. M. Indicadorese a gestão de políticas públicas. [2006?]. Dispo-
nível em: <www.fundap.sp.gov.br/debatesfundap/pdf/Gestao_de_Poi%C3%ADticas_
Publicas/Indicadores_e_Gest%C3%A3o_de_Pol%C3%ADticas_P%C3%BAblicas.
pdf>. Acesso em: 7 jan. 2011. 
ARAÚJO, D. A. et al. Organizações sem fins lucrativos e a gestão estratégica: um estudo 
da eficiência operacional pelo modelo de análise da competitividade do Instituto 
Alemão de Desenvolvimento – IAD. 2008. Disponível em: [http://www.anpad.org.
br/evento.php?cod_evento_edicao=33]. Acesso em: 11 fev. 2011.
ARRETCHE, M. T. S. Tendências no estudo sobre avaliação. In: RICO, E. M. 
Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez. 1998.
BRASIL. Lei nº 11.653, de 7 de abril de 2008. Diário Oficial da União, Brasília, DF, 
nº 67, terça-feira, 8 de abril de 2008. Seção 1, p. 5.
CARVALHO, M. C. B. Avaliação de projetos sociais. In: ÁVILA, C. M. Gestão de 
projetos sociais. 3. ed. São Paulo: AAPCS, 2001.
COSTA, F. L.; CASTANHAR, J. C. Avaliação de programas públicos: desafios 
conceituais e metodológicos. Revista de Administração Pública, Rio de Janeiro, v. 37 
n. 5, p. 969-992, set./out. 2003. 
FONTES, M. A validação e avaliação de impacto social. 2005. Disponível em: <www.
socialtec.org.br>. Acesso em: 30 jul. 2009.
FREY, K. Políticas públicas: um debate conceitual e reflexões referentes à prática 
da análise de políticas públicas no Brasil. Planejamento e Políticas Públicas, Brasília, 
n. 21, p. 211-259, jan./jun. 2000.
GARCIA, R. L. M. Eficiência em órgãos públicos: uma proposta de indicadores. 2008. 
Dissertação (Mestrado em Administração Pública) – FGV, Rio de Janeiro, 2008.
Hironobu sano – mário Jorge frança montenegro filho
60 Ano 11 • n. 22 • jan./abr. • 2013
GHELMAN, S. Adaptando o Balanced Scorecard aos preceitos da nova gestão pública. 
Niterói. 2006. Dissertação (Mestrado em Sistema de Gestão pela Qualidade Total) 
– Universidade Federal Fluminense, 2006.
GUIMARÃES, J. R. S.; JANNUZZI, P. M. IDH, indicadores sintéticos e suas apli-
cações em políticas públicas: uma análise crítica. Revista Brasileira de Estudos Urbanos 
e Regionais, [s.l.], v. 7, n. 1, p. 73-85, maio 2005.
HARMON, M. M.; MAYER, R. T. Teoría de la Organización para la Administración 
Pública. México: Fondo de Cultura Económica, 1999.
JANNUZZI, P. M. Indicadores para diagnóstico, monitoramento e avaliação de 
programas sociais no Brasil. Revista do Serviço Público, Brasília, v. 56, n. 2, p. 137-160, 
abr./jun. 2005.
JANNUZZI, P. M.; PATARRA, N. L. Manual para capacitação em indicadores sociais 
nas políticas públicas e em direitos humanos. São Paulo: Oficina Editorial, 2006. 
LEMOS, C. S. Gestão pública orientada para resultados: avaliando o caso de Minas 
Gerais. 2009. Dissertação (Mestrado em Administração Pública) – FGV, Rio de 
Janeiro, 2009.
LOWI, T. J. The State in Political Science: How We Become What We Study. The 
American Political Science Review, Washington, v. 86, n. 1, p. 1-7, jan./mar. 1992.
LÖWY, M. Barbárie e modernidade no século XX. 2011. Disponível em: <http://www.
egov.ufsc.br/portal/sites/default/files/anexos/25798-25800-1-PB.pdf>. Acesso em: 
22 maio 2012.
MARINHO, A.; FAÇANHA, L. O. Programas sociais: efetividade, eficiência e eficácia 
como dimensões operacionais da avaliação. Rio de Janeiro: Ipea. 2001.
MARINI, C. Um decálogo da boa gestão pública: os desafios de um Estado para re-
sultados. 2008. Disponível em: <http://www.portalct.com.br/blogs/gestaopublica/
administracao/files/files/Artigo%20Caio%20Marini%20Gest%C3%A3o%20por%20
Resultados.pdf>. Acesso em: 18 mar. 2011.
OBSERVATÓRIO DA CIDADANIA. Diálogos sobre violência e segurança pública: 
razões e urgências. Rio de Janeiro: Ibase, 2009.
OLIVEIRA, R. V. Auditoria operacional: uma nova ótica dos tribunais de contas 
auditarem a gestão pública, sob o prisma da eficiência, economicidade, eficácia e 
efetividade, e o desafio de sua consolidação no TCE/RJ. 2008. Dissertação (Mestrado 
em Administração Pública) – FGV, Rio de Janeiro, 2008.
As TécnicAs de AvAliAção dA eficiênciA, eficáciA e efeTividAde nA GesTão PúblicA 
e suA RelevânciA PARA o desenvolvimenTo sociAl e dAs Ações PúblicAs
61desenvolvimento em Questão
PFEIFFER, P. O quadro lógico: um método para planejar e gerenciar mudanças. 
In: GIACOMONI, J.; PAGNUSSAT, J. L. Planejamento e orçamento governamental. 
Brasília: Enap, 2006.
PIRES, V. A. (2010). Transparência orçamentária municipal via Internet (TOM Web) 
no contexto do revigoramento democrático e republicano: uma proposta. Disponível em: 
<http://www.esaf.fazenda.gov.br/esafsite/premios/SOF/sof_2010/monografias2010_
arquivos/Tema_1_1_L_Valdemir_010.pdf>. Acesso em: 15 abril 2011.
SOUZA, C. Políticas públicas: uma revisão da literatura. Sociologias, Porto Alegre, 
n. 16, p. 20-45, jul./dez. 2006.
SOUZA, W. J. Responsabilidade social corporativa e Terceiro Setor. Brasília: Universidade 
Aberta do Brasil, 2008.
SULBRANDT, J. La evaluación de los programas sociales: una perspectiva crítica de 
los modelos usuales. In: KLIKSBERG, B. Pobreza: un tema impostergable. México: 
Fondo de Cultura Económica, 1993.