slides de Monitoramento e avaliação em S.S

Prévia do material em texto

Tema 1 Avaliação de Políticas Públicas: Um conceito em Debate Profª Ma Elaine Cristina Vaz Vaez Gomes PARA INÍCO DE CONVERSA Realizar um processo de avaliação é desafiador para governos e pesquisadores, e, à medida que a sociedade evolui, há a necessidade de atualização de conceitos e metodologias avaliativas. É urgente, portanto, maior eficácia na utilização de metodologias de avaliação, uma vez que há cobrança por todos os setores de eficiência no gasto do dinheiro público, (CARVALHO; apud RICO, 2009, p. 7). Segundo a autora, a avaliação de políticas e programas é tida como “procedimento estratégico e imprescindível” para aqueles sujeitos. Nesse sentido, a avaliação de políticas públicas está na agenda de todos os interessados em diferenciar “o joio do trigo” e, segundo Melo (2009, p. 11), ela “está ancorada num conjunto de valores e noções sobre a realidade social”. Os processos de avaliação se justificam no intuito de dar maior transparência às atividades do poder público, de conhecer e compreender as ações públicas. Melhorar o serviço oferecido à comunidade e, principalmente, modificar o que não está a contento para garantir resultados positivos (RICO, 2009). Continuando Para aprofundar o conceito sobre avaliação de políticas públicas no Brasil moderno, é importante rever a construção histórica dessa agenda. Um primeiro momento desta política é o que se chama de nation-building, ou seja, quando a política é pensada enquanto incorporadora e integradora social e não com o propósito de ser redistributiva e de organizar o mercado de trabalho (MELO, 2009). Na Era de Vargas De acordo com Melo (2009, p. 14), “o preço político a ser pago pelos arranjos clientelísticos e corporativistas que viabilizariam a industrialização” garantiu que a agenda pública tivesse um valor de troca, assegurando, à elite governamental e aos setores trabalhistas, num processo de coalisão, que o Estado acumulasse dois requisitos: o de sujeito da acumulação e o de agente da distribuição. Em nome de uma modernização conservadora, durante o regime militar, o foco era crescimento e desenvolvimento econômico, o que gerou uma profunda crítica. Crítica ao regime imposto, levando o grupo que apoiava uma distribuição de renda no país a iniciar um processo de debates em torno da política social. Com a inauguração da Nova República, esse debate em torno de uma política de crescimento versus transferência de renda ganha nova finalidade naquele momento: a de eficiência e equidade. A questão central é o que o autor chama de mistargeting, ou seja, os benefícios auferidos são desiguais e regressivos entre os setores da política pública (MELO, 2009). Vamos Praticar? E m n o m e d e u m a m o d e r n i z a ç ã o conservadora, durante o regime militar, o foco era crescimento e desenvolvimento econômico, o que gerou uma profunda crítica. Crítica ao regime imposto, levando o grupo que apoiava uma distribuição de renda no país a iniciar um processo de debates em torno da política social. Com a inauguração da Nova República, esse debate em torno de uma política de crescimento versus transferência de renda ganha nova finalidade naquele momento: a de eficiência e equidade. A questão central é o que o autor chama de mistargeting, ou seja, os benefícios auferidos são desiguais e regressivos entre os setores da política pública (MELO, 2009). Qual é saída para o mistargeting? Uma saída para o mistargeting, que se aponta no período de 1966 a 1973, é a participação dos excluídos do processo, no período anterior, a transparência nas decisões e a descentralização. Há aqui uma importante avaliação dos instrumentos de representação abrindo espaço para a participação e tendo a igreja como um dos indutores do processo. Esse debate sobre participação seria fortalecido com a Constituição de 1988. Para tornar a política pública mais operante, instala-se naquele período uma valorização da democracia. Os progressistas defendiam um Estado que fosse capaz de “preservar o bem comum”, tornando a política eficiente o bastante para melhorar as condições de vida do povo brasileiro. Finalizando Qual foi a marca do período pós-constituinte? O período pós-constituinte foi marcado por uma crise de governabilidade. Com a coalizão que resultou na Nova República e posteriormente na fragmentação deste sistema, percebe-se o primeiro argumento para a crise. O u s e j a , a s a t u ra ç ã o d a a g e n d a governamental, provocada, em sua maioria, pelas demandas do regime autoritário, pelas demandas novo regime democrático e pela reforma global e setorial praticadas pela elite dirigente. Há destaque para uma redefinição das esferas públicas e privadas. O foco não está mais na política pública, e sim no papel do Estado e de sua legitimidade. A ampliação dos direitos sociais com a Constituição Federal de 1988 torna insustentável a governabilidade. De acordo com Melo (2009, p. 21), “são incorporados cerca de 60 milhões de indivíduos à previdência social”e ainda, dentre outras “generosidade pública”, é proposta a redução de tributos e encargos sociais.
Tema 2 Conceitos e Métodos numa Avaliação de Programas Sociais Profª Ma Elaine Cristina Vaz Vaez Gomes PARA INÍCO DE CONVERSA Faria (2009) faz referência a processos educacionais. Ainda assim, a autora ajuda a compreender as evoluções e tendências no tema. Inicia com a afirmação de que avaliação de programas e projetos educacionais e pesquisas educacionais têm afinidades no que diz respeito a conteúdo, técnicas de coleta, análise dos dados e utilização dos resultados. Faria (2009, p. 42) destaca que, na avaliação de programas e projetos educacionais, o processo metodológico é: “uma atividade que obtém, combina e compara dados de desempenho com um conjunto de metas escalonadas”, que sua finalidade “responde”. a questões sobre a eficácia/efetividade dos programas e, nesse sentido, sua tarefa é julgar e informar. A autora finaliza esta diferenciação entre avaliação e pesquisa afirmando que, enquanto papel, a primeira “detecta eventuais falhas e afere os méritos dos programas durante sua elaboração”. Aqui se faz uma ressalva: é tarefa deste procedimento de avaliação, quando detectadas falhas no processo e no intuito de permitir “a correção ou confirmação de rumos”, realizar atividades formativas. De acordo Faria (2009, p. 43), no final da década de 1960, a literatura ofereceu dois conceitos que diferenciavam as pesquisas orientadas: um para decisão e outro para a conclusão. De acordo Faria (2009, p. 43), no final da década de 1960, a literatura ofereceu dois conceitos que diferenciavam as pesquisas orientadas: um para decisão e outro para a conclusão. Continuando Conceito de pesquisa orientada para a conclusão refere-se àquelas “que surgem no interesse teórico dos pesquisadores e têm por finalidade primordial submeter à prova hipóteses explicativas de determinados fenômenos”. Exemplo Para entender melhor como se dá o conceito na prática, a autora utiliza como exemplo uma experiência com um programa de merenda escolar do núcleo escolar. Os dados coletados são de ordem de complementação alimentar, desempenho do aluno, crescimento e saúde. Nesse caso, em uma simples confirmação de impacto sobre a composição e o valor nutritivo de alimentos, é utilizada a avaliação orientada de conclusão e para definir e traçar rumos no sentido de ampliação do programa, procedimentos para implementação etc., é utilizada a avaliação orientada de decisão. No processo metodológico de uma avaliação educacional aparecem dois novos conceitos: avaliação somativa e avaliação formativa. avaliação somativa “é uma atividade que produz e compara dados de desempenho com um conjunto de objetivos hierarquizados, justifica e valida instrumentos e metas, atribuindo valores ao programa para alcançá- las”, a v a l i a ç ã o f o r m a t i v a “ b u s c a o aprimoramento do programa durante o processo de sua elaboração” podendo “ser usada para testar, rever e redefinir o programa global” ou ainda muitos de seus componentes, tais como “conteúdos, metodologias, treinamento e desempenhodas equipes, caracterização do público-alvo, configuração dos materiais adotados e o tempo ideal para sua implementação”. Vamos Praticar? o primeiro a autora chama de ex-ante, referente ao diagnóstico das necessidades que v ã o n o r t e a r a “ f o r m u l a ç ã o e o desenvolvimento do programa”, trazendo objetivo, característica dos usuários e suas necessidades. O segundo discurso é o acompanhamento e o monitoramento das atividades, avaliando a eficiência do programa, havendo, nesse processo de monitoramento, a possibilidade de correção da ação, com intuito de buscar soluções alternativas na correção dos rumos e na requalificação da equipe envolvida no programa. O terceiro discurso compreende “avaliação formativa, avaliação de processo ou de eficácia e tem por objetivo fazer as coisas certas”, acompanhar o desempenho do programa e, se necessário, aprimorá-lo. Nesse momento é importante avaliar o que é essencial para o resultado do programa; caso haja alteração no foco, é preciso que a ação seja redirecionada para outro fim. O quarto argumento, denominado ex-post pela autora, “envolve estudos comparativos entre programas rivais, subsidia a decisão e avalia, principalmente, a maior ou menor efetividade de diferentes tratamentos oferecidos ao grupo-alvo” (FARIA, 2009, p. 45), discurso também conhecido como: avaliação somativa. Finalizando Entende-se aqui o termo efetividade como a dimensão do resultado na investigação do alcance das metas, e eficácia como o “ p r o c e s s o d e d e s e n v o l v i m e n t o e implementação do programa. Portanto, no exemplo da merenda escolar, a medida do processo (eficácia) relaciona-se com os “acertos do programa em sua fase de elaboração e implementação. ao passo que a medida de resultado (efetividade) relaciona-se com o “alcance das metas”. A avaliação é parte fundamental no processo de formulação e implementação dos programas sociais, além dos conceitos, dos métodos, da evolução e das tendências em uma avaliação de programas sociais. Percebeu as dificuldades e os problemas encontrados nas atividades de monitoramento, avaliação formativa e somativa. e pôde ainda compreender a conceituação de efetividade e eficácia com exemplos. Enfim, aprendeu que há pesquisas orientadas para tomada de decisão e pesquisas orientadas para conclusão.
Tema 3: Avaliação Nacional da Educação Básica: Um Sistema em Construção Profª Ma Elaine Cristina Vaz Vaez Gomes PARA INÍCO DE CONVERSA Neste tema você estudará a avaliação nacional da educação básica. Vale lembrar, nesse sentido, que este é um sistema que está em construção. Neste contexto são trazidas à memória as preocupações diagnosticadas nas décadas de 1960 e 1970, as quais Pestana (2009) considera fundamentais para o estudo. Ou seja, os recursos disponibilizados para a área da educação e as oportunidades educacionais que garantiriam uma distribuição social igualitária eram ínfimos. Na década de 1980, com as crises sociais e econômicas do pós-guerra, o processo de competição no mercado mundial, exigiu uma qualificação educacional para a classe trabalhadora. Dessa forma, as políticas de educação demandaram uma agenda pautada na liberação de recursos, e principalmente em metodologias que verificassem o resultado do investimento. Pestana (2009, p. 54) afirma que “ampliaramse e aprofundaram-se as análises de eficiência da administração escolar, as mensurações de ganhos de aprendizagem e de eficácia dos currículos e, mais recentemente, as de aquisição e domínio de competências e habilidades cognitivas”. Continuando Até o final da década de 1970, no Brasil, o foco estava na construção de prédios escolares e na garantia de equipamentos mínimos. Não se tinha uma avaliação com informações sobre a localização da comunidade sem escola e principalmente sobre a oferta de vagas. É a partir de 1980 que o Ministério da Educação e Cultura (MEC) implementa programas como o EDURURAL e o MONHANGARA, com recursos do BIRD. Esses programas tinham foco principal numa avaliação a partir de sua implementação, mas também nos impactos e no próprio sistema de ensino. Na sociedade contemporânea sem educação não existem cidadania, justiça social e solidariedade. Sem ela, dificulta-se principalmente a entrada no mercado de trabalho tão concorrido, que cada vez mais exige capacitação técnica. Se entende-se que a formação do indivíduo, em sua participação democrática na sociedade, depende de como foi a educação básica recebida, logo se tem que criar mecanismos de averiguação deste ensino (PESTANA, 2009). É a partir dessa preocupação e por causa dela que, segundo a autora, “ampliaram-se e aprofundaram-se as análises de eficiência da administração escolar... . . . a s m e n s u r a ç õ e s d e g a n h o s d e aprendizagem e de eficácia dos currículos e, mais recentemente, as de aquisição e domínio d e c o m p e t ê n c i a s e h a b i l i d a d e s cognitivas” (PESTANA, 2009, p. 56). Vamos Praticar? O resultado desse intenso trabalho de avaliação criou na sociedade uma demanda no sentido de utilizar as informações dos processos e os resultados na formulação e nas tomadas de decisões. E é isso que aos poucos vai se ampliando e vai consolidando o movimento pela avaliação do desempenho do ensino brasileiro (PESTANA, 2009). A implementação do Sistema Nacional de Avaliação da Educação Básica (SAEB), a partir de 1988, é decisiva para criar na sociedade brasileira uma “cultura” de avaliação. Segundo Pestana (2009, p. 58), embora os desafios fossem tantos, o primeiro era “o de pesquisar, selecionar ou construir um modelo para o sistema de avaliação que articulasse as várias dimensões da realidade educacional” e paralelamente a isso havia as demandas de gerar informações para o processo de decisão das instâncias competentes por definir e implementar a política de educação. Para entender as demandas das políticas educacionais e atender a elas, Stufflebeam (apud PESTANA 2009, p. 59), define a avaliação “como o processo de delinear, obter e fornecer informações úteis para o julgamento de decisões alternativas”. E aponta uma forma com quatro jeitos de avaliar: contexto, insumo, processo e produto. Finalizando Essa forma é denominada modelo CIPP, o qual sugere que no contexto estão as decisões de planejamento; no insumo são projetadas e analisadas alternativas de procedimentos; a implementação é acompanhada pelo processo; e, por fim, nos produtos estão os resultados como argumento para as decisões. Pode-se dizer então que esta é a base da estruturação do sistema nacional de avaliação da educação básica. Esse modelo de avaliação é amplo, segundo a autora, e tem condições de trazer informações diversas sobre o sistema educacional, como “rendimento de alunos, atuação de professores, supervisores e administradores, eficácia de programas, currículos e processos de ensino, infra-estrutura e condições de funcionamento das escolas” (PESTANA, 2009, p. 59). O SAEB é considerado “um marco referencial da avaliação da educação básica no país”. Seus resultados mostram avanços e “redirecionam” a atuação da educação básica em “outros graus e modalidades de ensino” e são principalmente referências para outras instituições de ensino no país e fora dele. Os princípios e as diretrizes do SAEB são os próprios desafios do sistema, que são visibilidade social; responsabilidade compartilhada; legitimidade; continuidade, qualidade; equidade e eficiência.
Tema 4: Questões Metodológicas no Processo de Implementação da Avaliação e Impactos em Programas Sociais. Profª Ma Elaine Cristina Vaz Vaez Gomes PARA INÍCO DE CONVERSA Neste estudo há dois novos conceitos: avaliação de impacto e avaliação de processo. De acordo com Perez (2009, p. 65) avaliação de impacto “diz respeito aos efeitos do programa sobre a população alvo”, e avaliação processual “representa chances à monitoração dos processos responsáveis pela produção do efeito esperado”. O desenvolvimento dessas pesquisas de avaliação tem início na década de 1950 nos EUA, mas sua expansão se deu apenas na década de 1960. Esse desenvolvimentotrouxe dois elementos para o estudo: o entendimento sobre o que é o processo de implementação e suas variações existentes por meio, segundo Perez (2009, p. 67), “do tempo, das políticas e das unidades de governo”. Inicialmente a ideia de implementação era pautada, como diz o autor, no “cumpra-se”, depois foi incorporada à dimensão temporal. O estudo vai mostrar como há variação dependendo do tipo da política, de seus formatos, e vai apontar ainda se a tomada de decisão está com apenas uma autoridade ou não. Segundo Perez (2009), nos EUA foi feito por um grupo de especialistas um estudo sobre as características básicas de implementações por um longo período e o resultado foi o seguinte: de 1970 a 1975, as pesquisas de avaliação eram realizadas para identificar os obstáculos à implementação; de 1975 a 1980, o foco eram os atores envolvidos e o processo de descentralização; de 1980 a 1985, foi dado enfoque crítico aos trabalhos, revelando novas possibilidades. Em relação à metodologia foram dados dois enfoques: um da área da fenomenologia e o outro da positivista. A fenomenologia contribuiu com as questões mais relativas, e o positivismo trouxe para a pesquisa as questões mais objetivas. Continuando Mesmo diante de tantos estudos e aprofundamentos, segundo o autor, na pesquisa referida foram percebidos muitos problemas: pluralismo teórico, pesquisas muito restritas e ausência de conhecimento acumulado. No Brasil, o processo ainda é inicial e a metodologia utilizada é complexa do ponto de vista analítico e metodológico (PEREZ, 2009). Em relação à avaliação de processos e impactos em programas sociais, Lobo (2009) pondera sobre algumas questões metodológicas e ressalta a importância do acesso garantido à informação, numa relação entre acompanhamento e avaliação, possibilitando estratégias que condizem com os objetivos. Outra questão relevante está relacionada às diferentes metodologias que tratam do impacto e dos processos no desenvolvimento de programas. Os impactos percebidos são aqueles oriundos de uma intervenção do governo sobre o programa, pois determinadas ações são realizadas em um longo espaço de tempo, e o processo de intervenção governamental é realizado em curto prazo (LOBO, 2009). Esses complicadores numa avaliação de impacto podem ser percebidos, segundo Lobo (2009, p. 80), como a “capacidade explicativa de um único tipo de intervenção”, e, no caso de processos, “a avaliação se estrutura de forma que privilegie análises qualitativas”. Nesse contexto, definir os atores é de suma importância, pois estes são os interessados nos programas sociais. Outra questão que deve ser levada em conta são as variações em situação pontuais, de determinado programa, ou seja, as questões relacionadas à territorialidade, à localização, à institucionalidade, às questões políticas do ambiente, aos resultados e aos processos. Ou seja, toda metodologia de avaliação tem que ter abertura para as mais variadas participações. De acordo com Lobo (2009, p. 82), “desenvolver estratégias que visualizem exclusivamente um só desenho ou uma só técnica de coleta de informações” é uma atitude extremamente desacreditada do ponto de vista de sua eficácia. É necessária a interação e n t r e e l e m e n t o s q u a l i t a t i v o s e q u a n t i t a t i v o s n a s propostas apresentadas. Vamos Praticar? Outro problema comum enfrentado são as generalizações que ocorrem na maioria das vezes por avaliações fragmentadas, que não contribuem para a garantia das informações levantadas. Isso não tem nenhuma relação com as avaliações nacionais, nas quais há o compromisso com um mínimo de informações. Mas há que se observar também que é necessário um mínimo de informações localizadas no sentido de aprofundar e qualificar a avaliação dos programas sociais. Há aqui um compromisso de mensuração dos problemas de ordem institucional que vão, de certa forma, afetar a implementação de determinados programas. Segundo Lobo (2009, p. 82) isso é uma questão de extrema importância, já que “a descontinuidade político-administrativa, traço histórico característico da nossa administração pública, é um deles” E o desafio é de que forma garantir uma avaliação de programa social que não esteja “contaminada” com impressões pessoais sobre o gestor antecessor? Numa transição, o que fez com que houvesse manipulação nos resultados avaliados de determinado programa social? Essas questões precisam ser consideradas do ponto de vista metodológico. Finalizando Segundo a autora, outro fator que pode causar perdas profundas na qualidade da avalição é o “atraso, ou mesmo a inexistência de um monitoramento desenhado e implementado desde o início do programa”. E por fim. Lobo (2009) salienta que algo que afeta a avaliação e os resultados de um programa é o “perfeccionismo”, inviabilizando e tornando o processo indesejável..! Neste tema, você aprendeu sobre as questões metodológicas no processo de implementação da avaliação e os impactos em programas sociaisAlém de conhecer o conceito do processo de implementação e suas variações existentes. Para finalizar, você compreendeu as diversas reflexões em relação à avaliação de processos e de impactos em programas sociais.
Tema 5:Avaliação Participativa e Participante: Metodologia e Abordagem Profª Ma Elaine Cristina Vaz Vaez Gomes PARA INÍCO DE CONVERSA A Avaliação Participativa e Emancipatória No debate sobre avaliação participativa há uma introdução ao tema, ao conceito propriamente dito da avaliação participativa. No aprofundamento teórico sobre a abordagem da avaliação participante há reflexões a respeito das modalidades de avaliação, do novo paradigma de avaliação e do conceito de avaliação emancipatória. Avaliar requer um aprofundamento sobre o conceito, e, de acordo com Sul-brandt (apud CARVALHO, 2009, pág. 87), os processos tradicionais estão esvaziados “pelo seu caráter externo; p e l a s d e b i l i d a d e s m e t o d o l ó g i c a s apresentadas; pela sua preocupação demasiada com a eficiência e, portanto, pela sua incapacidade de apropriar-se do conjunto de fatores e variáveis contextuais e processuais” e ainda “pelo baixo grau de relevância e de utilidade dos produtos avaliativos que não respondem às necessidades de informações dos agentes sociais envolvidos no programa”. A avaliação participativa propriamente dita surge no mesmo contexto que a pesquisação e, segundo a autora, “guarda assim propósitos, princípios, procedimentos e estratégias muito próximas das utilizadas neste tipo de pesquisa”. Continuando O principio norteador da metodologia desta avaliação está no comprometimento e na participação dos “formuladores, gestores, implementadores e beneficiários do próprio processo avaliativo de um dado programa”. Essa avaliação tem como objetivo, de acordo com Carvalho (2009), “incorporar os sujeitos implicados nas ações públicas e desencadear um processo de aprendizagem social”. É, segundo a autora, este “coletivo de sujeitos implicados na ação que pode aportar a diversidade de valores, opiniões e verdade sobre o programa em avaliação”. Essa participação garante densidade ao processo. Esse processo que muitas vezes está fragmentado tem, numa avaliação participativa, socializado e aprofundado informações e conhecimentos, que estão guardados muitas vezes em gavetas, garantido a apreensão totalitária do programa o empoderar-se do “saber-fazer social”. Essa avaliação, de acordo com Carvalho (2009, p. 92), requer novas competências ao avaliador, ou seja, “não dispensa as competências específicas de uma investigação avaliativa, mas adiciona igualmente habilidades de mediação e irrigação do processo partilhado por meio de informações, questionamentos e clarificações”. Dessa forma, não dispensa “os tradicionais instrumentos”, tais como, segundo Carvalho (2009, p. 92), “definição de indicadores, aplicação de questionários, realização de entrevistas, observação participante”. Mesmo assim, “estimula o conhecimento de programas similares e/ou complementares oportunizando aos envolvidos um novo processo de troca de informaçõese reflexão” (CARVALHO, 2009, p. 92). Vamos Praticar? É sabido que até a década de 1960, no que se refere à avaliação, são encontradas as literaturas que contextualizam o tema a partir dos processos educacionais. E, para uma reflexão sobre modalidades de avaliação, há que se ter o entendimento de que muito mais do que servir para decisões técnicas, a avaliação deve integrar elementos teóricos e políticos. Encontram-se com maior intensidade os tipos de processos pautados na avaliação de produtos ou resultados, que denotam uma influência positivista. Assumir este tipo de avaliação significa dizer que se está assumindo, segundo Saul (2009, pág. 97), “uma concepção tecnicista na avaliação”, o que, nesse sentido, “conduz facilmente a uma atividade avaliativa de caráter burocrático”. Na reação a este tipo de avaliação será apresentado um modelo com “pressupostos teórico-metodológicos e políticos” contrários aos incorporados pela experiência positivista. Segundo Saul (2009), fala-se pela primeira vez em Avaliação Emancipatória, que, de acordo com a literatura, é composta por três ramificações teórico-metodológicas. Finalizando A primeira é a “Avaliação Democrática; A segunda é a Crítica Institucional e Criação Coletiva; A terceira é a Pesquisa Participante. Esses pressupostos teórico-metodológicos pressupõem uma avaliação democrática que, para MacDonald (apud SAUL, 2009, pág. 98), reconhece “a existência de um pluralismo de valores e procura representar uma gama variada de interesses ao formular suas indagações principais”. Depois, há uma crítica institucional e uma criação coletiva no sentido de que se concretiza, segundo Saul (2009), “por três momentos ou fases que se articulam em um único e harmonioso movimento: expressão e descrição da realidade, crítica do material expresso, e, criação coletiva”. Por fim há a pesquisa participante que, como ressalta Huynh (apud SAUL, 2009), “é a metodologia que procura incentivar o desenvolvimento autônomo (autoconfiante) a partir das bases e uma relativa independência do exteriorDe acordo com Saul (2009) os princípios metodológicos da pesquisa participante são: a u t e n t i c i d a d e e c o m p r o m i s s o , autodogmatismo, restituição sistemática, feedback aos intelectuais orgânicos, ritmo e equilíbrio de ação-reflexão, ciência modesta e técnicas dialogaisOs objetivos da Avaliação Emancipatória, de acordo com Saul (2009, p. 105), são o de “iluminar o caminho da transformação e beneficiar as audiências em termos de torná- las autodeterminantes” e os conceitos que a envolvem são “emancipação, decisão democrática, transformação e crítica educativa”. A Avaliação Emancipatória tem por característica, segundo Saul (2009, p. 107), os “métodos dialógicos e participantes; predomina o uso de entrevistas livres, debates, análise de depoimentos, observação participante e análise documental”. Os dados de cunho quantitativo não são “desprezados”, mas o que predomina como análise, nesta experiência, são as questões qualitativas. Nesse processo o avaliador tem a função de “propor uma tarefa que favoreça o diálogo, a discussão, a busca e a análise crítica sobre o funcionamento real de um programa”.
Tema 6: Avaliar para quê? Profª Ma Elaine Cristina Vaz Vaez Gomes PARA INÍCO DE CONVERSA Neste tema será aprofundado o debate a respeito de por que avaliar. Além disso, dentro do âmbito da avaliação participativa, será tratado o Programa de Avaliação Institucional da PUC de São Paulo, dentre outros assuntos. Rios (2009) nos convida a uma viagem pela filosofia, buscando nela os argumentos necessários para realizar uma avaliação. A autora sugere ainda partir da realidade, olhando com clareza, com profundidade e com a inclusão de muitos dados. Isto é, é necessário “ver claro”, no sentido de estabelecer certo cuidado com aquilo que poderá enfraquecer nosso olhar, evitando armadilhas impostas internamente e no ambiente em que vivemos; “ver fundo” no sentido de muito mais do que um simples olhar, de estar atento para o que é superficial e ir além do que pode parecer, ou seja, radicalizar, ir profundamente até o último respiro, buscando aquilo que está sendo investigado; e, “ver largo”, no sentido de perceber na totalidade o processo em que se está inserido, com as questões determinantes e olhando para o objeto de todos os lados. É, nesse sentido, perceber todos os lados para não cair na armadilha de achar que este processo se dá apenas por um caminho, ou, para o caso de não se dar conta de todos os lados, pelo menos perceber se o caminho ao qual se está olhando é o mais adequado. A contradição nos coloca à prova em tudo que vamos fazer. Nesse caso, perceber esse fato só qualificará nossa ação, sendo um aspecto fundamental da realidade. Continuando Essa realidade apresenta várias facetas, exigindo a inclusão de muitos dados no sentido de garantir aprofundamento teórico sobre o tema. Qual é o sentido dessa realidade? Que significado tem? Essas questões têm que nos nortear. Ou seja, o processo de avaliação terá que nos ajudar, segundo Rios (2009), “no intuito de estabelecer um questionamento contínuo do que se avalia, procurando, revendo e ampliando seu significado”. No trato da filosofia, Rios (2009) traz uma questão que é de onde partem suas reflexões: o campo da ética. A autora faz, nesse sentido, referência à “perspectiva política” enquanto elemento importante e imprescindível no processo de avaliação. É essa perspectiva política que abarca a “dimensão de eticidade, de questionamento da ação, considerando-se as determinações a que está constantemente submetida e os valores que a fundamentam”. Rios (2009, p. 112) completa: Que “a articulação das dimensões ética e política da ação avaliativa se dá no espaço das significações que a sociedade confere às práticas e relações dos sujeitos que a constituem”. Com base nessas questões filosóficas colocadas por Rios (2009), o âmbito do mundo acadêmico – a academia –, de acordo com a experiência da autora, não é um espaço qualquer, mas sim o lugar onde é construído e socializado o conhecimento. Uma instituição educacional tem a missão de “servir a sociedade, construindo e socializando a cultura, formando profissionais competentes e criativos, realizando um trabalho de ampliação constante de uma boa qualidade” (RIOS, 2009, p. 113). Vamos Praticar? Entender sobre o Locus da pesquisa Seu espaço de atuação é a PUC-SP, que é definida pela autora como “uma universidade comunitária, guardando, portanto, um caráter diferenciado no c e n á r i o d a s i n s t i t u i ç õ e s u n i v e r s i t á r i a s brasileiras” (RIOS, 2009, p. 113). Nesse contexto de comunidade, o grupo de valores, saberes, com toda produção cultural e do conhecimento ali realizado, “só garantirá e sedimentará seu significado com um processo permanente de avaliação”. Completa que avaliar é “apontar para o valor e só se fala em valor no departamento do humano, que é o campo do simbólico, da atribuição, de sentido” (RIOS, 2009, p. 113). Para avaliar, segundo a autora, é necessário que se rompa com a ausência de interesse, é preciso que haja interesse por algo, que esse interesse seja manifestado. Esta “manifestação se dá em relação não a um valor qualquer, mas a um determinado valor”. A quem interessa se algo é bom e por quê? Num processo de avaliação participativa é importante que “os sujeitos” façam parte de todo o processo (RIOS, 2009, p. 113). A autora completa que “fazer parte é diferente de ser parte” e isso tem relação com intencionalidade, “escolha, definição de caminhos e responsabilidade”. Finalizando Rios (2009, p. 114) associa a participação a “um conceito grávido de politicidade – [que] supõe a informação, o preparo para a atuação, a clareza com relação aos objetivos”. E na sequência, a autora apresenta o PAIPUC, que é o Programa de Avaliação Institucional da PUC-SP. Esse programa é executado com base nos princípios e diretrizes de uma avaliação emancipatória, ou seja, aquela que tem o intuito de “proporcionar uma visão ampla e aprofundada da prática educativa na Universidade,para, a partir da análise dos problemas, encaminhar propostas com vistas à sua superação” (RIOS, 2009, p. 114). O PAIPUC, informa a autora, nasce dentro de outro programa, lançado pelo MEC e intitulado Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB). Esse programa, segundo a autora, tem o objetivo de “fazer a apreciação crítica do trabalho que se desenvolve nas universidades, de maneira global” E o PAIPUC nasce com o propósito de, segundo Saul (2009), “lançar um olhar crítico sobre nossa instituição, com intenção de aprimorá-la, de fazê-la ir ao encontro dos objetivos que define e metas que se propõe a alcançar”. O PAIPUC está dividido em quatro etapas: I sensibilização e diagnóstico; II avaliação interna; III avaliação externa; e IV consolidação do processo..! Saul (2009) ressalta que “o trabalho está nos mostrando como é que, usando uma determinada metodologia, procurando fazer recurso a uma ação de que efetivamente participem os sujeitos envolvidos, vamos devagarzinho constatando que se amplia uma consciência de seu significado”. Apesar dos desafios, a implementação do PAIPUC-SP tem contribuído para que ao mesmo tempo em que se prima pelos resultados que “gratificam a universidade”, desafiando-a, afirma-se a qualidade da instituição. Quer-se, assim, que esta proposta de avaliação seja consolidada na Universidade e com o viés de avaliação participativa.
Tema 7:Políticas Públicas em Avaliação: Gasto e Financiamento Profª Ma Elaine Cristina Vaz Vaez Gomes PARA INÍCO DE CONVERSA Fagnani (2009), em uma informação importante para o estudo, aponta que somos “um país de industrialização tardia, pobre, que acumula enormes desigualdades e heterogeneidade social e afirma que isso impõe “limites objetivos às fontes de financiamento da política social, uma vez que nessas condições não é qualquer fonte que possibilita efeitos redistributivos”. Desta f e i t a , e s s a c a r a c t e r í s t i c a d e subdesenvolvimento “impõe enorme distância... entre o Brasil e os países industrializados, de capitalismo maduro, nos quais a maioria da população está integrada e possui renda para acessar diretamente no mercado bens e serviços sociais de que necessita”, apenas “um contingente populacional relativamente menos expressivo é considerado pobre e encontra-se a margem do mercado”. Dito isso, em contraposição, no Brasil a grande maioria da população, segundo o autor, “não tem condições de comprar com seu próprio salário e/ou renda, bens e serviços sociais no mercado”. Muitas pessoas não tem possibilidade de “pagar um plano privado de saúde, por exemplo, ou de arcar com os custos financeiros de um programa habitacional regido exclusivamente pelas leis do mercado”, ressalta Fagnani (2009, p. 120). Toda essa conjuntura é base para as discussões que virão em seguida, pois, em se tratando da política social a ser avaliada, num primeiro momento, segundo Fagnani (2009, p. 121), “o financiamento e o gasto fornecem indicações sobre o alcance, os limites e o caráter redistributivo desta” no plano específico. Para no próximo momento, no plano geral, “a análise dos mecanismos de financiamento e gasto refletem as relações existentes entre a política social avaliada e a política econômica geral do governo”. Os indicadores sobre financiamento e gasto relevantes para a avaliação das políticas sociais estão, segundo o autor, divididos em três dimensões, quais sejam: a da direção do gasto social, a da magnitude do gasto social e a da natureza das fontes de financiamento. Continuando O primeiro indicador sobre a direção do gasto social indica, segundo o autor, “para onde foram dirigidos os recursos aplicados em determinada política ou programa social que se está avaliando”. Ele permite obter “conhecimento acerca do tipo de articulação que existe entre a política pública estudada e os setores privados, fornecedores de bens e serviços” e, por fim, também revela “indícios sobre outros desvios da atuação estatal, como a utilização dos programas sociais para fins eleitorais, clientelistas ou fisiológicos” (FAGNANI, 2009). Fagnani (2009), afirma que o segundo indicador “contribui para esclarecer se os recursos previstos são compatíveis com a dimensão das carências sociais que são objeto da intervenção governamental que se está avaliando”. e acrescenta que para realizar a avaliação de tal política “é fundamental que se elaborem séries históricas de longo prazo e que sejam utilizadas informações que demonstrem a evolução do gasto per capita, sua proporção em relação ao PIB etc.”. O autor conclui confirmando a importância de analisar o “desempenho vis-a-vis à amplitude do problema sobre o qual se pretende atuar”. No indicador que trata sobre a natureza das fontes de financiamento das políticas sociais brasileiras, o autor afirmar que estas são três: recursos fiscais (impostos e taxas), recursos autossustentados (FGTS, BNDES, BIRD, BID, etc) e contribuições sociais... (salário-educação, as contribuições previdenciárias, o PIS/Pasep, o Cofins e a Contribuição Social sobre o Lucro) (FAGNANI, 2009). Esses indicadores são importantes para que se perceba a verdade no discurso público. Em contrapartida, segundo o autor, com “respostas às perguntas sobre a direção, a magnitude e a natureza dos mesmos”, fica fácil para o avaliador revelar onde e em quais políticas sociais este recurso foi empregado. O autor aponta um debate sobre as principais características do financiamento da política social no Brasil, no pós-64. Segundo Fagnani (2009, p. 124), o padrão desse financiamento “tem como principal característica a ausência de articulação positiva entre desenvolvimento econômico e a equidade social”. Nele predomina a utilização das fontes de natureza autossustentáveis (FGTS, BNDES, BIRD, BID, etc). Segundo Fagnani (2009), nessa composição do financiamento há uma “reduzida participação de recursos fiscais”. Isso se verifica no “conjunto das políticas sociais implementadas após 1964”. Vamos Praticar? É claro que o padrão é esse, mas o autor revela que existem especificidades setoriais e as configura em quatro vertentes: i) habitação e saneamento básico; ii) previdência social, assistência médica previdenciária e assistência social; iii) saúde pública, suplementação alimentar e transporte público; e iv) política educacional. Na vertente de habitação e saneamento básico, as principais fontes de financiamento desde a década de 1960 vêm do “FGTS” e das “receitas orçamentárias estaduais”, mas “é a cobrança de tarifas aos usuários que garante o retorno dos investimentos em saneamento básico”. Fagnani (2009, p. 125) informa que essas tarifas são suficientes para devolução dos “empréstimos efetuados com recursos do FGTS” e ainda aqueles oriundos “dos governos estaduais”. Na vertente de previdência social, assistência médica previdenciária e assistência social, a principal fonte de financiamento até o final da década de 1980 era o Fundo de Previdência e Assistência Social (FPAS), mas, com a promulgação da Constituição Federal da República de 1988, o Cofins e a Contribuição Social sobre o Lucro passam a integrar esse orçamento. Finalizando Um dado interessante sobre a questão de saúde pública, suplementação alimentar e transporte público é que no pós-64 os militares não pensaram em como financiar essas políticas..! E, portanto, houve um privilégio privatista na saúde médica, com o mesmo direcionamento para o setor de suplementação alimentar. Somente a partir de 1974 foi incorporada à agenda pública, em razão do grande número de acidentes, a questão do transporte público (FAGNANI, 2009). Na última situação também há um dado particular interessante, mas diferente, ou seja, a política educacional é, segundo o autor, um “setor financiado pelas três esferas de governo” (FAGNANI, 2009, p. 128).
Tema 8: Programa de Transferência Monetária para Famílias Pobres: Um Exercício de Avaliação de Políticas Públicas Profª Ma Elaine Cristina Vaz Vaez Gomes PARA INÍCO DE CONVERSA Neste tema você fará um percurso no que diz respeito ao Programa de Garantiade Renda Familiar Mínima do Município de Campinas, c o m a p o n t a m e n t o s d o s a s p e c t o s metodológicos do estudo do perfil das famílias e os principais resultados de um programa como este. No Brasil, nos últimos anos, tem aumentado a implementação do Programa de Garantia de Renda Familiar Mínima (PGRFM), na esfera municipal, inovando no campo do combate à pobreza e à fome. A experiência que você vai estudar é de um programa implantado na cidade de Campinas, estado de São Paulo. A exemplo desta cidade, o programa já foi implantado em outros municípios e capitais, tais como: Boa Vista, Vitória, Salvador, Ribeirão Preto, Jundiaí e Belo Horizonte e no Distrito Federal (FONSECA, 2009). A experiência de Campinas, desde sua criação, é acompanhada pelo Núcleo de Estudos de Políticas Públicas da UNICAMP, que, segundo Fonseca (2009, p. 132), realizou inúmeros processos de avaliação e “acompanhamento institucional do processo de implementação, estudo do perfil das famílias beneficiadas (com base nos dados cadastrais do Programa), e um estudo domiciliar de uma amostra de famílias beneficiárias”. São vários programas implementados e com diferentes formas de organização no que se refere, segundo Fonseca (2009, p. 132), “aos objetivos, critérios de seleção, cálculo da renda familiar e valor do benefício, vinculação institucional, modos de operacionalização, contrapartida exigida, formas de acompanhamento, etc.”. O estudo sobre esses PGRFMs se faz necessário para entender se de fato eles têm feito diferença e tirado as famílias da miséria. Continuando Um dos temas que fazem parte das discussões desses programas de transferência de renda é a família e toda a sua complexidade, pois sua população alvo são as crianças e os adolescentes e também a inserção destes em outras políticas, como a educação, por exemplo. A família, de acordo com a autora, é o foco desses programas, e é isso que os distingue do programa de iniciativa do Senador Suplicy. Fonseca (2009, p. 133) afirma que no projeto do Senador “o indivíduo é portador de direitos (e a renda é um destes direitos) e a política social o reconhece como tal, independentemente do seu estado civil, da sua descendência e da natureza de seus vínculos com crianças e adolescentes”. A autora completa afirmando que, independente do “tempo em que resida em algum município do seu país”, o “o indivíduo é cidadão e como tal tem direito a uma renda mínima e de usá-la como melhor lhe aprouver, aumentando à sua maneira seu nível de bemestar”. Essa compreensão é diferente nos demais programas uma vez que, segundo Fonseca (2009, p. 133), “há um deslocamento do individuo para a família”. Com esta ideia, “espera-se que o receptor da complementação mensal da renda familiar, que tem a titularidade em função de suas crianças menores de 14 anos, não se comporte como um indivíduo” (FONSECA, 2009, p. 133). O fato de ser um programa para famílias pobres não significa que terá simples implementação; pelo contrário, há, sim, a necessidade e a relevância de um estudo, no que se refere tanto ao próprio conceito de programa de renda mínima como ao conceito de família. Esses grupos familiares têm em comum três categorias, de acordo com Fonseca (2009, p. 134), “residem em Campinas há pelo menos dois anos, têm crianças menores de 14 anos e renda familiar per capita inferior a R$ 35,00” e salienta a autora, que estas categorias não homogeneízam a miséria e nem “apagam sua heterogeneidade”, tornando o estudo da maior relevância. O Programa de Garantia de Renda Familiar Mínima do município de Campinas tem um banco de dados que está organizado em três arquivos, com capacidade de aceitar o registro de diversas famílias quando de sua entrada no PGRFM. Vamos Praticar? A organização dos arquivos foi feita da seguinte maneira: o primeiro arquivo corresponde ao material sobre o requerente e seu cônjuge; o segundo compreende informações sobre a composição familiar – Grupo 1 (menores de 14 anos); e o terceiro, a composição familiar – Grupo 2 (maiores de 14 anos e outros) (FONSECA, 2009)..! Nos aspectos metodológicos do banco de dados, Fonseca (2009, p. 136) informa que se “permite examinar o universo das famílias beneficiadas segundo as principais variáveis socioeconômicas”. Essas variáveis econômicas, segundo Fonseca (2009, p. 137), são “as demográficas, as de renda, as relativas à condição de ocupação dos membros e à localização espacial das famílias no Município” e ainda, completando, os “indicadores sociais, tais como escolaridade, condições de saúde, condição da habitação e acesso a outros programas sociais”. Em relação à chefia das famílias, não será encontrado nada que a classifique, em razão de o banco de dados não trazer informações sobre isso. Não está claro que a presença de um homem no núcleo o torne o chefe e muito menos que o enorme número de mulheres no PGRFM as torne chefes de família. Esse é um debate que Fonseca (2009, p. 138) sugere que se faça com cautela “quando se trata de um programa de complementação de renda familiar, pois quem for reconhecido como chefe certamente terá mais poder na decisão da utilização dos recursos recebidos e dos rendimentos familiares”. Finalizando Essa questão merece cuidado, já que, de acordo com a autora, “em termos metodológicos, a designação externa de uma chefia revela que o pesquisador introduziu suas concepções da relação entre gênero e geração ou seja, atribui “aprioristicamente, significados pelos quais outorga, no par conjugal, maior grau de autoridade ao ‘homem’ que à ‘mulher’ e, ao mesmo tempo, introduzindo hierarquizações de geração que se sobrepõem às de gênero” (FONSECA, 2009, p. 138). Enfatizou-se nesse trabalho uma enorme diversidade que o termo família traz para o debate. E, muito além daquilo que os aspectos tratados trouxeram, existem outros destes no campo do emprego, da baixa qualificação, das condições habitacionais, do acesso a outros programas. A outra questão, em relação ao vínculo com o PGRFM, está no fato de que está posto que depois de um ano ele poderá ser reconduzido uma vez, e assim superar a condição da pobreza. Entretanto, a pesquisa demonstrou que este prazo é insuficiente. E, por fim, no PGRFM de Campinas há a informação de um alto número de requerentes muito jovens