Baixe o app para aproveitar ainda mais
Prévia do material em texto
0 DEPARTAMENTO DE CIÊNCIAS DA EDUCAÇÃO E PSICOLOGIA Manual de Apoio: MONITORIA E AVALIAÇÃO EDUCACIONAL Universidade Pedagógica Delegação da Maxixe UniSaF Universidade Pedagógica - Maxixe 1 Compilado Por: Cláudio Nhampossa dinhampossa82@gmail.com cnhampossa@up.ac.mz (+258 84 71 79 634) Título: Manual de Apoio (Monitoria e Avaliação) Nota: Este manual foi compilado a partir do módulo de Mosha H. J. et all (2003. SADC and the University of the Witwatersrand - School of Education). Ano: Julho de 2016 mailto:cnhampossa@up.ac.mz 2 Lista de Abreviaturas ESDP Education Sector Development Programme ESDS Education Sector Development Strategy EPSI Educational Policy Support Initiatives GNP Gross national Product MTEF Medium Term Expenditure Framework NPV Net Present Value NECTA National Examination Council of Tanzania OECD Organization for Economic Development PAC Public Accounts Committee PEAP Poverty Eradication Action Plan PEO Programme Evaluation Organization PER Public Expenditure Review PRSP Poverty Reduction Strategy Paper PTCA Parent Teacher Community Association PVC Present Values of Costs SADC Southern African Development Community SCER Simple Cost Effectiveness Ratios SIP Sector Investment Programmes SMART Specific, Measurable, Attainable, Realistic and Time Bound SOL Standards of Learning SWAP Sector Wide Approaches SWOT Strengths, Weaknesses, Opportunities and Threats T&L Teaching and Learning UPC Universal Primary Completion 3 MONITORIZAÇÃO E AVALIAÇÃO DA POLÍTICA, PLANOS E PROGRAMAS EDUCACIONAIS Este manual concentra-se na monitorização e avaliação das políticas, planos e programas educacionais que são preparados para melhorar o desempenho em todos os níveis de um sistema educacional. Começamos por definir os conceitos de monitorização e avaliação, depois por esboçar o propósito e significância da monitorização e avaliação na educação. A seguir exploramos o foco da avaliação. Por último, debatemos sobre os diversos sistemas de monitorização, inclusive serão iniciadas estratégias para melhorá-las. Por último, será dado um resumo. EXPLICAÇÃO DE CONCEITOS CHAVE Os conceitos frequentemente utilizados na unidade são definidos e ilustrados nesta secção de forma a criar uma compreensão comum. Entre eles estão incluídos os seguintes conceitos chave: 1.Monitoria Comecemos por exemplos hipotéticos. Todos os casos acima descritos requerem uma monitoria imediata. Monitoria é. Portanto, uma análise contínua ou periódica dos vários estágios da política, plano ou ou concepção do programa e implementação educacionais, a nível do sistema ou da escola, para determinar se as políticas, planos e programas estão a ser implementados como pretendido. A verificação poderia cobrir o contexto em que as políticas são concebidas e implementadas. Podia também envolver o despiste de inputs – aquisição, alocação e utilização de recursos; bem como assegurar que os calendários de trabalho e outros processos estejam à altura Actividade: A escola X tem alunos que estão muitas vezes ausentes da escola. O que deveria fazer o Director para os apoiar? O estado provê dois terços dos fundos para construir uma escola mas muito pouco tem sido feito na base. O desempenho da escola X foi extremamente fraco nos exames nacionais. Existem relatórios que apontam que muitos professores possuem segundo emprego. O que o Director deveria fazer para rectificar a situação? 4 para que os produtos e resultados sejam realizados (Valdez and Bamberger, 2000). Monitoria, portanto, serve como um primeiro sistema de alerta [para o empowerment e inspecção] para encorajar a avaliação abrangente das causas das deficiências (Wjnen et al, 1990). Isto incita a necessidade de avaliação 2.Avaliação Isto é um processo sistemático e objectivo de avaliação, medição e análise do desempenho de uma política/plano/programa educacional. Avaliação e medição de uma política/plano/programa corrente ou completo podem ser feitas durante a sua concepção, implementação ou na fase dos dados/resultados com o objectivo de determinar a sua relevância, eficiência, eficácia, impacto e sustentabilidade dos seus objectivos (OECD, 1986, Mosha 2002). A avaliação é muitas vezes referida como um processo porque compreende actividades correntes destinadas a recolher informação atempada através de medições e avaliações de forma a que as decisões sobre o valor e desempenho possam ser tomadas. 2.1.Medição Este é um processo de utilização de instrumentos apropriados para colectar informação e dados sobre um atributo. Os instrumentos de medição podem apoiar uma colecta quantitativa sobre, digamos, altura, peso, um resultado, progresso feito na implementação de um projecto, etc. Pode também conduzir a uma colecta de informação qualitativa sobre opiniões ou razões para um resultado – porquê bons ou maus resultados ou dados. 2.2.Avaliação A avaliação, por outro lado, é um processo sistemático de análise e tradução dos dados numa forma interpretável de modo a que as decisões possam ser feitas. Muitas vezes concentra-se nos indicadores de desempenho – nível de desempenho nos determinantes quer sejam aprendizagem, eficiência e eficácia. Compreende um processo de abstracção mental que interpreta a informação e 5 os dados recolhidos pela Medição. Também compreende um processo de colocação da informação avaliadora ou dados em alguma escala númérica ou nominal para que possa ser classificada qualitativamente ou quantitativamente de acordo com medidas pré determinadas (Mosha and Bukhala, 1985). Murphy et al (1996) defende que a avaliação educacional difere em muitas maneiras do diagnóstico individual, selecção ou exames de certificação. Primeiro ela dá informação do sistema como um todo, não sobre alunos singulares. Segundo, não inclui só medidas da aprendizagem do aluno, mas também mas também dos antecedentes do aluno e inputs e processos da escola que permitem a avaliação dos dados a serem utilizados na análise política. Terceiro, é concebida para monitorar o desempenho do sistema educacional ao longo do tempo, determinar seo sistema está ou não a fazer progressos em direcção aos seus objectivos [custos-eficácia], através do uso de medidas estandardizadas do desmpenho dos alunos, Inputs e processos da escola. 2.3.Tomada de Decisão É muitas vezes dirigida ao mérito, importância e relevância, programa e melhoria organizacional, supervisão e conformidade, bem como geração de conhecimentos. Estes atributos são elaborados mais tarde numa secção subsequente. A tomada de decisão é muitas vezes facilitada pela presença de indicadores e conjuntos de padrões. 3.Indicadores Existem critérios de mérito ou dimensões mediante importantes para a política, plano ou programa atingirem bem os objectivos desejados. Os indicadores são acordados mediante medidas qualitativas e quantitativas que serão utilizadas na avaliação do progresso da política, plano e programa. Os indicadores são cruciais para o sucesso de qualquer estratégia política, plano ou programa. Devem ser cuidadosamente escolhidos para que “indiquem” verdadeiramente de uma forma fidedigna e precisa, se as metas e objectivos do plano estão ou não a ser realizados. Os indicadores também devem ser verificáveis. Isso significa que 6 devem ser medidas com as quais as evidências e dados possam ser recolhidos de uma forma verdadeiramente objectiva. É preciso depois observado que os indicadores bons são incorruptíveis por qualquer pressão. Contudo, os indicadores melhoram perceptivelmente se a unidade melhora o seu desempenho ao longo do tempo. A seguir apresentam-se algumas ilustrações de indicadores. Osseguintes critérios foram sugeridos por Carol Taylor Fitz- Gibbon (1996) para o estabelecimento de bons indicadores da Educação: Relevantes São identificados objectivos válidos para as unidades [criar consensos sobre os objectivos] Mencionar produtos, outputs, resultados e Informativos Estão contextualizados [ter em conta o contexto] Feedback para as unidades [necessidade de saber espírito de informação aberta] Aceitáveis Sentidos como justos [acordo alargado, manter a verificação da validade e eficiência] Acessíveis [compreendidos] Explicados [oferece estatística com face humana] Icorruptíveis – tem que se ver que houve justiça Verificáveis Transformáveis se a unidade mudar o desempenho ao longo do tempo Vantajosos O uso produz impacto Custo-eficácia Custos razoáveis Actividade Eis alguns exemplos de indicadores. Estude-os e comente se vão ou não ao encontro Dos critérios de um bom indicador 7 Qualidade Aumento do número de alunos que passam o padrão V dos exames nacionais com uma classificação média de 50% e acima de 20 a 45%. Decréscimo da percentagem de alunos repetentes de acordo com o padrão IV dos exames regionais de 30% a 20% Aumentodo número de alunos que passam a matemática num padrã estabelecido a nível nacional em cada classe em 70% ou mais. Motivação Retenção do pessoal Percentagem de instrução do pessoal avaliada como sucesso Percentagem de substituições (turnover) do pessoal com sucesso instrucional Substituição do pessoal por motivo Aumento da satisfação medido através de pesquisas pai/profressor Resultados Pesquisas com os pais, alunos, membros da comunidade que indicam altos níveis de satisfação com as escolas públicas. 4. Padrões Os padrões não devem ser confundidos com qualidade. Qualidade, são os produtos finais ou resultados desejáveis (Schomoker, 1999). Podem ter a haver com – visão nacional, isto é, claros, dinâmicos, partilhados por todos os membros da sociedade, ressonantes, racionais, tecnologicamente avançados, etc. ou objectivos que são Especificos,Mensuráveis, Alcançáveis, Realistas e ligados ao Tempo [em Inglês, as iniciais das cinco palavras constituem a palavra SMART, que significa inteligente]; ou alunos que conseguem escrever e contar após 4 anos de ensino básico; ou graduados que têm conhecimentos, habilidades e são capazes de resolver vários problemas que a sociedade enfrenta (doenças, ignorância, pobreza, etc.) Mosha et al (2001) defende que os padrões implicam níveis de excelência, estabelecidos por consensos. Os padrões são um ponto de referência através do qual se pode fazer um julgamento sobre a eficiência e a eficácia/desempenho de um indivíduo, instituição e sistema [pass mark, or cut off point, COP] baseado na informação e colecta de dados sobre cada indicador ou vários indicadores, interactiva e colectivamente. Os melhores indicadores podem ser estabelecidos investindo no conhecimento de especialistas [em política, planificação, finanças, 8 ensino, gestão, exames, etc.] e inputs de parceiros [o que eles consideram ser desempenho aceitável?] e pesquisa do que é geralmente aceite globalmente como sendo um marco de excelência [uma pessoa habilitada, uma política ressonante, um financiamento eficaz de um sistema]. Os padrões de excelência ou mérito também podem ser estabelecidos por uma autoridade [senado universitário ou conselho de exames], a prática [procurar o máximo e não permitindo a ninguém reprovar na escola] ou consenso geral [que um resultado de 60 em 150 pontos seja aceite como nota de passagem, que garanta que alguém seja seleccionado para continuar os estudos]. Os padrões podem ser absolutos (fixos – 50 porcento é muitas vezes considerado como média) ou relativos (flexíveis – particularmente para os COPs). Por conseguinte, deve ser conseguido um acordo antes de os usar. Quando os padrões são muito baixos [ninguém reprova na escola, é difícil medir a excelência] os praticantes podem estar satisfeitos com o desempenho medíocre; de modo semelhante, se os padrões são muito elevados, [todas as crianças devem corresponder a um padrão fixo – 50 porcento ou mais para passar ou reprovar e o sucesso pode ser difícil ou impossível de realizar, particularmente nas instituições frequentadas por todo o tipo de escassez]. Isto pode conduzir à desmoralização e algumas vezes ao desespero. Os padrões podem-se basear em falsas noções tais como o enfoque na proficiência linguística apenas, habilidades vocacionais ou escolásticas esquecendo outras componentes de qualidade – aquisição de valores desejáveis, hábitos de trabalho, internacionalização de práticas democráticas atc.] Esta obsessão pode levar a uma percepção de qualidade de educação errada e equivocada (Osaki, 2000). Dado o facto que a manifestação de qualidade é o nível de desempenho a realizar a missão dada de um empreendimento de educação, os objectivos do sistema e de suas instituições desde o ensino pré-primário, primário, secundário, profissional, terciário e superior precisam ser compreendidos e partilhados por todos, uma vez que eles constituem o enfoque principal de qualquer julgamento/avaliação da qualidade. Supõe-se que os objectivos reflictam as expectativas gerais dos principais parceiros – alunos empregados e comunidade 9 que apoiam o sistema de educação. Os objectivos mudam ao longo do tempo, por isso a avaliação frequente dos próprios objectivos é importante. É preciso também imaginar que a qualidade de um empreendimento/sistema educacional é influenciada por muitos factores. Estes incluem o ambiente contextual de um dado sistema, os inputs básicos, os arranjos/processamento dos inputs em produtos individuais, outputs institucionais e os resultados da educação ma sociedade. Portanto, a educação de qualidade é um conceito multidimensional, por isso, a sua avaliação pode envolver medição e análise dos factores contextuais, inputs, processos de ensino e aprendizagem, [pesquisa e consultoria nas instituições de nível terciário e superior], os produtos, outputs, e resultados ou interacções entre eles, de forma a realizar os seus preciosos resultados. Estes factores, consequentemente combinam-se para produzir um dado nível de qualidade. Um baixo padrão ou alto padrão de educação é, por conseguinte, uma declaração tautológica. Tecnicamente só se pode comentar sobre a qualidade de educação em termos do seu estado em algum sítio no escopo de alta qualidade a baixa qualidade e não alto ou baixo padrão. Isto porque um padrão constitui um nível estabelecido de excelência, embora os indicadores sejam parâmetros à volta dos quais a informação qualitativa e os dados quantitativos são colectados e a qualidade é julgada. 5. Garantia de Qualidade Isto é um sistema de verificações e equilíbrios no processo da implementação da política, plano e programa para assegurar que o sistema esteja constantemente consciente das expectativas e exista um esforço concertado para a sua realização. As avaliações não produzem desempenho. Elas podem, contudo, servir o propósito de mobilizar incentivos, engajamento, poder e capacidade em recursos humanos e financeiros que produz desempenho. A questão crucial é, o conhecimento, competência e recursos existem realmente para dar o nível de apoio ao sistema ou escola necessário para ir ao encontro das demandas requeridas por digamos, um político num país x, escola distrital ou uma dada escola 10 PROPÓSITO DA AVALIAÇÃO A avaliação, como muitos tendem a aludir não foi concebida apenas para um julgamento de passagem Mark et al (2000) Mosha (2002), Patton (1997) defendem que a avaliação pode servir para outros propósitos; nomeadamente avaliar: Mérito ou importância; Melhoramento do programa organizacional; Supervisãoe concordância; e Desenvolvimento do conhecimento. 1.Mérito ou Importância ou Importância Avaliar o mérito ou importância diz respeito ao desenvolvimento de julgamentos justificados sobre os efeitos e resultados, da intervenção planeada quer seja propositada ou não, positiva ou negativa (Mosha, 2002). O mérito diz respeito à qualidade da política/plano/programas em termos do seu desempenho. Muitas vezes classificamos os alunos de acordo com o mérito na sala de aulas ou o exame nacional do desempenho. Algumas vezes oferecemos também prémios ‘meritocráticos’ aos alunos, escolas, direcções distritais etc. que foram julgados como tendo atingido melhorias notáveis no seu desempenho. De modo semelhante classificamos os países de acordo com o mérito em termos de desenvolvimento económico e social. Da mesma maneira podemos também classificar as escolas em termos de mérito na implementação de projectos educacionais – construção, distritos em termos de sucesso registado nas matrículas ou eliminação das deficiências. A importância, por outro lado diz respeito ao valor que o desempenho traz para o bem-estar social. As avaliações têm muitas vezes estabelecido demasiada ênfase nos processos de inputs do ensino e aprendizagem e prestado menos atenção aos resultados (habilidades para a vida e trabalho numa sociedade dinâmica). 11 2. Programa e o Melhoramento Organizacional Quando o propósito da avaliação é o programa e o melhoramento organizacional (avaliação formativa), fazem-se esforços para dar feedback atempado para corrigir operações irregulares, melhorando assim as operações do plano. Scriven (1991:169) comparou a avaliação formativa ao acto de “o cozinheiro provar a comida antes dos convidados chegarem e fazer ajustes a tempo”. Os processos de alerta primários tendem a ter um efeito positivo no desempenho de um plano (Mosha, 2002). 3. Supervisão e Concordância A supervisão e concordância implicam avaliar em que medida a implementação da política/plano está alinhada com as expectativas especificadas dos parceiros (alunos, empregadores, pais, instituições, governo e instituições financiadoras). A avaliação deste tipo gera, portanto, informação pública segura em benefício dos parceiros e encoraja a transparência sobre cada transacção. Também é concebida para ver em que medida estão a ser seguidas as directivas ou estatutos relativos a questões como matriculas compulsivas e equilíbrio do género e regulamentos sobre participação, ensino eficaz ou outros mandatos sobre o desempenho. Se não, o pessoal e os administradores podem ser chamados à responsabilidade antes de serem dispendidos recursos substanciais. Mark et al. (2000) alertam para o facto da avaliação da supervisão e concordância normalmente não poderem dizer se o plano/política é responsável pelos resultados. Da mesma maneira um plano/política pode operar inteiramente de acordo com a legislação e regulamentos e mesmo assim serem ineficazes, especialmente quando os participantes estão simplesmente a jogar de acordo com as regras. 4. Desenvolvimento do Conhecimento Muitas vezes as políticas/planos são primeiro testadas a nível micro, o que serve o propósito do desenvolvimento do conhecimento. A avaliação do desenvolvimento do conhecimento envolve esforços para preparar e testar teorias gerais e propostas sobre processos e mecanismos sociais e dentro das 12 escolas tal como ocorrem no contexto dos planos educacionais. Muitas vezes as análises SWOTs [Strengths, Weaknesses, Opportunities and Threats] (Pontos fortes, Pontos fracos, Oportunidades e Barreiras) são conduzidas para o desenvolvimento do conhecimento e podem concentrar-se em várias questões de pesquisa envolvendo mega ou micro planos (Lipsey, 1993). Estes estudos também podem analizar todos os processos desde a concepção às fases de implementação de planos educacionais (Scheiver, 1987). Além disso, podem ser aplicados a diferentes contextos (urbano/rural, comunidades marginalizadas ou grupos desfavorecidos) e clientes (Lipsey, 1997). ENFOQUE DA AVALIAÇÃO O enfoque da avaliação pode ser em qualquer dos seguintes atributos: Visão, Política e Planos Quando o enfoque é na visão, políticas e planos, os esforços devem ser direccionados para descobrir em que medida as políticas e planos de educação concebidos que procuram atingir a excelência são pró-activos e olham para o futuro. Para além disso, em que medida procuram criar um futuro melhor encorajando os políticos da educação e planificadores a juntarem esforços com os parceiros e especialistas de outros sectores para alcançarem objectivos importantes para o futuro. Tal avaliação deveria, portanto examinar o ambiente económico, social, político, ecológico, legal, demográfico e cultural de forma a gerar informação que permita aos planificadores identificar problemas genuínos e questões que afectam o desempenho. Isto deveria ser precedido por um processo em que os critérios são estabelecidos para avaliar as melhorias de qualidade que deveriam ser recomendadas (Dror, 1968). Processo da Identificação das Necessidades e declaração do Problema Quando enfoque está no processo de identificação das necessidades e declaração do problema é preciso considerar os elementos técnicos tais como a compleição da cobertura, grau de envolvimento, qualidade dos parceiros envolvidos, qualidade da informação e dos dados que são recolhidos, etc. 13 Selecção das necessidades Quando o enfoque é na selecção das necessidades deve-se compreender que as necessidades são naturalmente múltiplas e competem por escassos recursos (financeiros, tempo, humanos e físicos). A avaliação neste estágio pode envolver a análise da informação colectada durante a avaliação das necessidades e utilizar estes dados como base para tomar decisões sobre que necessidades e problemas devem ser atendidos. Metas e Objectivos Quando o enfoque está nas metas e objectivos é preciso saber metas e etapas importantes ao longo do caminho para atingir os resultados desejados. Vimos que os objectivos bem estabelecidos, por exemplo, devem ser SMART – específicos, mensuráveis, atingíveis, realistas e ligados ao tempo. A avaliação podia centrar-se na avaliação de cada objectivo de forma a avaliar a medida em que eles obedecem a esses critérios. Também se pode desejar avaliar os objectivos para avaliar a sua relevância, importância e utilidade, bem como em que medida eles servem como padrões úteis, que se forem realizados conduzirão à resolução de problemas identificados. Onde houver disparidades entre metas/objectivos e os problemas identificados, pode ser desejável haver modificações. Algumas vezes os objectivos podem ser abandonados ou reafirmados. Alguns objectivos podem concentrar-se na transformação cultural. El-Khwas (1998: 8) defende que “Os resultados a longo prazo para a melhoria da qualidade são melhor conseguidos pela mudança da cultura dentro…das instituições”. Ele afirma ainda que o governo pode “estimular um compasso mais acelerado de mudança através de financiamentos que premeiem as instituições com propostas bem planeadas de melhoramento” 14 Seleccionar Alternativas e Escolher Estratégias Quando o enfoque está na selecção de alternativas e na escolha de estratégias a avaliação é útil para indicar possíveis alternativas à luz da informação disponível. Nível da Concepção A monitorização e avaliação a nível da concepção concentra-se essencialmente na adequação dos inputs e seus ajustamentos para produzir os resultados desejados. Mobilização, Procurement, Pagamento, Utilização e Controlo dos Recursos Quando o enfoque está na mobilização, procurement, pagamento, utilização e controlo dos recursos é preciso observar o facto de que os planos educacionais dependem de recursos humanos,financeiros, físicos e de tempo para a sua implementação eficaz. Por isso, a correcta mobilização dos recursos, aquisição, pagamento, utilização e controlo deveriam ser as áreas principais do enfoque neste estágio para assegurar a eficiência bem como a total responsabilidade sobre o seu uso eficaz. Organizar e Coordenar a Implementação Quando o enfoque está na organização e coordenação da implementação é preciso ser-se astuto para verificar se foram estabelecidos os sistemas e estruturas apropriados e se são eficientes e eficazes para apoiar a implementação da política, o plano ou o programa. A Coordenação é crucial para assegurar que haja interacção apropriada entre inputs, processos e sistemas de apoio de forma a produzir os produtos, outputs, e resultados. Se este processo de interacção não tiver lugar é provável que a implementação sofra. A monitorização e avaliação neste estágio, por conseguinte, preocupa-se em entender porque é que a implementação não está a ser levada a cabo como planificado e fazer os necessários ajustamentos. 15 Gerir a Implementação Diz-se que a gestão eficaz é um dos factores chave que contribuem para o sucesso da implementação das políticas, planos ou programas educacionais. A gestão eficaz preocupa-se com a criação da equipa e a mobilização de grupos e comunidades para se envolverem activamente no apoio à implementação das políticas educacionais, planos e programas. Os gestores eficazes estão orientados para o desempenho, são responsáveis, transparentes e sensíveis ao bom ou mau desempenho. A monitorização e avaliação neste estágio envolve, portanto, entender se os gestores estão a conseguir esses objectivos e se não são responsáveis por um desempenho abaixo do padrão. Gerir a Monitoria e Avaliação Quando o enfoque é na monitoria e avaliação deve-se descobrir em que medida os sistemas, estruturas e procedimentos para conduzir a avaliação são justos, fiáveis, válidos e económicos. Isto são questões que garantem o enfoque da gestão. Gerir as funções de monitorização e avaliação das políticas, planos e programas educacionais também têm a ver com os necessários recursos humanos existentes para conduzir as análises Ter os recursos financeiros necessários também é uma preocupação importante, especialmente porque muitas vezes há sub-orçamentação nesta área. De modo semelhante a capacidade tecnológica para processar, analisar e armazenar dados é um importante factor, tal como a calendarização das acções para corrigir os problemas antes que seja muito tarde. É neste estágio que os padrões desejáveis de resultados de aprendizagem bem como os padrões de de desempenho para atributo de políticas, planos ou programas e indicadores de excelência são estabelecidos e periodicamente revistos de forma a assegurar que continuem a ser aplicáveis em ambientes diversos. 16 Produto, Output e Resultado Quando o enfoque está no produto, output e resultado, é preciso compreender que o propósito de todas as políticas, planos e programas de educação é a realização dos objectivos desejáveis de organização individual e da sociedade. A avaliação do produto, output e do impacto [avaliação cumulativa] é feita muitas vezes depois das políticas, planos e programas terem sido implementados durante algum tempo. Neste momento, o avaliador determina se os objectivos das políticas, planos e programas foram atingidos e se não, porquê. Muitas vezes os planificadores, implementadores e avaliadores tendem a trabalhar sobre se os recursos foram usados como planificado. Ao fazer isso tendem a perder de vista os resultados – em que medida o conhecimento, habilidades e aptidões tiveram qualquer impacto na realização dos objectivos nacionais de desenvolvimento. Muitas vezes deve ser feita a distinção entre os resultados desejados e ideais. Um ideal só pode ser atingido quando os constrangimentos são eliminados ou minimizados. Dados os constrangimentos existentes na implementação da política nos países em desenvolvimento, podem ser acordados critérios realistas, dependendo do contexto e do enfoque da avaliação. Em resumo, um bom sistema de monitoria e avaliação deveria concentrar-se sempre nos resultados e depois trabalhar para trás e procurar os factores que causaram monitorando e avaliando os outputs produtos, meios e o contexto. Sustentabilidade Quando o enfoque da avaliação é discernir sobre a sustentabilidade parte-se da premissa que é provável que as políticas educacionais, planos e programas oferecerem apenas uma pequena fracção dos benefícios e serviços pretendidos durante os os anos iniciais ou de tentativa de apoio. Bamberger and Cheena (1990) defendem que a sustentabilidade é afectada por muitos factores – técnicos, financeiros, organizacionais e políticos. A monitoria e a avaliação conduzirão então à rápida detecção dos factores que impedem a 17 sustentabilidade, permitindo assim que os políticos, planificadores e gestores corrijam atempadamente esses problemas no processo. Papel da Gestão de Sistemas de Informação A informação e os dados são produtos da monitoria e avaliação. Poderiam também constituir inputs, como critério de gestão de dados colectados e actualizados através da monitoria e avaliação. A informação e os dados também servem para processos de planificação (Mosha, 2002). Dada a importância de obter informação e dados de qualidade em todos os estágios da política, do processo de planificação, da concepção e implementação do programa é difícil simplesmente inclui-la como uma componente em qualquer das áreas de enfoque descritas nas secções precedentes. Ela serve a todas. Mark et al. (2000) defendem que um dos potenciais benefícios do EMIS é proporcionar bases de dados para o pensamento estruturado. Eles acrescentaram que o pensamento estruturado é uma maneira estruturada de aprender da experiência das políticas, planos e programas correntes e do passado e utilizar esse conhecimento para melhorar a maneira como são formuladas, implementadas e avaliadas as políticas, planos e programas do futuro. Mosha (2002), observa ainda que muitos países em desenvolvimento, especialmente em África, também não desenvolveram uma política de colecta, análise e utilização de dados autênticos com base nos quais são tomadas as decisões. Diferentemente de muitos países desenvolvidos na Europa e América do Norte, a cultura de responsabilidade e sensibilidade pelo desempenho do sistema de educação como revelado pelos dados de desempenho publicados não receberam a atenção adequada. Houve pouca ligação entre a alocação de fundos e pedidos de retorno em termos de altos níveis de desempenho, especialmente onde os dados mostraram resultados negativos. Houve também demasiada confidencialidade imposta a dados úteis – o desempenho dos alunos nos exames nacionais não são imediatamente disponibilizados para análises e verificação cruzada posteriores ou utilização das escolas para melhorar o rendimento. Também não estiveram facilmente disponíveis informação útil e 18 dados sobre eficiência e eficácia na mobilização, alocação, despesas e uso efectivo de recursos financeiros devido à transparência inadequada que levou muitas vezes à corrupção generalizada. Os vários tipos de sistemas de monitoria e avaliação são explorados na próxima secção. TIPOS DE SISTEMAS DE MONITORIA E AVALIAÇÃO Sistemas de Monitoria Existem pelo menos três sistemas de monitoria, nomeadamente os que enfatizam: 1.O diagnóstico instruccional Tendem a concentrar-se no output com pouca atenção nos inputs e muito pouca atenção às características dos alunos. Estão virados para o curriculum, utilizam testes dirigidos aos critérios e concentram-se na importância do curriculum e materiais de apoio. 2.Melhoramento da escola Dão ênfase à medição de outputsao mesmo tempo que reconhecem a importância potencial de um conjunto maior de variáveis – qualificação dos professores. Também incluem comparações entre escolas. Tendem a medir um escopo mais vasto de habilidades e testes e utilizam testes dirigidos às normas. 3.Obediência aos regulamentos Preocupam-se em monitorar os inputs no sistema e monitorar a eficácia dos sistemas de oferta de inputs. Baseiam-se na contagem dos alunos, professores, manuais, etc., sendo o objectivo assegurar que os recursos estipulados estejam onde precisam de estar 19 Tipos de Sistemas de Avaliação Os sistemas de avaliação por outro lado são, entre outros: 1.Sistemas na escola São sensíveis aos testes e ao exame do desempenho dos alunos e conduzem a uma variedade de decisões dentro da escola. 2.Corpos de exames São formalmente estabelecidos por estatuto governamental. Esta capacidade de avaliação pode ser constituída por uma unidade especializada dentro do órgão central do Ministério da Educação. Contudo, é preferível que o Ministério contrate uma instituição independente para avaliar o serviço, de forma a evitar conflitos de interesse por o governo estar a prestar o serviço e ser o seu próprio auditor. 3.Sistemas de auditoria. São: Internos – visitas de inspecção/supervisão concebidas para verificar a concordância com os padrões, bem como: Externos – muitas vezes realizados com propósitos de padronização bem como de avaliação imparcial do desempenho. Isto pode ser feito em programas [PER], projectos de uma instituição, bem como um inteiro sistema quer de procurement quer de desembolso de fundos para verificar a sua eficiência e eficácia. Comissões e Grupos de Trabalho Estes são muitas vezes estabelecidos quando existem sinais óbvios de que um sistema educacional não está a usar a sua total capacidade para prestar serviços. Diagnósticos de avaliação que são muitas vezes muito envolventes e consomem tempo são muitas vezes encomendados por sistemas que aspiram a reformas importantes no sector da educação. É, portanto, prudente que os 20 países da SADC partilhem experiências sobre como é que este sistema de avaliação funcionou nos seus respectivos países, e então discutam os pontos fortes e fracos bem como a forma de os ultrapassar. SISTEMAS DE MONITORIA E AVALIAÇÃO PARA A ESTRATÉGIA DE DESENVOLVIMENTO DO SECTOR DE EDUCAÇÃO Sistema de Monitoria e Avaliação para a EDSE 1.Fontes de informação Várias fontes de dados serão utilizadas no sistema de M e A para a EDSE. Podem ser agrupadas em três categorias: Indicadores medidos através de sistemas administrativos. Este é o caso em que se pede que as autoridades a um nível inferior transmitam informação às autoridades superiores periodicamente, como parte integrante dos seus deveres e responsabilidades. Esta categoria inclui relatar sobre o progresso bem como rotina de colecta de dados. Muitos dos indicadores nos sectores de educação são colectados desta maneira. A rotina de colecta de dados por parte do governo tem como uma principal vantagem principal que ela oferece uma corrente contínua de dados detalhados com poucos custos adicionais. Contudo, porque os dados são colectados nas instituições, pode haver um certo grau de distorção nos números. Outro ponto fraco destes sistemas é que muitas vezes se baseia em cálculos da população que podem não ser correctos. Os indicadores avaliados através de sistemas de rotina colecta de dados, têm, portanto de ser cruzados regularmente com medições através de outros meios. Indicadores avaliados através de recenseamentos e pesquisas. Aqui incluem-se todos os indicadores podem não ser obtidos através de registos administrativos como um todo ou como um modo de cruzamento de dados baseados na instituição obtidos por sistemas de monitoria de rotina. Os indicadores que só podem ser colectados através de recenseamentos e pesquisas incluem indicadores de avaliação e indicadores de desperdício. Os indicadores que podem ser colectados através do sistema administrativo mas 21 requerem cruzamentos periódicos através de pesquisas incluem, por exemplo, Taxas Brutas de Escolarização, Taxas de Admissão, Taxas Líquidas de Escolarização. Os indicadores medidos a nível da comunidade, principalmente para utilização do distrito e aldeia, através do registo da aldeia e entrevistas à comunidade. Apesar do uso principal destes dados seja para a planificação local, estas fontes também podem proporcionar indicações úteis ou tendências na educação. Esta tendência também inclui indicações úteis nas tendências na educação. Esta categoria também inclui avaliações participativas e mapeamento escolar. A introdução de um PPA regular no sistema de monitoria para a EDSE oferecerá dados qualitativos inestimáveis que servirão o cruzamento de dados quantitativos, ajudando-nos a julgar a eficácia das medidas políticas e mais em geral ajudar-nos-ão a compreender as ligações causais entre o programa de acção do EDSE e as mudanças na pobreza. Mas, mais importante, vai-nos ajudar a ouvir as preocupações, percepções e opiniões dos parceiros e dos próprios benfeitores. 2. Dados sobre as Capacidades Humanas Todos os indicadores da educação podem ser medidos através de sistemas de colecta de dados do ministério da educação, que em vários países fornecem dados anualmente. Os dados dos recenseamentos oferecem uma possibilidade de cruzamento com base na instituição feita para a escolarização. Os exercícios de mapeamento escolar também oferecem novos cálculos valiosos sobre alguns desses indicadores 3. Estabilidade e Tendências Macro Económicas A avaliação dos resultados ou insucessos dos esforços da educação a nível macro nos países da SADC também precisam de ser interpretados à luz das mudanças na ordem social, económica e política. São, portanto, necessárias tendências no que respeita ao desempenho dos agregados macro-económicos como mostram as taxas reais de crescimento do PIB, taxas de redução da 22 inflação, equilíbrio das receitas e despesas, estrutura e padrão das despesas e receitas pública na educação, déficit fiscal dos consumidores e níveis de reserva de trocas com o estrangeiro. Estes dados podem ser obtidos nas pesquisas económicas anuais de cada país. 4. Boa governação Os indicadores de alocação de recursos podem ser monitorados através do PER (Análise da Despesa Pública), MTEF (Quadro de Despesa a Médio Prazo) e dos processos de Orçamento Anual. O PER permanecerá o principal instrumento anual para monitorar a alocação das despesas e orientação para os resultados). As reuniões de análise trimestrais devem ser compreendidas como análises correntes para detectar atempadamente possíveis problemas. O rolling out (disponibilização) do IFM a todos os níveis do governo ajudará a obter relatórios sobre despesas a tempo e consistentes. A espinha dorsal (lynchpin) do sistema de monitoria será o MTEF, que é o principal instrumento para determinar se as alocações das despesas estão a ser ajustadas ao apoio à redução da pobreza. Sob o processo PER (análise da despesa pública), o acompanhamento das despesas nos diferentes níveis de governo, através da unidade de prestação de serviços real já estabelecida para o financiamento da educação, saúde e estradas alargar-se-á para abranger sectores prioritários e, se possível todos os anos. O governo pode, também, instituir um sistema de monitores “independentes” no quadro da Estratégia de Assistência para acompanhar os compromissos dos governos para melhorar a governação e o quadro institucional para uma integridade mais elevada e uma responsabilidade mais transparente bem como a coordenação dos doadores, melhor integração da assistência externa no sistema de tesouraria e simplificação dos procedimentos dos desembolsosde ajuda. 23 Quadro Institucional para Monitoria e Avaliação O sistema de M e E para a EDSE precisa de um quadro institucional apropriado, que consiste de dois elementos: arranjos institucionais e um ambiente institucional. Os arranjos institucionais apropriados especificam linhas de responsabilidade claras para as várias agências dos sectores de forma a promover a geração de dados dirigidos à demanda, compilação e análise. . Os arranjos institucionais claramente especificados vão maximizar os benefícios engendrados pela especialização e minimizar sobreposições e conflitos.. Um ambiente institucional apropriado ‘arbitra o jogo’ definindo padrões e estabelecendo incentivos apropriados para a implementação do sistema de monitoria sem conflitos. 1. Arranjos Institucionais Existe uma vasta série de actores envolvidos nas actividades de monitoria da EDSE, que vão desde a colecta, processamento, análise e utilização. É fundamental um arranjo institucional acordado para a monitoria se essas actividades de monitoria são para ser integradas num sistema de monitoria coerente. Este quadro deve indicar claramente os papéis e responsabilidades dos diferentes níveis. A responsabilidade geral para monitorar a EDSE a nível nacional é dos ministérios do governo encarregados da coordenação das iniciativas da educação para assegurar que todos os parceiros relevantes estejam envolvidos no processo de monitoria. Os governos podiam estabelecer comités de monitoria com uma participação alagada. Para uma recolha de dados real, as instituições responsáveis para as vastas pesquisas sobre agregados familiares, Recenseamento Populacional e relatórios nacionais são os Gabinetes Nacionais de Estatística. Os ministérios colectam dados sectoriais, principalmente através de mecanismos de rotinas de colecta de dados e sistemas administrativos. As instituições académicas e de pesquisa colectam datas através de pesquisas ad hoc sobre questões específicas. As descobertas da monitoria EDSE precisam de ser usadas pela política. Esta é a responsabilidade dos políticos apoiados pelas 24 Comissões Nacionais de Planificação e pelas instituições académicas e de pesquisa. De forma a apoiar o desenvolvimento do sistema de monitorização, deve ser concebido um mecanismo para permitir uma discussão mais abrangente de parceiros sobre o sistema de monitoria da educação. Podia-se pensar num fórum semelhante ao grupo de trabalho (task group) para dados e informação. Este grupo reuniria regularmente para discutir e decidir sobre questões relacionadas com o sistema de monitoria da educação, incluindo o estabelecimento de padrões. 2. Ambiente institucional Para além de fazer os arranjos institucionais requeridos, também é importante ciar o ambiente institucional adequado. Isto compreende estabelecer padrões para a monitoria e assegurar o estabelecimento dos incentivos correctos e ‘desincentivos’ para assegurar a implementação do sistema de monitoria sem conflitos. Existe um importante papel do fórum dos parceiros acima descrito, em colaboração com o Gabinete Nacional de Estatística e as entidades da educação. O outro elemento do ambiente institucional é assegurar que os incentivos e desincentivos correctos sejam estabelecidos para assegurar que todos os actores no sistema de monitoria desempenhem o seu papel como acordado. Esses incentivos e desincentivos podem ser na área de financiamento, acesso à formação e outros elementos do capacity building institucional, etc. o fórum dos parceiros para o sistema de monitoria deveria jogar um papel de liderança na determinação e administração do sistema de incentivos. 3. Armazenamento dos dados Existe uma necessidade decisiva de um armazenamento central de dados colectados através do sistema de monitoria da EDSE, num formato facilmente acessível que facilite a análise e utilização dos dados na análise política. Os Gabinetes Centrais de Estatística precisam de jogar um papel de liderança a coordenar a iniciativa da Base de Dados Económico Sociais. Em alguns países 25 como a Tanzânia, num protótipo de trabalho e a versão completa de trabalho está disponível em CD – ROM, na rede do governo e na internet. Uma vez que existem muitas dificuldades actualmente nas actividades de monitoria do sector da educção na SADC, a EDSE oferece uma oportunidade de ouro para melhorar a monitoria do desenvolvimento da educação nos países e construir um sistema de monitoria da educação coerente. 4. Análises da Despesa Pública O processo de análise da despesa pública procura acompanhar as despesas por anos fiscais, analisar a previsão do pacote de recursos e analisar as receitas, a eficiência da gestão financeira e os níveis de responsabilidade. O processo também tenta relacionar os recursos disponíveis para o sector, com planos e políticas de desenvolvimento do sector. Isto permite uma avaliação sobre se as metas são consistentes com o pacote de recursos e se há probabilidades de aparecerem lacunas financeiras. O propósito do processo é conseguir um orçamento realista que melhore a eficiência, assegure a frugalidade, melhore a responsabilidade pelas despesas e fortaleça a previsibilidade do pacote de recursos e a transparência do orçamento. Os estudos na análise da despesa pública feitos por cada sector, cada ano, oferecem informação básica do sector para a preparação das linhas mestras do orçamento, bem como a informação necessária para preparar o Quadro de Despesas a Médio Prazo. Os objectivos principais do estudo sectorial abrangente da educação serão: Oferecer uma vista geral do desempenho do sector em termos de despesa, receitas, medidas de eficiência e procedimentos; Estabelecer se as despesas e necessidades estão em consonância com as prioridades declaradas do sector; Elaborar estratégias para melhorar a despesa do sector e o desempenho do orçamento; Analisar o progresso das recomendações do estudo anteriores sobre a Análise das Despesas Públicas no sector da educação As tarefas específicas da Análise das Despesas Públicas são: 26 Análise das despesas do sector Acompanhar e analisar as principais fontes de receita para o sector Oferecer uma visão geral do desempenho em termos de acesso, qualidade, equidade, eficiência e eficácia em relação à disponibilidade de recursos. UTILIDADE DA INFORMAÇÃO DA MONITORIA E AVALIAÇÃO Factores intra – Organizacionais que afectam a utilidade da informação da avaliação Nesta secção, são discutidas a análise das características organizacionais – incluindo a liderança, a cultura, a resistência à mudança, os níveis de motivação do pessoal e o sentido de compreensão da eficácia organizacional, uma vez que podem ter efeito na propensão para utilizar a informação armazenada a partir do processo de monitoria e avaliação. 1. Avaliação e estabelecimento de objectivos É preciso estabelecer metas claras e objectivas para a avaliação e conhecidas por todos os envolvidos no exercício de avaliação se se quiser conseguir um acordo. Ao estabelecer uma meta é preciso declarar explicitamente que objectivo se pretende alcançar; um plano de como o objectivo será cumprido; bem como o procedimento da avaliação para indicação se o objectivo foi realizado. Pode-se argumentar que a falta de uma planificação meticulosa para o processo de avaliação pode ser uma das causas para a implementação não eficaz dos relatórios e recomendações da avaliação. Por exemplo, o Ministério pode ter professores não qualificados que podem afectar adversamente a qualidade da educação. Pode-se conseguir uma decisão de lhes permitir obter formação através de uma actualização. Aqui, um certo número de actividades tornam-se imperiosas: Estabelecer o tempo limite para o programa de actualização; Determinar o método de actualização é imediatamenteútil; Assegurar o necessário apoio financeiro para a intervenção; Decidir quantos deles frequentarão cursos compactos durante as férias; 27 Quantos podiam ser actualizados através de programas de ensino à distância; Decidir sobre como substituir os professores em formação etc. Esta é apenas a lista indicativa das tarefas que precisam de ser consideradas ao estabelecer as metas para a avaliação de uma dada intervenção política. Cada intervenção levanta uma geração de questões com linhas semelhantes de forma a assegurar que a intervenção permaneça em decurso constante. A etapa seguinte do processo seria decidir sobre os critérios para a avaliação se os objectivos da intervenção foram atingidos – e assegurar que os resultados da avaliação sejam utilizados para planificar o próximo desenvolvimento. 2. Eficácia Educacional Importante para a monitoria e avaliação da implementação da política da educação é a noção de eficácia. Eficácia (que) indica em que medida as metas estabelecidas ou os objectivos de uma política ou programas estão a ser cumpridos. Portanto, ao considerar o melhoramento seja em que aspecto for da educação onde é necessária uma intervenção, é importante, que seja estabelecida uma compreensão comum do que é eficácia em termos educacionais em todos os que estão ligados à implementação da inovação. 28 Indicadores do Desempenho Interno Duração média do estudo Taxas de sucesso (taxas de graduação) Distribuição dos alunos Parcela de candidatos no mercado Desempenho dos professores Aprendizagem e resultados dos alunos. Indicadores operacionais Tamanho das turmas Ratios pessoal/alunos Carga horária dos alunos Utilização dos recursos Uso do espaço Recursos e equipamentos Indicadores do Desempenho Externo Aceitação dos graduados Destino dos graduados Feedback da comunidade/empregado Prémios e condecorações Indicadores da produtividade do pessoal Publicações Contratos - Convites - Citações e qualificações - Participação em corpos profissionais 29 Ao discutir eficácia, é provável que nos deparemos com um certo número de conceitos relacionados, tais como eficiência, melhoramento, desenvolvimento da qualidade, avaliação, responsabilidade e aptidão. Ao determinar a eficácia, pode-se usar medições, mas também é necessária a ponderação. As determinantes da eficácia são vastas, multifacetadas e complexas. O director da escola pode ver a eficácia em termos do desempenho dos alunos nos exames externos; os pais podem senti-la pela forma como os alunos se portam em casa; a sociedade pode senti-la em termos de bom comportamento moral das crianças. Pode ser utilizada uma combinação de indicadores que exprimam a eficácia. A este respeito, podem-se discernir quatro categorias de indicadores: Indicadores de desempenho internos; Indicadores operacionais; Indicadores de desempenho internos; Indicadores da produtividade do pessoal 3. Ensino e Aprendizagem Eficazes O objectivo de qualquer intervenção política na educação deve ser, por fim, ligado à melhoria do ensino e da aprendizagem. O ideal, portanto, de qualquer política educacional eficaz deveria penetrar na sala de aulas para promover a aprendizagem dos alunos fazendo-os: estar motivados para aprender compreender o propósito e a relevância do seu trabalho estabelecer tarefas de uma forma correcta utilizar os recursos disponíveis e saber onde e quando pedir ajuda mostrar consideração entre si e para com o professor despertar para o desafio do trabalho e mostrar empenho. As políticas eficazes deveriam também ajudar os alunos a conseguir experiência em primeira mão e observar, calcular, registrar, medir, colctar, classificar e interpretar a informação, bem como formular e testar hipóteses. Outras políticas precisam de permitir que os aprendizes: adquiram informação chave e sejam capazes de relembrá-la em novos contextos; adquirir habilidades de estudo e usar bem os recursos; rever e praticar para melhorar o desempenho; receber feedback sobre o seu progresso por parte dos professores e outros alunos; 30 apresentar bom trabalho para os outros verem ou ouvirem; assumir tarefas por no seu próprio tempo e for a da escola. Devia-se também permitir aos aprendizes trabalhar cooperativamente em grupos; ler, escrever, ouvir e discutir numa variedade de contextos bem como experimentar aspectos criativos de assuntos individuais. É preciso também sublinhar que a aprendizagem e o ensino eficazes, requer bons professores para conduzir o processo. As políticas educacionais eficazes devem, portanto, desenvolver os requisitos de qualidade nos professores para o ensino eficaz. Tais qualidades, como a capacidade de criar uma atmosfera de propósitos e mostrar um interesse genuíno nos aprendizes são vistas como necessários para os bons professores. Também, os bons professores têm de ser pacientes, firmes, entusiásticos, tolerantes e ser capazes de comunicar com eficácia. Têm que ser fisica e emocionalmente estáveis, controlar o nervosismo, querer a glória e ser honestos. As políticas e intervenções educacionais nunca devem perder de vista a necessidade de melhorar as actividades que têm lugar na sala de aulas – para melhorar os processos de ensino e aprendizagem. Na monitoria e avaliação das políticas educacionais nacionais deve-se ter constantemente em mente como tais políticas são traduzíveis à operacionalização na escola e na sala de aulas. Um aspecto importante das operações na escola é a obtenção da cultura ou do ethos nessas escolas. 4.Ethos Organizacional/Escolar As políticas educacionais são afectadas e mesmo modificadas pelo ethos organizacional/escolar. Assim, de forma a obter informação da avaliação válida e correcta, é importante registrar a cultura organizacional que opera em qualquer lugar educacional. Os aspectos de cultura/ethos da organização que podem mediar a implementação da política educacional incluem: consensos do pessoal sobre a 31 missão da organização; um sentido de pertença; expectativas de progresso académico e comportamento e sentido de identidade e orgulho na organização. Outros aspectos incluem o bem-estar geral dos alunos e empenho e moral do professor; grau apropriado quer de colaboração e competição, bem como o modo como a gestão apoia o pessoal. As maneiras como as políticas são implementadas variam de escola para escola, principalmente por causa do ambiente micro-organizacional prevalecente em cada instituição. Não é invulgar que os avaliadores encontrem políticas na escola que diferem dos estatutos/governo. O papel dos dirigentes da escola em mediar entre “a maneira das escolas fazerem as coisas” e as políticas educacionais direccionadas de fora – p. e., os Ministérios lidando com as direcções distritais ou forças globais é muito importante. 5.Liderança Educacional A avaliação da eficácia da implementação da política e especialmente como ela afecta os processos nas escolas e o papel dos dirigentes das escolas deve ser repensados. Isto é especialmente mais urgente agora que muitos países africanos estão a atravessar reformas enormes com o propósito de tornar as escolas mais autónomas e auto geridas. A consideração da necessidade de maior descentralização do sistema educacional engloba maior atribuição de poderes e autoridade para o nível da escola o que envolve maior responsabilidade e transparência da implementação da política para os dirigentes da escola. Se a liderança da escola é considerada como o locus da actividade que o líder realiza para levar as outras pessoas a realizarem acções, então um certo número de atributos de liderança devem ser considerados ao monitorar a eficácia: Actividade Discutir criticamentecomo o ethos/cultura podem afectar a implementação da política num nível organizacional. Dê exemplos concretos. Dê exemplos concretos da sua prática de trabalho. 32 Tomada de decisão – a capacidade do dirigente da escola de chegar a conclusões e ponderações sobre questões importantes. Comunicar – a capacidade de encorajar e inspirar as pessoas a tomar as decisões necessárias, especialmente quando isso envolve novas áreas de engajamento. Seleccionar pessoas – a capacidade de arranjar as pessoas certas para realizaras tarefas, incluindo a delegação de responsabilidade e autoridade próprias e ajustadas. Desenvolver as pessoas – a vontade de ajudar as pessoas a evoluírem profissionalmente, melhorar as suas habilidades, conhecimentos e competências. Ao avaliar a política, contudo, os pontos fortes e fracos da liderança têm de ser tidos em conta, porque, tal como a cultura da escola, podem afectar o desenvolvimento de toda a escola. Os dirigentes da escola podem clarificar ou confundir objectivos políticos, podem estimular ou inibir o desempenho óptimo e podem encorajar ou retardar a utilização das melhores capacidades, habilidades e interesses dos subordinados. Os dirigentes das escolas podem oferecer ou sonegar incentivos para o crescimento e desenvolvimento, bem como melhorar ou piorar a satisfação no trabalho e moral, essenciais para a implementação eficaz da política. A este respeito, a avaliação deveria determinar em que medida a liderança da escola é capaz de: Melhorar os recursos da escola, ser uma impulsionadora e incitar o pessoal para implementação da política. Promover a satisfação dos subordinados, as necessidades, criar grupos de trabalho coesos e empenhados e constituir um exemplo para o pessoal. Agir como especialista de recurso, agente de mudança e uma ligação entre o pessoal, alunos e comunidade em geral. 33 6.Tipos de Resistência à mudança Na maior parte das instituições de educação os líderes provavelmente encontram resistência à mudança que pode afectar os modos e a extensão em que a informação da monitoria e avaliação pode ser utilizada para melhorar a implementação. Alguns tipos de resistência (reveja a última unidade para mais informação) incluem: Resistência agressiva – que é a mais fácil de identificar porque é aberta e não é preciso fazer nenhum esforço para identificar a recusa à mudança. Resistência agressiva passiva – aqui, o pessoal aparenta querer a mudança mas realmente a mudança nunca se materializa. Prometem fazer qualquer coisa logo que tenham o projecto esboçado ou tempo na sua agenda. Infelizmente o projecto nunca chega ao fim e nunca há tempo na sua agenda. Resistência passiva – aqui parece haver uma aceitação honesta da mudança ou da inovação mas não a acção não acontece. O pessoal pode com toda a vontade discutir as mudanças e parecer entusiasmados com ela mas nunca a leva a cabo. Porque é subtil e aparenta estar de acordo, esta é uma das mais difíceis formas de detectar a resistência. Algumas formas comuns de reacções à mudança que provavelmente afectam a utilidade da informação da avaliação incluem queixas de falta de tempo para mudar as rotinas e práticas conhecidas, falta de recursos suficientes para implementar as mudanças necessárias, a necessidade de lidar com a realidade uma vez que as mudanças parecem não ser suficientemente práticas, ter Actividade Discuta consigo próprio e dê exemplos dos diferentes tipos de resistência à mudança e mostre como elas são pertinentes para a monitorização e avaliação. Exercício Conceba uma lista de actividades (não menos que dez) que um líder da educação pode realizar como agente de mudança. 34 tentado algo semelhante antes que não funcionou e não querer experimentar com outra moda outra vez. Outras podem ser: não ser capazes de ensinar a macacos velhos novos truques, ter gerido até aqui sem inovação e sem ninguém se queixar, pode funcionar em outros lugares mas não nesta organização ou vamos esperar até que as coisas estejam estáveis e mais estabelecidas. Hoje em dia também há a tendência para formar um comité, grupo de trabalho ou uma comissão, para olhar por isso e fazer recomendações apropriadas – que raramente alguém quer ouvir falar delas. Actividade: Estritamente falando, a resistência à mudança pode ser decomposta em três domínios: recursos, comportamento e atitudes. Utilizando alguns dos exemplos de reacções à mudança acima citados e alguns da sua própria experiência, discuta esta observação. 35 USO DOS INDICADORES NO SECTOR DA EDUCAÇÃO Indicadores são “factos” que podemos observar e que nos “indicam” se estamos no caminho certo ou não. Eles nos ajudam a “medir” e “julgar” uma certa situação. Qualidade dos indicadores Estabelecidos antes da acção começar devem ser simples sempre que possível sem custos extras. Chamar a atenção a tempo de mudar de estratégia para alcançar o objectivo. Um indicador é somente um indicador. Devemos utilizar séries de pelo menos 3 anos para saber as tendências de uma situação Relembrando os objectivos da Educação: Maior acesso e retenção no sistema de ensino, reduzindo as disparidades; Maior qualidade e relevância de uma formação integral do cidadão; Maior capacidade das instituições do sector Indicadores apóiam a monitoria Indicadores ajudam a observar regularmente a situação para implementar uma acção de correcção o mais cedo possível. Indicadores apóiam a avaliação Indicadores visualizam a tendência de uma situação macro e apóia o processo mais estratégico de planificação semestral ou anual. Objectivo 1 Maior acesso e retenção Palavras-chave: acesso, retenção e disparidades Ampliar as oportunidades para a entrada no sistema de ensino; Criar as condições para que os que entram no sistema permaneçam nele; Redução das disparidades entre raparigas e rapazes, entre os mais jovens e os mais velhos e entre as províncias, distritos, ZIPs e escolas. 36 Principais indicadores Crianças entram com a idade certa no sistema Taxa de escolarização aos 6 anos na 1a. Classe Principais indicadores Crianças estão com a idade certa no sistema Taxa líquida de escolarização no EPC Principais indicadores Desistência anual deve reduzir Repetição nos anos de exames deve reduzir Alunos com 6 anos na 1 a . Classe População com 6 anos de idade Taxa (percentagem ) de escolarização aos 6 anos na 1ª classe 100 Alunos com 6 a 12 anos na 7ª classe População com 6 a 12 anos de idade 100 Taxa Liquida da Escolarização EPC Alunos que abandoram no ano.n Alunos que entraram no ano.n 100 Taxa de Desistência Anual Alunos repetentes no ano.n+1 Alunos matriculados no ano.n 100 Taxa de Repetição Anual 37 Objectivo 2 Maior qualidade e relevância da formação Palavras-chave: qualidade e relevância Educação leva às habilidades esperadas; Relevância do ensino para a formação integral e para a vida económica; A qualidade é muito mais difícil de observar do que as quantidades; A supervisão integrada vai revelar os principais aspectos qualitativos Principais indicadores Taxa de conclusão Taxa de transição Principais indicadores Rácio aluno por professor Rácio > 40: reduz a qualidade das aulas se o professor não tiver materiais didácticos e não conhecer técnicas específicas; Rácio < 40: desperdiça recursos no sistema: atrair mais alunos para aquela escola ou transferir professores para zonas onde o rácio é muito alto. Alunos que concluíram nível População com idade certa para concluiraquele nivel 100 Taxa Bruta de Conclusão Alunos matriculados no ano.n Alunos que concluíram a classe anterior no ano.n-1 100 Taxa de Transição Alunos matriculados na classe.x Professores que leccionam no ano.n e na classe.x Rácio aluno-professor na classe.x 38 Objectivo 3 Maior capacidade das instituições do sector Cada instituição deve cumprir o seu papel da melhor maneira possível e prestar um bom serviço de Educação à população. Funções dos SDEJT (Decreto 11/2005 Implementar localmente as políticas nacionais; Controlar as actividades das instituições do sector; Apoiar as instituições em aspectos técnicos e metodológicos; Promover a participação das organizações e associações; Coordenar as acções de levantamentos locais da situação. Principais indicadores Despesa por aluno equitativa entre escolas Execução da dotação orçamental do distrito Principais indicadores Pessoal com formação para a sua atribuição (taxa de profissionalização) Total das despesas com educação no Distrito Número de aluno no sistema do Distrito Despesa por aluno Dotação de fundos para os SDEJT Execução dos fundos nos SDEJT 100 Taxa da Execução Orçamental Número de funcionários na Funcao.x Número de funcionários com formação ou capacitação específica para realização da função.x 100 Taxa de Profissionalização do Pessoal 39 A contribuição do financiamento da educação, por um lado, reside no facto de se poder recrutar mais docentes com formação psico-pedagogica, acção fundamental para a redução do rácio aluno/professor e contribuir para a melhoria das condições de ensino, pois o professor vai melhorar a sua interacao com os diferentes alunos. Por outro lado, o financiamento da educação é uma forca que poderá melhorar as condições infraestruturais, através da construção de novas salas, acção importante para redução do rácio aluno/turma. A melhoria destes aspectos condiciona, positivamente os resultados de processo de ensino e aprendizagem. Um aspecto importante a salientar nos indicadres, é de que a repetência e o abandono escolar influenciam o grau de fiabilidade dos custos, por um lado, os custos não inclem os custos adicionais dos alunos repetentes. Por outro lado, os custos unitários incluem recursos que se destinam aos alunos que abandonaram a escola, o que contribui pa influenciar o grau de fiabilidade dos custos unitários reais. Os custos unitários contem uma margem de erro devido à não inclusão dos custos adicionais dos repetentes e pelo facto de incluírem recursos cujos destinatários abandonaram o ensino. Todavia, a mobilização dos recursos necessários para o funcionamento do processo de ensino e aprendizagem depende do nível de financiamento ao sistema educativo. Assim, níveis adequados deste financiamento podem permitir a melhoria da qualidade de formação psico-pedagogica de professores, aquisição dos materiais de ensino quer para os alunos quer para os professores e melhorar os incentivos aos docentes, condições, entre outras, importantes para a melhoria dos resultados escolares dos alunos e consequente redução das taxas de repetência. 40 PRINCIPAIS TIPOS DE INFORMAÇÃO PRODUZIDOS Os tipos de informação produzidos pelo exercício da monitoria e avaliação nas organizações educacionais precisam de ser claramente entendidos se tiverem que ser utilizados na implementação coerente da política e práticas da educação. É importante, portanto, que os tipos de informação produzidos e que os objectivos e propósitos que essa informação possa servir sejam elaborados e interpretados por todas as partes envolvidas na monitoria e avaliação das políticas e práticas educacionais a todos os níveis da educação. A monitoria e avaliação pode produzir quatro principais tipos de informação cada um dos quais servindo diferentes objectivos: Indicadores de implementação do projecto; Indicadores de eficiência do projecto; Indicadores de eficácia do projecto; Informação para a planificação geral. Os indicadores para a implementação do projecto podem ser Selecção dos participantes Progresso da construção e implementação física Utilização da consolidação dos serviços do projecto e projectos subsequentes Desperdícios Manutenção Recuperação dos custos 1.Os indicadores da eficácia do projecto podem ser: Acessibilidade/disponibilidade; Impacto na população alva; Efeitos multiplicadores; Impacto nas políticas nacionais e sectoriais. 2.Os indicadores da eficiência do projecto podem ser: Desempenho das componentes individuais do projecto; 3.Eficiência geral em termos de: concepção; finanças; implementação; recuperação dos custos; Comparação com projectos alternativos em termos de: custos qualidade replicabilidade. A informação para a planificação geral pode ser 41 Características sócio económicas da população em geral condições de vida actuais e acesso aos serviços indicadores de desenvolvimento humano organização da comunidade. É importante observar que estes indicadores não são nem exaustivos nem necessariamente aplicáveis a todos os processos de implementação de políticas educacionais em todos os países. Mesmo dentro da região da SADC há possibilidades de variações de país para país. Eles servem de pontos de orientação para alguém calibrar uma política de educação particular a um dado nível e avaliar a sua eficácia. Assim, esperamos que uma discussão viva seja capaz de acompanhar estes indicadores avaliando a sua possível universalidade e aplicabilidade através das nações. PRINCIPAIS PARCEIROS E NECESSIDADES DE INFORMAÇÃOS As políticas educacionais constituem uma arena controversa, com muitos parceiros com vários interesses e necessidades. As notas abaixo procuram listar os parceiros e o tipo de necessidades que eles podem ter em relação aos dados da avaliação. Algumas necessidades podem sobrepor-se enquanto outras podem contradizer-se. O sucesso da avaliação e subsequente utilização dos dados da avaliação pode ser em grande medida o reflexo de como tais dados se harmonizam com as necessidades dos parceiros. 1.Organizações Internacionais A crescente participação no desenvolvimento e políticas educacionais nos países em desenvolvimento das agências doadoras promoveu a necessidade de responsabilidade para com essas organizações. As divisões de projecto das agências doadoras necessitam de informações periódicas sobre o progresso físico e financeiro tal como especificado nos acordos de crédito. Os programas ou as divisões políticas podem requerer dados sociais e económicos mais vastos para avaliar o impacto do projecto e ajudar na selecção de futuros projectos. Os doadores e fundações também financiam estudos mais 42 vastos para avaliar como os projectos afectam e são afectados pelas políticas nacionais e sectoriais. 2.Instituições Nacionais Para além das agências internacionais e de doadores, as políticas educacionais, tal como outras políticas, são sujeitas à responsabilidade perante agências dentro das fronteiras nacionais. Os ministérios do plano podem precisar de indicadores sumários sobre a implementação da política e como esta afecta outros projectos em termos do seu custo-eficácia e taxas de retorno. Os ministérios de finanças, monitoram os desempenhos financeiros de todos os projectos e programas. Embora a monitoria a este nível possa apenas limitar-se a auditorias padrão, por vezes podem ser empregues as técnicas de custo- eficácia. Em alguns países em desenvolvimento os ramos legislativos criaram as suas próprias agências de controlo – a Programme Evaluation Organization (PEO) na Índia e o Public Accounts Committee (PAC) na Tanzânia.Os ministérios da educação, coordenam e supervisam a implementação da política e preparam a informação requerida pela planificação central e outras agências financeiras. O tipo de informação da monitoria e avaliação requerida pelos ministérios pode ser desde tabelas de monitoria básica a projectos de pesquisa complexos 3.Pesquisa Comunitária As instituições de pesquisa e universidades podem acrescentar pressão aos seus colegas das unidades de avaliação no Ministério para conduzir estudos academicamente orientados mais sofisticados para colher informação que vai para além da simples necessidade para implementação de políticas eficazes. Podem mesmo servir para assegurar que a avaliação a avaliação prossiga uma inclinação ideológica particular. 43 4. Implementação Local e Agências de Coordenação As agências de implementação – p.e., escolas, precisam de informação a curto e médio prazo para monitorar o progresso e detectar e ajudar a resolver problemas quando eles se levantam. Estas agências também produzem dados relevantes para as agências nacionais. Várias divisões dentro das agências de implementação possuem necessidades diferentes de informação e diferentes expectativas do processo de monitoria. 5.Beneficiários da Política Muitas políticas envolvem muito pouca consulta com os beneficiários na concepção ou análise dos estudos de monitoria. Há contudo uma consciência crescente sobre o importante papel que os beneficiários deveriam desempenhar em todos os estágios da avaliação Tais parceiros acima listados têm necessidade de diferente tipo de informação que os implementadores a diversos níveis educacionais precisam de ser capazes de fornecer. Falhar na provisão de informação que é apropriada às necessidades de cada parceiro no tempo relevante e de modo que se ajuste ao parceiro, pode conduzir à inevitável não implementação da inovação ou mudança pretendida. Actividade: Olhe para um Ministério da Educação de um dado país e considere as seguintes questões: Quer a monitoria quer a avaliação deveriam ser conduzidas por uma única unidade ou deveriam ser conduzidas separadamente? Deveria ser criada uma unidade especial de monitoria e avaliação ou elas deveriam ser conduzidas por um departamento já existente? A quem deveriam prestar contas, a unidade monitoria e avaliação? A monitoria deveria ser conduzida pela instituição ou deveria ser sub- contratada? Deveriam ser utilizados consultores externos e se sim com qual capacidade? A nível da escola como podem ser instituídos mecanismos para auto monitoria e avaliação? 44 Tais questões para reflexão pretendem analisar como a informação da monitoria e avaliação pode ser utilizada para melhorar a implementação da política da educação e fortalecer as melhores práticas, não só a nivel dos ministérios, mas também através do sistema educacional em geral. Na próxima secção continuamos com questões para reflexão, especialmente porque elas reflectem práticas dentro dos ministérios da educação. Lembre-se que seja o que acontecer a nível Ministerial tem efeitos de ricochete nos níveis mais baixos e especialmente a nível das escolas. QUESTÕES CHAVE A CONSIDERAR AO CONCEBER UM SISTEMA DE MONITORIA E AVALIAÇÃO DO MINISTÉRIO 1.Onde deveria localizar-se a unidade central de monitoria e avaliação? 2.Em que medida a monitoria e avaliação deveria ser centralizada e descentralizada? 3.Quão intimamente está a avaliação integrada com as tradicionais funções da auditoria? 4.Como informação da monitoria e a avaliação pode ser utilizada na selecção e concepção de futuros projectos? 5.Quem são os principais parceiros a nível internacional, nacional, regional, a nível de projecto e local? 6.Quais são as necessidades de informação para os parceiros e como é que essa informação pode ser tornada disponível para eles? 7.Quem tem acesso às descobertas da avaliação? 8.Como é que a responsabilidade pela colecta, análise e uso da informação da monitoria e avaliação deveria ser dividida entre a central, a linha hierárquica e as agências de execução do projecto? 9.As necessidades de informação dos doadores podem ser padronizadas para permitir o desenvolvimento uniforme dos procedimentos de monitoria e avaliação? 45 10.Como é que a necessidade de processo rápido e consolidação da informação sobre grandes projectos pode ser combinada com uma compreensão profunda dos projectos? 11.Como se pode desenvolver o estabelecimento apropriado de indicadores de monitoria e avaliação? 12.Como é que a informação da monitoria e avaliação pode ser eficazmente difundida e integrada nos procedimentos de planificação e gestão a nível nacional e do projecto. 13.Como pode ser controlada a qualidade da informação da monitoria e avaliação. 14.Como podem ser usados eficazmente os benefícios das novas tecnologias, ICTS, EMIS para a monitoria e avaliação? 46 Resumo Discutimos nesta unidade as precauções na propensão dos ministérios da educação e outras organizações educacionais em utilizar informação disponibilizada geralmente através de rotinas exercícios de monitoria e avaliação bem como as especificamente encomendadas para serem realizadas pela função de auditoria. A discussão partiu do facto de que a informação não parece ter feedback para os sistemas educacionais de forma a melhorar os processos de ensino e de aprendizagem. Espera-se que o percurso através desta unidade lhe permita reexaminar as suas próprias práticas institucionais de forma a encontrar vias para aplicar mais esta informação nas suas tomadas de decisão ou aconselhar os outros como melhorar as práticas educacionais utilizando dados que estão em geral disponíveis. Também se espera que seja capaz de reflectir na propensão das pessoas se refrearem em adaptar mudanças nos seus locais de trabalho, preferindo em vez disso funcionar como vinham fazendo sempre de formas mais conhecidas e confortáveis para elas. Neste ponto está claro que a monitoria e avaliação são essenciais para sistemas de educação eficazes a todos os níveis e que eles envolvem muitos agentes e elementos e especialmente, todo o pessoal a diferentes níveis. Cada instituição educacional precisa de ter mecanismos para assegurar a monitoria e avaliação através de todos os aspectos da vida institucional. Os indivíduos deveriam ser encorajados a permitir monitorar e avaliar as suas próprias práticas, tomando em conta os pontos de vista dos seus próprios pares e subordinados sempre que possível. Todos os que estão engajados no processo educativo, seja a que nível, deveriam procurar melhorar a eficácia do processo de escolarização para benefício de todos – alunos, pessoal, pais, comunidade, governo e futuros empregadores. 47 O PAPEL DAS INSTITUIÇÕES DE GARANTIA DA QUALIDADE NA MONITORIA E AVALIAÇÃO DA IMPLEMENTAÇÃO DA POLÍTICA INSTITUIÇÕES DE GARANTIA DA QUALIDADE Como foi dito nos parágrafos precedentes, as principais instituições de garantia da qualidade são a inspecção, e instituições de certificação e exame os conselhos de escola, os senados da Universidade, as instituições com base na comunidade e as instituições de desenvolvimento curricular. Abaixo vamos discutir a estrutura e as funções de cada uma das instituições 1.Melhoria através da inspecção Observações gerais Os inspectores normalmente procuram identificar os pontos fortes e fracos das escolas no que respeita aos padrões de cumprimento, qualidade da educação oferecida, a eficiência com que os recursos são geridos e o desenvolvimento espiritual, moral, social e cultural dos alunos. Após a inspecção é feito um julgamento sobre cada escola, através do qual há escolas que são classificadas de boas e outras menos boas; umas escolas são julgadas eficazes e outras
Compartilhar