Baixe o app para aproveitar ainda mais
Prévia do material em texto
1 PROGRAMA AVANÇADO EM POLÍTICA, PLANIFICAÇÃO E GESTÃO DA EDUCAÇÃO MÓDULO 5: MONITORIZAÇÃO E AVALIAÇÃO DA POLÍTICA, PLANOS E PROGRAMAS EDUCACIONAIS 2 Produced by The Department of Educational Planning and Administration (EPA), Faculty of Education, University of Dar es Salaam Tanzânia para o projecto EPSI da SADC Autores Este módulo foi elaborado e escrito por Herme J. Mosha (Professor in Educational Planning and Administration, Programme Design and Evaluation) Justinian C. Galabawa (Professor in Economics of Education and Financing) Ndibalema Alphonce (Lecturer in Educational Policy Studies, Leadership and Management.) Hillary Dachi (Lecturer in Educational finance and Economics of Education) Willy Komba (Senior Lecturer in Educational Social Science Education, Civics, and Curriculum Design). Este módulo foi corrigido e distribuído pela Education Foundation Trust (Sr Mario Pillay) que tinha a responsabilidade de adaptar o módulo para entregar à the University of the Witwatersrand. © 2003. SADC and the University of the Witwatersrand (School of Education). Todos os direitos reservados Nenhuma parte desta publicação pode ser reproduzida ou transmitida por qualquer forma, electrónica ou mecânica, incluindo fotocópia, gravação ou qualquer sistema de recolha ou armazenamento de informação sem permissão por escrito da SADC e da Wits School of Education. Contudo só será dada permissão para a reprodução de excertos com fins não lucrativos, desde que os autores tenham conhecimento e a SADC e a Wits School of Education sejam citados como fonte. Poderá também ser permitida a publicação in toto para fins não lucrativos, desde que os autores tenham conhecimento, que a SADC e a Wits School of Education sejam citados como fonte e este anúncio de direitos reservados seja reproduzido na íntegra. Agradecimentos Os autores deste módulo gostariam de agradecer o apoio material, moral e profissional dos colegas e da gestão da Universidade de Dar es Salam, ao pessoal do projecto EPSI da SADC, ao Ministro Tanzaniano da Educação e aos colegas da Universidade Aberta da Tanzania (OUT). Também desejamos 3 agradecer a contribuição dos nossos colegas da the University of Witwatersrand (SA), da Univesidade Pedagógica (Moçambique), as well as Dr. Sukati and Mr. Olumbe pelos seus comentários nos primeiros drafts do módulo 4 Lista de Abreviaturas CBA Cost Benefit Analysis CBR Cost Benefit Ratio CE Cost Effectiveness CEA Cost Effectiveness Analysis CERs Cost Effectiveness Ratios CCER Complex Cost Effectiveness Ratio COP Cut Off Point ESDP Education Sector Development Programme ESDS Education Sector Development Strategy EPSI Educational Policy Support Initiatives GNP Gross national Product MTEF Medium Term Expenditure Framework NPV Net Present Value NECTA National Examination Council of Tanzania OECD Organization for Economic Development PAC Public Accounts Committee PEAP Poverty Eradication Action Plan PEO Programme Evaluation Organization PER Public Expenditure Review PRSP Poverty Reduction Strategy Paper PTCA Parent Teacher Community Association PVC Present Values of Costs SADC Southern African Development Community SCER Simple Cost Effectiveness Ratios SIP Sector Investment Programmes SMART Specific, Measurable, Attainable, Realistic and Time Bound SOL Standards of Learning SWAP Sector Wide Approaches SWOT Strengths, Weaknesses, Opportunities and Threats T&L Teaching and Learning UPC Universal Primary Completion 5 Índice Introdução e Vista Geral ............................................................... 10 Programa de Política, Planificação e Gestão da Educação da SADC .............................................................................................. 10 Avaliação deste módulo .................................................................................. 14 Tópico para o Trabalho Equivalente ao Exame Individual Pós Contacto ........ 15 1.1.1 Objectivos da Unidade ...................................................................... 16 EXPLICAÇÃO DE CONCEITOS CHAVE ........................................................ 17 1.0.1 Monitoria ........................................................................................... 17 1.0.2 Avaliação .......................................................................................... 19 1.0.3 Indicadores ....................................................................................... 21 1.0.4 Garantia de Qualidade ...................................................................... 24 1.1 PROPÓSITO DA AVALIAÇÃO ................................................................. 25 1.1.1 Mérito ou Importância ....................................................................... 25 1.1.2 Programa e o Melhoramento Organizacional .................................... 26 1.1.3 Supervisão e Concordância .............................................................. 26 1.1.4 Desenvolvimento do Conhecimento ................................................. 27 1.1.5 Avaliação cumulativa ........................................................................ 27 1.2 PARADIGMAS PREDOMINANTES NA MONITORIZAÇÃO E AVALIAÇÃO 28 1.2.1 O Paradigma Neo-Clássico ............................................................... 28 1.2.2 O Paradigma da Dependência .......................................................... 29 1.2.3 O Paradigma Ecléctico ...................................................................... 29 1.3 ENFOQUE DA AVALIAÇÃO .................................................................... 30 1.3.1 Visão, Política e Planos .................................................................... 30 1.3.2 Processo da Identificação das Necessidades e declaração do Problema ..................................................................................................... 31 1.3.3 Selecção das necessidades .............................................................. 31 1.3.4 Metas e Objectivos............................................................................ 31 1.3.5 Seleccionar Alternativas e Escolher Estratégias ............................... 31 1.3.6 Nível da Concepção .......................................................................... 32 1.3.7 Mobilização, Procurement, Pagamento, Utilização e Controlo dos Recursos...................................................................................................... 32 1.3.8 Organizar e Coordenar a Implementação ......................................... 32 1.3.9 Gerir a Implementação ...................................................................... 32 1.3.10 Gerir a Monitoria e Avaliação ............................................................ 33 1.3.11 Produto, Output e Resultado ............................................................. 33 1.3.12 Sustentabilidade ............................................................................... 34 1.3.13 Papel da Gestão de Sistemas de Informação ................................... 34 6 1.4 TIPOS DE SISTEMAS DE MONITORIA E AVALIAÇÃO ......................... 35 1.4.1 Sistemas de Monitoria ....................................................................... 35 1.4.2 Tipos de Sistemas de Avaliação ....................................................... 35 1.6 REFERÊNCIAS ........................................................................................ 37 UNIDADE 2: TÉCNICAS SELECCIONADAS: ANÁLISE DA EDUCAÇÃO QUANTO AOS CUSTOS-BENEFÍCIOS/EFICÁCIA .. 39 2.1. Objectivos: ............................................................................................... 39 2.2. Introdução ................................................................................................ 39 2.3. A Análise dos Custose Benefícios da Educação (CBA) .......................... 40 2.3.1. O que é a CBA? ................................................................................ 40 2.3.2. Objectivo do CBA .............................................................................. 40 2.3.3. O Objectivo Principal da CBA ........................................................... 41 2.3.4. As principais questões da CBA concentram-se em ou são as seguintes: .................................................................................................... 41 2.4. Aplicação da Análise dos Benefícios de Custos ...................................... 41 2.4.1. O Propósito da CBA na Monitoria e Avaliação da Educação ............ 42 2.4.2. Principais conceitos na Análise dos Custos e Benefícios ................. 42 2.4.3. Medição dos Custos.......................................................................... 43 2.4.4. O Problema com a CBA .................................................................... 44 Cálculo da Taxa de Custo - Benefício (CBR - Cost-Benefit Ratio), Valores Presentes Líquidos (NPVs - Net Present Values) e Taxa Interna de Retorno d (IRR - Internal Rate of Returns) ................................................................ 45 Etapa (6): Calcule o CBR como..................................................... 47 Etapa (7): Calcule o I.R.R. como ..................................................................... 48 De maneira mais formal assumimos que ..................................................... 48 Em que r: taxa interna de retorno ................................................................ 49 Objecções teóricas à CBA ........................................................................... 51 Pontos fortes da Análise dos Custos e Benefícios ...................................... 51 Análise da Eficácia dos Custos (CEA - Cost Effectiveness Analysis) .......... 52 Análise do Custo – Eficácia (CEA) .............................................................. 53 2.5. REFERÊNCIAS ........................................................................................ 56 2.6. READINGS .............................................................................................. 56 Blaug, M. (1961) The Rates of Return on Investment ..................................... 56 UNIDADE 2: TÉCNICAS SELECCIONADAS: ANÁLISE DA EDUCAÇÃO QUANTO AOS CUSTOS-BENEFÍCIOS/EFICÁCIA .. 57 2.7. Objectivos: ............................................................................................... 57 2.8. Introdução ................................................................................................ 57 2.9. A Análise dos Custos e Benefícios da Educação (CBA) .......................... 58 2.9.1. O que é a CBA? ................................................................................ 58 7 2.9.2. Objectivo do CBA .............................................................................. 58 2.9.3. O Objectivo Principal da CBA ........................................................... 59 2.9.4. As principais questões da CBA concentram-se em ou são as seguintes: .................................................................................................... 59 2.10. Aplicação da Análise dos Benefícios de Custos ................................... 59 2.10.1. O Propósito da CBA na Monitoria e Avaliação da Educação ........ 59 2.10.2. Principais conceitos na Análise dos Custos e Benefícios .............. 60 2.10.3. Medição dos Custos ...................................................................... 61 2.10.4. O Problema com a CBA ................................................................ 62 Cálculo da Taxa de Custo - Benefício (CBR - Cost-Benefit Ratio), Valores Presentes Líquidos (NPVs - Net Present Values) e Taxa Interna de Retorno d (IRR - Internal Rate of Returns) ................................................................ 63 Etapa (6): Calcule o CBR como..................................................... 65 Etapa (7): Calcule o I.R.R. como ..................................................................... 66 De maneira mais formal assumimos que ..................................................... 66 Em que r: taxa interna de retorno ................................................................ 67 Objecções teóricas à CBA ........................................................................... 69 Pontos fortes da Análise dos Custos e Benefícios ...................................... 69 Análise da Eficácia dos Custos (CEA - Cost Effectiveness Analysis) .......... 70 Análise do Custo – Eficácia (CEA) .............................................................. 71 2.11. REFERÊNCIAS .................................................................................... 74 2.12. READINGS ........................................................................................... 74 Blaug, M. (1961) The Rates of Return on Investment ..................................... 74 UNIDADE 3: . SISTEMAS DE MONITORIA E AVALIAÇÃO PARA A ESTRATÉGIA DE DESENVOLVIMENTO DO SECTOR DE EDUCAÇÃO ................................................................................... 75 3.1. Objectivos: ............................................................................................... 75 3.2. Introdução ................................................................................................ 75 3.3. Sistema de Monitoria e Avaliação para a EDSE ...................................... 76 3.3.1. Fontes de informação ....................................................................... 76 3.3.2. Dados sobre as Capacidades Humanas ........................................... 77 3.3.3. Estabilidade e Tendências Macro Económicas ................................. 77 3.3.4. Boa governação ................................................................................ 77 3.4. Quadro Institucional para Monitoria e Avaliação ...................................... 78 3.4.1. Arranjos Institucionais ....................................................................... 78 3.4.2. Ambiente institucional ....................................................................... 78 3.4.3. Armazenamento dos dados .............................................................. 79 3.4.4. Análises da Despesa Pública ............................................................ 79 Especificamente ............................................................................ 80 3.5. Avaliação do Progresso das Necessidades do Sector ............................. 81 8 3.6. Estratégias para Melhorar o Desempenho da Orçamentação e Despesas do Sector ......................................................................................................... 82 3.7. Abordagem Sectorial Integrada à Monitoria e Avaliação ......................... 82 3.8. Quadro de Despesas a Médio Prazo ....................................................... 83 UNIDADE 4: ....... UTILIDADE DA INFORMAÇÃO DA MONITORIA E AVALIAÇÃO ................................................................................... 84 4.1 Introdução ................................................................................................. 84 4.2 Objectivos.................................................................................................. 84 4.3 Estratégias da Pré-avaliação..................................................................... 84 4.4 Factores intra – Organizacionais que afectam a utilidade da informação da avaliação ......................................................................................................... 85 4.4.1 Avaliação e estabelecimento de objectivos ........................................ 85 4.4.2 Questões para discussão ................................................................... 86 4.4.3 Eficácia Educacional ...........................................................................86 4.4.4 Ensino e Aprendizagem Eficazes ....................................................... 88 4.4.5 Ethos Organizacional/Escolar ............................................................. 89 4.4.5 Liderança Educacional........................................................................ 89 4.4.6 Tipos de Resistência à mudança ........................................................ 91 4.5 Principais tipos de informação produzidos ................................................ 92 4.6 Principais Parceiros e Necessidades de Informaçãos ............................... 93 4.6.1 Organizações Internacionais .............................................................. 93 4.6.2 Instituições Nacionais ......................................................................... 94 4.6.3 Pesquisa Comunitária ......................................................................... 94 4.6.4 Implementação Local e Agências de Coordenação ............................ 95 4.6.5 Beneficiários da Política...................................................................... 95 4.7 Questões chave a considerar ao conceber um sistema de Monitoria e Avaliação do Ministério ................................................................................... 96 4.8 Resumo e Conclusões .............................................................................. 96 4.9 Referências ............................................................................................... 97 UNIDADE 5: O PAPEL DAS INSTITUIÇÕES DE GARANTIA DA QUALIDADE NA MONITORIA E AVALIAÇÃO DA IMPLEMENTAÇÃO DA POLÍTICA ................................................. 98 5.1 Objectivos.................................................................................................. 98 5.2 Introdução ................................................................................................. 98 5.3 Instituições de Garantia da Qualidade ...................................................... 99 5.3.1 Melhoria através da inspecção ........................................................... 99 Funções da Inspecção ................................................................ 100 9 Estrutura da Inspecção ............................................................... 100 5.3.2 Instituições de Certificação e Exames .............................................. 101 5.3.3 Instituições de Certificação ............................................................... 103 5.3.4 Instituições de governação ............................................................... 104 5.3.5 Instituições de desenvolvimento Curricular ....................................... 105 5.3.6 O papel das comunidades ................................................................ 106 5.4 Notas Conclusivas ................................................................................... 107 5.5 Referências ............................................................................................. 107 10 Introdução e Vista Gral A intervenção da Comunidade de Desenvolvimento da África Austral (SADC) na Gestão e Planificação da Politíca de Educação (EPSI - Educational Policy, Planning and Management) compreende um programa executivo desenhado para melhorar as habilidades de planificação, garantia de qualidade, gestão da informação, finanças e política do pessoal sénior do Departamento de Educação da SADC. Pretende expandir e aprofundar a política profissional e a competência de gestão dos agentes governamentais e não governamentais bem como desenvolver o conhecimento e qualificação em educação, formação e pesquisa em desenvolvimento, inquérito, política e prática. Conseguirá isso, transmitindo aos participantes habilidades conceptuais e teóricas de gestão e de política necessárias para planificar, gerir e implementar mandatos e requisitos políticos educacionais. Programa de Política, Planificação e Gestão da Educação da SADC Ao completar o curso, os participantes serão capazes de: • Identificar as principais questões e debates a partir da literatura sobre a matéria e desenvolver uma rica compreensão do aonhecimento, teoria e aplacação prátiCa na área. • Demonstrar uma compreensão sobre os conc%ipos e questões de política e planificação da eduaação compreendidos como um conjunto de sistemas reLacionados, não de forma iqolada, mas em relAção uns com os outros no seu contexto mais vasto. • Aplicar criti#a e criativame.te o conhecimelt/, a teoria e os princípios da literatura às áreas de prática relacionaDa. • Identificar e resodver pr/blemas bem #omo tmmar decisões com base no `en3amento critico e criativo. • Colectar, analisar, orcanizar e avaliar Criticamente a informação destinada a apoiar a `olética e a gestão eficazes da educação. • Demonstrar a capacidade de comenicar com efiaáci! utilizando habilidades de linguagem, meios visuaIs e de matemática baseada em computador nas apresentações orais e/ou escritas. 11 Sector Analysis, Policy Review afd Developmen4 Ks objectivoS deste módulo são: • decenvolver nos participantes uma nova abordagem crítica às análises, revisão e avaliaçãk das suas políticas e `o processo de desenvolvimento da política • desenvolver novas habilidades críticas e criativas para tornar os actores e analistas da estratégia política mais eficazes. • Proporcionar aos participantes a oportunidade de aplicar esse conhecimento e habilidades ao seu contexto político. O módulo abrangerá informação relativa: ao processo político da Educação, educação e economia . Opções políticas e compromissos (trade offs). Análise e pesquisa política para a planificação e desenvolvimento da política/programa. Estudo de casos de concepção e desenvolvimento de programa sobre HIV/SIDA e alívio à pobreza. Utilização e Gestão da Informação na Implementação e no Processo Político Os objectivos do módulo são: • introduzir os participantes na utilidade da informação para a implementação e processo político • proporcionar um conhecimento e habilidades profundos sobre a elaboração e aplicação de indicadores para a política, planificação, implementação e monitorização de sistemas de educação • transmitir habilidades e conhecimento sobre a utilização e apresentação de dados para diferentes níveis de tomada de decisão. O módulo compreende informação relativa: a Sistemas de Informação de Gestão da Educação. Identificação das necessidades de informação para a planificação e tomada de decisão. Transformar as necessidades de informação em indicadores. Indicadores básicos do desempenho do sistema de educação. Mapeamento escolar. Financiamento, orçamentação e Planificação da Implementação da Política Os objectivos deste módulo são: • Compreender conceitos básicos de finanças e de orçamento na medida em que eles estão relacionados com o desenvolvimento da educação. • Identificar e avaliar abordagens alternativas para a mobilização, orçamentação e administração dos recursos financeiros da educação. 12 • Pesquisar como fazer as melhores alocações dos escassos recursos da educação aos fins em competição. • Traçar estratégias educacionais compatíveis com as necessidades e recursos de países pertinentes. O módulo abrangerá informação relacionada com o financiamento, público e privado, da educação. A orçamentação corrente e de investimento. A análise do custo-benefício. O contexto macro-económico. Questões de equidade. Programas de ajustamento estrutural. Descentralização e gestão comunitária dos recursos da educação. Criação de um pool de recursos do governo e doadores. A confiança e responsabilidade. As contas, o relatório financeiro e a auditoria. As eficácias operacionais. O género e o HIV/SIDA. Administração da oferta, implementação da política e mudança Os objectivos deste módulo são: • apresentar aos participantes a chave dos debates, conceitos e sistemas envolvidosna estratégia de planificação, implementação e administração dos mandatos políticos e a prestação de serviço • aumentar as habilidades de administração da educação dos participantes de modo a promover uma administração mais eficaz, eficiente e estratégica dos recursos humanos, financeiros e materiais. Este módulo dará uma ampla visão geral do contexto da administração ao examinar as diferentes abordagens para a administração pública e a oferta de serviços e a sua alocação para uma mais larga compreensão africana e global, acerca da política de implementação e administração do sector público. A estratégia, a planificação e a liderança pesquisarão o papel da administração e da planificação estratégicas, na oferta de serviços e da implementação da política. A gestão da mudança examinará as opções institucionais para melhorar a oferta de serviços, através do desenho organizacional e do desenvolvimento. A administração dos recursos focará largamente a administração dos recursos humanos, como a informação e as finanças serão abrangidas noutras secções. Finalmente, a administração da qualidade examinará as diferentes opções para o desenho e para a administração de operações e cadeias de oferta com um foco específico na qualidade da planificação, da administração e da segurança. Monitorização e avaliação da implementação da política e da oferta de serviços Os objectivos deste módulo são: • rever a avaliação da política existente e dos mecanismos de responsabilidade e de monitorização. 13 • desenhar sistemas de indicadores de desempenho político. • Analisar as metas e estabelecimento das metas em relação à implementação da política, à avaliação e à monitorização O módulo examinará a avaliação da política e os mecanismos de responsabilidade e de monitorização. Desenhar os indicadores de desempenho político, as estruturas e os papéis da garantia da qualidade das. Os mecanismos de monitorização baseados no local. Os mecanismos reguladores e legislativos de monitorização da política de educação. As metas e o estabelecimento das metas para monitorar e avaliar. Os cenários de simulação e de implementação da política. 14 Avaliação deste módulo A estratégia de avaliação deste módulo está concebida para apoiar os participantes a adquirirem conhecimentos e habilidades especificados nos resultados deste módulo. Várias avaliações e actividades foram concebidas para ANTES, DURANTE e DEPOIS da sessão de contacto, com o objectivo de apoiar os participantes a estudar as várias partes do módulo e preparar o trabalho final. 1. PRÉ-CONTACTO: as actividades que se encontram no texto do módulo, estão concebidas para apoiar os participantes na leitura interactiva do módulo e as leituras recomendadas, bem como a aplicação do que aprenderão a uma análise do seu contexto. Para além destas actividades de auto aprendizagem / auto avaliação, existem TRÊS trabalhos pré-contacto cada uma com o valor de 25 pontos (veja no texto), mas o total destes três trabalhos será dividido por 3 uma vez que o trabalho pré-contacto contribui com 25% da classificação geral do módulo. Estes trabalhos estão concebidos para garantir que os participantes preparem eles próprios para beneficiar tanto quanto possível dos debates e actividades da sessão de contacto. 2. CONTACTO : As actividades e trabalhos serão dados aos participantes durante a semana de contacto. As actividades de contacto vão desde discussões em grupo a exercícios com computador exercícios/actividades. O trabalho de contacto, que também contribui com 25% da classificação geral, será uma consolidação das actividades e consiste num exercício escrito. 3. PÓS CONTACTO: Este exame individual equivalente é dado mais à frente e contribui com 50% da classificação geral. A data para a entrega será indicada durante a sessão de contacto . O trabalho será avaliado de acordo com o modo como ele reflecte a sua compreensão dos diferentes aspectos deste módulo, incluindo, conceitos básicos, foco de avaliação e monitorização, processos, técnicas, sistemas, bem como a utilização dos dados e o papel das instituições de garantia da qualidade. Mais especificamente assegurar o seguinte: • 25% para clareza e expressão lógica dos seus argumentos • 25% para adequada justificação das respostas às questões de monitorização, utilizando leituras e notas de leitura • 25% para a consistência na sua escolha do propósito da monitoria, foco, indicadores, técnicas e mecanismos QA • 25% para a originalidade e complexidade de pensamento e importância das recomendações 15 Ser-lhe-á pedido para dar uma proposta em uma/duas páginas do seu tópico de monitoria e os dois níveis, ao tutor do seu módulo dentro de três dias do módulo, que identifique o seu tópico de política de monitoria bem como os dois níveis envolvidos na cadeia de implementação. O trabalho é para fazer de forma esboçada no fim da prestação do módulo. Ser-lhe-à dado o formulário de feedback para completar o trabalho em casa em meados de Junho. Tópico para o Trabalho Equivalente ao Exame Individual Pós Contacto Escolha uma política educacional corrente claramente definida no seu país e imagine essa política em cascata para baixo ao longo da cadeia de implementação para atingir as escolas. Você precisa de monitorar o processo de implementação política a dois níveis: • a nível meso do departamento governamental encarregue de implementar a política na escola e • a nível micro institucional da escola e outras instituições (Assim, por exemplo, se escolher a política curricular, terá de monitorar a sua implementação 1) a nível da unidade a nível do distrito/circuito encarregue do desenvolvimento e implementação curricular e 2) a nível da escola que é alvo da política de mudança curricular.) Ao monitorar a política nesses dois diferentes níveis, deve cobrir os seguintes desafios/questões de monitorização: • Qual o propósito (o porquê) desta monitoria (em que é que ela mexe com o desenvolvimento versus controlo/responsabilidade) e porquê • Qual o focus da sua monitorização (input, processo, resultado) e porquê • Como é que vai ser monitorada. • Explique a) os indicadores necessários, quem os define e porquê b) as técnicas apropriadas e porquê • Que tipo de responsabilidade é promovida através desta monitoria e porquê • Quem ficará encarregue de monitorar (e porquê) assim como que necessidades devem ser satisfeitas para garantir a qualidade da monitorização • É provável que as recomendações venham ao de cima a partir deste exercício de monitorização 16 UNIDADE 1: MONITORIZAÇÃO E AVALIAÇÃO DA POLÍTICA, PLANOS E PROGRAMAS EDUCACIONAIS INTRODUÇÃO Esta unidade concentra-se na monitorização e avaliação das políticas, planos e programas educacionais que são preparados para melhorar o desempenho em todos os níveis de um sistema educacional. Começamos por definir os conceitos de monitorização e avaliação, depois por esboçar o propósito e significância da monitorização e avaliação na educação. A seguir exploramos o foco da avaliação. Por último, debatemos sobre os diversos sistemas de monitorização, inclusive serão iniciadas estratégias para melhorá-las. Por último, será dado um resumo. 1.1.1 Objectivos da Unidade No fim desta unidade, os participantes deverão ser capazes de: • Explicar e ilustrar os vários conceitos respeitantes à monitoria e avaliação. • Destrinçar os quatro propósitos chave da avaliação e ilustrar as funções para que eles satisfazem • Demonstrar um conhecimento e habilidades abrangentes para a monitorização e avaliação quando o enfoque está quer na visão, quer nas políticas/planos/programas que procuram atingir a excelência embora mantendo o enfoque pró activo e olhar para a frente. • Descrever e ilustrar o processo de identificação de indicadores chave e padrões, na área do foco, para guiar qualquer função de monitorização e avaliação.• Identificar os principais paradigmas normalmente utilizados na função de monitorização e avaliação da política, planos e programas educacionais e demonstrar uma capacidade para avaliar os seus méritos e deméritos, incluindo formas para de os melhorar. • Explicar os tipos de sistemas monitorização e avaliação, incluindo vias para os consolidar 17 Actividade 1.1: A Abordagem de formação e a Estratégia de Avaliação Anteriores à Monitoria e Avaliação Ser-lhe-á pedido para compilar uma sinopse abrangente do que é avaliado, porquê, quando, como e por quem e por qual sistema. A sinopse constituirá a base para compreender o processo de monitoria e avaliação do ponto de vista prático e ganhar compreensão sobre como melhorá- las. Análise do Processo de Monitoria e Avaliação Uma combinação de curtas apresentações utilizando principalmente o Método Socrático, bem como discussões intercaladas em grupos será o principal modo de apresentação Pós Monitoria e Avaliação Ser-lhe-á dado um trabalho no fim do módulo que constituirá a base para avaliar a sua compreensão do conteúdo e capacidade para o aplicar no mundo real da prática. O trabalho levá-lo-á a conceber, defender ou descrever como faria para melhorar a monitoria e avaliação de uma dada política educacional, plano ou programa sob a sua jurisdição. EXPLICAÇÃO DE CONCEITOS CHAVE Os conceitos frequentemente utilizados na unidade são definidos e ilustrados nesta secção de forma a criar uma compreensão comum. Entre eles estão incluídos os seguintes conceitos chave: 1.1.1 Monitoria Comecemos por exemplos hipotéticos. Todos os casos acima descritos requerem uma monitoria imediata. Monitoria é. Portanto, uma análise contínua ou periódica dos vários estágios da política, plano ou ou concepção do programa e implementação educacionais, a nível do sistema ou da escola, para determinar se as políticas, planos e programas estão a ser implementados como pretendido. A verificação poderia cobrir o contexto em que as políticas são concebidas e implementadas. Podia também envolver o Actividade 1.2: A escola X tem alunos que estão muitas vezes ausentes da escola. O que deveria fazer o Director para os apoiar? O estado provê dois terços dos fundos para construir uma escola mas muito pouco tem sido feito na base. O desempenho da escola X foi extremamente fraco nos exames nacionais. Existem relatórios que apontam que muitos professores possuem segundo emprego. O que o Director deveria fazer para rectificar a situação? 18 despiste de inputs – aquisição, alocação e utilização de recursos; bem como assegurar que os calendários de trabalho e outros processos estejam à altura para que os produtos e resultados sejam realizados (Valdez and Bamberger, 2000). Monitoria, portanto, serve como um primeiro sistema de alerta [para o empowerment e inspecção] para encorajar a avaliação abrangente das causas das deficiências (Wjnen et al, 1990). Isto incita a necessidade de avaliação Monitoring therefore serves as an early warning system {for empowerment and inspection] to trigger comprehensive assessment of the causes of deficiencies that are discovered (Wjnen et al, 1990). This prompts the need for evaluation. TRABALHO PRÉ-CONTACTO 1 O seguinte website contém um relatório de monitoria de alunos da 4ª e 8ª classes na Nova Zelândia. Faça o download e leia o relatório contains a monitoring report of students in Grade 4 and 8 in New Zealand. Download and read the report. Depois disso aceda ao website abaixo indicado e leia o relatório de monitoria sobre educação especial no Estado Americano do Texas. Uma cópia impressa existe no fim deste módulo no anexo A. http://www.tea.state.tx.us/special.ed/monitor Escreva uma história curta sobre os seguintes sub-títulos: 1.1 De que formas os professores dessas classes beneficiam com um relatório de monitorização desta natureza? (5) 1.2 Você aconselharia o sistema de educação do seu país a realizar este tipo de exercício e torná-lo público? Se sim, porquê? Se não, porque não? (5) Este site é destinado a dar informação aos professores sobre os alunos da Nova Zelândia da 4ª e 8ª classes numa série de áreas do conhecimento http://www.tea.state.tx.us/special.ed/monitor 19 1.3 Leia cuidadosamente o relatório de monitoria sobre Educação Esoecial no Texas. Comente sobre a utilidade de um tal relatório para: • Os Departamentos de Educação acompanharem a implementação (5) • Os pais dos alunos que frequentam a escola (5) 1.4 Escreva uma proposta para encomendar um exercício de monitoria para acompanhar alunos em idade apropriada da 1ª à 9ª classe que não estão na escola. Preste especial atenção ao detalhe e faça uma lista dos indicadores que devem ser utilizados. (5) 1.5 Read through the monitoring report on Special Education in Texas. Comment on the usefulness of such a report to: • The Departments of Education to track implementation(5) • The parents of learners that attend schools (5) Total de Pontos (25) 1.1.2 Avaliação Isto é um processo sistemático e objectivo de avaliação, medição e análise do desempenho de uma política/plano/programa educacional. Avaliação e medição de um política/plano/programa corrente ou completo podem ser feitas durante a sua concepção, implementação ou na fase dos dados/resultados com o objectivo de determinar a sua relevância, eficiência, eficácia, impacto e sustentabilidade dos seus objectivos (OECD, 1986, Mosha 2002). A avaliação é muitas vezes referida como um processo porque compreende actividades correntes destinadas a recolher informação atempada através de medições e avaliações de forma a que as decisões sobre o valor e desempenho possam ser tomadas. \ Actividade 1.3: (Grupo de trabalho) O acesso, qualidade, relevância, eficiência, eficácia, capacity building, descentralização eficaz, parceria/envolvimento da comunidade são as políticas chave educacionais a serem prosseguidas pelos sectores da educação na maior parte dos países da SADC hoje. Devem ser alocados grupos a um deles para meditar sobre um programa de monitoria a ser utilizado para monitorar a qualidade. 20 1.2.2.1 Medição Este é um processo de utilização de instrumentos apropriados para colectar informação e dados sobre um atributo. Os instrumentos de medição podem apoiar uma colecta quantitativa sobre, digamos, altura, peso, um resultado, progresso feito na implementação de um projecto, etc. Pode também conduzir a uma colecta de informação qualitativa sobre opiniões ou razões para um resultado – porquê bons ou maus resultados ou dados. 1.2.2.2 Avaliação A avaliação, por outro lado, é um processo sistemático de análise e tradução dos dados numa forma interpretável de modo a que as decisões possam ser feitas. Muitas vezes concentra-se nos indicadores de desempenho – nível de desempenho nos determinantes quer sejam aprendizagem, eficiência e eficácia. Compreende um processo de abstracção mental que interpreta a informação e os dados recolhidos pela Medição. Também compreende um processo de colocação da informação avaliadora ou dados em alguma escala númérica ou nominal de forma a que possa ser classificada qualitativamente ou quantitativamente de acordo com medidas pré determinadas (Mosha and Bukhala, 1985). 21 Actividade 1.4: Você tem o seguinte conjunto de dados: 1. Censo populacional: Número de crianças por idade, área e género 2. Número do Emis, matrículas por idade, género e infra-estruturas. Utilize números fictícios para ilustrar a sua resposta Murphy et al (1996) defende que a avaliação educacional difere em muitas maneiras do diagnóstico individual, selecção ou exames de certificação. Primeiro ela dá informação do sistema como um todo, não sobre alunos singulares. Segundo, não inclui só medidas da aprendizagemdo aluno, mas também mas também dos antecedentes do aluno e inputs e processos da escola que permitem a avaliação dos dados a serem utilizados na análise política. Terceiro, é concebida para monitorar o desempenho do sistema educacional ao longo do tempo, determinar seo sistema está ou não a fazer progressos em direcção aos seus objectivos [custos-eficácia], através do uso de medidas estandardizadas do desmpenho dos alunos, Inputs e processos da escola. 1.2.2.3 Tomada de Decisão É muitas vezes dirigida ao mérito, importância e relevância, programa e melhoria organizacional, supervisão e conformidade, bem como geração de conhecimentos. Estes atributos são elaborados mais tarde numa secção subsequente. A tomada de decisão é muitas vezes facilitada pela presença de indicadores e conjuntos de padrões. 1.1.3 Indicadores Existem critérios de mérito ou dimensões mediante importantes para a política, plano ou programa atingirem bem os objectivos desejados. Os indicadores são acordados mediante medidas qualitativas e quantitativas que serão utilizadas na avaliação do progresso da política, plano e programa. Os indicadores são cruciais para o sucesso de qualquer estratégia política, plano ou programa. Devem ser cuidadosamente escolhidos de forma a que “indiquem” verdadeiramente de uma forma fidedigna e precisa, se as metas e objectivos do plano estão ou não a ser realizados. Os indicadores também devem ser verificáveis. Isso significa que devem ser medidas com as quais as evidências e dados possam ser recolhidos de uma forma verdadeiramente objectiva. É preciso depois observado que os indicadores bons são incorruptíveis por qualquer pressão. Contudo, os indicadores melhoram perceptivelmente se a unidade melhora o seu desempenho ao longo do tempo. A seguir apresentam-se 22 algumas ilustrações de indicadores. Os seguintes critérios foram sugeridos por Carol Taylor Fitz-Gibbon (1996) para o estabelecimento de bons indicadores da Educação: 1 Relevantes • São identificados objectivos válidos para as unidades [criar consensos sobre os objectivos] • Mencionar produtos, outputs, resultados e 2. Informativos • Estão contextualizados [ter em conta o contexto] • Feedback para as unidades [necessidade de saber espírito de informação aberta] 3. Aceitáveis • Sentidos como justos [acordo alargado, manter a verificação da validade e eficiência] • Acessíveis [compreendidos] • Explicados [oferece estatística com face humana] • Icorruptíveis – tem que se ver que houve justiça • Verificáveis • Transformáveis se a unidade mudar o desempenho ao longo do tempo 4.. Vantajosos • O uso produz impacto 5. Custo-eficácia • Custos razoáveis Actividade 1.5: Eis alguns exemplos de indicadores. Estude-os e comente se vão ou não ao encontro Dos critérios de um bom indicador Qualidade ➢ Aumento do número de alunos que passam o padrão V dos exames nacionais com uma classificação média de 50% e acima de 20 a 45%. ➢ Decréscimo da percentagem de alunos repetentes de acordo com o padrão IV dos exames regionais de 30% a 20% ➢ Aumentodo número de alunos que passam a matemática num padrã estabelecido a nível nacional em cada classe em 70% ou mais.. Motivação • Retenção do pessoal • Percentagem de instrução do pessoal avaliada como sucesso • Percentagem de substituições (turnover) do pessoal com sucesso instrucional • Substituição do pessoal por motivo 23 • Aumento da satisfação medido através de pesquisas pai/profressor Resultados • Pesquisas com os pais, alunos, membros da comunidade que indicam altos níveis de satisfação com as escolas públicas. 1.2.3 Padrões Os padrões não devem ser confundidos com qualidade. Qualidade são os produtos finais ou resultados desejáveis (Schomoker, 1999). Podem ter a haver com – visão nacional, isto é, claros, dinâmicos, partilhados por todos os membros da sociedade, ressonantes, racionais, tecnologicamente avançados, etc.; ou objectivos que são Especificos,Mensuráveis, Alcançáveis, Realistas e ligados ao Tempo [em Inglês, as iniciais das cinco palavras constituem a palavra SMART, que significa inteligente]; ou alunos que conseguem escrever e contar após 4 anos de ensino básico; ou graduados que têm conhecimentos, habilidades e são capazes de resolver vários problemas que a sociedade enfrenta (doenças, ignorância, pobreza, etc.) Mosha et al (2001) defende que os padrões implicam níveis de excelência, estabelecidos por consensos. Os padrões são um ponto de referência através do qual se pode fazer um julgamento sobre a eficiência e a eficácia/desempenho de um indivíduo, instituição e sistema [pass mark, or cut off point, COP] baseado na informação e colecta de dados sobre cada indicador ou vários indicadores, interactiva e colectivamente. Os melhores indicadores podem ser estabelecidos investindo no conhecimento de especialistas [em política, planificação, finanças, ensino, gestão, exames, etc.] e inputs de parceiros [o que eles consideram ser desempenho aceitável?] e pesquisa do que é geralmente aceite globalmente como sendo um marco de excelência [uma pessoa habilitada, uma política ressonante, um financiamento eficaz de um sistema]. Os padrões de excelência ou mérito também podem ser estabelecidos por uma autoridade [senado universitário ou conselho de exames], a prática [procurar o máximo e não permitindo a ninguém reprovar na escola] ou consenso geral [que um resultado de 60 em 150 pontos seja aceite como nota de passagem, que garanta que alguém seja seleccionado para continuar os estudos]. Os padrões podem ser absolutos (fixos – 50 porcento é muitas vezes considerado como média) ou relativos (flexíveis – particularmente para os COPs). Por conseguinte, deve ser conseguido um acordo antes de os usar. Quando os padrões são muito baixos [ninguém reprova na escola, é difícil medir a excelência] os praticantes podem estar satisfeitos com o desempenho medíocre; de modo semelhante, se os padrões são muito elevados, [todas as crianças devem corresponder a um padrão fixo – 50 porcento ou mais para passar ou reprovar e o sucesso pode ser 24 difícil ou impossível de realizar, particularmente nas instituições frequentadas por todo o tipo de escassez]. Isto pode conduzir à desmoralização e algumas vezes ao desespero. Os padrões podem-se basear em falsas noções tais como o enfoque na proficiência linguística apenas, habilidades vocacionais ou escolásticas esquecendo outras componentes de qualidade – aquisição de valores desejáveis, hábitos de trabalho, internacionalização de práticas democráticas atc.] Esta obsessão pode levar a uma percepção de qualidade de educação errada e equivocada (Osaki, 2000). Dado o facto que a manifestação de qualidade é o nível de desempenho a realizar a missão dada de um empreendimento de educação, os objectivos do sistema e de suas instituições desde o ensino pré-primário, primário, secundário, profissional, terciário e superior precisam ser compreendidos e partilhados por todos, uma vez que eles constituem o enfoque principal de qualquer julgamento/avaliação da qualidade. Supõe-se que os objectivos reflictam as expectativas gerais dos principais parceiros – alunos empregados e comunidade que apoiam o sistema de educação. Os objectivos mudam ao longo do tempo, por isso a avaliação frequente dos próprios objectivos é importante. É preciso também imaginar que a qualidade de um empreendimento/sistema educacional é influenciada por muitos factores. Estes incluem o ambiente contextual de um dado sistema, os inputs básicos, os arranjos/processamento dos inputs em produtos individuais, outputs institucionais e os resultados da educação ma sociedade. Portanto, a educação de qualidade é um conceito multidimensional, por isso, a sua avaliação pode envolver medição e análise dos factores contextuais, inputs, processos de ensino e aprendizagem, [pesquisa e consultoria nas instituiçõesde nível terciário e superior], os produtos, outputs, e resultados ou interacções entre eles, de forma a realizar os seus preciosos resultados. Estes factores, consequentemente combinam-se para produzir um dado nível de qualidade. Um baixo padrão ou alto padrão de educação é, por conseguinte, uma declaração tautológica. Tecnicamente só se pode comentar sobre a qualidade de educação em termos do seu estado em algum sítio no escopo de alta qualidade a baixa qualidade e não alto ou baixo padrão. Isto porque um padrão constitui um nível estabelecido de excelência, embora os indicadores sejam parâmetros à volta dos quais a informação qualitativa e os dados quantitativos são colectados e a qualidade é julgada. 1.1.4 Garantia de Qualidade Isto é um sistema de verificações e equilíbrios no processo da implementação da política , plano e programa para assegurar que o sistema esteja constantemente consciente das expectativas e exista um esforço concertado para a sua realização. As avaliações não produzem desempenho. Elas podem, 25 contudo, servir o propósito de mobilizar incentivos, engajamento, poder e capacidade em recursos humanos e financeiros que produz desempenho. A questão crucial é, o conhecimento, competência e recursos existem realmente para dar o nível de apoio ao sistema ou escola necessário para ir ao encontro das demandas requeridas por digamos, um político num país x, escola distrital ou uma dada escola Actividade.1.6: Podem ser citados vários casos reais – O ministro a quem foi dada uma directiva segundo a qual, o número de alunos que conseguem a Divisão I-III precisa de ser aumentado dos actuais 27 % em 2002 para 50 %em 2005. O distrito Y poderia também ter estabelecido padrões de excelência académica – melhorando o desempenho do Padrão de Aprendizagem (SOL - Standard of Learning) no fim dos exames do ensino primário de 35 porcento em Dezembro de 2002 para 60 porcento em 2002. A escola X também pode ter adoptado um slogan de eliminar a passagem na Divisão 4 e 0 no Ordinary Level School Examination nacional. Estes objectivos são realistas e atingíveis? Discuta. 1.2 PROPÓSITO DA AVALIAÇÃO A avaliação, como muitos tendem a aludir não foi concebida apenas para um julgamento de passagem Mark et al (2000) Mosha (2002), Patton (1997) defendem que a avaliação pode servir para outros propósitos; nomeadamente avaliar: • mérito ou importância; • melhoramento do programa e organizacional ; • supervisão e concordância; e • desenvolvimento do conhecimento. 1.2.1 Mérito ou Importância Avaliar o mérito ou importância diz respeito ao desenvolvimento de julgamentos justificados sobre os efeitos e resultados, da intervenção planeada quer seja propositada ou não, positiva ou negativa (Mosha, 2002). 26 1.3.1.1 Mérito O mérito diz respeito à qualidade da política/plano/programas em termos do seu desempenho. Muitas vezes classificamos os alunos de acordo com o mérito na sala de aulas ou o exame nacional do desempenho. Algumas vezes oferecemos também prémios ‘meritocráticos’ aos alunos, escolas, direcções distritais etc. que foram julgados como tendo atingido melhorias notáveis no seu desempenho. De modo semelhante classificamos os países de acordo com o mérito em termos de desenvolvimento económico e social. Da mesma maneira podemos também classificar as escolas em termos de mérito na implementação de projectos educacionais – construção, distritos em termos de sucesso registado nas matrículas ou eliminação das deficiências. 1.3.1.2 Importância A importância, por outro lado diz respeito ao valor que o desempenho traz para o bem estar social. As avaliações têm muitas vezes estabelecido demasiada ênfase nos processos de inputs do ensino e aprendizagem e prestado menos atenção aos resultados (habilidades para a vida e trabalho numa sociedade dinâmica). 1.2.2 Programa e o Melhoramento Organizacional Quando o propósito da avaliação é o programa e o melhoramento organizacional (avaliação formativa), fazem-se esforços para dar feedback atempado para corrigir operações irregulares, melhorando assim as operações do plano. Scriven (1991:169) comparou a avaliação formativa ao acto de “o cozinheiro provar a comida antes dos convidados chegarem e fazer ajustes a tempo”. Os processos de alerta primários tendem a ter um efeito positivo no desempenho de um plano (Mosha, 2002). 1.2.3 Supervisão e Concordância A supervisão e concordância implicam avaliar em que medida a implementação da política/plano está alinhada com as expectativas especificadas dos parceiros (alunos, empregadores, pais, instituições, governo e instituições financiadoras). A avaliação deste tipo gera, portanto, informação pública segura em benefício dos parceiros e encoraja a transparência sobre cada transacção. Também é concebida para ver em que medida estão a ser seguidas as directivas ou estatutos relativos a questões como matriculas compulsivas e equilíbrio do 27 género e regulamentos sobre participação, ensino eficaz ou outros mandatos sobre o desempenho. Se não, o pessoal e os administradores podem ser chamados à responsabilidade antes de serem dispendidos recursos substanciais. Mark et al. (2000) alertam para o facto da avaliação da supervisão e concordância normalmente não poderem dizer se o plano/política é responsável pelos resultados. Da mesma maneira um plano/política pode operar inteiramente de acordo com a legislação e regulamentos e mesmo assim serem ineficazes, especialmente quando os participantes estão simplesmente a jogar de acordo com as regras. 1.2.4 Desenvolvimento do Conhecimento Muitas vezes as políticas/planos são primeiro testadas a nível micro, o que serve o propósito do desenvolvimento do conhecimento. A avaliação do desenvolvimento do conhecimento envolve esforços para preparar e testar teorias gerais e propostas sobre processos e mecanismos sociais e dentro das escolas tal como ocorrem no contexto dos planos educacionais. Muitas vezes as análises SWOTs [Strengths, Weaknesses, Opportunities and Threats] (Pontos fortes, Pontos fracos, Oportunidades e Barreiras) são conduzidas para o desenvolvimento do conhecimento e podem concentrar-se em várias questões de pesquisa envolvendo mega ou micro planos (Lipsey, 1993). Estes estudos também podem analizar todos os processos desde a concepção às fases de implementação de planos educacionais (Scheiver, 1987). Além disso, podem ser aplicados a diferentes contextos (urbano/rural, comunidades marginalizadas ou grupos desfavorecidos) e clientes (Lipsey, 1997). 1.2.5 Avaliação cumulativa Ao contrário da avaliação formativa, a avaliação cumulativa vem indicar no fim da intervenção se a política, a intervenção planeada ou o programa foi ou não eficaz. A sua maior principal preocupação está nos produtos, outputs e resultados no que respeita à satisfação dos objectivos desejados, ou a realização de objectivos não esperados mas desejados, ou o impacto que a política teve na sociedade. Os exames realizados no fim de um ciclo de estudos – p.e., primário, secundário, ou universitário são instâncias típicas de uma avaliação cumulativa; os programas piloto ou a implementação da principal fase de um plano estratégico, também são de natureza cumulativa uma vez que podem conduzir a decisões de, ou abandonar o programa, a política ou o plano ou consolidar o sucesso atingido. O feedback é importante quer para o nível formativo quer cumulativo porque tem um papel importante na melhoria do desempenho ou na 28 tomada de decisões mais abalizadas, particularmente as ligadas à concepção de outras intervenções no sistema educacional. Actividade pré-contacto 2 O anexo B apresenta uma avaliação do impacto das reformas de educação em El Salvador. 2.1 Leia o relatório e faça comentários sobre o formato e recomendações feitos no fim do relatório. (5) 2.2 Assumindoque foi incumbido de avaliar um Programa de Formação e Educação em Exercício que está a ser oferecido pelo seu Departamento de Educação, (p.e.) Um honours programme for Maths and Science Educators; elabore questionários para as entrevistas • Professores participantes no programa (5) • Um grupo foco de professores (Director, Director Adjunto, Chefes de Departamento e quaisquer dois outros professores) (5) • Membros do pessoal docente e administrativo da instituição que proporciona a formação (5) • Funcionários do Departamento de Educação responsáveis pelo financiamento e monitorização do programa (5) Total de Pontos (25) 1.3 PARADIGMAS PREDOMINANTES NA MONITORIZAÇÃO E AVALIAÇÃO Diversas teorias e escolas de pensamento contraditórias influenciaram a direcção e natureza da avaliação da política de educação nos países africanos. Estas teorias contêm não só diferenças na metodologia mas também nas perspectivas básicas sobre como é vista a realidade da política da educação. O nosso propósito é introduzir três ou mais paradigmas respeitantes à avaliação da política da educação e à sua teoria de desenvolvimento 1.3.1 O Paradigma Neo-Clássico Uma das escolas de pensamento é o paradigma neo-clássico (ou PNB – Crescimento e redistribuição com crescimento) expresso em termos puramente económicos. Também é conhecido como o “paradigma ocidental” ou o modelo ocidental de desenvolvimento. O paradigma neo-clássico é normalmente descritivo e expresso puramente em termos económicos, e os seus procedimentos de avaliação, imagens e formatos concentram-se maioritariamente em indicadores técnico-económicos a nível micro. 29 1.3.2 O Paradigma da Dependência O outro é o “paradigma da dependência”, que essencialmente constitui uma reorientação de uma abordagem descritiva para uma histórico estrutural, que liga o desenvolvimento ao subdesenvolvimento como dois processos interdependentes. O paradigma da dependência é colocado como uma alternativa, com base numa tradição populista e neo-populista (vide SAREC- Report, RI – 1981, pg. 18 by Aant Elzinga). O “paradigma da dependência” requer que a avaliação da política da educação se concentre nos fenómenos a nível macro e avalie os projectos e programas de educação como instrumentos de domínio dos países receptores pelo país “doador”, ou mesmo dentro do processo de globalização como instrumentos de apoio ao domínio na política, negócio e tecnologia. 1.3.3 O Paradigma Ecléctico Um paradigma menos negativista alinhado com o pensamento e crença neo- populista reflectindo principalmente a filosofia de desenvolvimento dos antigos líderes nos países como a Tanzania (Nyerere), Gana (Nkrumah), Egipto (Nasser) e Guiné (Sekou Touré) é o paradigma eclético. Ele obrigaria o avaliador da política de educação a olhar para os fenómenos a nível micro dentro do contexto de uma análise nacional histórico-estrutural do desenvolvimento do país em geral e no que respeita a sectores específicos como a educação. A tarefa da avaliação e monitorização da política da educação não é analisar os diferentes paradigmas, nem aceitar ou fazer questão nas terminologias mas apreciar o facto de que há escolas de pensamento contraditórias na teoria de avaliação da educação. A Tabela 5.1 ilustra três paradigmas, que, pensamos nós, ainda dominam as avaliações da política de educação e os seus correspondentes “modelos” da literatura sobre avaliação. Os factores característicos que formam a área de enfoque durante a avaliação sugerem que a avaliação da política de educação é na verdade um processo social e a perspectiva geral do avaliador reflecte os compromissos e valores partidários de um tipo social Tabela 1:Três Paradigmas da Avaliação e Modelos Paradigma Neo- Clássico Paradigma da Dependência Paradigma Ecléctico Auto- Suficiente PNB Neo-Classico teorias de crescimento Teoria Centro - periferia do Teoria do desenvolvimento nacional – económico e sócio 30 PNB (equilíbrio macro- económico) i.e. crescimento, exportação, estabilidade de preços subdesenvolvimento cultural abrangente envolvendo potencialidades / capacidades indígenas Critérios económicos CBA e CE a nível micro (educação como instrumento de eficiência) Critérios económicos globais a nível macro; (política, negócio, tecnologia) Combinação de critérios culturais, sociais e económicos a nível macro e micro. Fonte: Modificado a partir de uma versão dada no relatório-SAREC por Aant Elzinga (1981). 1.4 ENFOQUE DA AVALIAÇÃO O enfoque da avaliação pode ser em qualquer dos seguintes atributos. 1.4.1 Visão, Política e Planos Quando o enfoque é na visão, políticas e planos, os esforços devem ser direccionados para descobrir em que medida as políticas e planos de educação concebidos que procuram atingir a excelência são pró-activos e olham para o futuro. Para além disso, em que medida procuram criar um futuro melhor encorajando os políticos da educação e planificadores a juntarem esforços com os parceiros e especialistas de outros sectores para alcançarem objectivos importantes para o futuro. Tal avaliação deveria, portanto examinar o ambiente económico, social, político, ecológico, legal, demográfico e cultural de forma a gerar informação que permita aos planificadores identificar problemas genuínos e questões que afectam o desempenho. Isto deveria ser precedido por um processo em que os critérios são estabelecidos para avaliar as melhorias de qualidade que deveriam ser recomendadas (Dror, 1968). 31 1.4.2 Processo da Identificação das Necessidades e declaração do Problema Quando enfoque está no processo de identificação das necessidades e declaração do problema é preciso considerar os elementos técnicos tais como a compleição da cobertura, grau de envolvimento, qualidade dos parceiros envolvidos, qualidade da informação e dos dados que são recolhidos, etc. 1.4.3 Selecção das necessidades Quando o enfoque é na selecção das necessidades deve-se compreender que as necessidades são naturalmente múltiplas e competem por escassos recursos (financeiros, tempo, humanos e físicos). A avaliação neste estágio pode envolver a análise da informação colectada durante a avaliação das necessidades e utilizar estes dados como base para tomar decisões sobre que necessidades e problemas devem ser atendidos. 1.4.4 Metas e Objectivos Quando o enfoque está nas metas e objectivos é preciso saber metas e etapas importantes ao longo do caminho para atingir os resultados desejados. Vimos que os objectivos bem estabelecidos, por exemplo, devem ser SMART – específicos, mensuráveis, atingíveis, realistas e ligados ao tempo. A avaliação podia centrar-se na avaliação de cada objectivo de forma a avaliar a medida em que eles obedecem a esses critérios. Também se pode desejar avaliar os objectivos para avaliar a sua relevância, importância e utilidade, bem como em que medida eles servem como padrões úteis, que se forem realizados conduzirão à resolução de problemas identificados. Onde houver disparidades entre metas/objectivos e os problemas identificados, pode ser desejável haver modificações. Algumas vezes os objectivos podem ser abandonados ou reafirmados. Alguns objectivos podem concentrar-se na transformação cultural. El-Khwas (1998: 8) defende que “Os resultados a longo prazo para a melhoria da qualidade são melhor conseguidos pela mudança da cultura dentro…das instituições”. Ele afirma ainda que o governo pode “estimular um compasso mais acelerado de mudança através de financiamentos que premeiem as instituições com propostas bem planeadas de melhoramento” 1.4.5 Seleccionar Alternativas e Escolher Estratégias Quando o enfoque está na selecção de alternativas e na escolha de estratégias a avaliação é útil para indicar possíveis alternativas à luz da informação disponível. 32 1.4.6 Nível da ConcepçãoA monitorização e avaliação a nível da concepção concentra-se essencialmente na adequação dos inputs e seus ajustamentos para produzir os resultados desejados. 1.4.7 Mobilização, Procurement, Pagamento, Utilização e Controlo dos Recursos Quando o enfoque está na mobilização, procurement, pagamento, utilização e controlo dos recursos é preciso observar o facto de que os planos educacionais dependem de recursos humanos, financeiros, físicos e de tempo para a sua implementação eficaz. Por isso, a correcta mobilização dos recursos, aquisição, pagamento, utilização e controlo deveriam ser as áreas principais do enfoque neste estágio para assegurar a eficiência bem como a total responsabilidade sobre o seu uso eficaz. 1.4.8 Organizar e Coordenar a Implementação Quando o enfoque está na organização e coordenação da implementação é preciso ser-se astuto para verificar se foram estabelecidos os sistemas e estruturas apropriados e se são eficientes e eficazes para apoiar a implementação da política, o plano ou o programa. A Coordenação é crucial para assegurar que haja interacção apropriada entre inputs, processos e sistemas de apoio de forma a produzir os produtos, outputs, e resultados. Se este processo de interacção não tiver lugar é provável que a implementação sofra. A monitorização e avaliação neste estágio, por conseguinte, preocupa-se em entender porque é que a implementação não está a ser levada a cabo como planificado e fazer os necessários ajustamentos. 1.4.9 Gerir a Implementação Diz-se que a gestão eficaz é um dos factores chave que contribuem para o sucesso da implementação das políticas, planos ou programas educacionais. A gestão eficaz preocupa-se com a criação da equipa e a mobilização de grupos e comunidades para se envolverem activamente no apoio à implementação das políticas educacionais, planos e programas. Os gestores eficazes estão orientados para o desempenho, são responsáveis, transparentes e sensíveis ao bom ou mau desempenho. A monitorização e avaliação neste estágio envolve, portanto, entender se os gestores estão a conseguir esses objectivos e se não são responsáveis por um desempenho abaixo do padrão. 33 1.4.10 Gerir a Monitoria e Avaliação Quando o enfoque é na monitoria e avaliação deve-se descobrir em que medida os sistemas, estruturas e procedimentos para conduzir a avaliação são justos, fiáveis, válidos e económicos. Isto são questões que garantem o enfoque da gestão. Gerir as funções de monitorização e avaliação das políticas, planos e programas educacionais também têm a haver com os necessários recursos humanos existentes para conduzir as análises Ter os recursos financeiros necessários também é uma preocupação importante, especialmente porque muitas vezes há sub-orçamentação nesta área. De modo semelhante a capacidade tecnológica para processar, analisar e armazenar dados é um importante factor, tal como a calendarização das acções para corrigir os problemas antes que seja muito tarde. É neste estágio que os padrões desejáveis de resultados de aprendizagem bem como os padrões de de desempenho para atributo de políticas, planos ou programas e indicadores de excelência são estabelecidos e periodicamente revistos de forma a assegurar que continuem a ser aplicáveis em ambientes diversos. 1.4.11 Produto, Output e Resultado Quando o enfoque está no produto, output e resultado, é preciso compreender que o propósito de todas as políticas, planos e programas de educação é a realização dos objectivos desejáveis de organização individual e da sociedade. A avaliação do produto, output e do impacto [avaliação cumulativa] é feita muitas vezes depois das políticas, planos e programas terem sido implementados durante algum tempo. Neste momento, o avaliador determina se os objectivos das políticas, planos e programas foram atingidos e se não, porquê. Muitas vezes os planificadores, implementadores e avaliadores tendem a trabalhar sobre se os recursos foram usados como planificado. Ao fazer isso tendem a perder de vista os resultados – em que medida o conhecimento, habilidades e aptidões tiveram qualquer impacto na realização dos objectivos nacionais de desenvolvimento. Muitas vezes deve ser feita a distinção entre os resultados desejados e ideais. Um ideal só pode ser atingido quando os constrangimentos são eliminados ou minimizados. Dados os constrangimentos existentes na implementação da política nos países em desenvolvimento, podem ser acordados critérios realistas, dependendo do contexto e do enfoque da avaliação. Em resumo, um bom sistema de monitoria e avaliação deveria concentrar-se sempre nos resultados e depois trabalhar para trás e procurar os factores que causaram monitorando e avaliando os outputs produtos, meios e o contexto. 34 1.4.12 Sustentabilidade Quando o enfoque da avaliação é discernir sobre a sustentabilidade parte-se da premissa que é provável que as políticas educacionais, planos e programas oferecerem apenas uma pequena fracção dos benefícios e serviços pretendidos durante os os anos iniciais ou de tentativa de apoio. Bamberger and Cheena (1990) defendem que a sustentabilidade é afectada por muitos factores – técnicos, financeiros, organizacionais e políticos. A monitoria e a avaliação conduzirão então à rápida detecção dos factores que impedem a sustentabilidade, permitindo assim que os políticos, planificadores e gestores corrijam atempadamente esses problemas no processo. 1.4.13 Papel da Gestão de Sistemas de Informação A informação e os dados são produtos da monitoria e avaliação. Poderiam também constituir inputs, como critério de gestão de dados colectados e actualizados através da monitoria e avaliação. A informação e os dados também servem para processos de planificação (Mosha, 2002). Dada a importância de obter informação e dados de qualidade em todos os estágios da política, do processo de planificação, da concepção e implementação do programa é difícil simplesmente inclui-la como uma componente em qualquer das áreas de enfoque descritas nas secções precedentes. Ela serve a todas. Mark et al. (2000) defendem que um dos potenciais benefícios do EMIS é proporcionar bases de dados para o pensamento estruturado. Eles acrescentaram que o pensamento estruturado é uma maneira estruturada de aprender da experiência das políticas planos e programas correntes e do passado e utilizar esse conhecimento para melhorar a maneira como são formuladas, implementadas e avaliadas as políticas, planos e programas do futuro. Mosha (2002), observa ainda que muitos países em desenvolvimento, especialmente em África, também não desenvolveram uma política de colecta, análise e utilização de dados autênticos com base nos quais são tomadas as decisões. Diferentemente de muitos países desenvolvidos na Europa e América do Norte, a cultura de responsabilidade e sensibilidade pelo desempenho do sistema de educação como revelado pelos dados de desempenho publicados não receberam a atenção adequada. Houve pouca ligação entre a alocação de fundos e pedidos de retorno em termos de altos níveis de desempenho, especialmente onde os dados mostraram resultados negativos. Houve também demasiada confidencialidade imposta a dados úteis – o desempenho dos alunos nos exames nacionais não são imediatamente disponibilizados para análises e verificação cruzada posteriores ou utilização das escolas para melhorar o rendimento. Também não estiveram facilmente disponíveis informação útil e dados sobre eficiência e eficácia na mobilização, alocação, despesas e uso efectivo de recursos financeiros devido à transparência inadequada que levou muitas vezes à corrupção generalizada. Os vários tipos de sistemas de monitoria e avaliação são explorados na próxima secção. 35 1.5 TIPOS DE SISTEMAS DE MONITORIA E AVALIAÇÃO 1.5.1 Sistemas de Monitoria Existem pelo menos três sistemas de monitoria, nomeadamente osque enfatizam: 1.4.1.1 O diagnóstico instruccional Tendem a concentrar-se no output com pouca atenção nos inputs e muito pouca atenção às características dos alunos. Estão virados para o curriculum, utilizam testes dirigidos aos critérios e concentram-se na importância do curriculum e materiais de apoio. 1.4.1.2 Melhoramento da escola. Dão ênfase à medição de outputs ao mesmo tempo que reconhecem a importância potencial de um conjunto maior de variáveis – qualificação dos professores. Também incluem comparações entre escolas. Tendem a medir um escopo mais vasto de habilidades e testes e utilizam testes dirigidos às normas. 1.4.1.3 Obediência aos regulamentos. Preocupam-se em monitorar os inputs no sistema e monitorar a eficácia dos sistemas de oferta de inputs. Baseiam-se na contagem dos alunos, professores, manuais, etc., sendo o objectivo assegurar que os recursos estipulados estejam onde precisam de estar 1.5.2 Tipos de Sistemas de Avaliação Os sistemas de avaliação por outro lado são, entre outros: 1.4.2.1 Sistemas na escola São sensíveis aos testes e ao exame do desempenho dos alunos e conduzem a uma variedade de decisões dentro da escola. 1.4.2.2 Corpos de exames São formalmente estabelecidos por estatuto governamental. Esta capacidade de avaliação pode ser constituída por uma unidade especializada dentro do órgão central do Ministério da Educação. Contudo, é preferível que o Ministério contrate uma instituição independente para avaliar o serviço, de forma a evitar conflitos de interesse por o governo estar a prestar o serviço e ser o seu próprio auditor. 36 1.4.2.3 Sistemas de auditoria. São: • Internos – visitas de inspecção/supervisão concebidas para verificar a concordância com os padrões, bem como: • Externos – muitas vezes realizados com propósitos de padronização bem como de avaliação imparcial do desempenho. Isto pode ser feito em programas [PER], projectos de uma instituição, bem como um inteiro sistema quer de procurement quer de desembolso de fundos para verificar a sua eficiência e eficácia Comissões e Grupos de Trabalho Estes são muitas vezes estabelecidos quando existem sinais óbvios de que um sistema educacional não está a usar a sua total capacidade para prestar serviços. Diagnósticos de avaliação que são muitas vezes muito envolventes e consomem tempo são muitas vezes encomendados por sistemas que aspiram a reformas importantes no sector da educação. É, portanto, prudente que os países da SADC partilhem experiências sobre como é que este sistema de avaliação funcionou nos seus respectivos países, e então discutam os pontos fortes e fracos bem como a forma de os ultrapassar. 1.5 CONCLUSÃO A principal mensagem que se repete quando se estuda o conteúdo desta unidade é que a monitorização e avaliação na educação nunca deve ser confinada a uma discussão restrita a uma área do enfoque. A compreensão holística dos vários propósitos, áreas de enfoque, dos níveis em que é provável que a monitorização e avaliação seja conduzida e pelos quais o sistema é importante de forma a que alguém se concentre num fenómeno particular, também compreende as limitações da abordagem escolhida se outra pessoa/equipa também se concentra em atributos diferentes. É só a abrangência de conhecimento e habilidades fornecidos nesta unidade que fornece uma âncora ´para as unidades subsequentes deste módulo. Actividade Pré Contacto 3 1. “Planos de Acção” são utilizados como estratégia chave de melhoramento da escola pela OFSTED (vide anexo C) na sua monitorização das escolas. Esta estratégia pode realmente melhorar as escolas? Comente (100 – 150 palavras) (5) 37 2. O modelo OFSTED oferece responsabilidade sem desenvolvimento. O seu real propósito é o controlo da qualidade. Este processo também deveria incluir qualidade? (5) 3. Os alunos de baixo rendimento têm peso na criação de escolas de baixo rendimento. A causa/s da existência de alunos de baixo rendimento podem não residir dentro da identidade da escola. Descreva uma estratégia que utilizaria para determinar as causas e sugira possíveis intervenções (5) 4. Os resultados dos relatórios/exames das inspecções Públicas produzem pressão para as escolas melhorarem o desempenho. Esta pressão, por si só não assegura o desenvolvimento ou melhoramento. O que faria se fosse um director de uma escola de baixo rendimento? Faça uma lista de 5 acções quaisquer que tomaria. (5) 5. O que haveria de monitorar? (a) “What a school puts in” ou (b) What a learner gets out” Justifique a sua escolha e indique resumidamente os dados que iria recolher para fazer a avaliação (5) Total de Pontuação: 25% 1.6 REFERÊNCIAS Aant Elizinga (pp. 14, 15) Valdaze and Bamberger (3) Bamberger and Cheena( pp, 20)? Schomoker (PP 6? Carol Taylor Fitz-Gibon (pp.7)? El-Khaws (pp 17) Dror, Y. (1968) Public Policymaking Re-examined. San Francisco: Chandler. Mark, M.M., G.T Henry and G. Julnes (2000) Evaluation: An Integrated Framework for Understanding, Guiding, and Improving Policies and Programs. San Francisco: Jossey Bass. Mosha, H.J. (2002) Planning Education systems for Excellence in Developing Countries (in Press) Mosha, H.J. and J.A. Bukhala (1985), Improving Teaching and Learning in African Universities: Monograph Series No. 5 – Evaluation. Bonn: DES (80 pgs). 38 Mosha H.J.; K. Osaki and N. Katunzi (2001) The Indicators of Quality Education. Dar es Salaam: UNICEF. Lipsey, M.W. (1993) “Theory as Method: Small Theories of Treatments. In L.B. Sechrest and A.G. Scott (Eds.), Understanding Causes and Generalizing About Them (New Directions for Program Evaluation, No. 57, 5-38. Lipsey, M.W. (1997) “What Can You Build With Thousands of Bricks? Musings on the Accumulation of Knowledge in Program Evaluation.” In D. Fournier and D.J. Murphy, P. V. Greaney, M. E. Lockheed, and C. Rojas (1996) National Assessment, Testing the System. Washington, D.C.: The World Bank. Rug (Eds.), Progress and Future Directions in Evaluation: Perspectives on Theory, Practice, and Methods (New Directions for Evaluation, No. 76, 231-259). San Francisco: Jossey-Bass. Patton, M.Q. (1997) “Utilization – Focused Evaluation: The New Century Text.” Thousand Oaks, CA: Sage. Perrin, B (1998) “Effective Use and Misuse of Performance Measurement.” American Journal of Education, 19, 367-379. Scriven, M.S. (1991) “The Evaluation Thesaurus (4th ed.).” Thousand Oaks, CA: Sage Smith, M.L. (1997) “Mixing and Matching: Methods and Models. In J.C. Greene and V.J. Caracelli (Eds.), Advances in Mixed-method Evaluation: The Challenges and Benefits of Integrating Diverse Paradigms (New Direction for Evaluation, No. 74, pp. 73-85). San Francisco: Jossey Bass. 39 UNIDADE 2: TÉCNICAS SELECCIONADAS: ANÁLISE DA EDUCAÇÃO QUANTO AOS CUSTOS-BENEFÍCIOS/EFICÁCIA 2.1. Objectivos: No fim desta unidade, os participantes deverão ser capazes de: (a) definir e fazer uma tipologia de custos relacionados com a provisão e consumo da educação; (b) definir e fazer uma tipologia de custos relativa à prestação e consumo de educação; (c) definir uma tipologia dos benefícios relativos à educação; (d) comparar os custos e benefícios de investir na educação; (e) calcular e utilizar critérios de ratios de custo benefício, taxa interna de retorno e de net present values (NPV) tal como aplicados às decisões sobre investimento na educação; (f) compreender a ligação entre educação, mercado de trabalho e produtividade; (g) comparar e contrastar as consequências económicas das políticas alternativas de investimento na educação; (h) calcular e utilizar os ratios de custos-eficácia na avaliação e monitoria do investimento na educação. 2.2. Introdução A monitoria e avaliação também se preocupa com o problema de como fazer o melhor uso dos escassos recursos aplicados na educação.
Compartilhar