Prévia do material em texto
1 GESTÃO 2 APRESENTAÇÃO O Pacto pelo Fortalecimento da Aprendizagem, instituído pelo Decreto 34.649/2019, do Governo do Estado do Maranhão, tem como objetivo reforçar a colaboração entre a Secretaria de Estado da Educação e as Secretarias Municipais de Educação, por meio do desenvolvimento de ações voltadas à melhoria dos indicadores e à concretização das metas dos Planos de Educação. Com a pactuação, estado e municípios buscam garantir que todos os estudantes do território maranhense estejam alfabetizados, em Língua Portuguesa e em Matemática, na idade certa; reduzir a distorção idade-série na Educação Básica; elevar o Índice de Desenvolvimento da Educação Básica (IDEB); contribuir para o aperfeiçoamento da formação dos profissionais da educação. Dentre as ações que fazem parte do trabalho em prol do alcance desses objetivos está a formação de professores e professoras das redes municipais e apoio à implementação da gestão democrática. Prosseguindo o trabalho em prol do fortalecimento da educação do estado, em parceria com as Secretarias Municipais de Educação, o Governo do Estado do Maranhão, por meio do Pacto pelo Fortalecimento da Aprendizagem, dá continuidade ao Ciclo Formativo Municipal de 2024 – 3º Módulo, no Eixo Gestão, com o tema “Avaliação da aprendizagem e gestão de resultados na escola”. Neste módulo, serão analisados os resultados das avaliações educacionais com vistas ao estabelecimento de práticas efetivas de acompanhamento e intervenção pedagógica, assim como compreender conceitos e concepções de avaliação da aprendizagem nas escolas, planejar estratégias de apropriação dos resultados das avaliações internas e externas e identificar os indicadores de desempenho de aprendizagem no contexto escolar. São parceiras estratégicas instituições municipais, estaduais e nacionais, a exemplo da União Nacional dos Dirigentes Municipais de Educação (Undime/MA), Associação Bem Comum (ABC), Fundação Lemann, Fundação Vale e Instituto Natura. As formações oferecidas têm propiciado ricas discussões entre os(as) participantes. Uma ótima leitura a todos (as)! 3 CICLO FORMATIVO MUNICIPAL 2024 – 3º MÓDULO O 3º Módulo do Ciclo Formativo Municipal será realizado em três etapas: Estudo dos Textos, Webinários Formativos e Encontro Formativo, tendo o eixo Gestão, na pauta de professores/as e coordenadores/as, o tema “Avaliação da aprendizagem e gestão de resultados na escola”. Para o estudo e aprofundamento dos tópicos tratados, foram selecionados textos que contribuirão para o enriquecimento deste módulo e para o seu processo formativo: 1ª ETAPA: ESTUDO DOS TEXTOS-BASE Nesta etapa, você encontrará o material selecionado para subsidiar seu processo reflexivo sobre os temas explorados. São textos relacionados à temática deste módulo, que devem ser lidos a fim de tornar mais interativos os momentos de discussões no Encontro Formativo. Leia os textos aqui apresentados, observando os seguintes passos: ✔ Faça a leitura geral, marcando os pontos que você considere mais relevantes; ✔ Pesquise os termos e informações desconhecidas; ✔ Caso o texto apresente algum gráfico, busque interpretá-lo; ✔ Se necessário, faça uma releitura do texto; ✔ Ao final da leitura, faça um fichamento para ajudá-lo(a) na consolidação da aprendizagem. 2ª ETAPA: WEBINÁRIO Este módulo será iniciado com o Webinário “A Gestão na análise e acompanhamento das avaliações externas: objetivos, fundamentos e estratégias”, onde serão discutidos os fundamentos teóricos sobre a temática abordada no módulo. O Webinário, com a temática “A Gestão na análise e acompanhamento das avaliações externas: objetivos, fundamentos e estratégias”, será transmitido pelo canal da SEDUC no YouTube, no dia 18 de novembro às 15h. 3ª ETAPA: ENCONTRO FORMATIVO Em data a ser agendada de acordo com o calendário municipal, o Encontro Formativo será um momento de socialização e discussão da temática do módulo. Boa leitura! Aproveite cada texto! 4 AVALIAÇÃOEDUCACIONALEAGESTÃOESCOLAR Maria Cecília Luiz Ana Lúcia Calbaiser da Silva EMENTA: Três modalidades de avaliação. Avaliação do ensino e aprendizagem. Avaliação institucional. Avaliação externa. Processo contínuo, cumulativo e sistemático. O caráter diagnóstico e prognóstico da avaliação. GERAIS ●Compreender as limitações e possibilidades do processo de avaliação. ●Possibilitar a compreensão das três modalidades de avaliação no âmbito escolar. ●Instigar as intervenções no processo e as ações dos diretores no processo de avaliação. 1. AVALIAÇÃO EDUCACIONAL E A GESTÃO ESCOLAR A avaliação educacional é caracterizada (e dividida em sua multiplicidade) por três modalidades: avaliação do ensino e aprendizagem, avaliação institucional e avaliação externa. Além disso, a importância da compreensão da avaliação está em percebê-la como um processo contínuo, cumulativo e sistemático, cujo caráter é diagnóstico e prognóstico. 5 Na sociedade atual, a avaliação é fundamental para a gestão das organizações, pois é por meio dela que, por exemplo, as relações de trabalho podem ser estruturadas. Nesse caso, a avaliação serve como instrumento de seleção, promoção e de desenvolvimento profissional. A escola, por ser uma organização complexa, também utiliza a avaliação para fins semelhantes (JANELA, 2009). Mas como será que isso ocorre? Nas escolas, a avaliação possui diversas funções. Vejamos algumas delas que foram elencadas com base nos estudos de Almerindo Afonso Janela (2009). Ao observar o quadro abaixo, nota-se que a avaliação está presente em todo o cotidiano da escola, por isso Sacristán e Gomes (1998, p. 296) afirmam que, na sala de aula, “avaliar não é uma ação esporádica ou circunstancial dos professores na instituição escolar, mas algo que está muito presente na prática pedagógica”. Quadro 1: Funções da avaliação Fonte: Elaborado pelas autoras, 2022. A avaliação é fundamental para o funcionamento da escola e para a melhoria da qualidade da educação. Além disso, a avaliação traz consequências significativas para a vida pós-escolar dos estudantes e para as relações de trabalho dos docentes. Daí a necessidade de aprofundarmos nossos conhecimentos sobre essa temática. A primeira pergunta que podemos fazer é: O que é avaliação e quais são as suas características? 6 2. A AVALIAÇÃO Em nosso cotidiano utilizamos o termo avaliar para nos referirmos ao ato de apreciar valor, mérito, qualidade, traçar consideração sobre algo, julgar, estabelecer valor e afins. É importante considerar que a ação de avaliar algo ou alguém pressupõe um padrão comparativo. Vejamos: Avaliar se refere a qualquer processo por meio do qual alguma ou várias características de um aluno/a, de um grupo de estudantes, de um ambiente educativo, de objetivos educativos, de materiais, professores/as, programas etc., recebem a atenção de quem avalia, analisam-se e valorizam-se suas características e condições em função de alguns critérios ou pontos de referência para emitir um julgamento que seja relevante para a educação” (SACRISTÁN; GÓMEZ, 1998, p. 298, grifos do autor). Avaliar é uma ação complexa, que envolve diferentes pessoas, com diferentes concepções. Por isso, o ato de avaliar deve ser bem planejado e sua função deve ser bem compreendida por todos os sujeitos envolvidos direta e indiretamente nesse processo. A transparência é um dos requisitos fundamentais dessa ação. Agora vamos fazer uma segunda reflexão: Como será que a avaliação tem sido compreendida em nosso cotidiano? Nas últimas décadas, existe na sociedade brasileira a disseminação de uma concepção de avaliaçãoque considera a qualidade reduzida à obtenção de melhores notas e resultados em exames ou provas. Nessa concepção, há o destaque para o ranqueamento de escolas e, consequentemente, para o estímulo de uma lógica competitiva entre as instituições escolares (CAPPELLETTI, 2015). A concorrência se instala e as instituições de ensino apressam-se em divulgar seus resultados como o principal, em muitos casos o único, indicador da pretensa "qualidade educacional": faixas, propaganda, slogans, e as escolas nota dez ganham visibilidade na mídia (CAPPELLETTI, 2015, p. 99). E quando não se atinge a posição requerida no ranking, a instituição escolar é preterida como de baixa qualidade. Em muitos casos, desconsideram-se questões sociais, econômicas, culturais, psicológicas e educacionais que influenciam direta e/ou indiretamente nos resultados 7 das avaliações. A decepção tende a ser internalizada como fracasso da instituição, dos docentes e/ou dos próprios alunos. Essa lógica também está presente dentro de certas instituições de ensino. Sabe- se que algumas delas divulgam listas de notas, classificando os discentes e, também, os docentes conforme seus resultados. Os melhores estudantes são admirados e elogiados pelos seus pares, no entanto, os que obtêm os piores resultados são excluídos de todas as formas: pela escola e pela sociedade. Nessa concepção de avaliação prevalece a lógica mercadológica de concorrência e de disputa, que tende a aprofundar cada vez mais o abismo educacional entre as instituições de ensino e entre os próprios sujeitos escolares. O individualismo e a competitividade ganham espaço no cotidiano escolar. É importante que essa lógica seja revertida e, para isso, é necessário compreender que a avaliação não pode ser considerada como um fim em si mesma: avaliar por avaliar. A avaliação vai além. Cipriano Carlos Luckesi (2000, s.p.) afirma que “o ato de avaliar implica dois processos articulados e indissociáveis: diagnosticar e decidir. Não é possível uma decisão sem um diagnóstico, e um diagnóstico sem uma decisão é um processo abortado”. É o processo avaliativo que irá gerar dados e informações para as tomadas de decisão. A mentoria de diretores, em sua concepção teórica, considera a avaliação como um processo contínuo, cumulativo e sistemático, de caráter diagnóstico e prognóstico. A avaliação, como processo contínuo, cumulativo e sistemático, ocorre no início de um processo, durante o seu desenvolvimento, e no final, fornecendo dados e informações que podem auxiliar os sujeitos envolvidos na compreensão da realidade (caráter diagnóstico) e no (re)direcionamento das ações (caráter prognóstico). A coleta contínua de dados e informações permite a reflexão sobre o todo avaliado. Na prática, essa concepção de avaliação “visa o melhoramento do trabalho escolar, pois conhecendo a tempo as dificuldades, pode-se analisar suas causas e encontrar meios de sua superação” (LIBÂNEO; OLIVEIRA; TOSCHI, 2010, p. 351). Esse processo ganha maior efetividade quando realizado no coletivo, por meio da cultura colaborativa. VOCÊ SABIA? 8 Na cultura colaborativa, o trabalho colaborativo ganha destaque no âmbito escolar Nesse processo, os profissionais da educação se apoiam no desenvolvimento de suas atividades em prol de um objetivo comum, que fora negociado anteriormente. São características desse tipo de trabalho: a liderança compartilhada, a confiança mútua e a corresponsabilidade no desenvolvimento das ações. Nesse contexto, a avaliação pode ser considerada como uma prática reflexiva coletiva que possibilita a compreensão do contexto analisado e, também, a indicação de ações em prol da melhoria do processo educativo e do cotidiano escolar. A mentoria de diretores propõe que os processos avaliativos desenvolvidos nas escolas utilizem em seus procedimentos metodológicos feedbacks críticos como o “que bom, que pena e que tal”. QUE BOM QUE PENA QUE TAL Destacar os aspectos positivos do que está sendo avaliado Refletir sobre os aspectos que precisam ser melhorados (problemas e desafios) Apontar sugestões que podem trazer melhorias para os problemas e desafios elencados 9 3. AVALIAÇÃO INSTITUCIONAL E DE LARGA ESCALA Como já foi dito, a avaliação educacional possui três modalidades, mas embora estejam sendo apresentadas de forma separada (didaticamente), é importante compreender que estão interligadas. Cada uma delas pode apresentar dados e/ou informações importantes que contribuem para a compreensão da realidade avaliada. Por exemplo: resultados das avaliações externas podemter informações que complementam as avaliações internas e de aprendizagem. A avaliação de aprendizagem, também conhecida como avaliação interna, fundamenta-se no processo de ensino e de aprendizagem desenvolvido em sala de aula. Professores avaliam o rendimento e o desempenho dos alunos e as “qualificações que atribuem são colocadas em registros, nos expedientes que tornarão possível decidir a passagem entre cursos, níveis e titulações finais” (SACRISTÁN; GOMÉS, 1998, p. 318). Para melhor compreensão, observe o diagrama a seguir: DIAGRAMA 1: Avaliações Fonte: Elaborado pelas autoras, 2022. Conforme vimos anteriormente, há diferentes metodologias avaliativas que podem ser utilizadas pelos docentes em sala de aula. A escolha da metodologia está relacionada com a finalidade a que se quer alcançar. Ao considerarmos a avaliação enquanto um processo contínuo, cumulativo e sistemático, de caráter diagnóstico e prognóstico, é importante optarmos por metodologias avaliativas que contemplem essas características, como avaliação formativa 10 e avaliação por pares. Considerar o estudante como sujeito ativo no processo avaliativo possibilita maior envolvimento e comprometimento dele em seu processo de ensino e de aprendizagem. Além disso, reduz sensivelmente o nível de stress e de ansiedade desses sujeitos, gerando menores conflitos nas relações entre professores e alunos nas salas de aula. A avaliação institucional é fundamental para que a escola conheça a sua própria realidade, refletindo sobre seus pontos positivos e os pontos a melhorar. Ela está relacionada à autoavaliação desenvolvida nas escolas. A avaliação institucional envolve a avaliação da aprendizagem. Além disso, está relacionada à avaliação da gestão, da organização escolar, do currículo e dos processos de ensino e de aprendizagem, da atuação e qualificação dos docentes, da infraestrutura da escola, da participação e envolvimento da comunidade local, pais e responsáveis pelos alunos, do perfil socioeconômico dos estudantes, entre outros (BRANDALISE, 2011). Apesar de sua importância, a avaliação institucional “é pouco realizada no interior das escolas, não está inserida nas várias ações nela desenvolvidas, como uma análise sistemática da instituição com vistas a identificar suas fragilidades e potencialidades, e a possibilitar a elaboração de planos de intervenção e melhorias” (BRANDALISE, 2011, p. 3). Isso ocorre por vários motivos, como a falta de preparo e/ou conhecimento dos profissionais da educação sobre as metodologias avaliativas, a falta de tempo diante das demandas diárias das escolas, entre outros. Em muitas escolas que realizam a avaliação institucional, um dos principais motivadores é o acompanhamento do Projeto Político Pedagógico. Além disso, conselhos atuantes, como o Conselho Escolar e o Grêmio Estudantil também contribuem para a realização e acompanhamento da avaliação institucional da escola. É importante destacar que, além de possibilitar o autoconhecimento da escola, a avaliação institucional tende a apresentar dados e informações necessárias para a realização de planejamentos, plano de ação e outros, dentro dainstituição. A avaliação externa ou de larga escala é realizada por agentes que estão externos à escola, mesmo que haja a colaboração e participação desta. Esses agentes podem ser de entidades públicas ou privadas. Como exemplo, temos as avaliações do Sistema de Avaliação da Educação Básica (Saeb), realizado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) e as avaliações do Programa Internacional de Avaliação dos Estudantes (Pisa), realizado pela Organização para a Cooperação e 11 Desenvolvimento Econômico (OCDE). Geralmente, as avaliações externas são realizadas em larga escala e buscam fornecer dados e informações sobre a educação de forma ampla, não se restringindo a um determinado aluno (como na avaliação do ensino e da aprendizagem) e a uma escola (como na avaliação interna). Pelo fato de abranger um quantitativo razoável de participantes, as avaliações externas permitem analisar dados de redes de ensino, do sistema educacional nacional e, até mesmo, fazer aferições em âmbito internacional, dependendo de seu objetivo. DIMENSÕES DA AVALIAÇÃO Conforme vimos anteriormente, a avaliação escolar é complexa e, por isso, ela não pode ser considerada apenas como um instrumento técnico de mensuração. Em outras palavras: a avaliação não é neutra. Além da dimensão técnica, a avaliação também possui dimensões políticas, ideológicas e éticas que não podem ser ignoradas por seus agentes, sejam eles avaliadores ou avaliados. Quer um exemplo? Em uma dimensão ampla (em nível macro), os resultados das avaliações servem para legitimar ou desacreditar as políticas educacionais. Além disso, a avaliação pode ser considerada como mecanismo de controle governamental, social e educacional. É nesse sentido que agências internacionais financeiras, como o Banco Mundial, também demonstram preocupação sobre a avaliação, em especial, sobre as metodologias adotadas nas avaliações, uma vez que seus resultados influenciam o financiamento de projetos em diversos países, como o Brasil (JANELA, 2009; STEPHANOU, 2005). No que tange às avaliações externas, é importante que os agentes escolares saibam quem são os formuladores desses exames e quais são as suas finalidades. A transparência no trato dessas informações tende a possibilitar maior envolvimento e compromisso da comunidade escolar no processo avaliativo. Dentro das unidades escolares (nível micro), as dimensões política, ideológica e ética da avaliação também se destacam em vários momentos do fazer avaliativo, como detalharemos abaixo: 12 Na escolha das questões das provas Qual conteúdo será enfatizado e qualificará em segundo plano No momento em que a avaliação será realizada Os discentes serão avisados previamente ou será uma avaliação surpresa Nos métodos e técnicas empregados Será prova objetiva, discursiva, seminários, trabalhos Na correção das questões O que será considerada para se qualificar uma resposta como correta ou errada, quais são os critérios de referência empregados Na atribuição das notas Será considerado o processo ou apenas o resultado final Na forma de publicização das notas Fará público ou não os resultados; divulgará aos pais ou aos próprios alunos Isso porque o ato avaliativo pode ser influenciado por negociações e jogos de poder, seja nas avaliações de discentes ou nas de docentes. Refletir sobre... Qual é o tipo e quem formula a metodologia avaliativa dos docentes? Quais são os critérios de referências empregados? 13 Para concluir... Fizeram-se algumas reflexões sobre a avaliação, destacando-se as características e a importância da finalidade da avaliação educacional, que é fornecer dados e informações para a compreensão da realidade e a proposição de ações em prol da melhoria da qualidade da educação (caráter diagnóstico e prognóstico). Verifica-se que a avaliação educacional engloba a avaliação do ensino e de aprendizagem, avaliação institucional e a avaliação externa. Esses três tipos de avaliação podem fornecer dados importantes para a compreensão da realidade escolar. Observa-se ao avaliar uma ação complexa, intencional e que, apesar de apresentar ferramentas técnicas de uso e tratamento de dados, não é neutra. A avaliação possui dimensões políticas, ideológicas, éticas que precisam ser consideradas pelos sujeitos envolvidos no processo de avaliação. 14 A AVALIAÇÃO EXTERNA EM LARGA ESCALA: PERGUNTAS FREQUENTES POR QUE AVALIAR A EDUCAÇÃO NO MARANHÃO? Antes de responder a essa pergunta, é necessário entender o sentido do termo avaliação. Como se verifica no “Dicionário Online de Sinônimos”1, o substantivo avaliação não se limita à ideia de aplicação de testes e subsequente divulgação de seus resultados. Ele também remete ao sentido dos termos: apreciação; aferição; ponderação; análise; parecer; crítica; observação; reflexão, entre diversos outros. Desse modo, é possível concluir que avaliar consiste em um processo muito mais amplo do que habitualmente se supõe. Esquematicamente, podemos entendê-lo da seguinte forma: O PROCESSO DE AVALIAÇÃO COLETAR DIAGNOSTICAR DECIDIR AGIR Recolher dados e informações Sobre determinada realidade. Realizar um julgamento sobre essa realidade a partir dos dados e informações coletados. Tomar decisões com base no julgamento realizado a fim de alcançar determinado objetivo. Traçar estratégias de ação sobre a Realidade avaliada Esse infográfico mostra que a aplicação de testes é somente o primeiro passo do processo de avaliação o da coleta de informações. Há três passos seguintes, bastante complexos, envolvendo o diagnóstico (ou análise, ponderação, critica etc.) dos dados obtidos; a tomada de decisão com base nesse diagnóstico; e a execução de uma ou mais ações a partir do que foi decidido. Neste momento, cabe especificar o processo de avaliação da aprendizagem1. A avaliação da aprendizagem De acordo com Moreto (2010, p. 119), a “[...] avaliação da aprendizagem é um momento privilegiado de estudo, e não um acerto de contas”. Entretanto, muitas vezes os processos avaliativos são confundidos com uma espécie de “punição”, de onde provém o receio que muitos estudantes ainda demonstram diante de testes cognitivos. 1 AVALIAÇÃO. In: Dicionário Online de Sinônimos. Disponível em: https://www.sinonimos.com.br/avaliacao/. Acesso em: 12 dez. 2023 https://www.sinonimos.com.br/avaliacao/ 15 É essencial mudar essa concepção de avaliação, que precisa ser entendida como um processo natural. Assim como, para sair de casa, decidimos qual roupa devemos usar analisando dados meteorológicos (hoje em dia facilmente acessíveis nos celulares), a avaliação da aprendizagem tem como objetivo primordial fornecer dados a respeito do desenvolvimento dos estudantes em relação às competências e habilidades esperadas em determinado componente curricular e ano de escolaridade. Com base nessas informações, é possível decidir as ações a serem realizadas, a fim de promover a aprendizagem dos estudantes e seu consequente progresso na trajetória escolar. Para melhor compreender os processos das avaliações educacionais, é importante conhecer as características gerais de uma avaliação interna e de uma avaliação externa. A avaliação interna ocorre no âmbito da escola. O professor de determinado componente curricular e ano de escolaridade leciona da unidade escolar em que ocorre o processo avaliativo, e é ele próprio quem elabora, aplica e corrige o teste para, a partir de seus resultados, analisar a aprendizagem de seus estudantes. A metodologia para aferição desses resultados é, usualmente,a Teoria Clássica dos Testes. A avaliação externa em larga escala constitui um procedimento avaliativo baseado na aplicação de testes e questionários padronizados para um universo mais amplo de estudantes. Agentes externos à escola elaboram os testes de cada componente curricular e ano de escolaridade, com tecnologias e metodologias bem definidas e específicas (como a Teoria de Resposta ao Item e a Teoria Clássica dos Testes, que serão detalhadas mais adiante). Esse processo avaliativo permite verificar, com base no desempenho dos estudantes nos testes, a qualidade e a efetividade do ensino ofertado a uma determinada população (estado ou município, por exemplo). Em resposta à pergunta que inicia esta subseção - Por que avaliar a educação no Maranhão –, a avaliação externa em larga escala pode contribuir para melhorar o processo educacional no interior das escolas e, consequentemente, na rede de ensino como um todo a partir do diagnóstico de seus resultados. Esse diagnóstico pode subsidiar tomadas de decisão que permitam a execução de ações em todas as instâncias da rede, como se verifica no quadro a seguir. 16 Instância Ação C Planejar e executar políticas públicas. Rede de ensino – Gestor C Criar metas de qualidade e equidade educacionais. C Implementar medidas de responsabilização. C Criar políticas de incentivos. Escola – Gestor C Promover formação continuada para professores. C (Re)Elaborar o projeto político-pedagógico da escola. C Monitorar a qualidade do ensino ofertado pela escola. C Realizar a avaliação institucional da escola. C (Re)Planejar as atividades em sala de aula. Escola – Professor C Elaborar projetos de intervenção pedagógica. C Elaborar projetos especiais. C Priorizar os alunos com dificuldades. 17 C Promover atividades de reforço escolar. C Visualizar proativamente o desenvolvimento de habilidades e competências ao longo da educação básica. Comunidade – C Acompanhar o desempenho escolar do estudante. Estudante e C Analisar informações da qualidade dos serviços educacionais oferecidos. familiares O primeiro passo para iniciar uma avaliação externa em larga escala é definir o público-alvo estudantes e rede(s) – e a abrangência dessa avaliação – se amostral ou censitária, ou seja, se somente alguns ou todos os estudantes da rede avaliada realizarão os testes cognitivos, assim como quais componentes curriculares e anos de escolaridade deverão ser examinados. O passo seguinte consiste na definição do que se pretende avaliar. O QUE É AVALIADO NO SEAMA? Estabelecido o público-alvo da avaliação externa e a abrangência dessa avaliação, é necessário, agora, decidir o que deve ser avaliado. Em uma avaliação externa em larga escala, são definidas habilidades a serem avaliadas em cada componente curricular e ano de escolaridade previstos. Essas habilidades são relacionadas nas chamadas matrizes de referência. É importante destacar que as matrizes de referência são uma parte do currículo da rede; as avaliações externas não têm o objetivo de avaliar o desempenho dos estudantes em todos os conteúdos presentes no currículo, e sim naquelas habilidades consideradas essenciais para que os estudantes avancem em sua trajetória escolar. Essas habilidades são descritas, nas matrizes de referência, por meio dos chamados descritores. Desse modo, as matrizes de referência relacionam os conhecimentos e as habilidades para cada componente e ano de escolaridade avaliado, ou seja, elas detalham o que será avaliado, tendo em vista as operações mentais desenvolvidas pelos estudantes em relação aos conteúdos escolares que podem ser aferidos por testes de proficiência em larga escala. As matrizes de referência de Língua Portuguesa do SEAMA 2023 podem 18 ser consultadas no anexo desta revista e na plataforma do programa: https://avaliacaoemonitoramentomaranhao.caeddigital.net COMO É A AVALIAÇÃO NO SEAMA? Os testes das avaliações externas são compostos por itens, elaborados com base nos descritores das matrizes de referência de cada componente curricular e ano de escolaridade. Um item é composto pelas seguintes partes: Para a elaboração de um item de uma avaliação externa em larga escala, é essencial observar as seguintes orientações: C O item deve avaliar uma única habilidade da matriz de referência – ele deve ser unidimensional. C O suporte só é empregado quando necessário à resolução do item. Ele nunca é apresentado somente como ilustração. C O enunciado deve trazer todas as informações necessárias à resolução do item. C As alternativas de resposta do item não podem ser aleatórias. Elas devem ter uma justificativa plausível, sendo elaboradas considerando os possíveis erros dos estudantes. C O item deve ser construído de forma que, ao analisar as alternativas de resposta, o estudante seja capaz de encontrar o gabarito. Não pode haver alternativa que induza o estudante ao erro (“pegadinha”). https://avaliacaoemonitoramentomaranhao.caeddigital.net/ 19 Organização dos cadernos de teste Depois de elaborados, os itens são agrupados em blocos que, por sua vez, compõem os cadernos de teste. CADERNO DE TESTE Essa metodologia, denominada Blocos Incompletos Balanceados (BIB), permite em compor diferentes cadernos de teste com itens comuns entre si, e é empregada quando se pretende avaliar um conjunto bastante amplo de habilidades sem levar os estudantes a responderem cadernos muito extensos. Dessa forma, ao compilar os resultados de todos os estudantes, é possível obter informações fidedignas sobre todas as habilidades avaliadas nos testes. COMO SÃO APRESENTADOS OS RESULTADOS DO SEAMA? Os resultados da avaliação somativa 2023 podem ser consultados na área restrita da plataforma do programa – Minha Página –, por meio do card Resultados do Seama 2023: https://avaliacaoemonitoramentomaranhao.caeddigital.net A produção da medida de desempenho dos estudantes nas avaliações externas em larga escala pode ser realizada através do uso de duas metodologias: C Teoria de Resposta ao Item (TRI) C Teoria Clássica dos Testes (TCT) TEORIA DE RESPOSTA AO ITEM (TRI) A utilização dessa metodologia produz uma medida mais robusta do desempenho dos estudantes, uma vez que leva em consideração características importantes dos itens que compõem o teste e que são medidas antes de sua aplicação, por meio dos chamados pré- testes. Ela consiste em um conjunto de modelos estatísticos capazes de determinar um valor/peso diferenciado para cada item que o estudante respondeu no teste de proficiência. Essa metodologia atribui ao desempenho do aluno uma proficiência (e não uma nota), associada ao conhecimento que o aluno demonstra em relação às habilidades elencadas na matriz de referência que dá origem ao teste. https://avaliacaoemonitoramentomaranhao.caeddigital.net/ 20 O QUE É PROFICIÊNCIA? É um valor estimado do conhecimento do estudante, com base na Teoria de Resposta ao Item (TRI). Para a definição da proficiência de um estudante, consideram-se as tarefas que ele é capaz de realizar na resolução dos itens do teste. Como exemplo hipotético, vamos mostrar como seria construída uma “escala” para medir altura, considerando que nossa altura afeta nossas ações e o que somos capazes de fazer. Sugerimos três possíveis questionamentos, que poderiam servir como base para a elaboração de itens de um “teste” que busque aferir a altura dos sujeitos avaliados: 1. Você consegue guardar as malas no bagageiro interno de um ônibus de viagem? 2. Você consegue subir ou descer dois degraus de cada vez em umaescada? 3. Para conversar com a maioria das pessoas, você precisa olhar para baixo? Aplicado esse “teste”, três pessoas avaliadas deram as seguintes respostas: “Itens” do teste ITEM 1: Pessoas “avaliadas” Carolina Leonardo Priscila Você consegue guardar as malas no bagageiro interno de um ônibus de viagem? ITEM 2: Você consegue subir ou descer dois degraus de cada vez em uma escada? ITEM 3: Para conversar com a maioria das pessoas, Você precisa olhar para baixo? Sim Sim Sim Não Sim Sim Não Não Sim 21 Esses “itens” podem ser posicionados em uma escala de altura, como se verifica na imagem abaixo: 1,5 m 1,6 m 1,7 m 1,8 m 1,9 m Item 1 Item 2 Item 3 O item 1 corresponde a pessoas com altura entre 1,5m e 1,6m; o item 2, a pessoas com altura entre 1,6m e 1,7m; e o item 3, a pessoas com altura acima de 1,8m. De acordo com as respostas de Carolina, Leonardo e Priscila aos itens desse “teste” de altura, podemos dizer que, possivelmente, cada um deles possui uma altura situada nos seguintes intervalos: Carolina Leonardo Priscila 1,5 m 1,6 m 1,7 m 1,8 m 1,9 m Item 1 Item 2 Item 3 As medidas de proficiência obtidas pelos estudantes nos testes cognitivos são traduzidas, mediante uma escala de proficiência, em diagnósticos qualitativos do desempenho escolar desses estudantes. A escala revela, para o professor, as competências e habilidades que seus estudantes desenvolveram, ao apresentar os resultados dos testes em uma régua onde os valores de proficiência alcançados são distribuídos de forma ordenada e organizados em intervalos que indicam o grau de desenvolvimento das habilidades para os estudantes que alcançaram determinado nível de proficiência. 22 A escala de proficiência de Língua Portuguesa utilizada para a divulgação dos resultados do SEAMA 2023 pode ser representada da seguinte forma: DOMÍNIOS COMPETÊNCIAS 0 25 50 75 100 125 150 175 200 225 250 275 300 325 350 375 400 425 450 475 500 Processame nto Manifesta consciência fonológica Localiza Estabelece relações entre ◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼ ◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼ ◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼ ◼◼ ◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼ ◼◼◼ ◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼ ◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼ ◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼ ◼ ◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼ ◼◼ ◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼ ◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼ ◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼ ◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼ ◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼◼ A gradação das cores indica a complexidade da tarefa. Como é calculada a proficiência? Para o cálculo da proficiência do estudante, a TRI leva em conta três parâmetros dos itens do teste: Discriminação (Parâmetro a) Dificuldade (Parâmetro b) Probabilidade de acerto ao acaso (Parâmetro c) Diz respeito à capacidade de o item discriminar, entre os estudantes avaliados, aqueles que desenvolveram as habilidades avaliadas daqueles que ainda não as desenvolveram. Tem como base o nível de exigência do item para que seja respondido corretamente. De acordo com o grau de dificuldade, os itens são classificados em fáceis, médios ou difíceis. Busca identificar os acertos estatisticamente improváveis, que serão considerados acertos ao acaso (“chutes”) e excluídos do cálculo da proficiência. Se for constatado que o aluno errou muitos itens de baixo grau de dificuldade e acertou muitos de grau elevado, situação estatisticamente improvável, o modelo deduz que ele respondeu aleatoriamente às questões. 23 É importante destacar que: C para os estudantes que fizeram o mesmo modelo de caderno, ter um percentual de acerto maior no teste não significa necessariamente ter uma proficiência maior; C o modelo da TRI pressupõe que o indivíduo vá acertando dos itens mais fáceis para os mais difíceis; Numa situação em que dois alunos acertam a mesma quantidade de itens no teste, o aluno que acertou menos os itens fáceis, em relação aos médios e difíceis, terá uma proficiência menor do que o aluno que apresentou um padrão de respostas mais alinhado com o desempenho esperado, ou seja, acertou menos os itens difíceis e acertou mais os itens médios e mais ainda os itens fáceis. C a TRI sempre calcula a chance de o aluno ter “chutado” o item (acerto ao acaso). Normalmente, os alunos acertam menos os itens difíceis e acertam mais os itens fáceis; entretanto, existem as situações de acerto ao acaso. Nessa modelagem, a penalização na produção de medidas é maior quando o aluno acerta menos os itens fáceis, em relação aos médios e difíceis. Vamos imaginar um teste hipotético de Língua Portuguesa do 9º ano do Ensino Fundamental com vinte e seis itens, sendo oito de dificuldade baixa, dez de dificuldade média e oito de dificuldade alta. Os resultados hipotéticos de quatro estudantes que participaram desse teste estão listados a seguir. ESTUDANTE Dificuldade baixa ITENS DO TESTE Dificuldade média PROFICIÊNCIA DO ESTUDANTE Dificuldade alta Marcel a Jorge Fabian a Matheus 334 188 152 293 24 (Fonte: http s://www.est adao.com.b r/educacao/ mateus- prado/o- primeiro- simulado- que-te- ajuda-a- entender-o- calculo-da- nota-do- enem/. Acesso em : 12 dez. 2 023. Adapt ado para fi ns didáticos.) Marcela Marcela acertou os oito itens de dificuldade baixa, cinco dos dez itens de dificuldade média e nenhum item de dificuldade alta. Esse comportamento em relação ao resultado do teste é considerado coerente, pois espera- se que a maioria dos estudantes acerte a maior parte dos itens mais fáceis, uma parte dos itens de dificuldade média e poucos itens de maior grau de dificuldade. Jorge Por sua vez, Jorge acertou nove itens de dificuldade média e três itens de dificuldade alta. Entretanto, como o comportamento esperado seria que ele resolvesse mais do que um item de dificuldade baixa antes de alcançar o nível médio, seu resultado não foi coerente com a escala de proficiência. Assim, conforme a metodologia da TRI, sua proficiência foi mais baixa do que a obtida por Marcela. Fabiana O resultado alcançado por Fabiana é ainda menos coerente, pois ela acertou os oito itens de dificuldade alta, mas errou todos os itens de dificuldade baixa, situação estatisticamente improvável. De acordo com a TRI, como a estudante não demonstrou ter desenvolvido as habilidades necessárias para acertar os itens mais fáceis, os acertos dos itens difíceis são considerados acertos ao acaso (“chutes”) e, por isso, sua proficiência foi mais baixa que a de Jorge. Matheus Matheus obteve um resultado próximo ao de Marcela, visto que ele acertou seis itens de dificuldade baixa, quatro de dificuldade média e um de dificuldade alta. Esse comportamento é considerado coerente e, por esse motivo, ele alcançou uma proficiência maior que a aferida nos resultados de Jorge e Fabiana. De acordo com a proficiência obtida, os estudantes podem ser alocados em um dos chamados padrões de desempenho. https://www.estadao.com.br/educacao/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/https://www.estadao.com.br/educacao/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/ https://www.estadao.com.br/educacao/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/ https://www.estadao.com.br/educacao/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/ https://www.estadao.com.br/educacao/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/ https://www.estadao.com.br/educacao/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/ https://www.estadao.com.br/educacao/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/ https://www.estadao.com.br/educacao/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/ https://www.estadao.com.br/educacao/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/ https://www.estadao.com.br/educacao/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/ https://www.estadao.com.br/educacao/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/ https://www.estadao.com.br/educacao/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/ https://www.estadao.com.br/educacao/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/ https://www.estadao.com.br/educacao/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/ 25 O QUE SÃO OS PADRÕES DE DESEMPENHO? Os padrões de desempenho estudantil correspondem a uma especificação das competências e habilidades desenvolvidas pelos estudantes em determinado componente curricular e ano de es-colaridade. Essa especificação está relacionada a intervalos numéricos da escala de proficiência. No caso do SEAMA 2023, esses intervalos são: Padrões de desempenho em Língua Portuguesa Etapa 2º ano EF 5º ano EF 9º ano EF 3ª série M Abaixo do básico Até 518 Até 150 Até 200 Até 250 Básico 519 a 600 151 a 200 201 a 275 251 a 300 Adequado 601 a 667 201 a 250 276 a 325 301 a 375 Avançado 668 ou mais 251 ou mais 326 ou mais 376 ou mais 26 Padrão de desempenho Abaixo do básico Descrição Padrão de desempenho muito abaixo do mínimo esperado para o componente curricular e o ano de escolaridade avaliados. Os estudantes que se encontram neste padrão revelam uma grande carência de aprendizagem. Faz-se necessário, portanto, acompanhá-los individualmente, promovendo ações pedagógicas de recuperação das aprendizagens. Padrão considerado básico para o componente curricular e o ano de escolaridade avaliados. Básico Os estudantes que situados neste padrão caracterizam-se por um processo inicial de desenvolvimento de competências e habilidades correspondentes ao ano de escolaridade em que estão matriculados, demandando estratégias de reforço das aprendizagens. Padrão considerado adequado para o componente curricular e o ano de escolaridade avaliados. Adequado Avançado Os estudantes que alcançaram este padrão demonstram ter desenvolvido as habilidades essenciais esperadas para o ano de escolaridade em que se encontram. Dessa forma, é preciso incentivá-los mediante ações de aprofundamento das aprendizagens. Padrão de desempenho desejável para o componente curricular e o ano de escolaridade avaliados. Os estudantes alocados neste padrão apresentam um desempenho além do esperado para o ano de escolaridade em que estão situados, necessitando de estímulos para continuar avançando no processo de aprendizagem. A descrição pedagógica dos níveis de proficiência que compõem os padrões de desempenho de Língua Portuguesa pode ser consultada no anexo desta revista e na plataforma do programa: https://avaliacaoemonitoramentomaranhao.caeddigital.net 28 https://avaliacaoemonitoramentomaranhao.caeddigital.net/ 27 Como os resultados de TRI são apresentados na plataforma? Na área restrita da plataforma do programa, é possível consultar os resultados da escola calculados com base na TRI, clicando no card Resultados do Seama 2023. A proficiência e os padrões de desempenho alcançados no teste são apresentados de acordo com o componente curricular e o ano de escolaridade selecionados, da seguinte forma: Escola Turma Estudante 28 TEORIA CLÁSSICA DOS TESTES (TCT) A medida de desempenho que emprega essa metodologia é calculada de uma forma muito próxima das notas dadas pelas avaliações habitualmente realizadas pelos professores em sala de aula. Na avaliação externa, essa medida consiste, basicamente, no percentual ou no quantitativo de acertos para cada habilidade avaliada. Como os resultados de TCT são apresentados na plataforma? Também na área restrita da plataforma, é possível conferir os resultados da escola calculados com base na TCT. De acordo com o componente curricular e o ano de escolaridade selecionados, esses resultados são apresentados da seguinte forma: Escola Turma Estudante 29 COMO UTILIZAR OS RESULTADOS DO SEAMA? A avaliação externa é uma importante fonte de dados para compor o diagnóstico que a escola realiza, em relação ao desempenho dos estudantes. Entretanto, é preciso utilizar essas informações de maneira adequada e eficaz. A seguir, apresentamos algumas orientações para o uso desses resultados na escola e em cada sala de aula. Proficiência média C A proficiência média da escola, ou da turma, é um indicador importante para ser analisado ao longo do tempo. Ele informa se a escola tem conseguido melhorar o desempenho geral dos seus estudantes, isto é, se a escola agrega, ao longo do tempo, mais qualidade ao ensino que oferece. C Portanto, a proficiência média é um importante indicador de monitoramento para a escola trabalho pedagógico. Para essa ação, os melhores indicadores são os padrões de desempenho e o acerto nas habilidades avaliadas. C As habilidades, os processos cognitivos, bem como os objetos de conhecimento envolvidos em cada componente curricular avaliado, são diferentes. Portanto, os resultados precisam ser analisados considerando as escalas de cada componente curricular. , mas não deve ser usada para pensar as estratégias pedagógicas, por exemplo, pois, como o próprio nome diz, trata-se da média de desempenho. Em torno desta média, há estudantes com diferentes níveis de desempenho, e esses níveis informam mais para o C Por exemplo, uma proficiência de Língua Portuguesa não pode ser interpretada como maior ou menor que uma de Matemática, pois cada uma possui uma escala de referência distinta. Padrões de desempenho C Os padrões de desempenho são níveis, ou C O planejamento pedagógico precisa levar perfis, obtidos a partir da descrição pedagógica da escala de proficiência. Cada padrão descreve as habilidades que estão compreendidas naquele intervalo. C Os padrões mais baixos – alocados à esquerda da escala – contêm as habilidades mais elementares, insuficientes para os estudantes que estão concluindo determinado ano de escolaridade. Ao contrário, os padrões mais à direita apresentam as habilidades esperadas para aquele ano avaliado. em consideração toda essa descrição, pois, em uma turma, por exemplo, há estudantes distribuídos por toda a escala, ocupando os diferentes padrões dedesempenho. C Aqueles estudantes com desempenho característico dos padrões mais baixos requerem intervenções diferentes daquelas utilizadas para os estudantes que demonstram terem consolidado as habilidades esperadas para o seu ano de escolaridade. 30 C Um mesmo estudante pode apresentar padrões de desempenho distintos, a depender do componente curricular. Por isso, é preciso analisar os resultados de cada componente de forma separada. C No entanto, ao realizar o planejamento pedagógico, é possível – e fundamental – que todos os resultados de cada estudante sejam analisados. Sobretudo, é importante refletir sobre o processo de aprendizagem dos estudantes nos diferentes componentes curriculares. Percentual de acerto nas habilidades C Os percentuais de acerto nas habilidades é um dos indicadores mais utilizados pelos professores. Isso ocorre porque a forma de interpretá-los é mais próxima daquilo que é feito em sala de aula, por meio das avaliações internas. C Entretanto, é preciso realizar essa interpretação com alguns cuidados: por exemplo, uma mesma habilidade pode ter níveis de complexidade diferentes e, por isso, quando se observa apenas a média de acerto, não é possível identificar essas nuances. Além disso, o desenvolvimento de uma habilidade é resultado do desenvolvimento de um conjunto de outras habilidades mais ou menos relacionadas a ela. Portanto, um equívoco muito comum entre os professores é tentar “trabalhar” somente as habilidades que apresentam menores percentuais de acerto. O caminho não é esse! C É preciso analisar todas as habilidades avaliadas, relacionando-as ao currículo e ao planejamento pedagógico. Essa análise permite identificar as lacunas e as possibilidades de intervenção. Olhando de modo conjunto e articulado – avaliação, currículo, planejamento e estratégias de ensino – é que se consegue usar, adequadamente, os resultados das avaliações, sobretudo em relação ao indicador “acerto por habilidade”. C É essencial verificar não só as habilidades menos acertadas, mas também o comportamento dos estudantes em relação às demais 31 habilidades, lembrando que o desenvolvimento da aprendizagem é um continuum. Ao analisar os resultados das avaliações por meio das habilidades, é necessário olhar em duas direções: para os anos de escolaridade anteriores àquele avaliado e para os subsequentes. C Um passo fundamental consiste em observar para quais habilidades consideradas pré-requisitos importantes não foram desenvolvidas estratégias de ensino suficientes e que, portanto, necessitam ser retomadas. Por outro lado, deve-se pensar sobre quais habilidades ficarão comprometidas no futuro, caso essas que ainda apresentam baixos percentuais de acerto não forem consolidadas pelos estudantes neste momento. C Outro movimento importante em relação a esse indicador é observar a matriz de referência que dá origem aos testes das avaliações externas. As habilidades ali contidas são extraídas dos currículos e têm como objetivo a elaboração de itens para esses testes. Entretanto, elas não esgotam o currículo, que precisa continuar norteando o trabalho pedagógico. C As matrizes são documentos importantes para a elaboração dos testes e constituem um instrumento de monitoramento do currículo, mas não são o currículo em si. 32 REFERÊNCIAS CAED. Avaliação da Educação – Boletim de Resultados 2023. Juiz de Fora, março de 2004. CAED. Mentoria de Diretores de Escola: Orientações Práticas. Maria Cecília Luiz (org.) Pedro & João Editores. São Carlos 2022.