Baixe o app para aproveitar ainda mais
Prévia do material em texto
Diretoria de Avaliação da Aprendizagem Superintendência de Avaliação Educacional Subsecretaria de Desenvolvimento da Educação Básica Secretaria de Estado de Educação Formação emAvaliação Educacional MATERIAL DE LEITURA MÓDULO 3 SECRETÁRIO DE ESTADO DE EDUCAÇÃO Igor de Alvarenga Oliveira Icassatti Rojas SECRETÁRIA ADJUNTA Geniana Guimarães Faria SUBSECRETARIA DE DESENVOLVIMENTO DA EDUCAÇÃO BÁSICA Izabella Cavalcante Martins SUPERINTENDÊNCIA DE AVALIAÇÃO EDUCACIONAL Julia Drumond Campos e Silva DIRETORIA DE AVALIAÇÃO DA APRENDIZAGEM ESCOLAR Nathália Caroline de Souza Reis ELABORAÇÃO Arlaine Silva Daniela Oliveira Rocha Luísa Souza Costa REVISÃO Wagner Eustáquio Oliveira da Costa Nathália Caroline de Souza Reis Esta publicação deverá ser citada da seguinte forma: MINAS GERAIS. Secretaria de Estado de Educação. Formação em Avaliação Educacional. Módulo 3: Intervenções Pedagógicas. Belo Horizonte, MG: SEE, 2023. Módulo 3 Intervenções Pedagógicas No terceiro módulo do curso de Formação em Avaliação Educacional abordaremos as etapas que antecedem a realização de intervenções pedagógicas planejadas a partir dos resultados de avaliações externas. O primeiro passo é o acesso aos dados; depois, a análise dos resultados; e por fim, o planejamento das ações. Ao final deste módulo, você deverá: - Conhecer os meios em que são divulgados os resultados das avaliações externas e conseguir acessá-los; - Conhecer, compreender e interpretar as principais informações contidas nos materiais de divulgação dos resultados das avaliações externas; - Conhecer e compreender a proposta de atividade destinada à equipe pedagógica, para realizar planejamento de intervenções pedagógicas a partir dos resultados de uma avaliação externa. Bons estudos! SUMÁRIO 1. Avaliação externa e intervenção pedagógica 4 2. Acesso aos resultados 4 2.1. Acesso aos resultados do Simave 5 2.2. Acesso aos resultados do Saeb 6 2.3. Acesso aos resultados do Pisa 7 3. Interpretação dos resultados 7 3.1. Interpretação dos resultados do Simave 8 3.2. Interpretação dos resultados do Saeb 12 3.3. Interpretação dos resultados do Pisa 15 4. Planejamento da intervenção pedagógica 21 REFERÊNCIAS BIBLIOGRÁFICAS 25 Formação em Avaliação Educacional Módulo 3: Intervenções Pedagógicas 1. Avaliação externa e intervenção pedagógica Retomando o conteúdo dos módulos 1 e 2, sabemos que a avaliação externa tem a finalidade de quantificar as habilidades e competências ensinadas em alguns momentos da escolarização, subsidiando os gestores e a equipe pedagógica nos projetos educacionais, tanto da escola como da rede. Mas, além de serem importantes para a tomada de decisões, as informações geradas a partir das avaliações externas também podem ser propulsoras de mudança dentro da sala de aula, no planejamento e na prática de ensino. Vimos que este tipo de avaliação se propõe a verificar o ensino. Por isso, a intervenção pedagógica, nessas condições, deve ser centrada também no professor, e não apenas no estudante. Assim, veremos nas próximas páginas que os resultados de uma avaliação externa podem fornecer indícios de deficiências e/ou pontos exitosos da prática pedagógica. Entretanto, é preciso ter cuidado ao interpretar esses resultados, pois, conforme visto anteriormente, a avaliação externa não é adequada para acompanhar e qualificar a aprendizagem - essa é a função da avaliação interna. A intervenção pedagógica, por sua vez, trata-se da ação do professor sobre um processo de aprendizagem diante da identificação de alguma dificuldade. Nessas situações, é necessário que o docente pense em novas formas de abordar o conteúdo, traçando estratégias diferenciadas. Dessa forma, antes de planejar ou mesmo realizar a intervenção, o professor deve apropriar-se dos resultados dessas avaliações. Logo, ficará mais fácil perceber a relação existente entre o desempenho obtido na avaliação externa e o trabalho interno que ele realiza em sala de aula. Cabe ressaltar que as orientações contidas neste módulo buscam subsidiar o direcionamento do trabalho do(a) analista com a equipe pedagógica da escola nas reuniões, formações ou qualquer situação de norteamento quanto à aplicação dos dados e informações das devolutivas nas ações educacionais. Sendo assim, a seguir, iniciaremos com o primeiro passo para a elaboração da intervenção pedagógica: o acesso aos resultados. 2. Acesso aos resultados Os resultados das avaliações externas precisam ser de conhecimento de toda a 4 Formação em Avaliação Educacional Módulo 3: Intervenções Pedagógicas comunidade escolar. Saber como acessá-los é uma informação importante não apenas para os gestores, especialistas e professores, mas também para os demais profissionais da escola, pois, conforme aponta Machado (2012), Efetivar as funções da gestão escolar, de direção e coordenação, significa evidenciar elementos da realidade escolar e socializá-los com os profissionais da escola para edificar o trabalho coletivo na direção da concretização de uma escola pública democrática que, além de ser para todos, também ensina a todos (MACHADO, 2012, P. 79). Os resultados das avaliações do Simave (Sistema Mineiro de Avaliação e Equidade da Educação Pública), do Saeb (Sistema de Avaliação da Educação Básica) e do Pisa (Programa Internacional de Avaliação de Alunos) são disponibilizados segundo a periodicidade de aplicação de cada uma, em diferentes plataformas e formatos, conforme veremos adiante. Sabemos que os dados agregados por região, estado ou país de uma avaliação externa podem parecer distantes do dia-a-dia em sala de aula. Contudo, a leitura desses resultados revela um diagnóstico mais amplo das redes e sistemas educacionais, contribuindo para o exercício de reflexões sobre eles, e, consequentemente, o entendimento de algumas implicações na realidade de cada escola. 2.1. Acesso aos resultados do Simave Os resultados de cada avaliação externa do Simave, por componente curricular e etapa de escolaridade avaliada, estão disponíveis no Portal Simave1. As escolas e regionais podem consultá-los das seguintes formas: a. Ambiente restrito da plataforma (MINHA PÁGINA) clicando no card “PROEB e PROALFA” em “Sistema Mineiro de Avaliação e Equidade da Educação Pública”; b. Ambiente restrito da plataforma (MINHA PÁGINA) clicando no card “Resultados” em “Avaliações Formativas”; c. Ambiente público da plataforma, clicando, nomenu superior, em “Resultados” (apenas para as avaliações somativas). No ambiente restrito da plataforma do Simave, é possível consultar os resultados gerais da escola, das turmas e de cada estudante. Já no ambiente público, estão disponíveis os resultados no nível da regional, do município e da escola. Lembrando que neste último 1 http://simave.educacao.mg.gov.br/#!/pagina-inicial. 5 http://simave.educacao.mg.gov.br/#!/pagina-inicial Formação em Avaliação Educacional Módulo 3: Intervenções Pedagógicas caso, são divulgados apenas os resultados das avaliações externas somativas, isto é, do Proalfa e do Proeb. No caso das “Avaliações Formativas” (opção b), a página está organizada por informações de participação e de desempenho. Utilize os filtros para selecionar a avaliação, a etapa e o componente curricular cujos resultados deseja conhecer. Na parte de PARTICIPAÇÃO: ● a taxa de participação; ● o número de itens do caderno que os estudantes responderam emmédia. Na parte de DESEMPENHO: ● o percentual médio de acertos no teste; ● a distribuição dos estudantes por categoria de desempenho; ● o percentual de acertos por habilidade; ● a visão detalhada dos resultados. Na tabela “visão detalhada dos resultados" é apresentado o detalhamento das informações da participação e do desempenho no teste, até o nível do estudante. 2.2. Acesso aos resultados do Saeb Os resultados do Saeb podem ser consultados no site do Inep, na área do Saeb2 de duas formas: a. Ambiente do próprio site, clicando em “Resultados”. b. Ambiente do Sistema Saeb, clicandoem “Sistema”. Na primeira opção, você irá observar que constam os resultados de todas as edições - exceto as de 1990 e 1993 - sendo que as publicações são variáveis para cada ano (relatórios consolidados, microdados ou boletins de desempenho). Os resultados publicados em planilha são agregados para o Brasil, regiões e unidades da Federação, e discriminados por dependência administrativa (federal, estadual, municipal ou privada) e localização (rural ou urbana). Desde 2005, municípios e escolas também têm seus resultados divulgados. No ambiente do Sistema Saeb (opção “b”), siga as orientações do Guia de Acesso Sistema Saeb3, que foi elaborado em 2020 pela Diretoria de Avaliação da Educação 3https://download.inep.gov.br/publicacoes/institucionais/avaliacoes_e_exames_da_educacao_basica/ guia_de_acesso_para_o_sistema_do_saeb.pdf. 2 https://www.gov.br/inep/pt-br/areas-de-atuacao/avaliacao-e-exames-educacionais/saeb. 6 https://www.gov.br/inep/pt-br/areas-de-atuacao/avaliacao-e-exames-educacionais/saeb https://download.inep.gov.br/publicacoes/institucionais/avaliacoes_e_exames_da_educacao_basica/guia_de_acesso_para_o_sistema_do_saeb.pdf https://download.inep.gov.br/publicacoes/institucionais/avaliacoes_e_exames_da_educacao_basica/guia_de_acesso_para_o_sistema_do_saeb.pdf https://download.inep.gov.br/publicacoes/institucionais/avaliacoes_e_exames_da_educacao_basica/guia_de_acesso_para_o_sistema_do_saeb.pdf https://download.inep.gov.br/publicacoes/institucionais/avaliacoes_e_exames_da_educacao_basica/guia_de_acesso_para_o_sistema_do_saeb.pdf https://www.gov.br/inep/pt-br/areas-de-atuacao/avaliacao-e-exames-educacionais/saeb Formação em Avaliação Educacional Módulo 3: Intervenções Pedagógicas Básica/Inep, para efetuar o login no ambiente restrito da plataforma (apenas para escolas). Outro meio é o acesso público ao boletim da escola4, também disponível no Sistema Saeb. 2.3. Acesso aos resultados do Pisa Os resultados do Pisa podem ser encontrados no site do Inep, na área do Pisa5. Os materiais de consulta, que diferenciam conforme a edição da prova, são relatórios elaborados tanto pela OCDE (Organização para a Cooperação e Desenvolvimento) como pelo Inep, e contém resultados por país, apresentações dos seminários, entre outros. A avaliação mais recente se deu em 2022, mas os resultados ainda não foram disponibilizados. No site da OCDE6, há diversas publicações sobre o Pisa. Acesse o link pelo Google Chrome e ative o Google Tradutor na parte superior da tela. Após clicar na publicação desejada, é preciso escolher a opção “Leia online” para ler o texto traduzido em português. 3. Interpretação dos resultados O próximo passo, após ter os resultados em mãos, é fazer uma leitura e buscar compreender o que eles refletem. Na escola, essa tarefa normalmente fica centralizada nos gestores e especialistas, mas eles podem e devem ampliar as discussões sobre a análise dos resultados das avaliações externas nas reuniões pedagógicas, encontros de capacitação e formação continuada, como também em reuniões com pais/responsáveis. Apesar de, muitas vezes, ser um valor quantitativo, o resultado requer interpretação, discussão e análise, pois por trás de cada número, existe uma trajetória de ensino e aprendizagem. Assim, a avaliação é uma tarefa complexa que não se resume à realização de provas e atribuição de notas. A mensuração apenas proporciona dados que devem ser submetidos a uma apreciação qualitativa. A avaliação, assim, cumpre funções pedagógico‐didáticas, de diagnóstico e de controle em relação às quais se recorre a instrumentos de verificação do rendimento escolar (LIBÂNEO, 1994, p. 195, grifos nossos ). 6 https://www.oecd.org/pisa/publications/. 5 https://www.gov.br/inep/pt-br/areas-de-atuacao/avaliacao-e-exames-educacionais/pisa/resultados. 4 http://saeb.inep.gov.br/saeb/resultado-final-externo. 7 http://saeb.inep.gov.br/saeb/resultado-final-externo https://www.gov.br/inep/pt-br/areas-de-atuacao/avaliacao-e-exames-educacionais/pisa/resultados https://www.oecd.org/pisa/publications/ https://www.oecd.org/pisa/publications/ https://www.gov.br/inep/pt-br/areas-de-atuacao/avaliacao-e-exames-educacionais/pisa/resultados http://saeb.inep.gov.br/saeb/resultado-final-externo Formação em Avaliação Educacional Módulo 3: Intervenções Pedagógicas Portanto, considerando a apreciação qualitativa dos resultados, utilizaremos alguns exemplos, com base na edição mais recente de cada um dos programas de avaliação externa vistos nomódulo 2, para elucidar o entendimento. 3.1. Interpretação dos resultados do Simave ● Avaliações Formativas Sabemos que a taxa de participação indica se houve número suficiente de participantes - acima de 80% - para que seja verificado o nível de aprendizagem do grupo de estudantes avaliados. É importante lembrar que nessas avaliações esse valor considera o percentual de estudantes que responderam a, pelo menos, três itens de uma disciplina avaliada. Outra evidência da taxa de participação é o alcance da avaliação entre os estudantes, ou seja, o nível de adesão à avaliação. Quando a taxa de participação é insuficiente (abaixo dos 80%), a equipe pedagógica da escola deve investigar os motivos pelos quais seus estudantes não fizeram as provas e buscar alternativas para que eles possam realizá-las em outro momento. Importante! Quanto maior a taxa de participação, mais representativos são os resultados e, por consequência, mais fidedigno é o diagnóstico emais eficazes podem ser as ações de intervenção pedagógica. Ainda sobre a participação, temos no Portal Simave o número de itens, em média, respondidos pelos estudantes em relação ao total de itens apresentados no caderno. Quando os estudantes não responderam a todas as questões da prova, é preciso investigar as razões, pois isso sinaliza a presença de dificuldades de aprendizagem. Quanto ao desempenho dos estudantes na avaliação, podemos analisar primeiramente o percentual médio de acertos no teste. Essa informação é essencial, pois de acordo com a Teoria Clássica dos Testes (TCT), quanto maior o percentual médio de acertos, maior o domínio das habilidades avaliadas. A distribuição dos estudantes por categoria de desempenho ajuda a identificar diferentes níveis de aprendizagem entre os alunos. De acordo com o percentual total de acertos no teste, é possível classificar o desempenho dos estudantes em quatro categorias: ● muito baixo (até 25% de acerto) 8 Formação em Avaliação Educacional Módulo 3: Intervenções Pedagógicas ● baixo (26% a 50% de acerto) ● médio (51% a 75% de acerto) ● alto (acima de 75% de acerto) Trata-se de uma análise bem similar à dos padrões de desempenho que é feita nas avaliações do Proeb e Proalfa, os quais indicam o grau de desigualdade educacional da escola. Logo, para reduzir a desigualdade, o percentual deve diminuir nas categorias de desempenho “muito baixo” e “baixo”, e aumentar nas categorias “médio” e “alto”. Observe o exemplo a seguir dos resultados da Avaliação Diagnóstica de 2022, do 2º ano do Ensino Fundamental, emMatemática. Mais de 60% dos estudantes foram classificados na categoria de desempenho “muito baixo”: Distribuição dos estudantes por categoria de desempenho Fonte: Resultados | Simave (2022). Através do percentual de acertos por habilidade é possível identificar as habilidades nas quais os estudantes apresentammais dificuldade. Dessa forma, com base nas habilidades que tiveram baixos percentuais de acertos, o professor poderá desenvolver estratégias que possibilitem o fortalecimento desses conteúdos não absorvidos pelos estudantes. No caso da Avaliação Diagnóstica, essa informação poderá orientar o planejamento do professor, contribuindo para a retomada de conhecimentos prévios ao aprofundamento de uma temática. Por outro lado, no caso da Avaliação Intermediária, o percentual de acertos por habilidade reconduz o trabalho do professor aos processos recentes que demandam uma revisão de conteúdos. 9 Formação em Avaliação EducacionalMódulo 3: Intervenções Pedagógicas Para ilustrar essa análise, vamos considerar quatro habilidades que, dentre outras, foram avaliadas na Avaliação Diagnóstica de 2022. Observando a figura seguinte, qual habilidade deveria ter sido priorizada no planejamento do professor para o período letivo que se iniciava? Percentual de acertos por habilidade Fonte: Resultados | Simave (2022). Observando os dados acima podemos concluir que a habilidade 2 (comparar ou ordenar quantidades pela contagem) deveria ser priorizada, pois possui o menor percentual 10 Formação em Avaliação Educacional Módulo 3: Intervenções Pedagógicas de acerto (64%) entre os estudantes. Isso não significa que as demais habilidades serão desconsideradas, é apenas uma estratégia para elencar as defasagens prévias do grupo de estudantes avaliados. Por fim, a visão detalhada dos resultados permite a visualização de todos esses dados em diferentes níveis de agregação - SRE, município, escola, turma e aluno - para cada componente curricular e ano de escolaridade avaliados. São eles: ● percentual de participação dos estudantes na avaliação; ● média de itens respondidos, em relação ao total de avaliados; ● percentual de acertos no teste; ● percentual de estudantes em cada categoria de desempenho; ● percentual de acertos em cada habilidade avaliada no teste. A seleção dos níveis de agregação, do componente curricular e do ano de escolaridade pode variar de acordo com o interesse do profissional que está analisando a tabela. Exemplificando, a visualização dos resultados por componente curricular é pertinente para os professores analisarem suas turmas ou seus alunos (individualmente). Você também pode conferir as orientações para interpretação dos resultados nas coleções de divulgação dos resultados7 disponíveis no Portal Simave. ● PROEB e PROALFA Além do percentual de participação, também estão disponíveis nos cards o número de estudantes previstos e o número de estudantes avaliados nas últimas avaliações do programa. Conforme mencionado antes, é importante que a taxa de participação seja maior que 80% para que os dados sejam representativos. Veja a seguir os dados de participação do Proalfa (2º ano, Língua Portuguesa) da rede estadual em 2021 como exemplo: 7 http://simave.educacao.mg.gov.br/#!/pagina-inicial. 11 http://simave.educacao.mg.gov.br/#!/colecoes http://simave.educacao.mg.gov.br/#!/pagina-inicial Formação em Avaliação Educacional Módulo 3: Intervenções Pedagógicas Fonte: Resultados | Simave (2021). O desempenho dos estudantes é expresso pela proficiência média alcançada e a distribuição percentual dos estudantes pelos padrões de desempenho.No exemplo a seguir, podemos concluir que, entre 2019 e 2021, além da redução na proficiência (de 573 para 541 pontos), houve o aumento da desigualdade educacional. O percentual de estudantes que estavam no padrão de desempenho avançado caiu de 38% para 27% e no intermediário subiu de 6% para 15%. Fonte: Resultados | Simave (2021). 3.2. Interpretação dos resultados do Saeb Uma das formas em que os resultados do Saeb são divulgados é através do boletim da escola, que é um relatório composto por três partes: Indicadores Contextuais, Participação na Avaliação e Distribuição percentual dos estudantes da escola por Nível de Proficiência (para 12 Formação em Avaliação Educacional Módulo 3: Intervenções Pedagógicas cada etapa de ensino e componente curricular avaliados). ● Boletim da escola: indicadores contextuais O Indicador de Nível Socioeconômico (Inse) é calculado a partir da escolaridade dos pais e da posse de bens e contratação de serviços pela família dos alunos. Já o Indicador de Adequação da Formação Docente apresenta o percentual de disciplinas, em cada etapa de ensino, que são ministradas por professores com formação superior de Licenciatura (ou Bacharelado com complementação pedagógica) na mesma disciplina que leciona. No quadro do boletim da escola a seguir, por exemplo, o Inse é identificado como nível III. Isso significa, entre outras coisas, que a renda familiar mensal dos estudantes está entre 1 e 1,5 salários mínimos e que seu pai e suamãe (ou responsáveis) possuem ensino fundamental completo ou estão cursando esse nível de ensino. Para saber mais sobre esse e os demais níveis do Inse, veja a Nota Técnica do Inep8. Além disso, podemos notar que o Indicador de Adequação da Formação Docente dessa escola é maior no Ensino Médio Nível Socioeconômico Formação Docente Nível III Anos Iniciais do EF Anos Finais do EF Ensino Médio - 65.50% 73.40% Fonte: Boletim da Escola | Saeb 2019. ● Boletim da escola: participação na Avaliação Assim como nas avaliações do Simave, a taxa de participação é calculada pela razão entre o número de estudantes presentes e o número de estudantes matriculados naquela etapa. No exemplo a seguir, as taxas estão acima dos 80%, que é considerado omínimo para representar adequadamente o universo de estudantes. 8 https://download.inep.gov.br/informacoes_estatisticas/indicadores_educacionais/2011_2013/nivel_so cioeconomico/nota_tecnica_indicador_nivel_socioeconomico.pdf. 13 https://download.inep.gov.br/informacoes_estatisticas/indicadores_educacionais/2011_2013/nivel_socioeconomico/nota_tecnica_indicador_nivel_socioeconomico.pdf https://download.inep.gov.br/informacoes_estatisticas/indicadores_educacionais/2011_2013/nivel_socioeconomico/nota_tecnica_indicador_nivel_socioeconomico.pdf https://download.inep.gov.br/informacoes_estatisticas/indicadores_educacionais/2011_2013/nivel_socioeconomico/nota_tecnica_indicador_nivel_socioeconomico.pdf Formação em Avaliação Educacional Módulo 3: Intervenções Pedagógicas 9º ano do Ensino Fundamental 3ª/4ª série do Ensino Médio Estudantes presentes 20 73 Quantidade de alunosmatriculados 24 85 Taxa de participação 83.33% 85.88% Fonte: Boletim da Escola | Saeb 2019. Você sabia? A taxa de participação das avaliações do Saeb é calculada com base nos dados declarados na 1ª etapa do Censo Escolar da Educação Básica. Portanto, independentemente das transferências de alunos após a 1ª etapa, é gerado um caderno para cada estudante declarado no Censo entre maio e junho. Por isso, ainda que a escola tenha 100% de presença de acordo com o diário de classe, o que irá valer é a relação de estudantes já informada anteriormente. Ainda assim, é possível substituir até dois estudantes por turma. Fonte: Inep ● Boletim da escola: distribuição percentual dos estudantes da escola por Nível de Proficiência As escalas de proficiência das avaliações do Saeb são compostas por níveis progressivos e cumulativos. Isso significa que a escala está organizada em níveis que vão do menor para o maior nível de proficiência e que cada nível acumula também os saberes e habilidades do(s) nível(is) anterior(es). A descrição de cada nível, bem como a proficiência correspondente, constam no próprio boletim. No exemplo a seguir, que representa a distribuição percentual dos estudantes do 5º ano do Ensino Fundamental em Língua Portuguesa, por Nível de Proficiência, observamos que o nível 4 (desempenho maior ou igual a 275 e menor que 300 abriga o maior quantitativo de estudantes (35%). Nesta parte do boletim, também é possível ver a proficiência da escola nas últimas edições, a média domunicípio, do estado, do país, das diferentes redes, entre outros. 14 Formação em Avaliação Educacional Módulo 3: Intervenções Pedagógicas Distribuição percentual dos estudantes da escola por Nível de Proficiência, Língua Portuguesa, 5º ano do Ensino Fundamental Fonte: Boletim da Escola | Saeb 2019. 3.3. Interpretação dos resultados do Pisa Conforme já vimos no módulo anterior, os dados do Pisa são coletados e analisados pelo Inep, responsável em elaborar o Relatório Nacional de forma a facilitar o acesso e a compreensão dos resultados por parte dos gestores, professores e demais interessados. De acordo com o Relatório Brasil no Pisa 2018 (BRASIL, 2020), os instrumentos desse programade avaliação fornecem três principais tipos de resultados: ● Indicadores que fornecem um perfil básico de conhecimento e habilidades dos estudantes; ● Indicadores derivados de questionários que mostram como tais habilidades são relacionadas a variáveis demográficas, sociais, econômicas e educacionais; ● Indicadores de tendências que acompanham o desempenho dos estudantes e monitoram os sistemas educacionais ao longo do tempo. Espera-se que, por meio da análise dos resultados e indicadores obtidos pelo Pisa, seja possível que cada país avalie os conhecimentos e habilidades de seus estudantes e, ao mesmo tempo, compare o seu resultado com os resultados dos outros países participantes. Dessa maneira, é possível estabelecer um aprendizado com as políticas e práticas aplicadas em diversos lugares, contribuindo para a discussão da qualidade da educação básica, com o intuito de subsidiar políticas nacionais visando a melhoria da qualidade e da igualdade nos resultados educacionais. 15 Formação em Avaliação Educacional Módulo 3: Intervenções Pedagógicas ● Os resultados do Pisa Os resultados são apresentados de diversas formas, contudo, veremos o desempenho apresentado pelo Brasil a partir da análise feita com base nos níveis de cada escala de proficiência, por área cognitiva - Leitura, Matemática e Ciências. A escala do de proficiência mostra que quanto maior for a pontuação de um estudante na escala, maior será seu desempenho no domínio analisado. Além disso, ela foi dividida em níveis que representam um conjunto de tarefas de dificuldades crescentes, em que o nível 1 é o mais baixo e o nível 6 o mais alto. Assim, a escala de proficiência apresenta o percentual de estudantes em cada nível, descrevendo o que o estudante consegue fazer e também a dificuldade dos itens apresentados na avaliação. ● Resultados em Leitura A escala de proficiência em leitura foi dividida em vários níveis de proficiência, como já abordado acima, vale lembrar que no ano de 2018 a leitura foi estabelecida como foco da edição, sendo assim, os estudantes responderam a um número maior de questões/itens referentes a este domínio. No próprio Relatório (BRASIL, 2020), é possível consultar a descrição das características das tarefas de cada nível (p. 74). Descrição e percentual de estudantes por nível de proficiência em Leitura Pisa 2018 NÍVEL ESCORE MÍNIMO PERCENTUAL DE ESTUDANTES NO NÍVEL 6 698 OCDE: 1,3% Brasil: 0,2% 5 626 OCDE: 7,4% Brasil: 1,7% 4 553 OCDE: 18,9% Brasil: 7,4% 3 480 OCDE: 26,0% Brasil: 16,3% 2 407 OCDE: 23,7% Brasil: 24,5% 16 Formação em Avaliação Educacional Módulo 3: Intervenções Pedagógicas 1a 335 OCDE: 15,0% Brasil: 26,7% 1b 262 OCDE: 6,2% Brasil: 17,7% 1c 189 OCDE: 1,4% Brasil: 5,3% Abaixo de 1c OCDE: 0,1% Brasil: 0,4% Fonte: BRASIL, 2020. Pode-se observar que aproximadamente 50% dos estudantes brasileiros alcançaram o Nível 2 ou acima em letramento em Leitura, e os estudantes dos países da OCDE, 77,4%. Segundo a OCDE, no Nível 2, “os estudantes começam a demonstrar a capacidade de usar suas habilidades de leitura para adquirir conhecimento e resolver uma ampla variedade de problemas práticos” (BRASIL, 2020, p. 77). Esse nível de proficiência é considerado como o “nível mínimo de proficiência" e todos os estudantes devem adquiri-lo até o final do ensino médio. Os outros 50% dos estudantes não alcançaram o mínimo de proficiência, isso quer dizer que esses estudantes têm dificuldade em entrar em contato commaterial que não lhe é familiar ou um material extenso e complexo. Nesse caso, para que possam interagir com o texto, é necessário que sejam repassadas dicas ou instruções anteriormente, acarretando assim obstáculos para que esses estudantes avancem nos estudos ou mesmo atrapalhando sua participação plena na sociedade em que vivem. ● Os Resultados da Matemática No Pisa 2018, o letramento matemático foi avaliado como domínio secundário e, portanto, a avaliação abrangeu um númeromenor de itens. O quadro a seguir apresenta os níveis da escala de proficiência de Matemática no Pisa 2018, bem como o percentual de estudantes da OCDE e do Brasil em cada nível. A descrição de cada nível pode ser encontrada no Relatório (p. 112). Em Matemática, 31,8% dos estudantes brasileiros alcançaram o Nível 2 ou acima, em contraste com 76,0% dos estudantes dos países da OCDE. No Nível 2, os estudantes são capazes de interpretar e reconhecer situações em contextos apenas com inferências diretas. 17 Formação em Avaliação Educacional Módulo 3: Intervenções Pedagógicas Segundo a OCDE, é necessário atingir pelo menos o Nível 2, uma vez que este é considerado: o nível básico de proficiência que se espera de todos os jovens, a fim de que possam tirar proveito de novas oportunidades de aprendizagem e participar plenamente da vida social, econômica e cívica da sociedademoderna em um mundo globalizado (OCDE, 2019 apud BRASIL, 2020, p. 111). A tabela a seguir nos permite perceber ainda que a maioria dos estudantes, 68,1%, se encontram no Nível 1 ou abaixo dele, cuja expectativa é de que os estudantes consigam realizar algumas tarefas matemáticas diretas e fáceis. De acordo com a OCDE, “esses estudantes também conseguem executar cálculos aritméticos simples com números naturais, seguindo instruções claras e bem definidas (OCDE, 2019 apud BRASIL, 2020, p. 115). Descrição e percentual de estudantes por nível de proficiência emMatemática Pisa 2018 NÍVEL ESCORE MÍNIMO PERCENTUAL DE ESTUDANTES NO NÍVEL 6 669 OCDE: 2,4% Brasil: 0,1% 5 607 OCDE: 8,5% Brasil: 0,8% 4 545 OCDE: 18,5% Brasil: 3,4% 3 482 OCDE: 24,4% Brasil: 9,3% 2 420 OCDE: 22,2% Brasil: 18,2% 1 358 OCDE: 14,8% Brasil: 27,1% Abaixo de 1 OCDE: 9,1% Brasil: 41,0% Fonte: BRASIL, 2020. ● Os resultados de Ciências O quadro abaixo apresenta os sete níveis de proficiência da escala de Ciências do Pisa 2018, bem como o percentual de estudantes da OCDE e do Brasil em cada nível. O relatório traz 18 Formação em Avaliação Educacional Módulo 3: Intervenções Pedagógicas também a descrição de cada nível, o que é necessário para que o estudante complete as tarefas (p. 134). Os níveis seguem a ordem crescente de evolução, sendo o nível 1 o mais fácil e o 6 omais complexo. Os estudantes que se encontram no nível 1b provavelmente conseguem resolver as tarefas desse nível, porém vão ter poucas chances de concluir as tarefas dos níveis superiores da escala. O Nível 6 inclui as tarefas mais desafiadoras em termos de conhecimentos e habilidades. Os estudantes com valores de proficiência localizados nesse nível têm alta probabilidade de realizar as tarefas desse e dos outros níveis da escala. Descrição e percentual de estudantes por nível de proficiência em Ciências Pisa 2018 NÍVEL ESCORE MÍNIMO PERCENTUAL DE ESTUDANTES NO NÍVEL 6 708 OCDE: 0,8% Brasil: 0,0% 5 633 OCDE: 5,9% Brasil: 0,8% 4 559 OCDE: 18,1% Brasil: 4,6% 3 484 OCDE: 27,4% Brasil: 13,9% 2 410 OCDE: 25,8% Brasil: 25,3% 1a 335 OCDE: 16,0% Brasil: 31,4% 1b 261 OCDE: 5,2% Brasil: 19,9% Abaixo de 1b OCDE: 0,7% Brasil: 4,0% Fonte: (BRASIL, 2020). Em Ciências, no Pisa 2018, aproximadamente 45% dos estudantes brasileiros se encontravam no nível 2 ou acima e 55% abaixo do nível 2, que é considerado o nível básico de proficiência. Segundo o relatório, no nível 2, os estudantes conseguem recorrer a conhecimentos cotidianos e procedimentais básicos para identificar uma explicação 19 Formação em Avaliação Educacional Módulo 3: Intervenções Pedagógicas científica, interpretar dados e identificar a questão abordada em um projeto experimental simples. ● As condições de aprendizagem e o desempenho dos estudantes no Pisa 2018 O Pisa apresenta não só os números de proficiência, mas também o contexto em que os estudantes estão inseridos e qual é o impacto deste contexto nos resultados da avaliação. No próximo módulo, vamos ver que há um indicador chamado Índice do status econômico, social e cultural (ESCS) que mede a variável docontexto socioeconômico. Observa-se, por um lado, que o Canadá (0,4), a Finlândia (0,3), os Estados Unidos (0,2) e a Coreia (0,1) estão entres os países que obtiveram osmaiores índices ESCS, enquanto, por outro lado, o Brasil ( – 1,1), o Peru (– 1,1), a Colômbia ( – 1,2) e o México (– 1,2) configuram um grupo de países com os menores índices ESCS. Além do contexto socioeconômico, o Pisa avalia o contexto do ambiente escolar. Por exemplo, o gráfico a seguir apresenta o tamanho médio das turmas dos países participantes do Pisa 2018 e das cinco regiões geográficas brasileiras. Nos países membros da OCDE, o tamanhomédio das turmas é de 26 alunos. Já amédia do Brasil é de 36 estudantes. Índice do tamanhomédio da turma por países selecionados e regiões geográficas brasileiras – Pisa 2018 Fonte: (BRASIL, 2020). 20 Formação em Avaliação Educacional Módulo 3: Intervenções Pedagógicas Para conferir todos os resultados com detalhes, acesse o Relatório Brasil no Pisa9. 4. Planejamento da intervenção pedagógica Diversos autores ressaltam a importância da intervenção pedagógica a partir dos resultados de uma avaliação. Para Souza e Oliveira (2010), por exemplo, a avaliação ganha sentido quando subsidia intervenções que levem à transformação e à democratização da educação, em suas dimensões de acesso, permanência e qualidade. Também Vianna (2009) defende que a utilização dos resultados das avaliações em larga escala, pelos professores, nos planejamentos escolares são a base para a definição de estratégias a serem implementadas pela escola na busca dos avanços necessários na melhoria da qualidade da formação acadêmica oferecida aos alunos. A intervenção pedagógica configura-se como uma oportunidade de aprendizagem aos estudantes que demandam acompanhamento individualizado e maior suporte do professor, envolvendo todas as etapas da Educação Básica, modalidades de ensino e seus respectivos componentes curriculares (SEE, 2021). Também sabemos que a intervenção é um momento oportuno para o aperfeiçoamento das práticas de ensino, incorporando metodologias diferenciadas quemelhor atendam aos processos de aprendizagem dos alunos. As autoras Sousa e Bonamino (2012) destacam que a escola deve ter cuidado para que o trabalho pedagógico não se restrinja a uma constante preparação do estudante para participação nos testes das avaliações externas, priorizando as competências e habilidades descritas nas Matrizes de Referência. Portanto, a intervenção pedagógica orientada pelos resultados de uma avaliação externa não deve ser confundida com o ensino exclusivo da matriz de referência. Nesse sentido, é importante reforçar que a Matriz Curricular, ou seja, o Currículo Referência de Minas Gerais (CRMG) continua sendo o documento orientador para o ensino, de acordo com a Base Nacional Comum Curricular (BNCC). A Matriz de Referência funciona apenas como uma bússola para a avaliação, mas nos planos de ensino e de aula, os pilares são a BNCC, o CRMG e o Projeto Político Pedagógico (PPP) da escola. A atenção aos resultados das avaliações externas, portanto, contribui para a ênfase dos conhecimentos que não foram 9https://download.inep.gov.br/publicacoes/institucionais/avaliacoes_e_exames_da_educacao_b asica/relatorio_brasil_no_pisa_2018.pdf 21 https://download.inep.gov.br/publicacoes/institucionais/avaliacoes_e_exames_da_educacao_basica/relatorio_brasil_no_pisa_2018.pdf Formação em Avaliação Educacional Módulo 3: Intervenções Pedagógicas contemplados e/ou consolidados na trajetória escolar. Partindo então para o planejamento das intervenções, é fundamental que a equipe pedagógica e, em especial, os professores, realizem primeiramente um diagnóstico qualitativo do desempenho escolar obtido pelos estudantes em determinada avaliação externa complementando, sempre que necessário, com o desempenho nas avaliações internas. Dessa forma, com os resultados em mãos, algumas questões podem ser levantadas para essa análise, por exemplo: ● A distribuição dos estudantes por padrões de desempenho reflete alguma mudança (melhoria ou queda) do desempenho? Qual? ● Houve alguma ação pedagógica e/ou de gestão que possa ter contribuído para essa mudança? ● De acordo com a distribuição por padrão de desempenho, quais habilidades e competências já foram consolidadas? ● Quais habilidades e competências devem ser desenvolvidas para alcançar o desempenho esperado para o ano de escolaridade avaliado? Elas estão contempladas nos planos de ensino e de aulas propostos? ● Existe alguma semelhança ou diferençamarcante entre as turmas? Se sim, qual? ● Quem são os estudantes alocados em cada um dos padrões de desempenho? ● O desempenho nas avaliações externas possui alguma relação com o obtido nas avaliações internas? ● O que podemos propor em termos de ações/atividades para os estudantes que já passaram pelo ano de escolaridade avaliado e não apresentaram o desempenho esperado? ● O que podemos propor para a melhoria do desempenho dos estudantes de modo geral? ● Existe alguma ação/prática que devemos aprimorar? Além da discussão do desempenho dos estudantes, nota-se que essa análise também perpassa uma autoavaliação do professor, afinal, a avaliação externa busca refletir o que está sendo ministrado. Terrasêca (2016, p. 169) nos explica que a autoavaliação “não é um fim em si mesma, nem se resume à incessante recolha de informações e dados. A autoavaliação assenta em uma análise e reflexão sobre o trabalho que se realiza, sobre os modos de 22 Formação em Avaliação Educacional Módulo 3: Intervenções Pedagógicas trabalhar e de fazer educação.” As metodologias empregadas precisam ser revisitadas sempre que possível, e principalmente, quando a aprendizagem não estiver progredindo. Feito esse diagnóstico qualitativo, é preciso organizar e inserir as informações nos planos de ensino e de aula. Segundo Spudeit (2014), o plano de ensino é a ferramenta que norteará o trabalho docente e facilitará o desenvolvimento da disciplina pelos alunos, sendo composto por: identificação da disciplina, ementa, objetivos, conteúdo programático, metodologia, avaliação, bibliografia básica e complementar. Esse planejamento - em geral bimestral, semestral ou anual - servirá como base para a elaboração do plano de aula, que é um instrumento que sistematiza todos os conhecimentos, atividades e procedimentos que se pretende realizar numa determinada aula. Para Gil (2012, p. 39), “o que difere o plano de ensino do plano de aula é a especificidade com conteúdos pormenorizados e objetivos mais operacionais”. É fundamental a compreensão e o estabelecimento de estratégias de recuperação e retomada de atividades para que as habilidades previstas sejam realmente consolidadas. Ao retomar e intervir nas habilidades não desenvolvidas e não consolidadas, a escola contribui para a melhoria da aprendizagem e para o sucesso da trajetória escolar de todos os estudantes (SEE, 2020). Recomendamos ainda que as atividades sejam contextualizadas, interdisciplinares, diferenciadas e, claro, contemplem as habilidades não consolidadas pelos estudantes. É importante também que essas atividades sejam planejadas, elaboradas e realizadas pelo professor de cada componente curricular, dentro de sua carga horária, com o apoio da supervisão pedagógica. Por fim, apresentamos a seguir duas situações hipotéticas apenas para ilustrar o desenvolvimento do processo de planejamento de uma intervenção pedagógica após a interpretação dos resultados de uma avaliação externa. ● Exemplo 1: Em determinada escola, foi apontado no diagnóstico qualitativo de Língua Portuguesa que os estudantes concluíram o Ensino Fundamental (9 º ano) sem saber diferenciar fato de opinião em reportagens. Assim, o professor de Língua Portuguesa com o suporte do especialista, incluiu os tópicos de procedimentos de leitura no conteúdo programático do componente curricular. E nos planos de aula, foram apresentados os processos de ensino e aprendizagempara desenvolver e consolidar essa habilidade, tais como atividades de leitura e interpretação 23 Formação em Avaliação Educacional Módulo 3: Intervenções Pedagógicas de textos argumentativos. ● Exemplo 2: Em certa escola, identificou-se no diagnóstico qualitativo que foi construído com base nos resultados da Avaliação Intermediária que um grupo de 10 estudantes, do 2º ano do ensino fundamental, não está conseguindo diferenciar figuras geométricas espaciais (cubo, bloco retangular, pirâmide, cone, cilindro e esfera). Como ação de intervenção pedagógica, a professora de Matemática em conjunto com o supervisor propôs um trabalho interdisciplinar com o professor de Artes para esse grupo que consiste em construir objetos com as formas geométricas, tais como bola, dado, chapéu, etc. Cada escola e cada professor terão a sua própria forma de construir e realizar as intervenções pedagógicas. Não pretendemos propor um modelo único a ser seguido, mas apenas orientações e inspirações que facilitem esse processo, de forma que ele possa ser conduzido com respeito à realidade e à autonomia dos docentes e da equipe pedagógica. 24 Formação em Avaliação Educacional Módulo 3: Intervenções Pedagógicas REFERÊNCIAS BIBLIOGRÁFICAS BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Brasil no Pisa 2018 [recurso eletrônico]. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, 2020. 185 p. Disponível em: <https://download.inep.gov.br/publicacoes/institucionais/avaliacoes_e_exames_da_educaca o_basica/relatorio_brasil_no_pisa_2018.pdf>. Acesso em: abr. 2021. GIL, Antônio Carlos. Metodologia do ensino superior. 4.ed. São Paulo: Atlas, 2012. LIBÂNEO, José Carlos. Didática. São Paulo: Cortez, 1994, p. 195. MACHADO, Cristiane. Avaliação externa e gestão escolar: reflexões sobre usos dos resultados. Revista @mbienteeeducação. pp. 70-82, jan/jun 2012. Disponível em: <http://publicacoes.unicid.edu.br/index.php/ambienteeducacao/article/view/117>. Acesso em:mar. 2021. SEE. Documento Orientador: Resultados da Avaliação Diagnóstica 2020. SEE. Fortalecimento das Aprendizagens 2021. Intervenção Pedagógica. Disponível em: <https://drive.google.com/file/d/1zJxfHjDtx0B39wMWpDgc3OfQua49v_Po/view>. Acesso em: ago. 2021. SOUSA, Sandra Zákia; BONAMINO, Alícia. Três gerações de avaliação da educação básica no Brasil: interfaces com o currículo da/na escola. Educação e Pesquisa, São Paulo, v. 38, n. 2, pp. 373-388, abr./jun. 2012. Disponível em: <https://www.scielo.br/scielo.php?pid=S1517-97022012000200007&script=sci_abstract&tlng =pt>. Acesso em:mar. 2021. SOUZA, Sandra Zákia; OLIVEIRA, Romualdo Portela de. Sistemas estaduais de avaliação: uso dos resultados, implicações e tendências. Cadernos de Pesquisa, v. 40, n. 141, pp. 793-822, dez. 2010. Disponível em: 25 https://drive.google.com/file/d/1zJxfHjDtx0B39wMWpDgc3OfQua49v_Po/view Formação em Avaliação Educacional Módulo 3: Intervenções Pedagógicas <https://www.scielo.br/scielo.php?pid=S0100-15742010000300007&script=sci_abstract&tlng =pt>. Acesso em:mar. 2021. SPUDEIT, Daniela. Elaboração do plano de ensino e do plano de aula. Universidade Federal do Estado do Rio de Janeiro – UNIRIO. Centro de Ciências Humanas e Sociais - CCH. Escola de Biblioteconomia. Rio de Janeiro, Fevereiro/2014. Disponível em: <http://www2.unirio.br/unirio/cchs/eb/ELABORAODOPLANODEENSINOEDOPLANODEAULA. pdf>. Acesso em: abr. 2021. TERRASÊCA, Manuela. Autoavaliação, avaliação externa… afinal para que serve a avaliação das escolas? Cad. Cedes, Campinas, v. 36, n. 99, p. 155-174, maio-ago., 2016. Disponível em: <https://www.scielo.br/pdf/ccedes/v36n99/1678-7110-ccedes-36-99-00155.pdf>. Acesso em: abr. 2021. VIANNA, Heraldo Marelim. Fundamentos de um Programa de Avaliação Educacional. Meta: Avaliação | Rio de Janeiro, v. 1, n. 1, p.11-27, jan./abr. 2009. Disponível em: <https://revistas.cesgranrio.org.br/index.php/metaavaliacao/article/view/11>. Acesso em: mar. 2021. 26
Compartilhar