Baixe o app para aproveitar ainda mais
Prévia do material em texto
INTRODUÇÃO O objetivo da apostila Estatísticas educacionais, avaliação da educação básica e posicionamento do Brasil no cenário internacional é fornecer ao leitor uma introdução dos principais indicadores usados na descrição do sistema educacional brasileiro, principalmente, na avaliação da educação básica e nas comparações internacionais. Sob esse foco, esta apostila foi dividida em quatro módulos. No módulo I, descreveremos os indicadores educacionais usados para caracterizar o acesso e a permanência na escola. Essas descrições encontram-se sintetizadas na trajetória escolar do estudante e nas suas taxas de abandono, aprovação e reprovação. Para entendermos a importância desses indicadores, iniciaremos com um detalhamento do sistema educacional e das suas finalidades, cujo monitoramento é viabilizado pelos indicadores apresentados. No módulo II, analisaremos os indicadores de aprendizado utilizados no Brasil. Para tanto, consideraremos as matrizes de referência, a escala de proficiência, e os indicadores de qualidade e desigualdade utilizados pelo Sistema de Avaliação da Educação Básica (Saeb). No módulo III, analisaremos, por meio de uma descrição educacional e estatística, o Índice de Desenvolvimento da Educação Básica (Ideb). Além disso, apresentaremos as sínteses dos resultados das avaliações realizadas por meio de duas plataformas: o portal Ideb Escola e o portal QEdu, que auxiliam na contextualização do cenário educacional brasileiro. Por fim, no módulo IV, compararemos os resultados dos estudantes brasileiros de educação básica com os dos seus pares latino- americanos e internacionais. Para tanto, apresentaremos o desempenho dos alunos brasileiros em duas avaliações internacionais: os estudos organizados pela Unesco e o Pisa. SUMÁRIO MÓDULO I – EDUCAÇÃO: APRENDIZADOS, ENSINO E ESCOLA .................................................................. 9 INTRODUÇÃO ..................................................................................................................................... 9 Sistema educacional ....................................................................................................................... 11 TRAJETÓRIAS ESCOLARES ................................................................................................................ 13 Categorização das trajetórias ........................................................................................................ 14 Etapas e modalidades do ensino ................................................................................................... 14 Faixa etária .......................................................................................................................................... 15 Território .............................................................................................................................................. 15 INDICADORES DE ACESSO E PERMANÊNCIA ................................................................................ 16 Taxa de analfabetismo (TA) ........................................................................................................... 16 Acesso ............................................................................................................................................... 17 Taxa de atendimento escolar (TAE) ............................................................................................... 17 Taxa de escolarização líquida (TEL)................................................................................................ 18 Taxa de escolarização bruta (TEB) ................................................................................................. 20 Permanência .................................................................................................................................... 20 RENDIMENTO ESCOLAR .................................................................................................................. 21 Movimento escolar ......................................................................................................................... 22 Aprovação e reprovação ................................................................................................................ 22 Taxas de rendimento escolar ........................................................................................................ 22 Exemplo de cálculo, aplicação e interpretação dos indicadores ............................................ 24 MÓDULO II – INDICADORES DE APRENDIZADO .......................................................................................... 31 INTRODUÇÃO ................................................................................................................................... 31 MATRIZES DE REFERÊNCIA DO SAEB ............................................................................................. 33 Matriz de Língua Portuguesa ........................................................................................................ 34 Matriz de Matemática ..................................................................................................................... 35 Composição dos testes .................................................................................................................. 36 Escolas e alunos avaliados ............................................................................................................. 37 Prova Brasil ....................................................................................................................................... 37 Motivação ............................................................................................................................................ 38 Características .................................................................................................................................... 39 Resultados ........................................................................................................................................... 40 Relevância pedagógica ..................................................................................................................... 41 Análise crítica ...................................................................................................................................... 41 ESCALA DE PROFICIÊNCIA ............................................................................................................... 43 Interpretação pedagógica da medida ......................................................................................... 46 Interpretação normativa ................................................................................................................ 47 Distribuição de referência ............................................................................................................. 48 INDICADORES DE QUALIDADE ....................................................................................................... 51 INDICADORES DE DESIGUALDADE ................................................................................................ 52 Diferenças segundo o sexo do aluno .......................................................................................... 53 Diferenças segundo a raça/cor do aluno .................................................................................... 55 Diferenças segundo as faixas de nível socioeconômico do aluno ......................................... 57 Diferenças segundo grupos definidos por múltiplas variáveis ............................................... 59 MÓDULO III – DESCRIÇÃO EDUCACIONAL E ESTATÍSTICA DO IDEB ......................................................... 63 INTRODUÇÃO ...................................................................................................................................63 ÍNDICE DE DESENVOLVIMENTO DA EDUCAÇÃO BÁSICA (IDEB) ................................................ 65 Componentes do Ideb .................................................................................................................... 65 Indicador de desempenho .............................................................................................................. 66 Indicador de rendimento ................................................................................................................. 69 Cálculo do Ideb ................................................................................................................................ 71 INTERPRETAÇÃO NORMATIVA ........................................................................................................ 72 Faixas do Ideb .................................................................................................................................. 73 ANÁLISE CRÍTICA DO IDEB .............................................................................................................. 76 Discussão .......................................................................................................................................... 80 EVOLUÇÃO DO IDEB E SEU USO PARA MONITORAMENTO DAS ESCOLAS .............................. 81 Plataforma de resultados e metas ............................................................................................... 81 Plataforma de consulta pública .................................................................................................... 83 Plataforma QEdu ............................................................................................................................. 85 MÓDULO IV – COMPARAÇÃO COM PARES LATINO-AMERICANOS E INTERNACIONAIS ...................... 87 COMPARAÇÕES LATINO-AMERICANAS ......................................................................................... 87 Instituição responsável .................................................................................................................. 87 Primeiro estudo comparativo e explicativo regional (Perce) ................................................... 88 Segundo estudo comparativo e explicativo regional (Serce) ................................................... 90 Terceiro estudo comparativo e explicativo regional (Terce) .................................................... 95 Análise critica ................................................................................................................................. 100 COMPARAÇÃO INTERNACIONAL ................................................................................................. 101 Pisa ................................................................................................................................................... 101 Composição da amostra ................................................................................................................ 102 Questionários contextuais ............................................................................................................. 103 Indicadores de características dos estudantes ......................................................................... 103 Indicadores de características das escolas ................................................................................ 104 O que é testado?............................................................................................................................ 104 Descrição dos testes ....................................................................................................................... 105 Escala de proficiência ...................................................................................................................... 106 Níveis .................................................................................................................................................. 106 Resultados do Brasil ........................................................................................................................ 110 Impactos no Brasil ........................................................................................................................... 112 ANEXO I ............................................................................................................................................................. 113 BIBLIOGRAFIA .................................................................................................................................... 116 PROFESSOR-AUTOR ........................................................................................................................... 120 Neste módulo, descreveremos os indicadores educacionais usados para caracterizar o acesso e a permanência na escola. Essas descrições encontram-se sintetizadas na trajetória escolar do estudante e nas suas taxas de abandono, aprovação e reprovação. Para entendermos a importância desses indicadores, iniciaremos com um detalhamento do sistema educacional e das suas finalidades, cujo monitoramento é viabilizado pelos indicadores apresentados. Introdução A palavra “educação” está associada tanto aos aprendizados adquiridos ao longo da vida quanto ao ensino, necessário para a aquisição desses aprendizados, e à escola, instituição onde ocorrem muitos dos aprendizados essenciais. O aprendizado é, portanto, o núcleo central de sentido da palavra “educação”, como estabelecido no artigo 205 da Constituição Brasileira: “Art. 205º - A educação, direito de todos e dever do Estado e da família, será promovida e incentivada com a colaboração da sociedade, visando ao pleno desenvolvimento da pessoa, seu preparo para o exercício da cidadania e sua qualificação para o trabalho” (BRASIL, 1988). A leitura desse artigo, que estabelece a educação como direito, permite-nos afirmar que a educação tem como objetivo dotar as pessoas de capacidades que as possibilitem desenvolver o seu pleno potencial, exercitar a cidadania e inserir-se no mundo do trabalho. Outra síntese particularmente influente dos objetivos da educação é aquela usada no Relatório Delors da Unesco MÓDULO I – EDUCAÇÃO: APRENDIZADOS, ENSINO E ESCOLA 10 (1998), em que se estabelece que a educação visa dotar as pessoas das capacidades de aprender a aprender, a conviver, a ser e a fazer. Embora completamente adequadas a um artigo constitucional ou a um relatório como o da Unesco, essas categorias usadas para descrever os aprendizados devem ser desdobradas de forma que se possam concretizar nas propostas pedagógicas das escolas. O primeiro passo a ser dado para alcançar essa meta consiste em estabelecer as chamadas aprendizagens essenciais. O Brasil ainda não fez isso, mas há vários exemplos internacionais. A Comissão Europeia (2006), por exemplo, apresenta como essenciais as seguintes aprendizagens: “Comunicação na língua materna, Comunicação em línguas estrangeiras, Competência matemática e competências básicas em ciências e tecnologia, Competência digital, aprender a aprender, Competências sociais e cívicas, Empreendedorismo, Consciência e expressão cultural” (Comissão Europeia, 2006). Como podemos notar, os aprendizados necessários à vida têm pelo menos quatro dimensões: a dimensão cognitiva, a das atitudes, a dos valores e a da cultura. Tais aprendizados são, portanto, adquiridos em vários ambientes. Esta obra, no entanto, toma como referência a Lei de Diretrizes e Bases da Educação (Lei 9.394/96) e concentra-se na educação escolar, mais especificamente na educação básica, que oportuniza os aprendizados por meio do ensino. Vejamos como a educação escolar é definida na LDB: “Art. 1º A educação abrange os processos formativos que se desenvolvem na vida familiar, naconvivência humana, no trabalho, nas instituições de ensino e pesquisa, nos movimentos sociais e organizações da sociedade civil e nas manifestações culturais. § 1º Esta Lei disciplina a educação escolar, que se desenvolve, predominantemente, por meio do ensino, em instituições próprias. § 2º A educação escolar deverá vincular-se ao mundo do trabalho e a prática social” (BRASIL, LDB, 9.394/96) 11 Sistema educacional Para garantirem o direito à educação, as sociedades criam os seus sistemas educacionais, constituídos de muitas instituições e atores. Naturalmente, esse sistema tem como resultado geral os aprendizados dos alunos. No entanto, para assegurar que um estudante tenha adquirido os aprendizados de que precisa para a sua vida, é necessário verificar se este teve acesso à escola e se lá permaneceu tempo suficiente para aprender. Além disso é necessário caracterizar os diferentes atores e instituições que compõem o sistema. De forma particular, é preciso estudar o sistema educacional reconhecendo os seus diferentes níveis: � os alunos; � a sala de aula; � a escola; � as redes de escolas e � a sociedade. Cada um desses níveis tem características próprias, que não estão presentes no nível anterior. Dessa forma, uma escola deve ser analisada como uma estrutura complexa, cujas características vão muito além daquelas típicas de um mero conjunto de salas de aula e de alunos individuais. Uma rede de escolas, que é mais do que um conjunto de escolas, e toda a complexidade das Secretarias de Educação e de órgãos centrais da administração das redes públicas precisam ser consideradas no estudo do sistema educacional. 12 O modelo conceitual apresentado a seguir sintetiza a estrutura desse sistema, permitindo-nos definir, monitorar e planejar ações de melhoria na educação escolar. Figura 1 – Modelo Conceitual explicativo da proficiência Fonte: Soares (2012). 13 Neste conteúdo, apresentaremos e discutiremos os indicadores que caracterizam cada uma das partes do sistema educacional, como descrito no modelo apresentado. Para saber mais sobre sistema educacional, leia: � Unesco. Repensar a educação: rumo a um bem comum mundial? Brasília, DF: Unesco, 2016. Disponível em: <http://unesdoc.unesco.org/images/0024/002446/ 244670POR.pdf>. Acesso em: fev. 2018. Trajetórias escolares Como vimos, para adquirir os aprendizados que caracterizam o atendimento do direito à educação, é necessário que o cidadão acesse e frequente uma escola de educação básica. Para monitorar esse direito de todos os cidadãos de forma completa, seria necessário construir um arquivo em que cada linha representasse um cidadão e cujas colunas registrassem a sua situação escolar ano a ano. Tal arquivo permitiria a construção da trajetória escolar de todas as pessoas e produziria, com muita facilidade, as informações necessárias às diferentes políticas públicas educacionais. O atual Plano Nacional de Educação (Lei nº. 13.005, de 25 de junho de 2014) estabelece, por exemplo, que o Brasil deveria universalizar, até 2016, a educação infantil para as crianças de quatro a cinco anos de idade. Para verificar se isso foi ou não atendido, bastaria, por meio do nosso arquivo hipotético de trajetórias, separar as crianças de quatro a cinco anos de idade e verificar se estão matriculadas em uma escola de educação infantil. Essa seria uma operação muito simples de seleção e contagem de dados. No entanto, esse tipo de arquivo não existe e, para produzirmos as informações necessárias à proposição e ao monitoramento das políticas públicas educacionais, precisamos utilizar várias fontes de informação alternativas, como: � o Censo Demográfico, realizado pelo Instituto Brasileiro de Geografia e Estatística (IBGE) de 10 em 10 anos; � a Pesquisa Nacional por Amostra de Domicílios (Pnad), realizada anualmente também pelo IBGE e � o Censo Escolar, realizado pelo Instituto Nacional de Estudos e Pesquisas Anísio Teixeira (Inep) anualmente. Os indicadores dessas pesquisas são amplamente difundidos e usados, pois nos permitem conhecer aspectos específicos da trajetória escolar dos estudantes. Entre esses aspectos incluem-se o acesso à escola, a permanência e a conclusão das diferentes etapas em que o ensino é organizado. Nas próximas seções, utilizaremos as sínteses divulgadas no Anuário da Educação Básica brasileira (2016), uma publicação conjunta do movimento Todos pela Educação e da Editora 14 Moderna que, além de apresentar os números do Censo Demográfico e da Pesquisa Nacional por Amostra de Domicílios (Pnad), apurados e divulgados pelo Instituto Brasileiro de Geografia e Estatística (IBGE), traz também os dados do Censo Escolar e do Sistema de Avaliação da Educação Básica (Saeb), disponibilizados pelo Ministério da Educação. Criado em setembro de 2006, o Todos Pela Educação é um movimento financiado, exclusivamente, pela iniciativa privada, congregando sociedade civil organizada, educadores e gestores públicos, que têm como objetivo contribuir para que o Brasil garanta a todas as crianças e jovens o direito à educação básica de qualidade. O movimento trabalha para que sejam garantidas as condições de acesso, alfabetização e sucesso escolar, além de lutar pela ampliação e boa gestão dos recursos públicos investidos na educação. Esses grandes objetivos foram traduzidos em cinco metas, com prazo de cumprimento até 2022, ano do bicentenário da Independência do Brasil. É importante ressaltarmos que o Censo Escolar permite-nos obter informações completas das trajetórias escolares de todos os estudantes matriculados nas escolas de educação básica a partir de 2007. Assim sendo, com o passar dos anos, o Inep terá todas as informações necessárias à construção da trajetória escolar de cada brasileiro, já que, a cada ano, é mais razoável assumirmos que todas as famílias matriculam os seus filhos em uma escola. Categorização das trajetórias Muitos indicadores apresentam sínteses das trajetórias de estudantes que pertencem a um grupo definido por etapa e modalidade de ensino, faixa etária e local de residência. Dessa forma, antes de prosseguirmos, é importante que fixemos esses conceitos. Etapas e modalidades do ensino A LDB segmenta a educação básica da seguinte forma: � creche; � educação infantil; � ensino fundamental (dividido em duas etapas: anos iniciais e anos finais) e � ensino médio. 15 Essas diferentes etapas são oferecidas em diferentes modalidades. A mais importante delas é a regular, mas existem ainda a Educação de Jovens e Adultos, a Educação Profissional ou Técnica, a Educação Especial e a Educação Indígena. Faixa etária Atualmente, as leis brasileiras estabelecem que a frequência à escola é obrigatória dos 4 aos 17 anos. No entanto, como nem sempre foi assim, há na população brasileira pessoas que, por motivos diversos, não completaram diferentes etapas da educação básica. A idade dos alunos é utilizada para caracterizar as trajetórias educacionais e, por isso, os indicadores educacionais são usualmente relativos a faixas etárias específicas. A LDB fixa essas faixas etárias e os respectivos segmentos que o estudante deveria cumprir caso tivesse uma trajetória escolar regular. Vejamos: � creche – para as crianças de 0 a 3 anos; � educação infantil – para as crianças de 4 e 5 anos; � ensino fundamental I – para as de 6 a 10 anos; � ensino fundamental II – para as de 10 a 14 anos e � ensino médio – para os jovens de 14 a 17 anos. Como os nascimentos ocorrem durante todo o ano, mas o ano escolar só se inicia em fevereiro, há uma convenção para a alocação dos indivíduos nessas diferentes faixas etárias. Fixada pelo Conselho Nacional de Educação (CNE), a data base para as decisões educacionais é 31 de março, ou seja, em todas as questõesescolares, considera-se a idade da pessoa no dia 31 de março, data escolhida por ser dois meses depois do início usual do ano letivo, quando, portanto, as matrículas já devem estar estabilizadas. Naturalmente, a fixação de outra data de referência mudaria a faixa etária usada para efeitos do planejamento educacional, com sérias consequências para o planejamento do seu atendimento. Por conta disso, a data escolhida é uma opção polêmica, cuja legalidade foi contestada e hoje aguarda decisão de recursos no Superior Tribunal Federal (STF). Território As leis educacionais estabelecem que a União é responsável pelas instituições de ensino superior e, em relação à educação básica, tem função supletiva e redistributiva. Já os estados são responsáveis pelo ensino médio e, em parceira com os municípios, pelo ensino fundamental. Os municípios, por sua vez, são responsáveis pelas creches, pela educação infantil e pelo ensino fundamental, em parceria com os estados. 16 Indicadores de acesso e permanência Como já vimos, os dados que fornecem informações sobre o acesso à educação básica são obtidos por meio do Censo Demográfico e da Pnad. O Censo Demográfico usa um questionário muito sintético para a grande maioria das residências e um formulário mais extenso para uma amostra de 10% delas. Isso quer dizer que os indicadores educacionais produzidos com dados do Censo Demográfico são estimativas feitas a partir de uma amostra. Assim sendo, só se conhece a situação escolar para conjuntos de indivíduos, por exemplo, os residentes em um dado município. O questionário usado no Censo Demográfico e na Pnad inclui as seguintes perguntas para cada membro da família incluída na amostra: 1. Sabe ler e escrever? 2. Frequenta escola ou creche? 2.1. Qual é o curso que frequenta? 2.2. Qual é a série do curso que frequenta? 2.3. Em que município e UF frequenta escola ou creche? 3. Qual foi o curso mais elevado que frequentou? 3.1. Concluiu esse curso? A resposta a essas perguntas fornece informações para a construção dos indicadores de acesso e permanência dos estudantes, cujas definições estão no Dicionário de indicadores educacionais do Inep. Taxa de analfabetismo (TA) No Brasil, considera-se analfabeto o sujeito incapaz de ler e escrever ao menos um bilhete simples na sua língua de origem. Nos questionários da Pnad e do Censo Demográfico, o analfabetismo é captado pela resposta dada à pergunta “Sabe ler e escrever?”. Aquele que responde “Não” é considerado analfabeto. A taxa de analfabetismo (TA) é calculada por meio do quociente entre a população analfabeta e a população total de um mesmo grupo etário. Essa taxa é muito utilizada pelos órgãos internacionais, pois permite medir os níveis de desenvolvimento socioeconômico dos países. Vejamos: �� � ������ � 100 Onde: �� = taxa de analfabetismo ���� = população analfabeta de determinado grupo etário 17 � = população total nesse mesmo grupo etário Para verificar o avanço das políticas públicas referentes ao ensino básico e contribuir para a formulação de políticas de alfabetização de adultos, é oportuno que a análise dessa taxa seja realizada por faixa etária, retirando assim o efeito composicional da estrutura etária que está embutida na taxa (RIOS-NETO, 2005). Acesso O acesso é, usualmente, sintetizado em três indicadores: taxa de atendimento escolar, taxa de escolarização líquida e taxa de escolarização bruta. Veremos cada um deles, com mais detalhes, a seguir. Taxa de atendimento escolar (TAE) A taxa de atendimento escolar é definida como o percentual da população de determinada idade ou faixa etária que se encontra matriculado na escola. Formalmente, essa taxa é definida da seguinte forma: �� � ���� � 100 Onde: � �� = número de pessoas matriculadas na escola na idade ou faixa etária � � �� = população na idade ou faixa etária � � � = até 3, 4 e 5, 6 a 14, 15 a 17 e 20 a 24 anos No Anuário da Educação Básica (2016), taxa de atendimento escolar está disponível para diferentes faixas etárias. Por exemplo, a tabela a seguir, cujos resultados foram calculados com dados da Pnad, apresenta as informações referentes às crianças de quatro e cinco anos. 18 Tabela 1 – Crianças de quatro e cinco anos que frequentam escola no Brasil (2001-2014) ano percentual de crianças 2001 66,4 2002 67,6 2003 69,7 2004 71,8 2005 72,5 2006 76,7 2007 78,9 2008 81,1 2009 83,0 2010 0,0 2011 85,6 2012 85,9 2013 87,9 2014 89,1 Fonte: Anuário da Educação Básica (2016, p. 17). Taxa de escolarização líquida (TEL) Para definir as prioridades educacionais de um governo, é importante saber quantas crianças ou jovens estão sendo atendidos em dada etapa do ensino na idade certa. Essa informação é captada pela taxa de escolarização líquida (TEL), definida por meio da divisão entre o número total de matrículas de alunos com a idade prevista para a etapa de ensino em consideração e o número de estudantes dessa faixa etária na população de interesse. Dessa forma, temos: � � � �ú���� �� ������������ �� ����� �é���!"�"���çã� �� %�� � ��á���! � 100 19 Por exemplo, se um estudante tem uma trajetória regular, deve cursar o ensino médio quando tiver entre 15 a 17 anos. Nesse caso, a taxa líquida de escolarização é a razão entre o número de jovens de 15 a 17 anos matriculados no ensino médio em um território (k) e o número total de pessoas na mesma faixa etária no mesmo território. Em outras palavras, o denominador dessa taxa é igual ao número de jovens residentes no município, na faixa etária de 15 a 17 anos, e o numerador é obtido identificando-se, entre os jovens com idade nessa faixa, os que estão matriculados no ensino médio. Baixos valores da TEL indicam a existência de jovens de 15 e 17 anos que não estão frequentando o ensino médio. Esse problema pode ter como causa: � a evasão do aluno ainda no ensino fundamental; � o fato de o aluno ainda estar cursando o ensino fundamental ou � o fato de ter terminando o ensino fundamental, mas não ter efetuado matrícula no ensino médio por algum motivo. Como um estudante chega ao ensino médio com a idade esperada somente se teve uma trajetória escolar regular, a TEL descreve, de forma bastante útil, uma das dimensões da qualidade da educação no território em que é calculada, ou seja, o nível de atraso escolar nessa população. A tabela a seguir mostra os resultados da TEL entre os anos de 2000 e 2015: Tabela 2 – Taxa de escolarização líquida – ensino médio – Brasil e Regiões (2000 a 2015) localidade 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2011 2012 2013 2014 2015 Brasil 34,4 36,9 40,0 43,1 44,4 45,3 47,1 48,0 50,4 50,9 51,6 54,0 55,1 56,3 56,9 Norte 19,2 26,4 29,1 31,7 27,5 30,7 34,7 36,0 39,7 39,1 41,2 42,4 44,9 46,7 47,9 Nordeste 18,9 20,5 22,7 25,5 27,9 30,1 33,1 34,5 36,4 39,2 42,6 44,8 46,2 47,5 48,3 Sudeste 46,3 48,0 52,4 55,5 58,0 57,4 57,9 58,8 61,9 60,5 59,6 62,5 62,9 63,8 65,2 Sul 44,0 47,8 50,7 52,7 53,4 53,6 54,9 55,0 56,4 57,4 55,1 57,1 59,3 61,0 58,6 Centro- Oeste 34,4 36,7 40,0 44,2 44,9 45,9 48,3 49,6 51,8 54,7 56,8 58,5 57,2 58,5 58,5 Fonte: IBGE/Pnad. Elaborado por Inep/Deed. 20 Taxa de escolarização bruta (TEB) Outro indicador de acesso muito usado é a taxa de escolarização bruta. Esse indicador mede o esforço que está sendo feito para dar acesso à educação aos que não a tiveram na idade correta. Vejamos: � ' � �ú���� �� ������������ !"�"���çã� �� %�� � ��á���! � 100 No numerador, temos o total de pessoas cursando a etapa no território, sem restrição de idade. No denominador, estão alocadas todas as pessoas da faixa etária em análise. Se o resultado desse indicador é maior que 100%, isso significa que o território, região, estado ou município está buscando atenderaos que não foram atendidos na idade certa. Na tabela a seguir, temos os resultados da TEB entre os anos de 200 e 2015: Tabela 3 – Taxa de escolarização bruta – ensino médio – Brasil e Regiões (2000 a 2015) Localidade 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2011 2012 2013 2014 2015 Brasil 73,0 73,9 75,9 81,1 81,4 80,7 82,2 82,6 85,5 83,0 82,2 83,2 83,5 83,7 83,3 Norte 59,6 80,1 80,7 85,6 72,1 76,8 78,0 75,2 83,3 80,3 79,8 81,5 82,3 84,2 82,3 Nordeste 53,8 56,7 58,2 67,0 71,3 72,0 76,8 79,4 78,7 77,4 77,9 78,2 79,6 78,6 77,5 Sudeste 87,9 84,7 87,4 90,6 91,1 88,2 88,0 87,5 91,6 88,5 85,3 87,9 86,8 87,1 89,5 Sul 81,4 78,1 80,5 82,8 81,7 80,5 79,4 79,9 83,4 81,1 80,4 79,9 82,3 83,1 78,6 Centro-Oeste 77,2 77,5 80,4 83,9 82,9 82,1 84,0 84,4 88,0 86,1 91,5 88,2 86,0 86,7 84,2 Fonte: IBGE/Pnad. Elaborado por Inep/Deed. Permanência Na ausência de informações sobre a trajetória escolar individual, a permanência do estudante na escola é acompanhada de forma indireta. Nesse caso, as taxas de conclusão das etapas da educação básica são indicadores especialmente importantes. Por exemplo, um estudante cuja trajetória é regular deve terminar o ensino fundamental com 14 anos. Dessa forma, interessa-nos saber quantos jovens de 16 anos terminaram o ensino fundamental. A tabela a seguir, obtida também do Anuário da Educação Básica brasileira, fornece- nos essa informação. 21 Tabela 4 – Percentual de jovens de 16 anos que concluíram o ensino fundamental – Brasil e Regiões (2001-2014) Região 2001 2002 2003 2004 2005 2006 2007 2008 2009 2011 2012 2013 2014 Brasil 49,1 52,1 56,6 58,0 58,9 60,8 62,9 64,8 66,3 67,5 69,5 71,7 73,7 Norte 35,0 41,8 45,7 40,2 41,2 46,7 50,5 52,7 52,0 53,8 55,3 57,6 59,9 Nordeste 28,2 30,5 33,9 36,8 39,3 44,1 44,8 48,2 51,7 56,7 59,1 60,5 62,6 Sudeste 62,9 66,4 72,6 73,8 74,1 73,7 76,2 77,3 76,3 76,6 78,7 81,2 83,5 Sul 64,5 67,8 67,6 74,2 69,9 70,0 72,2 72,6 74,6 72,2 75,3 78,5 79,7 Centro- Oeste 48,6 51,0 55,6 58,9 62,4 62,7 67,8 66,2 75,0 77,6 72,9 75,0 76,3 Fonte: IBGE/Pnad. Elaboração: Todos Pela Educação. Os indicadores de rendimento escolar que têm como unidade o município e dependem de dados coletados pelo Censo Demográfico só podem ser obtidos de 10 em 10 anos. Nos anos em que o Censo não é realizado, o seu cálculo exige o uso de projeções de população por faixa etária e por município. Esse é um problema demográfico bastante complicado, que deve, entretanto, ser enfrentado para atender não só à lei do PNE mas também à necessidade de monitorar o direito à educação da população brasileira. O enfrentamento desse problema é de especial importância, pois os municípios são os locais onde as decisões essenciais sobre o ensino fundamental são tomadas. Rendimento escolar Todos os anos, o Inep atribui a cada aluno matriculado em uma escola de educação básica um código único de identificação. Aluno é o indivíduo, enquanto matrícula é o vínculo estabelecidos entre um aluno e uma turma. Um mesmo aluno pode ter matrículas em mais de uma turma de distintas etapas ou modalidades de ensino, na mesma escola ou em escolas diferentes. A cada ano, considerando a data de referência do Censo Escolar da Educação Básica, ou seja, a última quarta-feira do mês de maio do ano vigente, as escolas registram os alunos matriculados nas suas turmas. No ano seguinte, as escolas informam o movimento e o rendimento escolar das matrículas informadas na primeira etapa. Os dados coletados permitem a construção de vários indicadores, conforme explicado na nota técnica do Inep Cálculo dos indicadores de rendimento escolar – censo da Educação Básica. 22 Movimento escolar Por movimento escolar entende-se a mudança de vínculo escolar de cada uma das matrículas no período entre a data de referência do Censo Escolar e o encerramento do ano letivo. Existem três situações possíveis quanto ao movimento escolar da matrícula: � transferido – quando a matrícula do aluno foi, formalmente, desvinculada de uma escola; � abandono – quando o aluno deixou de frequentar a escola antes da conclusão do ano letivo, não tendo sido formalmente desvinculado por transferência. Nesse caso, a sua matrícula não possui registro de rendimento e � falecido – quando o aluno faleceu antes do término do ano letivo. Aprovação e reprovação O rendimento escolar registra o sucesso ou o fracasso da matrícula de cada aluno ao final do ano letivo. São duas as situações possíveis quanto ao rendimento escolar de cada matrícula: � aprovado – quando o aluno conclui o ano escolar com sucesso e está apto a matricular-se na etapa seguinte, no ano seguinte, e � reprovado – quando o aluno não obtém êxito na conclusão do ano letivo e, portanto, não está apto a matricular-se na etapa seguinte, no ano seguinte. Os conceitos de movimento escolar, aprovação e reprovação são utilizados para o cálculo dos indicadores de rendimento escolar. Taxas de rendimento escolar As taxas de rendimento escolar – ou seja, as taxas de aprovação e reprovação, e a taxa de abandono – são calculadas para diferentes territórios ou unidades de agregação (escola, município, rede, etc.), considerando-se o conjunto de matrículas que as compõem. Depois das análises de consistência, a cada matrícula é associada uma situação (falecido, abandono ou sem informação) e um rendimento (aprovação ou reprovação). As seguintes notações são usadas: 23 Tabela 5 – Notações utilizadas na taxa de rendimento escolar abreviação notação FAL falecido APR aprovado REP reprovado ABA abandono SIR sem informação de rendimento escolar, falecimento ou abandono Fonte: MEC/Inep (2013, p. 5). As matrículas consideradas no cálculo das taxas de rendimento escolar são dadas por: �( � � ) *�� ) +,( Onde: � � = total de matrículas iniciais � *�� = quantidade de matrículas de alunos falecidos � +,( = matrículas que não tiveram a situação de rendimento escolar, o falecimento ou o abandono informado Como, para cada uma dessas matriculas, há uma condição de rendimento escolar – aprovado (APR), reprovado (REP) – ou de abandono (ABA), vale a seguinte igualdade: � � *�� - +,( - ��( - ( � - �'� Dessa forma, as taxas de rendimento escolar são calculadas pelas seguintes expressões: a) Taxa de aprovação: ��"� � ��(.APR - REP - ABA4 � 100 24 b) Taxa de reprovação: �(�" � ( �.APR - REP - ABA4 � 100 c) Taxa de abandono: ��5� � �'�.APR - REP - ABA4 � 100 d) Taxa de não resposta: Por fim, para verificar a representatividade das taxas de rendimento escolar, calcula-se a taxa de não resposta (TNR), definida como: �6( � +,(.n ) FAL4 � 100 Devemos observar que, necessariamente, vale a seguinte relação: �� � �� �"��:�çã� - �� � �� ��"��:�çã� - �� � �� �5������ � 100 Exemplo de cálculo, aplicação e interpretação dos indicadores Suponha que você tenha acabado de assumir a Secretaria de Educação de Curvelo (MG) e precise saber como está o cenário da pré-escola no município. Utilizando os dados apresentados pelo IBGE1, será necessário fazer o levantamento das seguintes informações: � taxa de atendimento escolar na pré-escola; � taxa de escolarização bruta na pré-escola e � taxa de escolarização líquida na pré-escola. Após o levantamento e o cálculo dessas taxas, será preciso responder às seguintes questões: � Como se encontra o cenário da pré-escola no município? � Qual(is) seria(m) a(s) iniciativas da Secretaria? � Qual(is) seria(m) a(s) requisições da Secretaria ao governo do Estado? 1 Informações disponíveis em: <https://www.ibge.gov.br/estatisticas-novoportal/sociais/educacao.html>. 25 Inicialmente, vamos realizar o cálculo de cada uma das informações necessárias: a) Taxa de atendimento escolar na pré-escola:Para encontrarmos a taxa de atendimento na pré-escola, devemos utilizar a fórmula da TAE: �� � ���;��<� =>á?�� �;��<� =>á?�� � 100 Onde: � ��� = matrícula em todos os níveis de ensino na faixa etária selecionada � � = população na mesma faixa etária. No entanto, como precisamos saber os dados específicos da faixa etária de quatro a cinco anos, devemos buscar essa informação, que pode ser encontrada no site do Sidra, o sistema IBGE de recuperação automática de dados.2 Após a montagem da tabela, os dados recuperados são os seguintes: Tabela 1973 – pessoas que frequentavam creche ou escola por nível de ensino, sexo e grupos de idade município = Curvelo – MG variável = pessoas que frequentavam escola ou creche (pessoas) nível de ensino ou curso que frequentavam = total sexo = total ano = 2010 grupos de idade 4 anos 712 5 anos 1.022 soma 1.734 2 Disponível em: <https://sidra.ibge.gov.br/Tabela/1973>. 26 Agora, devemos buscar as informações referentes à população do munícipio de Curvelo. Ainda por meio da montagem da tabela disponível do site do Sidra, temos: Tabela 1378 – população residente, por situação do domicílio, sexo e idade, segundo a condição no domicílio e compartilhamento da responsabilidade pelo domicílio município = Curvelo – MG variável = população residente (pessoas) situação do domicílio = total sexo = total condição no domicílio e compartilhamento da responsabilidade pelo domicílio = total ano = 2010 grupos de idade 4 anos 1.024 5 anos 1.106 soma 2.130 Podemos, por fim, aplicar os dados obtidos à fórmula da TAE: �� � @ABC D E F EGHI J@BKD E F EGHI � 100 � 81,40% b) Taxa de escolarização bruta na pré-escola: A taxa de escolarização bruta na pré-escola deve ser encontrada por meio da seguinte fórmula: � ' � ���P?éQ=RSTU� � C � V ��TR � 100 Onde: � ��� = matrícula total em um determinado nível de ensino � � = população na faixa etária adequada a esse nível de ensino 27 Quanto aos dados referentes à população, por meio da construção da tabela no site do Sidra, temos: Tabela 1378 – população residente, por situação do domicílio, sexo e idade, segundo a condição no domicílio e compartilhamento da responsabilidade pelo domicílio município = Curvelo – MG variável = população residente (pessoas) situação do domicílio = total sexo = total condição no domicílio e compartilhamento da responsabilidade pelo domicílio = total ano = 2010 grupos de idade 4 anos 1.024 5 anos 1.106 soma 2.130 Já os dados sobre volume de matrículas no nível de ensino em análise são os seguintes: Tabela 1973 – pessoas que frequentavam creche ou escola por nível de ensino, sexo e grupos de idade município = Curvelo – MG variável = pessoas que frequentavam escola ou creche (pessoas) nível de ensino ou curso que frequentavam = pré-escolar sexo = total grupos de idade = total ano = 2010 2.253 28 Aplicando os dados encontrados à fórmula da TEB, temos: � ' � 22532130 � 100 � 105,77% C) Taxa de escolarização líquida na pré-escola: A última taxa a ser encontrada, a TEL, deve ser calculada da seguinte forma: � � � ��� C � V ��TR � C � V ��TR � 100 Onde: � ��� = matrícula na faixa etária adequada a determinado nível de ensino � � = população na mesma faixa etária Nesse caso, precisamos, novamente, das informações referentes à população: Tabela 1378 – população residente, por situação do domicílio, sexo e idade, segundo a condição no domicílio e compartilhamento da responsabilidade pelo domicílio município = Curvelo – MG variável = população residente (pessoas) situação do domicílio = total sexo = total condição no domicílio e compartilhamento da responsabilidade pelo domicílio = total ano = 2010 grupos de idade 4 anos 1.024 5 anos 1.106 soma 2.130 29 Agora, precisamos das informações referentes ao número de matrículas na pré-escola: Tabela 1973 – pessoas que frequentavam creche ou escola por nível de ensino, sexo e grupos de idade município = Curvelo – MG variável = pessoas que frequentavam escola ou creche (pessoas) nível de ensino ou curso que frequentavam = pré-escolar sexo = total ano = 2010 grupos de idade 4 anos 508 5 anos 716 soma 1.224 Aplicando os dados encontrados à fórmula da TEL, temos: � � � 1224 C � V ��TR 2130 C � V ��TR � 100 � 57,46% Agora, por meio dos resultados obtidos (TAE = 81,40%; TEB = 105,77%; TEL = 57,46%), podemos retomar as questões previamente apresentadas, buscando respondê-las: a) Como se encontra o cenário da pré-escola no município? Ao levarmos em consideração os cálculos efetuados, podemos inferir que, no município de Curvelo (MG), a pré-escola não é ofertada de maneira universalizada à população residente, o que pode ser comprovado por meio da taxa de atendimento escolar encontrada (TAE = 81,49%), que indica o percentual da população daquela faixa etária que está frequentando a escola Podemos também observar que a demanda potencial por matrículas nesse nível, representada pelo cálculo da taxa de escolarização bruta, é alta (TEB = 105, 77%), ultrapassando os 100%, o que reforça a afirmação de que há problemas de acesso presentes no município. 30 Finalmente, a taxa de escolarização líquida (TEL = 57,46%) reitera o acesso como um problema no município, além de revelar outra fragilidade: o sistema educacional do município tem problemas relativos à eficácia, uma vez que pouco mais de 50% da população possui acesso e progressão na vida escolar adequados (regular). b) Qual(is) seria(m) a(s) iniciativas da Secretaria? Entre outras iniciativas, a Secretaria poderia: � aumentar a oferta de acesso à pré-escola por meio da construção de escolas de educação infantil; � estabelecer convênios para garantir a oferta de vagas; � abrir concursos para contratação de professores, especialistas e profissionais para trabalhar nesses novos estabelecimentos e � garantir políticas de formação inicial e complementar aos profissionais da educação. c) Qual(is) seria(m) a(s) requisições da Secretaria ao governo do estado? São possíveis requisições a serem feitas pela Secretaria: � solicitação de recursos para a construção de escolas de educação infantil (Governo Federal); � estabelecimento de convênios ou acordos entre estado e prefeitura, de forma a proporcionar o aluguel de espaços onde os alunos dessa faixa etária pudessem ser atendidos; � solicitação de recursos para efetuar novas contratações; � parcerias com universidades e institutos federais para a oferta de cursos de formação inicial e continuada. Neste módulo, analisaremos os indicadores de aprendizado utilizados no Brasil. Para tanto, consideraremos as matrizes de referência, a escala de proficiência, e os indicadores de qualidade e desigualdade utilizados pelo Sistema de Avaliação da Educação Básica (Saeb). Introdução Como vimos, o direito constitucional à educação no Brasil se concretiza quando: � o estudante tem uma trajetória regular, isto é, tem acesso a uma escola de educação básica na idade correta; � permanece na escola e � conclui as diferentes etapas em que o ensino é organizado, também nas idades esperadas. No entanto, não podemos levar em conta somente a passagem do estudante pela escola. Durante essa experiência escolar, o estudante deve adquirir os aprendizados de que necessita para uma vida plena e, por isso, os indicadores de aprendizado são tão necessários ao monitoramento do direito à educação. Neste conteúdo, vamo-nos restringir à análise dos indicadores de aprendizado do ensino fundamental, pois há dados, produzidos principalmente pelo Sistema de Avaliação da Educação Básica (Saeb) e a Prova Brasil, que nos permitem realizar ummonitoramento abrangente do direito de aprender ao longo de muitos anos. MÓDULO II – INDICADORES DE APRENDIZADO 32 O Sistema de Avaliação da Educação Básica (Saeb) foi criado no início da década de 1990, tendo como objetivo medir o desempenho acadêmico dos alunos da educação básica, e os fatores associados a esse desempenho e que nele interferem (fatores intra e extraescolares). O sistema é composto de duas avaliações: � Avaliação Nacional da Educação Básica (Aneb) – divulgada com o nome de Saeb, essa avaliação é aplicada a uma amostra de estudantes das redes públicas e privadas do País, localizados na área rural e urbana e matriculados nos 5º e 9º anos do ensino fundamental, e também no 3º ano do ensino médio, e � Avaliação Nacional do Rendimento Escolar (Anresc) – divulgada e conhecida com o nome de Prova Brasil, essa avaliação é aplicada censitariamente a alunos dos 5º e 9º anos do ensino fundamental público, nas redes estaduais, municipais e federais de área rural e urbana, em escolas que tenham, no mínimo, 20 alunos matriculados na série avaliada. A Prova Brasil faz parte do Sistema de Avaliação da Educação Básica (Saeb). Participam dessa avaliação as escolas públicas com, no mínimo, 20 alunos matriculados nas séries avaliadas. Para saber mais sobre o Saeb e a Prova Brasil, acesse: � Portal do Inep. Disponível em: < http://portal.inep.gov.br/educacao-basica/saeb>. Acesso em: fev. 2018. � Portal do Inep. Disponível em: < http://portal.mec.gov.br/prova-brasil>. Acesso em: fev. 2018. Os dados existentes no âmbito da Avaliação Nacional da Alfabetização (ANA) e do Exame Nacional do Ensino Médio (Enem) também podem ser usados para a produção de indicadores de aprendizado das outras etapas da educação básica, apesar de não terem ainda a mesma abrangência temporal do Saeb, nem a mesma estabilidade nas suas matrizes e nos seus processos de coleta. A Constituição Federal de 1988 explicitou o projeto da nação brasileira e estabeleceu, no seu artigo 210, a necessidade de construção de uma futura norma legal a partir da qual os aprendizados que caracterizam o atendimento do direito à educação dos estudantes fossem definidos. No entanto, essa norma está ainda em construção, por meio da Base Nacional Comum Curricular. A longa demora na fixação dos objetivos de aprendizagem comuns a todos os sistemas de ensino tem consequências. Uma delas envolve o fato de que as avaliações externas como Saeb e Prova Brasil assumiram o papel de determinar as aprendizagens a serem adquiridas. No entanto, o ideal seria que o contrário ocorresse, ou seja, os testes do Saeb deveriam basear-se em uma especificação que a lei chama de Base Nacional Comum. Além disso, o sistema educacional brasileiro sofre com a ausência de uma 33 linguagem curricular comum, fundamental tanto para a produção e organização de materiais didáticos quanto para a formação inicial e continuada dos professores. Apesar dessa ausência, a importância de se conhecer o nível de aprendizado dos estudantes é tão premente que o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) definiu uma matriz responsável por orientar as suas avaliações externas desde 1995. Matrizes de referência do Saeb3 Para a fixação das matrizes do Saeb, estabeleceu-se que os objetivos de aprendizagem seriam definidos por meio de sentenças que especificam, conjuntamente, os conhecimentos e a ação mental a ser realizada. Com isso, optou-se por desconsiderar as especificações, usuais até então, que consistiam em uma lista de conteúdos disciplinares. Essa opção teórica nos mostra que o objetivo da educação é levar o estudante a desenvolver um conjunto de habilidades que o permita enfrentar problemas concretos durante a sua vida. Na realidade, essa opção teórica reconhece que o estudante deve desenvolver conhecimentos e habilidades, ou seja, competências que, segundo Phillipe Perrenoud (1993, p. 23), consistem na “capacidade de agir eficazmente em um determinado tipo de situação, apoiando-se em conhecimentos, mas sem se limitar a eles.” Para enfrentar uma situação, geralmente, colocam-se em prática vários recursos cognitivos e não cognitivos entre os quais estão os conhecimentos. “Quase toda ação mobiliza alguns conhecimentos, algumas vezes elementares e esparsos, outras vezes complexos e organizados em rede” (PERRENOUD, 1993, p. 23). O planejamento inicial do Saeb definiu que apenas as competências leitora e a matemática seriam objetos de medida, considerando-as duas áreas fundamentais, pois, além de terem importância própria, permitem aos estudantes aprenderem outras competências. A construção dessa matriz, realizada em 1995, foi precedida de uma consulta nacional aos currículos usados pelas Secretarias Estaduais de Educação e praticados nas escolas brasileiras de ensino fundamental e médio. O objetivo dessa consulta era buscar o havia de comum entre esses currículos. Todavia, como se sabe, há uma grande distância entre o currículo proposto e aquilo que é, de fato, ensinado. Por esse motivo, o Inep consultou, adicionalmente, professores das capitais brasileiras regentes nas redes municipal, estadual e privada da 4ª e 8ª séries do ensino fundamental e da 3ª série do ensino médio, nas disciplinas de Língua Portuguesa e Matemática. Além disso, examinou os livros didáticos mais utilizados nas mesmas redes e séries, para validar a 3 O conteúdo desta seção tem como base os documentos do Inep que descrevem a metodologia do Saeb (2001). 34 listagem inicial. Em seguida, incorporou as análises de especialistas nas áreas de conhecimento a serem avaliadas. Tanto a competência leitora quanto a matemática envolvem muitas habilidades. Por conta disso, as habilidades a serem desenvolvidas em cada série e disciplina foram agregadas em grupos denominados descritores. Cada descritor deu origem a diferentes itens e, a partir das respostas dadas a esses itens, verificou-se o que alunos sabiam e conseguiam realizar a partir dos conhecimentos adquiridos. Em sequência, veremos o conteúdo das matrizes de Língua Portuguesa e Matemática, Matriz de Língua Portuguesa O ensino de Língua Portuguesa tem como finalidade promover o desenvolvimento do aluno para o domínio ativo do discurso. Dessa forma, considera-se que o indivíduo realmente domina uma língua quando sabe fazer uso dos seus recursos expressivos em diversas situações ou quanto, por meio do texto, é capaz de manifestar os seus próprios desejos e convicções, sabe informar, persuadir, divertir, emocionar, argumentar, posicionar-se e criticar. Ser competente no uso da língua significa saber interagir, por meio de textos, em qualquer situação de comunicação. Por tudo isso, o texto deve ser o ponto de partida e de chegada das atividades de ensino- aprendizagem e de verificação do aprendizado da língua. Por restrições operacionais de várias ordens, em Língua Portuguesa, optou-se por avaliar somente habilidades de leitura. Essa centralidade dada à leitura não significa, no entanto, que o Saeb minimiza a importância de avaliar a competência dos alunos quanto à produção de textos escritos. A matriz do Saeb está organizada em subconjuntos de habilidades denominados descritores. Os descritores da matriz de Língua Portuguesa não contemplam todos os objetivos de ensino de leitura, mas apenas aqueles considerados mais relevantes e possíveis de serem avaliados em um teste de múltipla escolha. Os resultados de tais testes devem possibilitar uma visão real do ensino brasileiro, sem que sejam privilegiados enfoques curriculares ou características regionais de abordagem. Há, entretanto, diferenças no que diz respeito ao grau de complexidade com que esses descritores são tratados nos itens colocados nos testes. Esse grau de complexidade resulta, porexemplo, da temática desenvolvida, das estratégias textuais usadas na sua composição, da escolha de um vocabulário mais ou menos incomum, dos recursos sintático-semânticos utilizados, bem como das determinações específicas do gênero e da época em que foi produzido. O grau de complexidade da tarefa resulta de aspectos relativos aos diversos saberes que o sujeito terá de mobilizar para resolver o problema proposto. Ao se considerarem as articulações entre a complexidade da tarefa e do objeto, outros graus de dificuldade também podem ser introduzidos, de modo que não existem padrões fixos de complexidade. 35 O mesmo descritor, dependendo do texto escolhido e do tipo de tarefa solicitada, pode trazer graus de dificuldade diferentes. Por exemplo, quando se solicita que o leitor localize uma informação no texto, a tarefa poderá ser mais ou menos difícil, dependendo da complexidade desse texto e do tipo de questão proposta. Matriz de Matemática Existe um razoável consenso entre os professores que ensinam Matemática de que a resolução de problemas deve ser tomada como eixo norteador das atividades dessa área de conhecimento. Tal consenso se deve ao fato de que a resolução de problemas possibilita o desenvolvimento das capacidades de observação, estabelecimento de relações, comunicação (diferentes linguagens), argumentação e validação de processos. Além disso, estimula formas de raciocínio como intuição, indução, dedução e estimativa. Essa opção traz implícita a convicção de que o conhecimento matemático ganha significado quando os alunos têm situações desafiadoras para resolver e trabalham para desenvolver estratégias de resolução. Tudo isso se contrapõe a um ensino de Matemática limitado a processos que têm como finalidade a simples memorização de regras e técnicas. Dessa forma, os instrumentos de avaliação devem também contemplar a opção pedagógica pela solução de problemas, exigindo explicações, justificativas e argumentações orais, uma vez que estas revelam aspectos do raciocínio que, muitas vezes, não ficam explícitos nas avaliações escritas. Sob esse aspecto, é evidente que o desempenho dos alunos em uma prova com questões de múltipla escolha não fornece ao professor indicações de todas as competências desenvolvidas nas aulas de Matemática. Por esse motivo, a Matriz de Referência de Matemática do Saeb é um documento que visa identificar as competências em conteúdos matemáticos desenvolvidas nos Ensinos Fundamental e Médio, passíveis de serem verificadas por meio de avaliações escritas. Essa Matriz não pode, no entanto, ser interpretada como um conjunto de indicações que norteará as estratégias de ensino nas escolas, papel reservado a parâmetros, currículos e diretrizes curriculares. No processo de elaboração dos itens do Saeb, é levado em conta que, em última análise, podemos dizer que um aluno aprendeu uma noção quando ele é capaz de utilizá-la para resolver um problema diferente daquele que deu origem à construção da noção, quando questiona as resoluções efetuadas e as respostas encontradas. Dessa forma, a prova busca constituir-se, prioritariamente, de situações em que a resolução de problemas seja significativa para o aluno. Por problemas significativos para o aluno entendem-se situações que permitam a esse aluno “recontextualizar” os conhecimentos que foram “descontextualizados” por ocasião do seu processo de aprendizagem. Ao contrário da situação-problema, cuja utilização está estreitamente ligada a situações de aprendizagem, os problemas significativos têm por objetivo verificar em que medida essa aprendizagem foi efetivamente realizada. Essa opção pela resolução de problemas 36 significativos não exclui totalmente a possibilidade da proposição de alguns itens com o objetivo de avaliar se o aluno tem domínio de determinadas técnicas. Para saber mais sobre os descritores de Matemática, que são em maior número, acesse: � Portal do Inep. Disponível em: <http://portal.inep.gov.br/web/guest/educacao- basica/saeb/matrizes-e-escalas>. Acesso em: fev. 2018. Composição dos testes Para cumprir a sua função de avaliar o ensino oferecido pelas escolas de educação básica, o Saeb precisa contemplar as muitas especificidades de cada uma das duas competências (leitura e matemática) avaliadas. Isso exige a inclusão de muitas questões nos testes. De 1995 até 2005, em torno de 150 itens eram incluídos nos testes, número grande demais para ser respondido por um único aluno. Para contornar esse problema, o Saeb utiliza uma técnica denominada Blocos Balanceados Incompletos (BIB), que permite montar testes de tamanho adequado ao tempo disponível, mas com itens comuns. Dessa forma, diferentes alunos de um mesmo ciclo do Saeb fazem provas diferentes, mas que têm entre si itens comuns e que, no seu conjunto, contemplam todas as especificidades da competência considerada. Ciclos contíguos do Saeb também têm itens em comum. Até 2005, 26 cadernos de provas diferentes eram utilizados, como podemos ver na tabela a seguir. A partir de 2005, com a criação da Prova Brasil, outros planejamentos passaram a ser utilizados. Tabela 6 – Delineamento de blocos incompletos balanceados (BIB) caderno primeiro bloco segundo bloco terceiro bloco caderno primeiro bloco segundo bloco terceiro bloco 1 1 2 5 14 1 3 8 2 2 3 6 15 2 4 9 3 3 4 7 16 3 5 10 4 4 5 8 17 4 6 11 5 5 6 9 18 5 7 12 6 6 7 10 19 6 8 13 7 7 8 11 20 7 9 1 37 caderno primeiro bloco segundo bloco terceiro bloco caderno primeiro bloco segundo bloco terceiro bloco 8 8 9 12 21 8 10 2 9 9 10 13 22 9 11 3 10 10 11 1 23 10 12 4 11 11 12 2 24 11 13 5 12 12 13 3 25 12 1 6 13 13 1 4 26 13 2 7 Fonte: Inep(2006). Escolas e alunos avaliados Embora a participação no Saeb seja voluntária, atualmente todos os estados brasileiros cooperam. Respondem aos testes os alunos presentes na escola no dia da aplicação da avaliação, de turmas da quarta série (quinto ano) e oitava série (nono ano) do ensino fundamental e do terceiro ano do ensino médio de uma amostra de escolas públicas. A inclusão de uma escola na amostra segue o plano amostral elaborado por técnicas estatísticas recomendadas pela literatura. Desde 2001, o plano amostral tem as mesmas linhas estruturais. Na primeira etapa desse plano amostral, são selecionadas as escolas que participarão do Saeb. Na segunda etapa, são selecionadas as turmas da escola que participarão da avaliação. Todos os alunos das turmas escolhidas são testados. Desse modo, a classe é a unidade amostral elementar. Com o objetivo de conseguir um maior espalhamento, escolas com uma ou duas turmas regulares na série têm apenas uma turma selecionada, enquanto escolas com três ou mais turmas regulares têm duas turmas selecionadas (Inep, 2001). Prova Brasil A partir de 2005, o Inep passou a aplicar os testes do Saeb a alunos de 5º e 9º anos do ensino fundamental público de todas as escolas das redes estaduais, municipais e federais, das áreas rural e urbana, com mais de 20 alunos matriculados na série avaliada. Isso implicou a quase universalização do Saeb. 38 Para evidenciar esse novo escopo, o Inep passou a utilizar a denominação Avaliação Nacional de Rendimento Escolar (Anresc), com nome fantasia de Prova Brasil, para os testes aplicados. Também mudou a denominação do Saeb para Aneb (Avaliação Nacional da Educação Básica). Nesse novo formato, o nome Saeb passou a denominar uma estrutura geral que abrange os vários tipos de avaliações relativas à educação básica. Motivação A criação da Prova Brasil resultou de uma crítica recorrente feita ao Saeb. Segundo a visão de alguns críticos, o Saeb não atendia às necessidades de escolas específicas e, portanto, não teria utilidade pedagógica. Em outras palavras, como a maioria das escolas nãoera avaliada, os resultados obtidos não eram vistos como representativos da realidade de uma escola específica. Isso ensejava a desconsideração das suas conclusões. Com a produção de resultados para cada escola, tornou-se necessário buscar então explicações para os resultados dos alunos de cada escola. A Prova Brasil atendeu também àqueles que defendem a ideia de que as organizações públicas devem prestar contas das suas ações à sociedade rotineiramente. De posse dos resultados da Prova Brasil, cada escola pode mostrar e explicar aos grupos sociais a que atende como está o aprendizado dos seus alunos. Com o uso das medidas de aprendizado obtidas por meio da Prova Brasil na construção do Índice de Desenvolvimento da Educação Básica (Ideb), a ideia de que os resultados podem ser entendidos como registros do aprendizado dos alunos entrou, definitivamente, no debate educacional brasileiro. 39 Características O desenho da Prova Brasil é semelhante ao do Saeb. A partir da edição de 2007, os alunos avaliados respondem a testes de duas disciplinas: Língua Portuguesa e Matemática. A Prova Brasil é estruturada da seguinte maneira: Tabela 7 – Estrutura da Prova Brasil. ano Português Matemática organização 5° ano 7 blocos 11 itens por bloco 7 blocos 11 itens por bloco � 21 cadernos de provas diferentes; � cada aluno responde a 1 caderno contendo 2 blocos de português e 2 blocos de matemática e � cada aluno responde 22 itens de cada disciplina. 9° ano 7 blocos 13 itens por bloco 7 blocos 13 itens por bloco � 21 cadernos de provas diferentes; � cada aluno responde a 1 caderno contendo 2 blocos de português e 2 blocos de matemática e � cada aluno responde 26 itens de cada disciplina. A cada novo ciclo da Prova Brasil, novas escolas têm sido incluídas, expandindo-se assim, progressivamente, o número de alunos que potencialmente podem fazer a prova. Hoje a Prova Brasil é um levantamento quase censitário das escolas públicas. No entanto, como não inclui as escolas privadas, fornece um quadro mais parcial do que aquele produzido pelo Saeb acerca do ensino fundamental brasileiro. 40 Resultados As tabelas a seguir nos mostram o número de escolas estaduais ou municipais com mais de 15 alunos que atingiram os níveis “adequado” e “avançado” entre as que fizeram cada ciclo da Prova Brasil. Tabela 8 – Percentual de alunos de escolas estaduais, municipais e federais acima do ponto de referência adequado em Leitura e Matemática nos testes da Prova Brasil (2005-2015). ano 4ª série 8ª série Matemática Leitura Matemática Leitura 2005 20,4 29,1 12,9 19,4 2007 21,5 25,4 9,4 15,7 2009 30,2 31,6 10,6 22,4 2011 33,3 37,1 12,5 23,1 2013 36,2 41,5 12,0 24,8 2015 40,1 51,7 14,0 29,9 Fonte: Elaboração baseada nos microdados da Prova Brasil 2007 a 2015. Tabela 9 – Número de escolas estaduais, municipais ou federais com mais de 70% de seus alunos acima do ponto de corte nos diferentes ciclos da Prova Brasil ano 5º ano Matemática 5º ano Leitura 9º ano Matemática 9º ano Leitura 2005 21 (0,1%) 155 (0,5%) 13 (0,1%) 8 (0,0%) 2007 260 (0,7%) 303 (0,8%) 35 (0,1%) 28 (0,1%) 2009 540 (1,2%) 321 (0,7%) 16 (0,05%) 19 (0,1%) 2011 1.131(2,8%) 958 (2,3%) 38 (0,1%) 49 (0,2%) 2013 935 (2,4%) 1.197 (3,0%) 17 (0,1%) 39 (0,1%) 2015 1.573 (4,1%) 3.069 (7,9%) 36 (0,1%) 84 (0,3%) Fonte: Elaboração baseada nos microdados divulgados pela Prova Brasil. 41 Como podemos notar, ainda é diminuto o número de escolas que atingiram o patamar estabelecido. No entanto, devemos observar que houve melhora a partir de 2005, quando a Prova Brasil teve a sua primeira edição. Além disso, a situação da oitava série é sistematicamente pior do que a da quarta série. Relevância pedagógica A instituição da Prova Brasil criou necessidades novas, ainda não completamente atendidas. Como o seu o resultado é enviado a cada escola, tornou-se necessário produzir material que permita a essas escolas dar sentido pedagógico e instrucional aos resultados obtidos. Essa necessidade não estava presente quando apenas o Saeb era realizado e destinado apenas às redes de ensino que, por isso, nos seus relatórios podiam usar linguagem mais acadêmica e sofisticada. Muitas iniciativas têm sido realizadas para suprir essas novas necessidades. O Inep envia um cartaz com uma síntese dos resultados da escola e alguma informação para a sua contextualização. Recentemente, o movimento Todos pela Educação, em parceira com o Inep e a Secretaria de Educação Básica do MEC, produziu documentos com orientações para o estudo da Prova Brasil (INEP, 2009a; 2009b). O objetivo de tais documentos é explicar o que são as matrizes de referência, como são construídos os itens avaliados nas provas, como deve ser feita a interpretação pedagógica das escalas de proficiência, alguns exemplos de questões, etc. O estudo desses documentos permitiria aos professores saber quais habilidades devem ser desenvolvidas no ensino fundamental até o 5º e o 9º anos. Apesar desses esforços, ainda há muito a ser feito nessa área. Uma dificuldade estrutural reside no fato de a análise dos dados da Prova Brasil exige conhecimentos e práticas que não estão disseminados na maioria das escolas. Desse modo, dar relevância pedagógica à Prova Brasil constitui ainda objetivo a ser alcançado. Análise crítica Com a implementação da Prova Brasil, o Saeb perdeu a proeminência. Nesse novo quadro, apenas a qualidade do ensino das escolas públicas é avaliada. As escolas privadas de ensino fundamental não são avaliadas de nenhuma forma, apesar do que estabelece o artigo 209 da Constituição: “Art. 209. O ensino é livre à iniciativa privada, atendidas as seguintes condições: I - cumprimento das normas gerais da educação nacional; II - autorização e avaliação de qualidade pelo Poder Público.” 42 A Prova Brasil avalia apenas o ensino fundamental. Embora o ensino médio ainda seja avaliado por meio do Enem, como esse exame é voluntário, os seus resultados não podem ser usados como descritivos de toda a realidade desse estágio de ensino. Assim sendo, com a perda de importância do Saeb, o País deixou de conhecer a evolução da educação básica como um todo, ou seja, ganhou em profundidade no estrato, onde estão a maioria dos alunos, mas perdeu em representatividade. Para a realização da Prova Brasil, com base na informação fornecida pelas escolas no Censo Escolar, os responsáveis pela organização enviam um teste nominalmente identificado a todos os alunos matriculados nas escolas selecionadas. No entanto, ainda não há um controle das ausências dos alunos no dia de aplicação da Prova Brasil. Não se sabe se essas ausências são intencionais, ocasionais ou se devem-se, simplesmente, ao fato de as escolas não terem preenchido corretamente o Censo Escolar. A tabela a seguir nos apresenta o número e o percentual de alunos que estiveram presentes e ausentes no teste realizado no ano de 2009. Como podemos observar, os percentuais de ausência são grandes o suficiente para que os resultados obtidos possam ser questionados, principalmente na oitava série. Não há estudos de caracterização dos ausentes que permitam identificar o perfil dos alunos ausentes e, consequentemente, validar os resultados obtidos. Tabela 10 – Número de alunos presentes e ausentes na Prova Brasil 2009 série SITUAÇÃO total ausente presente 4a 458,888 2,568,638 3,027,526 15.2% 84.8% 8a 723,443 2,020,975 2,744,418 26.4% 73.6% Fonte: Elaboração baseada nos microdados divulgados pela Prova Brasil. O número total de itens aplicados diminuiu, consideravelmente, do Saeb para a Prova Brasil. O eventual impacto dessa diminuição na qualidade do diagnóstico é uma questão de pesquisa ainda em aberto. Também o questionário contextual foi diminuído,impedindo a contextualização dos resultados por dimensões que podiam ser medidas anteriormente. A justificativa para os questionários que vinham sendo utilizados no Saeb está em Franco et al. (2003) e a mudança do questionário não foi justificada. Finalmente, a Prova Brasil adotou a mesma matriz do Saeb, ao mesmo tempo em que se introduziu a comparação com outros países com a criação das metas do Ideb. No entanto, é 43 pouco enfatizado no debate educacional que o Pisa exige habilidades mais complexas nos seus testes de Leitura e Matemática do que a Prova Brasil. Em outras palavras, mesmo se o Brasil viesse a atingir as metas de desempenho colocadas para a Prova Brasil, os seus alunos não estariam com o mesmo nível de conhecimento de alunos de outros países medidos pelo Pisa. Escala de proficiência As notas dos alunos que fazem os testes do Saeb recebem o nome técnico de proficiências e são obtidas por meio do uso de um modelo da Teoria de Resposta ao Item – TRI (KLEIN, 2013). Essa técnica estatística considera os acertos nas questões, bem como usa a informação presente nos itens comuns aos diferentes testes e ciclos para atribuir aos alunos proficiências que são comparáveis entre as séries e os anos. Os valores dessas proficiências foram calculados, em 1997, fixando-se a média teórica das proficiências de todos os alunos da oitava série em 250 e o respectivo desvio-padrão em 50. Considerando que a escala das proficiências é única para as três séries (anos escolares) incluídas no Saeb, os alunos da quarta série do ensino fundamental têm, tipicamente, proficiências menores, e os do terceiro ano do ensino médio têm proficiências maiores do que as dos alunos da oitava série. No entanto, a variação das proficiências em cada série é significativa, o que resulta em grande interseção entre as distribuições das proficiências dos alunos das diferentes séries. Além disso, é importante ressaltarmos que, fruto de uma idiossincrasia técnica, as proficiências de Leitura em uma dada série são tipicamente maiores que as de Matemática. No entanto, um valor maior de proficiências em Leitura do que em Matemática não significa, necessariamente, que o aluno tem maior domínio da primeira. Construído e aplicado o teste, como vimos, a medida da competência, que recebe o nome técnico de “proficiência”, é obtida por meio do uso de modelos da TRI. Uma função matemática, denominada “curva de característica do item”, mostra como a probabilidade de acerto do item se associa à proficiência do examinando e à dificuldade do item. Desse modo, a probabilidade de acerto de um item aumenta com a proficiência do examinando e cai de acordo com a dificuldade do item. No Brasil, o modelo logístico usualmente preferido é o de três parâmetros da TRI, que é assim dividido: � parâmetro a – capta o poder de discriminação; � parâmetro b – representa a dificuldade e � parâmetro c – representa a taxa de acerto casual do item. 44 O modelo de dois parâmetros é, geralmente, usado com itens de respostas curtas, corrigidas apenas como acerto e erro, situação em que não há acerto casual. Já os modelos de crédito parcial são usados para questões abertas e redações. O gráfico a seguir nos mostra a curva do modelo de três parâmetros para um item que tem nível de dificuldade de 0,114, discriminação de 0,796 e acerto casual baixo, de 0,088. Essa função matemática representa a relação entre os dados empíricos, isto é, as respostas ao item e as qualidades não observadas, as proficiências latentes. O parâmetro de dificuldade b, representado pela linha vertical do gráfico, caminha para a direita ou para a esquerda, na curva de característica, conforme o nível de dificuldade cresce ou diminui. Já o parâmetro de discriminação do item a, representado pela linha tangente à curva, altera a inclinação da curva característica, captando o poder de discriminação do item. Por fim, o parâmetro de acerto casual do item c, representado pela linha horizontal na base do gráfico, apresenta a probabilidade de um acerto por pessoas sem nenhuma proficiência na matéria medida pela prova. Vejamos: Figura 2 – Curva característica de um item no modelo de três parâmetros da TRI Fonte: SOARES, 2009. No gráfico, os dados empíricos pelos círculos, cujo tamanho retrata a frequência relativa observada em cada ponto. O uso da TRI exige que o teste meça apenas um construto, a chamada hipótese de unidimensionalidade, que precisa ser verificada. Quando isso ocorre, pode-se estudar esse construto por meio de uma única medida síntese, não havendo necessidade de considerar qual foi a resposta dada a cada um dos itens do teste. Um ajuste dos dados ao modelo, adequado a situações reais, requer que o princípio da unidimensionalidade se aplique pelo menos aproximadamente. O pressuposto adicional da independência local implica a possibilidade de cada item ser tratado como um evento independente, o que requer que as respostas aos itens do teste sejam independentes do ponto de vista estatístico, depois de considerada a proficiência de cada 45 examinando. Em outras palavras, o modelo da TRI pressupõe que a resposta a um item do teste não deve determinar ou influenciar a resposta a qualquer outro item. Nessas condições, a probabilidade de obter qualquer conjunto de respostas de item, denominada independência local, é obtida pelo produto das probabilidades individuais dos itens. Isso permite a utilização do princípio da máxima verossimilhança para estimar a proficiência dos examinandos. Quando pode ser demonstrado que as respostas dos examinandos se ajustam ao modelo de resposta, entende-se que os parâmetros de cada item não dependem dos examinandos avaliados em determinada ocasião e também que as estimativas das proficiências não dependem dos itens aplicados em determinada ocasião. Da mesma forma, os procedimentos da verossimilhança acomodam bem a substituição, a eliminação e o acréscimo dos itens, assim como toleram bem respostas ausentes de itens que não foram resolvidos pelos alunos ou que não lhes foram apresentados. Finalmente, a TRI permite que testes diferentes aplicados a grupos distintos de alunos sejam organizados de forma que possam produzir proficiências comparáveis. Isso permite que os resultados de testes de anos diferentes possam ser comparados. Todos esses fatos justificam o amplo uso da TRI em processos de avaliação educacional, apesar das fortes hipóteses exigidas. Para saber mais sobre o modelo da TRI, leia: � HAMBLETON, R. K.; SWAMINATHAN, H.; ROGERS, H. J. Fundamentals of item response theory. Newburry Park, Califórnia: Sage Publications Inc., 1991. A escala de proficiência na Prova Brasil, originalmente calculada por meio de desvios- padrão, é transformada para valores de 0 a 500 pontos. Como a escala de proficiência é a mesma para as diferentes edições da Prova, devido ao processo de equalização utilizado na análise dos testes, as variações na proficiência dos alunos de determinado ano escolar entre as edições refletem a melhora ou piora no aprendizado das coortes avaliadas.4 Além disso, como a mesma escala é usada para expressar os escores dos alunos dos diferentes anos escolares ou séries, os alunos do 5º ano têm, tipicamente, proficiências com valores mais baixos do que os alunos do 9º ano. 4 O processo de equalização supõe a inclusão de itens comuns nas edições dos testes e em etapas do ensino contíguas. Isso garante que uma escala única de medida das proficiências seja usada para acompanhar tanto os aprendizados dos alunos ao longo das edições bianuais do Saeb/Prova Brasil quanto os ganhos ocorridos ao longo da trajetória escolar dos estudantes. Para saber mais, acesse: Portal do Inep. Disponível em: <http://portal.inep.gov.br/web/saeb/aneb-e-anresc>. Acesso em: fev. 2018.
Compartilhar