AULA 5 AVALIAÇÃO INSTITUCIONAL

Prévia do material em texto

AVALIAÇÃO INSTITUCIONAL
AULA 5
LEGITIMIDADE DOS INSTRUMENTOS – MEDIR OU AVALIAR
Ao final desta aula, você será capaz de:
1- Identificar a evolução histórica da avaliação como prática para verificar o rendimento do aluno;
2- Reconhecer que somente a aplicação de provas e testes não basta para exprimir e revelar a real aprendizagem do aluno;
3- Relacionar avaliação e medida como uma possibilidade de se comparar resultados com uma escala desejável de desempenho;
4- Estabelecer a validade dos questionários aplicados a alunos, professores e diretores durante a realização dos exames nacionais.
INTRODUÇÃO 
Nesta aula, vamos apresentar os argumentos necessários ao entendimento do processo avaliativo enquanto uma política pública de educação que se utiliza de instrumentos que possibilitam estabelecer um conhecimento sobre o rendimento do aluno e a qualidade do trabalho que é feito dentro das escolas brasileiras. 
Ao mesmo tempo vamos discutir o processo de medir a aprendizagem do aluno na escola tradicional através de notas e conceitos, graduando-os em uma escala de zero a dez.
AVALIAÇÃO
Apesar do avanço nas teorias do conhecimento, por que ainda se mede a aprendizagem ou rendimento do aluno através de notas?
A avaliação desenvolveu-se dentro do campo da Psicologia e foi inicialmente utilizada por pesquisadores preocupados em estudar as capacidades mentais e físicas de alunos. Medir a performance dos alunos em testes de aptidão ou inteligência.
De acordo com Dias Sobrinho (2003) a avaliação é um processo muito antigo, pois há mais de 2 mil anos a China já fazia exames de seleção para os serviços públicos.
No século XX, a indústria se amparou da avaliação para apreciar os resultados da gestão de seus recursos humanos. Na indústria, teve ainda larga aplicação para identificar as competências e a seleção de pessoal para assumir cargos de chefia ou admissão para tarefas específicas.
Porém, na Educação ela foi mais amplamente aplicada como prática política e pedagógica.
Evolução educativa
Dias Sobrinho (2003) argumenta que nem sempre é possível atribuir datas exatas aos fatos e que ele vai apresentar as tendências e as marcas mais importantes que se sucederam através dos anos até  chegar ao que conhecemos hoje como avaliação educativa (p.16).
Assim ele demarca, com base na periodização de Stufflebeam e Shinkfield, que existem os seguintes períodos de avaliação.
PRIMEIRO PERIODO - Denominado de pré-tyler, compreende dos últimos anos do século XIX até as 3 primeiras décadas do século XX com a principal característica de se pautar em elaboração e aplicação de testes. Nesse período, avaliação e medição são conceitos intercambiáveis, claramente inseridos no paradigma positivista e se centram na determinação das diferenças individuais “Avaliação confunde-se com medição e se insere basicamente no campo da Psicologia” (p.16).
SEGUNDO PERIODO - Denominado de pré-tyler, compreende dos últimos anos do século XIX até as 3 primeiras décadas do século XX com a principal característica de se pautar em elaboração e aplicação de testes. Nesse período, avaliação e medição são conceitos intercambiáveis, claramente inseridos no paradigma positivista e se centram na determinação das diferenças individuais “Avaliação confunde-se com medição e se insere basicamente no campo da Psicologia” (p.16).
TERCEIRO PERIODO - Foi denominado de era da inocência (1946 a 1957) tendo como principal característica o descrédito da avaliação e da própria educação. (p. 21)
QUARTO PERIODO - Foi denominado de realismo (1958 a 1972). A avaliação recebe destaque do Governo americano passando a ser usada como instrumento de medir custo/benefício e de prestação de contas aos pais dos alunos. “Essa etapa se caracteriza pela realização de muitos trabalhos práticos na área, já não seguindo apenas a orientação positivista e quantitativista, mas também enfoques naturalistas ou fenomenológicos e qualitativos” (p. 22).
Ficou conhecido como período do profissionalismo (1973). Caracteriza-se pela profissionalização da avaliação e por ser sido transformado em um importante objeto de estudo, resultando em uma vasta produção teórica e na difusão de cursos de avaliação, de seminários e congressos na área. A avaliação ganha importância. O trabalho avaliativo desloca-se da análise dos objetivos para a análise da decisão a ser tomada após o término do processo avaliativo. Existe uma tendência de valorização da abordagem dos aspectos qualitativos (p. 23).
Clique aqui e veja mais sobre o período do profissionalismo.
Concluindo esse tópico onde resumimos os momentos pelos quais passou a avaliação, 
podemos dizer que a influência na avaliação objetivista não findou. Encontramos ainda, em execução em estados e municípios, projetos que se respaldam em instrumentos que medem o rendimento do aluno em uma escala numérica (de 0 a 10) quantitativista, medindo a eficiência da escola no sentido da aprovação dos alunos em exames ou concursos públicos como o vestibular. 
Você entendeu a complexidade que envolve o ato de avaliar? Reflita sobre esse assunto.
Ao relacionar os períodos tínhamos como objetivo traçar uma linha no tempo, demarcando os principais momentos que determinaram o avanço da avaliação como uma área específica do conhecimento onde existe um saber resultante dos estudos e aplicações práticas de pesquisadores que se dedicaram a entender a prática avaliativa para muito além do seu sentido de medição.
Avaliar ou medir?
A seguir, vamos tentar entender a relação existente entre avaliar e medir. Com base nas ideias existentes no texto de Romão (2001), podemos examinar a diferença que há entre a medida e a avaliação.
Medida
Podemos entender que a medida resulta do esforço despendido para dimensionar de forma exata o rendimento do aluno. Baseia-se nos aspectos quantitativos da sua aprendizagem. 
Assim, Romão (2001) diz que: “a medida, enquanto tentativa de constatação exata das dimensões do desempenho do aluno predominou nas primeiras tentativas e em várias décadas da trajetória da avaliação nos sistemas educacionais” (p. 72).
Inicialmente, os estudos eram realizados no campo da Psicologia Experimental com o objetivo de identificar as mudanças do que era denominado de comportamento observável. Havia uma preocupação com a objetividade e o controle das variáveis intervenientes que poderiam enviesar o experimento.
Qual é a importância de destacarmos esse pensamento do autor?
Quando ele fala em tentativa de constatação do desempenho do aluno, nos leva a pensar que esse momento foi importante como ponto de partida da avaliação para nos permitir elaborar um conhecimento que permitissem analisar outras dimensões não menos importantes que os acertos e os erros dos alunos como determinantes da sua aprendizagem.
Romão (2001, p. 73) chama a atenção para o fato de que a medida tem o seu lugar no processo de avaliação e que “... com o devido cuidado, a medida tem de ser retomada nas considerações sobre avaliação da aprendizagem”. Dar ao aluno a dimensão da sua capacidade para solucionar problemas e de usar a linguagem escrita ou oral para se expressar vai possibilitar a ele, identificar o seu desempenho, portanto saber as notas nas provas e identificar os próprios erros o ajudará na sua trajetória pessoal.
Essa escala de valores deve ser construída pelos participantes do processo avaliativo e servirá de base para o entendimento dos avanços realizados pelos alunos em seu processo de construção de conhecimento, atitudes e valores.
De acordo com Romão “Em seu sentido restrito, a avaliação da aprendizagem é o procedimento docente que atribui símbolos a fenômenos cujas dimensões foram medidas, a fim de lhes caracterizar o valor, por comparação com padrões prefixados.” (2001, p.80)
E devemos saber por que é importante comparar?
Qual é o nosso objetivo ao comparar?
O autor se faz as seguintes perguntas:
Que tipo de medida eu posso usar na verificação do rendimento escolar?
Em que sistema numérico se enquadra as notas dadas pelos professores a seus alunos?O que esse sistema pode significar para nós, professores e alunos?
Que o zero não poderia ser dado a aluno nenhum.
O que parece caracterizar essa situação da atribuição do zero é o fato do professor não reconhecer como válido os conhecimentos que o aluno possui e traz da sua experiência familiar ou comunitária.
É muito lógico, pois dificilmente o aluno pode ser totalmente vazio de conteúdo. Pode não saber os conteúdos que o professor cobrou na prova, mas deve ter aprendido algo sobre o significado da sua condição social e política, aprendeu a conviver e a se expressar, embora possa ter erros de ortografia ou de concordância.
Quando aplicamos uma prova podemos medir, constatar os erros e acertos dos alunos, somente em relação ao conteúdo cobrado. Não podemos afirmar que ele nada sabe sobre aquele assunto. 
Várias são as possibilidades que podem ter levado o aluno ao erro. Como também não podemos deduzir de um número grande de acertos em uma prova, em um teste, que o aluno tem conhecimento integral do tema tratado.
O professor Romão estava se referindo ao fato que fica difícil tomar como representativo da aprendizagem do aluno a nota. Mesmo se considerarmos a possibilidade de uma prova objetiva, com resposta única, sempre a escolha da pergunta a fazer ou a forma como ela será formulada vai ser influenciada pela subjetividade da pessoa responsável pela elaboração da prova, por sua visão de mundo, sua concepção de educação.
Por outro lado, o aluno pode estar envolvido em uma situação de conflito ou de estresse emocional que o impeça de ter um bom desempenho. Clique aqui e veja um exemplo sobre a influência emocional na realização da prova.
Para exemplificar podemos analisar a seguinte situação: um professor elabora a prova final com perguntas objetivas sobre um fato histórico que desenvolveu na última aula. Uma aluna, de bom rendimento o ano todo, conseguiu realizar apenas 4 das 10 perguntas feitas. Acertou as 4. Precisava de 4 para passar. Todos ficam preocupados com ela. Ela fica tranquila porque conseguiu a nota que necessitava. Os colegas perguntam a ela o que houve. Ela responde: - “Perdi minha avó essa noite e não pude rever toda a matéria. Fiz as questões que sabia e consegui passar.”
Depois ter lido o exemplo, a pergunta é:
Esse resultado representa a avaliação da aluna do ano todo?
Claro que não.
Por isso pergunto a você:
As notas do Saeb ou do Enem representam todas as aprendizagens dos alunos na educação fundamental e na educação básica?
O mesmo autor diz que:
 Também o processo de verificação do rendimento escolar implica dois momentos: medir e avaliar. No primeiro, tentamos, com mais ou menos objetividade, por meio de um instrumento adequado, “medir” o desempenho do educando, isto é, simplesmente coletar e registrar seu desempenho: em seguida, “avaliamos” em sentido estrito (...) (Romão, p.76)
Queremos com essa conversa apontar que a avaliação tem uma relação com a medida, mas ela é mais complexa, pois devemos considerar outros fatores antes de formular um conceito de valor sobre a aprendizagem do aluno. 
Então como posso medir e avaliar de forma que seja um processo contínuo de conhecimento do aluno?
Por vezes somos surpreendidos com avaliações feitas sem nenhum fundamento, sem ter sido realizada uma análise do que antecedeu na vida escolar do aluno e sem considerar o seu potencial para resgatar os conteúdos que ainda não sabe. O próprio aluno que é reprovado não sabe dizer os motivos de ter fracassado.
 
Caso o aluno seja contestador, agitado, provocativo, o professor não tem generosidade com ele e exige mais dele do que do aluno cordato, calmo, sem muitas perguntas para fazer.
 No entanto, estamos todos a dizer que devemos fazer de nosso aluno um sujeito crítico, conhecedor de seus direitos, construtor de sua própria aprendizagem, mas continuamos na escola a festejar os alunos que concordam com as regras da escola e não contestam as ordens recebidas.
Queremos com essa conversa apontar que a avaliação tem uma relação com a medida, mas ela é mais complexa, pois devemos considerar outros fatores antes de formular um conceito de valor sobre a aprendizagem do aluno. 
Então como posso medir e avaliar de forma que seja um processo contínuo de conhecimento do aluno?
A avaliação e a medida
Para entendermos a importância da avaliação do rendimento do aluno da educação básica ou superior é necessário ter clareza sobre os significados atribuídos a esses conceitos: avaliação e medida.
Os exames nacionais realmente medem ou avaliam a aprendizagem do aluno? 
Quais seriam os outros instrumentos que poderíamos usar para se ter uma noção mais exata do nível de conhecimento que o aluno brasileiro tem demonstrado pelos resultados obtidos nas provas?
Examinando os resultados divulgados podemos perceber que o primeiro fracasso é no baixo nível de leitura demonstrado por nossos alunos e a sua incapacidade para elaborar um texto escrito com coerência mínima para ser entendido o pensamento que deseja expressar. 
O outro fracasso diz respeito às estatísticas apresentadas sobre o número de jovens que prosseguem os estudos e completam o ensino médio. Os resultados do Enem dizem respeito a uma parcela insignificante de brasileiros que aspiram prosseguir seus estudos em nível superior. A maioria dos jovens brasileiros possui apenas o ensino fundamental.
O que estamos medindo com os exames nacionais? 
A nossa incapacidade em reter e estimular os adolescentes e jovens na continuidade de sua escolarização? 
Reflita sobre essas questões.
Contexto social, econômico e cultural dos alunos: os questionários revelam a sua realidade?
Agora vamos analisar a possibilidade de, através dos questionários respondidos pelos alunos, reconhecermos suas características socioeconômicas.
Nos exames nacionais, são considerados os dados revelados pelo formulário que o aluno e a escola preenchem sobre as condições em que o aluno realiza os seus estudos? 
Essa é a pergunta que podemos fazer.
Todos os anos, o MEC faz um Relatório Pedagógico sobre os exames que aplica. Não sabemos se a equipe que se encarrega de elaborar as provas consideram essas informações como importantes para direcionar a escolha das perguntas que serão incluídas no exame do ano seguinte ou se desconsideram as nuances e as matizes que certamente darão uma noção mais real de como o ensino acontece no país.
No site do Inep, encontramos os modelos de questionários aplicados aos alunos, professores e diretores, quando da realização da prova do Saeb e Prova Brasil. De acordo com o Inep eles servem para coletar dados e revelam o capital social e cultural dos alunos. 
O aluno preenche o formulário no momento da prova. Pesquisando as perguntas feitas no questionário que o aluno recebe para preencher podem nos ocorrer as seguintes questões:
Será que ele sabe dizer a faixa salarial da sua família? 
Sabe dizer se os pais completaram o ensino fundamental ou médio? 
Talvez muitos não saibam prestar essas informações.
Prosseguindo, o site do Inep esclarece que “Na mesma ocasião, é preenchido pelos aplicadores dos testes um formulário sobre a escola levantando dados sobre as condições de infraestrutura, segurança e condições dos recursos pedagógicos disponíveis”.
Os elaboradores das provas são professores graduados com formação mínima em cursos de especialização e geralmente com Mestrado e Doutorado, sendo escolhidos após processo seletivo realizado pelo Inep e terem participado de treinamento passando a fazer parte do banco de colaboradores. 
 São convidados pelo Inep a realizar essa tarefa. A opinião deles sobre a realidade da escola, sobre as condições dos alunos pode ser um relevante material para o MEC pensar e reavaliar as provas como instrumento válido para dimensionar o rendimento do aluno e algumas perguntas dos questionários aplicados.
O Inep reconhece a importância dos questionários como possibilitador de futura análise do sistema nacional de avaliação e acrescentam que: “O levantamento destes dados é fundamental para que aanálise da Prova Brasil possa levar em consideração o contexto dos alunos e da escola. Uma das possibilidades a partir destes dados é o desenvolvimento de estudos dos fatores associados ao desempenho dos alunos”.
Mesmo que, na citação anterior, se refiram apenas à Prova Brasil, podemos considerar que o questionário preenchido no Saeb, embora seja um exame que é aplicado a uma amostra, também revela a situação socioeconômica dos alunos participantes e serve como indicador de tendências.
 
Ele pode ser utilizado no processo de elaboração de novas ações e políticas de regulação dos sistemas educacionais porque os relatórios são encaminhados para todos os estados e municípios para que eles possam, mediante o estudo dos resultados, elaborarem políticas que visem à melhoria dos sistemas de ensino e da educação. 
Concluindo enfatizamos que não se sabe se os relatórios que o MEC/Inep tem encaminhado às autoridades são motivo de análise e considerados quando da formulação das políticas públicas para a melhoria dos sistemas educacionais e das escolas
Contudo, podemos perceber que alguns estados e municípios estão realizando os seus próprios sistemas de avaliação do desempenho do aluno da escola pública com o objetivo de melhorar os seus indicadores educacionais. Não se pode dizer ainda se esse movimento irá garantir a melhoria qualitativa do ensino no Brasil.