Aula 05 LEGITIMIDADE DOS INSTRUMENTOS MEDIR OU AVALIAR

Prévia do material em texto

Aula 05 LEGITIMIDADE DOS INSTRUMENTOS – MEDIR OU AVALIAR
Disciplina: Avaliação Institucional
(p.2)
OBJETIVO DESTA AULA
Ao final desta aula, você será capaz de:
1- Identificar a evolução histórica da avaliação como prática para verificar o rendimento do aluno;
2- Reconhecer que somente a aplicação de provas e testes não basta para exprimir e revelar a real aprendizagem do aluno;]
3- Relacionar avaliação e medida como uma possibilidade de se comparar resultados com uma escala desejável de desempenho;
4- Estabelecer a validade dos questionários aplicados a alunos, professores e diretores durante a realização dos exames nacionais.
(p.3)
Introdução
Nesta aula, vamos apresentar os argumentos necessários ao entendimento do processo avaliativo enquanto uma política pública de educação que se utiliza de instrumentos que possibilitam estabelecer um conhecimento sobre o rendimento do aluno e a qualidade do trabalho que é feito dentro das escolas brasileiras. 
Ao mesmo tempo vamos discutir o processo de medir a aprendizagem do aluno na escola tradicional através de notas e conceitos, graduando-os em uma escala de zero a dez.
(p.4)
Avaliação 
Apesar do avanço nas teorias do conhecimento, por que ainda se mede a aprendizagem ou rendimento do aluno através de notas?
A avaliação desenvolveu-se dentro do campo da Psicologia e foi inicialmente utilizada por pesquisadores preocupados em estudar as capacidades mentais e físicas de alunos. Medir a performance dos alunos em testes de aptidão ou inteligência.
De acordo com Dias Sobrinho (2003) a avaliação é um processo muito antigo, pois há mais de 2 mil anos a China já fazia exames de seleção para os serviços públicos.
No século XX, a indústria se amparou da avaliação para apreciar os resultados da gestão de seus recursos humanos. Na indústria, teve ainda larga aplicação para identificar as competências e a seleção de pessoal para assumir cargos de chefia ou admissão para tarefas específicas.
Porém, na Educação ela foi mais amplamente aplicada como prática política e pedagógica.
(p.5)
Evolução educativa
Dias Sobrinho (2003) argumenta que nem sempre é possível atribuir datas exatas aos fatos e que ele vai apresentar as tendências e as marcas mais importantes que se sucederam através dos anos até  chegar ao que conhecemos hoje como avaliação educativa (p.16).
Assim ele demarca, com base na periodização de Stufflebeam e Shinkfield, que existem os seguintes períodos de avaliação.
Primeiro período
Denominado de pré-tyler, compreende dos últimos anos do século XIX até as 3 primeiras décadas do século XX com a principal característica de se pautar em elaboração e aplicação de testes. Nesse período, avaliação e medição são conceitos intercambiáveis, claramente inseridos no paradigma positivista e se centram na determinação das diferenças individuais “Avaliação confunde-se com medição e se insere basicamente no campo da Psicologia” (p.16).
Segundo período
Iniciou pelos estudos de Ralph Tyler (1934), considerado o pai da avaliação, porque foi o primeiro a se utilizar da expressão avaliação educacional, deslocando o foco para os objetivos educacionais e o currículo. A sua principal característica é estar pautado no paradigma de racionalização científica da Pedagogia por objetivos. “A avaliação deveria, pois, determinar de forma experimental se os estudantes individualmente eram capazes de demonstrar, ao final de um processo de ensino, os objetivos previstos e declarados” (p.19). Pode-se deduzir que no período não há uma equivalência entre avaliação e medida.
Terceiro período
Foi denominado de era da inocência (1946 a 1957) tendo como principal característica o descrédito da avaliação e da própria educação. (p. 21)
Quarto período
Foi denominado de realismo (1958 a 1972). A avaliação recebe destaque do Governo americano passando a ser usada como instrumento de medir custo/benefício e de prestação de contas aos pais dos alunos. “Essa etapa se caracteriza pela realização de muitos trabalhos práticos na área, já não seguindo apenas a orientação positivista e quantitativista, mas também enfoques naturalistas ou fenomenológicos e qualitativos” (p. 22).
Quinto período
Ficou conhecido como período do profissionalismo (1973). Caracteriza-se pela profissionalização da avaliação e por ser sido transformado em um importante objeto de estudo, resultando em uma vasta produção teórica e na difusão de cursos de avaliação, de seminários e congressos na área. A avaliação ganha importância. O trabalho avaliativo desloca-se da análise dos objetivos para a análise da decisão a ser tomada após o término do processo avaliativo. Existe uma tendência de valorização da abordagem dos aspectos qualitativos (p. 23).
SAIBA MAIS
Veja mais sobre o período do profissionalismo. Em: Aula 05 (anexo) Período do profissionalismo
Concluindo esse tópico onde resumimos os *momentos pelos quais passou a avaliação, podemos dizer que a influência na avaliação objetivista não findou. Encontramos ainda, em execução em estados e municípios, projetos que se respaldam em instrumentos que medem o rendimento do aluno em uma escala numérica (de 0 a 10) quantitativista, medindo a eficiência da escola no sentido da aprovação dos alunos em exames ou concursos públicos como o vestibular. 
*momentos: Ao relacionar os períodos tínhamos como objetivo traçar uma linha no tempo, demarcando os principais momentos que determinaram o avanço da avaliação como uma área específica do conhecimento onde existe um saber resultante dos estudos e aplicações práticas de pesquisadores que se dedicaram a entender a prática avaliativa para muito além do seu sentido de medição.
Você entendeu a complexidade que envolve o ato de avaliar? Reflita sobre esse assunto.
(p.6)
Avaliar ou medir?
A seguir, vamos tentar entender a relação existente entre avaliar e medir. Com base nas ideias existentes no texto de Romão (2001), podemos examinar a diferença que há entre a medida e a avaliação.
(p.7)
Medida
NOTA 10
Podemos entender que a medida resulta do esforço despendido para dimensionar de forma exata o rendimento do aluno. Baseia-se nos *aspectos quantitativos da sua aprendizagem. 
Assim, Romão (2001) diz que: “a medida, enquanto tentativa de constatação exata das dimensões do desempenho do aluno predominou nas primeiras tentativas e em várias décadas da trajetória da avaliação nos sistemas educacionais” (p. 72).
*aspectos quantitativos: Inicialmente, os estudos eram realizados no campo da Psicologia Experimental com o objetivo de identificar as mudanças do que era denominado de comportamento observável. Havia uma preocupação com a objetividade e o controle das variáveis intervenientes que poderiam enviesar o experimento.
Qual é a importância de destacarmos esse pensamento do autor?
Quando ele fala em tentativa de constatação do desempenho do aluno, nos leva a pensar que esse momento foi importante como ponto de partida da avaliação para nos permitir elaborar um conhecimento que permitissem analisar outras dimensões não menos importantes que os acertos e os erros dos alunos como determinantes da sua aprendizagem.
SAIBA MAIS
Veja mais sobre medida em: Aula 05 (anexo) Medida
Romão (2001, p. 73) chama a atenção para o fato de que a medida tem o seu lugar no processo de avaliação e que “... com o devido cuidado, a medida tem de ser retomada nas considerações sobre avaliação da aprendizagem”. Dar ao aluno a dimensão da sua capacidade para solucionar problemas e de usar a linguagem escrita ou oral para se expressar vai possibilitar a ele, identificar o seu desempenho, portanto saber as notas nas provas e identificar os próprios erros o ajudará na sua trajetória pessoal.
Essa escala de valores deve ser construída pelos participantes do processo avaliativo e servirá de base para o entendimento dos avanços realizados pelos alunos em seu processo de construção de conhecimento, atitudes e valores.
SAIBA MAIS
Conheça as características da medida em: Aula 05 (anexo) Características da medida
(p.8)
Avaliação
De acordo com Romão “Em seu sentido restrito, aavaliação da aprendizagem é o procedimento docente que atribui símbolos a fenômenos cujas dimensões foram medidas, a fim de lhes caracterizar o valor, por comparação com padrões prefixados.” (2001, p.80)
E devemos saber por que é importante comparar?
Qual é o nosso objetivo ao comparar?
Por que tenho que ter padrões prefixados?
O autor se faz as seguintes perguntas:
Que tipo de medida eu posso usar na verificação do rendimento escolar?
Em que sistema numérico se enquadra as notas dadas pelos professores a seus alunos?
Então ele faz uma afirmação que interessa a todos os alunos. O sistema que mais parece se aproximar é o das ordenações que não possuem o zero absoluto e nem *intervalos uniformes.
*intervalos uniformes: Sobre os intervalos entre as notas Romão diz que: “Os intervalos entre as diversas notas não são uniformes, porque não é possível estabelecer uma rígida regularidade entre os graus crescentes de dificuldade das situações problemas ou questões formuladas, nem estabelecer rígidos limites entre as qualidades das respostas.” (2001, p. 75).
O que esse sistema pode significar para nós, professores e alunos?
Que o *zero não poderia ser dado a aluno nenhum.
*zero: O que parece descaracterizar essa situação da atribuação do zero é o fato do professor não reconhecer como válido os conhecimentos que o aluno possui e traz da sua experiência familiar ou comunitária.
É muito lógico, pois dificilmente o aluno pode ser totalmente *vazio de conteúdo. Pode não saber os conteúdos que o professor cobrou na prova, mas deve ter aprendido algo sobre o significado da sua condição social e política, aprendeu a conviver e a se expressar, embora possa ter erros de ortografia ou de concordância.
*vazio de conteúdo: Quando aplicamos uma prova podemos medir, constatar os erros e acertos dos alunos, somente em relação ao conteúdo cobrado. Não podemos afirmar que ele nada sabe sobre aquele assunto. 
Várias são as possibilidades que podem ter levado o aluno ao erro. Como também não podemos deduzir de um número grande de acertos em uma prova, em um teste, que o aluno tem conhecimento integral do tema tratado.
O professor Romão estava se referindo ao fato que fica difícil tomar como representativo da aprendizagem do aluno a nota. Mesmo se considerarmos a possibilidade de uma prova objetiva, com resposta única, sempre a escolha da pergunta a fazer ou a forma como ela será formulada vai ser influenciada pela subjetividade da pessoa responsável pela elaboração da prova, por sua visão de mundo, sua concepção de educação.
Por outro lado, o aluno pode estar envolvido em uma situação de conflito ou de estresse emocional que o impeça de ter um bom desempenho. 
Veja um exemplo sobre a influência emocional na realização da prova: 
Para exemplificar podemos analisar a seguinte situação: um professor elabora a prova final com perguntas objetivas sobre um fato histórico que desenvolveu na última aula. Uma aluna, de bom rendimento o ano todo, conseguiu realizar apenas 4 das 10 perguntas feitas. Acertou as 4. Precisava de 4 para passar. Todos ficam preocupados com ela. Ela fica tranquila porque conseguiu a nota que necessitava. Os colegas perguntam a ela o que houve. Ela responde: - “Perdi minha avó essa noite e não pude rever toda a matéria. Fiz as questões que sabia e consegui passar.”
Depois ter lido o exemplo, a pergunta é:
Esse resultado representa a avaliação da aluna do ano todo?
Claro que não.
Por isso pergunto a você:
As notas do Saeb ou do Enem representam todas as aprendizagens dos alunos na educação fundamental e na educação básica?
O mesmo autor diz que:
Também o processo de verificação do rendimento escolar implica dois momentos: medir e avaliar. No primeiro, tentamos, com mais ou menos objetividade, por meio de um instrumento adequado, “medir” o desempenho do educando, isto é, simplesmente coletar e registrar seu desempenho: em seguida, “avaliamos” em sentido estrito (...) (Romão, p.76)
Queremos com essa conversa apontar que a avaliação tem uma relação com a medida, mas ela é mais complexa, pois devemos considerar outros fatores antes de formular um conceito de valor sobre a *aprendizagem do aluno. 
Então como posso medir e avaliar de forma que seja um processo contínuo de conhecimento do aluno?
*aprendizagem do aluno: Por vezes somos surpreendidos com avaliações feitas sem nenhum fundamento, sem ter sido realizada uma análise do que antecedeu na vida escolar do aluno e sem considerar o seu potencial para resgatar os conteúdos que ainda não sabe. O próprio aluno que é reprovado não sabe dizer os motivos de ter fracassado.
 
Caso o aluno seja contestador, agitado, provocativo, o professor não tem generosidade com ele e exige mais dele do que do aluno cordato, calmo, sem muitas perguntas para fazer.
No entanto, estamos todos a dizer que devemos fazer de nosso aluno um sujeito crítico, conhecedor de seus direitos, construtor de sua própria aprendizagem, mas continuamos na escola a festejar os alunos que concordam com as regras da escola e não contestam as ordens recebidas.
(p.9)
A avaliação e a medida
Para entendermos a importância da avaliação do rendimento do aluno da educação básica ou superior é necessário ter clareza sobre os significados atribuídos a esses conceitos: avaliação e medida.
Os exames nacionais realmente medem ou avaliam a aprendizagem do aluno? 
Quais seriam os outros instrumentos que poderíamos usar para se ter uma noção mais exata do nível de conhecimento que o aluno brasileiro tem demonstrado pelos resultados obtidos nas provas?
Examinando os resultados divulgados podemos perceber que o primeiro fracasso é no baixo nível de leitura demonstrado por nossos alunos e a sua incapacidade para elaborar um texto escrito com coerência mínima para ser entendido o pensamento que deseja expressar. 
O outro fracasso diz respeito às estatísticas apresentadas sobre o número de jovens que prosseguem os estudos e completam o ensino médio. Os resultados do Enem dizem respeito a uma parcela insignificante de brasileiros que aspiram prosseguir seus estudos em nível superior. A maioria dos jovens brasileiros possui apenas o ensino fundamental.
O que estamos medindo com os exames nacionais? 
A nossa incapacidade em reter e estimular os adolescentes e jovens na continuidade de sua escolarização? 
Reflita sobre essas questões.
(p.10)
Contexto social, econômico e cultural dos alunos: os questionários revelam a sua realidade?
Agora vamos analisar a possibilidade de, através dos questionários respondidos pelos alunos, reconhecermos suas características socioeconômicas.
Nos exames nacionais, são considerados os dados revelados pelo formulário que o aluno e a escola preenchem sobre as condições em que o aluno realiza os seus estudos? 
Essa é a pergunta que podemos fazer.
Relatório pedagógico
Todos os anos, o MEC faz um Relatório Pedagógico sobre os exames que aplica. Não sabemos se a equipe que se encarrega de elaborar as provas consideram essas informações como importantes para direcionar a escolha das perguntas que serão incluídas no exame do ano seguinte ou se desconsideram as nuances e as matizes que certamente darão uma noção mais real de como o ensino acontece no país.
No site do Inep, encontramos os modelos de questionários aplicados aos alunos, professores e diretores, quando da realização da *prova do Saeb e Prova Brasil. De acordo com o Inep eles servem para coletar dados e revelam o capital social e cultural dos alunos. 
O aluno preenche o formulário no momento da prova. Pesquisando as perguntas feitas no questionário que o aluno recebe para preencher podem nos ocorrer as seguintes questões:
Será que ele sabe dizer a faixa salarial da sua família? 
Sabe dizer se os pais completaram o ensino fundamental ou médio? 
Talvez muitos não saibam prestar essas informações.
*prova do Saeb e Prova Brasil: Os Questionários da Prova Brasil e Saeb servem como instrumentos de coleta de informações sobre aspectos da vida escolar, do nível socioeconômico, capital social e cultural dos alunos. Professores de Português eMatemática das séries avaliadas e os diretores das escolas, também são convidados a responder questionários que possibilitam conhecer a formação profissional, as práticas pedagógicas, o nível socioeconômico e cultural, os estilos de liderança e as formas de gestão. Os questionários destinados aos professores e diretores são entregues pelos aplicadores antes da realização do teste e devem ser recolhidos ao final da prova.  (www.inep.gov.br ) http://www.inep.gov.br/
SAIBA MAIS
Saiba mais sobre o formulário dos professores e diretores. Em: Aula 05 (anexo) formulario dos professores e diretores
Prosseguindo, o site do Inep esclarece que “Na mesma ocasião, é preenchido pelos *aplicadores dos testes um formulário sobre a escola levantando dados sobre as condições de infraestrutura, segurança e condições dos recursos pedagógicos disponíveis”.
*aplicadores dos testes: Os elaboradores das provas são professores graduados com formação mínima em cursos de especialização e geralmente com Mestrado e Doutorado, sendo escolhidos após processo seletivo realizado pelo Inep e terem participado de treinamento passando a fazer parte do banco de colaboradores. 
 
São convidados pelo Inep a realizar essa tarefa. A opinião deles sobre a realidade da escola, sobre as condições dos alunos pode ser um relevante material para o MEC pensar e reavaliar as provas como instrumento válido para dimensionar o rendimento do aluno e algumas perguntas dos questionários aplicados.
O Inep reconhece a importância dos questionários como possibilitador de futura análise do sistema nacional de avaliação e acrescentam que: “O levantamento destes dados é fundamental para que a análise da Prova Brasil possa levar em consideração o contexto dos alunos e da escola. Uma das possibilidades a partir destes dados é o desenvolvimento de estudos dos fatores associados ao desempenho dos alunos”.
SAIBA MAIS
A Prova Brasil é aplicada aos alunos das escolas públicas de ensino fundamental e o Saeb é aplicado a uma amostra de alunos das escolas públicas e privadas do ensino fundamental e médio. Esses exames são aplicados de forma específica e significam uma amostra, ou seja, por enquanto eles não atingem a totalidade dos alunos de nosso país.
Mesmo que, na citação anterior, se refiram apenas à Prova Brasil, podemos considerar que o questionário preenchido no Saeb, embora seja um exame que é aplicado a uma amostra, também revela a situação socioeconômica dos alunos participantes e serve como indicador de tendências.
Ele pode ser utilizado no processo de elaboração de novas ações e políticas de regulação dos sistemas educacionais porque os relatórios são encaminhados para todos os estados e municípios para que eles possam, mediante o estudo dos resultados, elaborarem políticas que visem à melhoria dos sistemas de ensino e da educação. 
Concluindo enfatizamos que não se sabe se os relatórios que o MEC/Inep tem encaminhado às autoridades são motivo de análise e considerados quando da formulação das políticas públicas para a melhoria dos sistemas educacionais e das escolas
Contudo, podemos perceber que alguns estados e municípios estão realizando os seus próprios sistemas de avaliação do desempenho do aluno da escola pública com o objetivo de melhorar os seus indicadores educacionais. Não se pode dizer ainda se esse movimento irá garantir a melhoria qualitativa do ensino no Brasil.
(p.11)
SÍNTESE DA AULA
Nesta aula, você:
Aprendeu que o campo da avaliação evoluiu (final do século XIX) de uma postura voltada para o ato de medir através dos objetivos do ensino para o entendimento dos aspectos qualitativos; 
Percebeu também que na avaliação sempre teremos que considerar aspectos quantitativos; 
Identificou as principais características que devem recobrir os instrumentos de avaliação do rendimento escolar; 
Aprendeu que o contexto em que vive o aluno deve ser considerado na avaliação de seu desempenho medido pelo Inep. 
 
O QUE VEM NA PRÓXIMA AULA
Na próxima aula, você estudará sobre:
Interpretação e análise dos dados; 
A composição e a institucionalização do Índice de Desenvolvimento da Educação – IDEB - como instrumento para medir a qualidade; 
Efeitos do IDEB no currículo da educação básica.
REGISTRO DE PARTICIPAÇÃO
1.A relação existente entre medir e avaliar pode ser definida como:
 1) Uma relação onde a qualidade é apenas quantidade complexa. 
 2) Uma relação onde toda qualidade é gestada na base quantitativa. 
 3) Uma relação onde qualidade não pode ser reduzida a quantidade. 
 4) Uma relação onde indicadores quantitativos expressam faces qualitativas. 
 5) Uma relação onde os indicadores quantitativos são iguais aos qualitativos. 
2.A aplicação de provas e testes pode ser considerada um instrumento: 
1) Insuficiente para exprimir o conhecimento real do aluno. 
 2) Para identificar o que o aluno desconhece. 
 3) Apropriado para medir as capacidades dos alunos. 
 4) Evasivo de avaliação das dificuldades dos alunos. 
 5) Importante para a construção de um novo aprendizado. 
3.As principais características dos instrumentos de avaliação do rendimento escolar devem ser:
 1) Oportunidade, qualidade, contextualização; 
 2) Objetividade, contextualização, adequação; 
 3) Validade, oportunidade, objetividade; 
 4) Contextualização, oportunidade, objetividade; 
 5) Qualidade, contextualização, adequação. 
4.O questionário do aluno no Saeb e o formulário de inscrição do aluno no exame do Enem dizem respeito:
 1) A gestão da escola onde ele estuda. 
 2) Ao trabalho pedagógico feito junto aos professores. 
 3) Ao perfil socioeconômico do aluno. 
 4) À realidade onde ele vive. 
 5) Ao currículo desenvolvido na escola. 
RESPOSTAS: 1-4, 2-1, 3-3, 4-3.