Psicometria_aula5_ModeloDaPsicometriaModerna(TRI)

Prévia do material em texto

PSICOMETRIA (profª Marina Ceres) aula5 – Modelo da Psicometria Moderna (TRI) Página 1 
 
CURSO: Psicologia (noturno) – Campus: São José do Rio Pardo 
DISCIPLINA: Psicometria – 2º e 3º semestres (2015-1) 
DOCENTE: Marina Ceres Silva Pena 
Aula 5: Modelo da Psicometria Moderna 
 
 
HISTÓRIA 
A Teoria da Resposta ao Item, muitas vezes abreviada apenas por TRI, é uma 
modelagem estatística utilizada em medidas psicométricas, principalmente na área de 
avaliação de habilidades e conhecimentos. 
A aplicação mais frequente da Teoria da Resposta ao Item são as avaliações de 
habilidades e conhecimentos em Testes de Múltipla escolha. 
Atualmente a TRI parece que veio para ficar e substituir grande parte da teoria clássica da 
Psicometria. Já é amplamente utilizada nos Estados Unidos, Canadá, Europa, Japão, 
Israel e Austrália, mas ainda raramente utilizada no Brasil. 
O novo ENEM, reformulado a partir de 2009, também faz uso da TRI, de forma a garantir 
a comparabilidade das notas entre diferentes edições. Esta foi a aplicação de maior 
impacto na divulgação da Teoria da Resposta ao Item aqui no Brasil. 
 
A TRI surgiu a partir de discussões teóricas sobre a viabilidade de se comparar as 
habilidades e os conhecimentos de examinandos submetidos a provas diferentes, uma 
vez que a Teoria Clássica dos Testes, principal teoria estatística para medida dessas 
características na época, via-se diante de enormes dificuldades para comparar as 
habilidades e os conhecimentos de examinandos submetidos a provas diferentes. 
Na TRI, o foco é no item, como é chamada cada questão, e não no total de acertos. A 
teoria é o conjunto de modelos que relacionam uma ou mais habilidades com a 
probabilidade de a pessoa acertar a resposta. 
A TRI atribui não só o certo e o errado, mas o grau de dificuldade. Uma vez que não se 
considera somente o acerto e erro, há várias coisas em consideração, tendo cada item 
uma característica muito particular. 
 
ENEM 
A teoria da resposta ao item (TRI), metodologia de avaliação usada pelo Ministério da 
Educação no Exame Nacional do Ensino Médio (Enem), não contabiliza apenas o número 
total de acertos no teste. De acordo com o método, o item é a unidade básica de análise. 
O desempenho em um teste pode ser explicado pela habilidade do avaliado e pelas 
características das questões (itens). 
 
A TRI qualifica o item de acordo com três parâmetros: 
• Poder de discriminação (capacidade de um item distinguir os estudantes que têm a 
proficiência requisitada daqueles quem não a têm); 
• Grau de dificuldade; 
• Possibilidade de acerto ao acaso (“chute”). 
 
Essas características permitem estimar a habilidade de um candidato avaliado e de 
garantir que essas habilidades, medidas a partir de um conjunto de itens, sejam 
comparadas com outro conjunto na mesma escala, ainda que eles não sejam os mesmos 
e que haja quantidades diferentes de itens usados para o cálculo. 
Com a TRI, não é possível comparar o número de acertos em uma área do conhecimento 
com o de outra. Pela teoria, o número de questões por nível de dificuldade em cada prova 
e as demais características dessas questões afetam o resultado. 
Dessa forma, acertar 40 itens em uma área não significa, necessariamente, ter uma 
proficiência maior do que em outra, cujo número de acertos tenha sido 35. Além disso, por 
PSICOMETRIA (profª Marina Ceres) aula5 – Modelo da Psicometria Moderna (TRI) Página 2 
serem áreas do conhecimento distintas, não é possível fazer uma relação direta entre as 
escalas de proficiência. 
 
A TRI pressupõe que um candidato com um certo nível de proficiência tende a acertar os 
itens de nível de dificuldade menor que o de sua proficiência e errar aqueles com nível de 
dificuldade maior. Ou seja, o padrão de resposta do participante é considerado no cálculo 
do desempenho. 
Entre as vantagens metodológicas da TRI está a possibilidade de elaboração de provas 
diferentes para o mesmo exame. Essas provas podem ser aplicadas em qualquer período 
do ano com grau de dificuldade semelhante e permitem a comparabilidade no tempo. 
Outra característica da TRI é não ter um limite inferior ou superior padrão entre as áreas 
de conhecimento. Isso significa que as proficiências dos participantes não variam entre 
zero e mil. Os valores máximos e mínimos de cada prova dependerão das características 
dos itens selecionados. No Enem, somente a prova de redação tem esses valores pré-
estabelecidos, uma vez que a correção não é feita com base na TRI. 
 
TRI X Teoria Clássica dos Testes 
A Teoria da Resposta ao Item trata o problema da estimação da habilidade e 
conhecimento de um examinando de forma essencialmente diferente: o enfoque das 
análises desvincula-se das provas (Teoria Clássica dos Testes) e concentra-se nos Itens. 
Se na Teoria Clássica dos Testes as estatísticas dos itens dependem da população dos 
examinandos e da prova à qual os itens pertencem, na Teoria da Resposta ao Item cria-
se o conceito de que os parâmetros dos itens, obtidos no processo estatístico de 
"calibração" dos parâmetros de dificuldade, discriminação e acerto casual dos itens. 
 
As dificuldades dos modelos e técnicas clássicas de medida levaram os psicometristas à 
procura de teorias alternativas que permitissem estabelecer: 
1. Características do item sem ser dependentes da amostra de sujeitos utilizados; 
2. Escores dos examinados independentes do teste utilizado; 
3. Um modelo ao nível do item em vez do teste, de sorte que a análise do item não 
dependa dos demais itens do teste; 
4. Um modelo que não exija formas rigorosamente paralelas para avaliar a 
fidedignidade; 
5. Um modelo que ofereça uma medida de precisão para cada nível de aptidão, isto 
é, que a avaliação da aptidão tenha igual exatidão em todos os seus níveis e não 
somente nos níveis medianos como faz a psicometria clássica. 
 
Características da TRI 
Sendo assim, diferentemente da teoria clássica da psicometria, a TRI trabalha com traços 
latentes e adota dois axiomas fundamentais: 
1. O desempenho do sujeito numa tarefa (item do teste) se explica em função de um 
conjunto de fatores ou traços latentes (aptidões/habilidades). O desempenho é o 
efeito e os traços latentes são as causas; 
2. A relação entre o desempenho na tarefa e o conjunto dos traços latentes pode ser 
descrita por uma equação monotônica crescente chamada CCI (Função 
Característica do Item OU Curva Característica do Item). 
 
Observa-se que sujeitos com aptidão maior terão maior probabilidade de responder 
corretamente ao item e vice-versa . 
 
PSICOMETRIA (profª Marina Ceres) aula5 – Modelo da Psicometria Moderna (TRI) Página 3 
A modelagem mais moderna para a Teoria da Resposta ao Item utiliza a Estatística 
Bayesiana. Nessa modelagem, a probabilidade de acerto de um item é condicionada à 
habilidade e conhecimento do examinando. 
A curva que modela a probabilidade de acerto de um item é uma função crescente na 
ordenada da habilidade e conhecimento; o gráfico que tem a probabilidade condicional de 
acerto de um item na ordenada e a habilidade e conhecimento na abscissa é conhecido 
como Curva Característica do Item. 
Na abordagem bayesiana da Teoria da Resposta ao Item costuma-se representar a 
habilidade e conhecimento por uma variável aleatória simbolizada pela letra grega θ; a 
variável aleatória que representa o acerto ou erro de um item é simbolizada pela letra X; o 
resultado (acerto ou erro) de um item respondido é representado por X=x, 
onde normalmente x=1 representa o acerto do item e x=0 representa o erro. 
 
No gráfico, θ é a aptidão e P(X=1)θ é a probabilidade acerto em função da habilidade. 
 
 
 
A TRI postula que á apensa uma aptidão / traço latente responsável pela realização de 
um conjunto de tarefas (itens). Esse é o postulado da unidimensionalidade. 
Na psicologia, é pacífico que qualquer desempenho humano ésempre multideterminado 
ou multimotivado, dado que mais de um traço latente entra na execução de qualquer 
tarefa. 
Contudo, para satisfazer o postulado da unidimensionalidade é suficiente admitir que haja 
uma aptidão dominante (um fator dominante) responsável pelo conjunto de itens. 
Este fator é o que se supõe estar sendo medido pelo teste. 
O postulado da independência local afirma que, mantidas constantes as aptidões que 
afetam o teste, as respostas dos sujeitos a quaisquer dos itens são estatisticamente 
independentes. Isto quer dizer que os itens são respondidos em função do traço latente 
predominante e não em função de memória ou outros traços latentes. 
 
PSICOMETRIA (profª Marina Ceres) aula5 – Modelo da Psicometria Moderna (TRI) Página 4 
Determinação dos parâmetros de itens e de aptidões 
A determinação destes parâmetros constitui apensa uma das etapas na elaboração de 
instrumentos psicológicos. As etapas da elaboração de instrumentos dentro da TRI 
dividem-se em três níveis de procedimentos: 
 
1. Procedimentos teóricos onde se incluem as etapas de: 
a) Estabelecimento do sistema ou variável (traço latente) a ser medido; 
b) Desenvolvimento da teoria psicológica sobre este traço; 
c) Operacionalização do traço através da elaboração dos comportamentos que o 
representam (elaboração dos itens). 
 
2. Procedimentos empíricos, que consistem em: 
a) Definição d amostra de sujeitos para a coleta da informação sobre o teste que se 
quer utilizar no futuro na população; 
b) Aplicação dos itens a esta amostra. 
 
3. Procedimentos analíticos, que consistem em: 
a) Escolha do modelo de TRI; 
b) Estabelecimento da dimensionalidade do traço (unidimensionalidade dos itens); 
c) Avaliação dos parâmetros dos itens e da aptidão do sujeito (o traço θ); 
d) Demonstração da adequação do modelo aos dados empíricos. 
 
Na TRI, o desempenho do sujeito numa tarefa (item), ou seja, a probabilidade de resposta 
correta depende da aptidão do sujeito e dos parâmetros dos itens. 
A tarefa da TRI consiste em estimar os valores destes parâmetros, tais que melhor 
expliquem os resultados obtidos. Esta estimação é feita com base nos dados empíricos, 
ou seja, as respostas da amostra de sujeitos aos itens. 
 
Aplicações da TRI 
Banco de Itens: 
Na era do computador, a existência de banco de itens permite uma utilização, não 
somente mais sofisticada, mas também mais expedita, prática e eficiente da medida 
psicológica. A TRI permite estabelecer os mesmos parâmetros independentemente da 
amostra utilizada, sendo possível incluir sempre novos itens diretamente comparáveis aos 
inclusos no banco. 
Testes sob medida (computadorized adaptative testing – CAT): 
Um teste fornece uma medida mais precisa da aptidão do sujeito quando seus itens se 
situam no nível de dificuldade correspondente ao nível de aptidão do sujeito. Na utilização 
tradicional dos testes, o mesmo teste avalia bem alguns sujeitos e mal outros. O ideal 
seria aplicar para cada sujeito um teste diferente que medisse a mesma aptidão e que se 
emparelhe em termos de dificuldade. Isso é a idéia dos testes sob medida, onde a 
sequência dos itens submetidos ao examinando depende do desempenho do mesmo no 
item anterior. Assim, para cada sujeito a sequência de itens é diferente.