Material 04 - Validade

Prévia do material em texto

PARÂMETROS PSICOMÉTRICOS: 
VALIDADE
Prof. Dr. Ricardo Neves Couto
Principais Definições - Validade
“Um acordo entre dois esforços para medir a mesma coisa 
com diferentes métodos” (Campbell e Fiske, 1987).
“Grau de proximidade da realidade”(Johnston and 
Pennypacker, 1980).
“Quando um instrumento mede o que se propõe 
medir”. (Black and Champion, 1980)
Definições - Validade
“A validade diz respeito ao aspecto de a medida ser 
congruente com a propriedade medida dos objetos e 
não com a exatidão com que a mensuração, que 
descreve esta propriedade do objeto, é feita” 
(Pasquali, 1997).
“A validade de um teste refere-se àquilo que o teste 
mede e o quão bem ele faz isso” (Anastasi, 2000).
Um instrumento é válido quando as diferenças de 
resultados obtidas com o instrumento refletem, 
necessariamente, diferenças reais entre indivíduos ou 
entre o mesmo indivíduo em ocasiões diferentes.
É a validade que permitirá realizar as inferências e 
interpretações corretas das pontuações que são 
obtidas ao se aplicar um teste e estabelecer a relação 
com o construto que se pretende medir.
Validade – Aspectos Gerais
Como legitimar ou justificar a 
pertinência da medida do 
comportamento humano?
Validade – Inquietações Históricas
Validade – Inquietações Históricas
A TCT e a TRI concebem o parâmetro da validade de 
forma diferente e emprega cálculos estatísticos 
distintos para avaliar se realmente um teste mede 
aquilo que se propõe.
A preocupação inicial com o parâmetro de validade 
ocorreu no seio da Teoria Clássica dos Testes, 
podendo-se determinar três momentos históricos 
caracteristicamente distintos.
Validade
Toda exame (teste ou prova) deve ter a garantia de 
avaliar o construto o qual foi designado a medir.
Mas, como garantir que o teste 
mede o que se propõe a medir?
Validade
• Apresentando evidências empíricas de validade e precisão 
das interpretações propostas para os escores do teste, 
justificando os procedimentos específicos adotados na 
investigação.
Como os dados foram tratados?
Como foram coletados os dados?
Como foi validada a prova?
Qual o perfil da amostra investigada?
Qual (is) o(s) modelo(s) e métodos 
empregados para a validação?
Como garantir que o teste mede o que se propõe a medir?
Validade
Como garantir que o teste mede o que se propõe a medir?
• Apresentando dados empíricos sobre as propriedades 
psicométricas dos itens do instrumento.
Quais os resultados da validação?
Validade
Como garantir que o teste mede o que se propõe a medir?
• Apresentando o sistema de correção e interpretação dos 
escores, explicitando a lógica que fundamenta o 
procedimento, em função do sistema de interpretação 
adotado.
Como normatizar (padronizar) os escores de teste?
Qual a linha de corte que separa sujeitos com alta 
proficiência de sujeitos com baixa proficiência?
Validade
Como garantir que o teste mede o que se propõe a medir?
• Apresentando de forma clara os procedimentos de 
aplicação, bem como as condições nas quais o teste deve 
ser aplicado, para que haja a garantia da uniformidade dos 
procedimentos envolvidos na sua aplicação.
Como garantir a igualdade nas condições de 
administração do teste?
Validade
Como garantir que o teste mede o que se propõe a medir?
• Compilando as informações sobre todas as etapas de 
validação e sobre os parâmetros psicométricos em um 
manual ou relatório, de modo a considerar:
- O aspecto técnico-científico, relatando a fundamentação e os 
estudos empíricos sobre o instrumento;
- O aspecto prático, explicando a aplicação, correção e 
interpretação dos resultados do teste;
- A literatura científica relacionada ao instrumento.
Validade
PSICOMETRIA: testa a qualidade dos itens de uma prova, assim como da 
prova como um todo.
COMO?
Parâmetros Psicométricos:
- Validade;
- Fidedignidade;
- Normatização.
Análise de Itens:
-Dimensionalidade e 
independência local;
- Dificuldade;
- Discriminação;
- Acerto ao acaso (chute).
- DIF.
Validade dos Testes
A Validade para a 
Teoria Clássica dos Testes 
(TCT)
1º momento
Validade – Desenvolvimentos
2º momento
Avaliação em áreas de conteúdo especificado.
Compara-se o conteúdo com o domínio de 
conteúdo que o teste foi planejado para avaliar.
Histórico – Validade pela TCT
Ênfase muda pra predição: como pessoas 
diferentes vão responder em uma dada situação, 
agora ou em algum momento no futuro.
Ex.: testes de realização, tais como exames finais de curso.
Definição de um critério.
Ex.: teste de aptidão escolar Critério: notas na universidade.
3º momento
Reconhecimento do valor dos construtos na 
descrição e entendimento do comportamento 
humano.
Três Períodos:
História do Parâmetro da Validade pela TCT
1º Período: 1900-1950: predomínio da validade de conteúdo
2º Período: 1950-1970: predomínio da validade de critério
3º Período: 1970-presente: predomínio da validade de 
construto
Lee Cronbach (1916-1996)
Construct Validity in 
Psychological Tests (1955)
Validação do Construto
Tríade: Conteúdo, Construto, 
Critério
História do Parâmetro da Validade pela TCT
Construto
VALIDADE
Critério Conteúdo
Parâmetro da Validade pela TCT
NA VISÃO CLÁSSICA – Técnicas que podem ser reduzidas a três
grandes classes (modelo trinitário): as que visam a validade de
construto, as que visam a validade de conteúdo e as que visam
a validade de critério (APA, 1954).
NA VISÃO ATUAL – Técnicas que objetivam procurar evidências de
validade com base em:
• conteúdo;
• processos de resposta;
• estrutura interna;
• relação com outras variáveis;
• consequências da testagem (AERA; APA; NCME, 1999)
Parâmetro da Validade atualmente
Tipos de Validade: TCT
Validade Relacionada a Conteúdo
Validade de Conteúdo
Validade Aparente
Validade Concorrente
Validade Preditiva
Validade Relacionada a Critério
Validade Relacionada a Construto Validade convergente
Validade discriminante
Validade Relacionada a Conteúdo
Exame sistemático do conteúdo do teste, para determinar se os itens 
cobrem uma amostra representativa do universo do comportamento 
a ser medido e para determinar se a escolha dos itens é apropriada e 
relevante.
Utilizado em testes planejados (educacionais e ocupacionais) –
domínio de uma habilidade de estudo ou um curso de estudo.
O foco está naquilo que os testandos podem fazer e sabem, não 
em como eles se comparam com os outros.
Validade Relacionada a Conteúdo
É inadequada para testes de aptidão e personalidade.
O seu controle ocorre por meio da análise de itens (níveis de 
dificuldade e discriminação dos itens).
A validade de conteúdo é obtida por meio de questionamentos a 
diferentes juízes, os quais analisam a representatividade dos 
itens.
Pode ser identificada também pelo tipo e quantidade de erros 
cometidos em um teste.
Procedimentos de Validação do 
Conteúdo
• Definição dos Objetivos do Teste;
• Seleção do universo de 
comportamentos que aparentam 
medir o construto (pool of items).
• Criação dos Itens;
• Análise dos Itens;
• Escolha dos Itens Adequados ao 
Teste (Conteúdo).
Validade Aparente (de Face)
• Refere-se ao que o teste mede aparentemente.
• Diz respeito à linguagem; à forma como o conteúdo está 
sendo apresentado.
• O teste deve “parecer válido” para os examinandos que o 
realizam.
Validade Relacionada a Critério
Aborda a qualidade da escala ou teste de funcionar como um 
preditor presente ou futuro de outra variável, operacionalmente 
independente, chamada critério.
Grau de eficácia que um teste tem em predizer um desempenho 
específico de um sujeito.
Uso de técnicas estatísticas: correlação entre os resultados do 
teste e as condutas subseqüentes tomadas como critério.
O critério poderá ser o desempenho no comportamento avaliado, a 
teoria sob investigação ou um outro instrumento, desde que este 
seja válido e fidedigno.
Tipos de Validade de Critério
Está relacionada à eficiência de um teste predizer algumresultado 
futuro de um indivíduo (no mesmo teste ou aspecto da conduta).
Validade Preditiva
Escore A Escore B
Teste 
QI - A
Momento 1
Cálculo da correlação
Teste 
QI - A
Momento 2
Tipos de Validade de Critério
Validade Preditiva
0 +1,0-1,0
Menor a 
correlação
Maior a 
correlação
Validade Preditiva: 
interpretação
Parâmetro Ideal: 
r ≥ +0,50
Tipos de Validade de Critério
Na validação concorrente se obtém a medida do critério no momento 
em que se obtém o resultado do teste.
Usado na descrição e diagnóstico de uma conduta que existe em 
determinado momento.
Validade Concorrente (simultânea)
Tipos de Validade de Critério
Validade Concorrente (simultânea)
0 +1,0-1,0
Menor a 
correlação
Maior a 
correlação
Validade Concorrente: 
interpretação
Parâmetro Ideal: 
r ≥ +0,50
Validade de Critério – aspectos 
gerais
Validade Preditiva Validade Concorrente
Tempo e Objetivo
Prediz Comportamentos Diagnostica
Validade Relacionada a Construto
É a extensão em que podemos dizer que o teste mede um construto 
teórico ou um traço.
Infere-se o grau em que uma pessoa possui determinada 
característica pela definição do construto: definições que esboçam 
a relação do construto com outros construtos ou outros 
comportamentos passíveis de serem observados.
As falhas no processo de validação podem assim advir não 
somente do instrumento ou da sua administração, mas pode estar 
na teoria sobre a qual a validade se apoiou.
Validade Relacionada a Construto
Validade Convergente
Quando se detectam correlações consistentemente altas entre 
instrumentos criados para medir um mesmo construto (evidências 
da semelhança ou identidade dos construtos avaliados).
Escore A Escore B
Teste 
QI - A
Momento 1
Elevada Correlação Positiva
Teste 
QI - B
Momento 1
Validade Relacionada a Construto
Validade Convergente
0 +1,0-1,0
Menor a 
correlação
Maior a 
correlação
Validade Convergente: 
interpretação
Parâmetro Ideal: 
r ≥ +0,50
Validade Relacionada a Construto
Validade Discriminante
Quando se detectam correlações significativamente baixas entre 
instrumentos que medem construtos diferentes.
Além de convergir com testes que medem o mesmo construto, 
também precisam demonstrar que divergem de testes que medem 
construtos diferentes. É quando se detectam correlações 
significativamente baixas entre instrumentos que medem 
construtos diferentes.
Validade Relacionada a Construto
Validade Discriminante
Escore A Escore B
Teste 
QI
Momento 1
Baixa Correlação Positiva ou 
Correlação Negativa
Teste 
IFP
Momento 1
Validade Relacionada a Construto
Validade Discriminante
0 +1,0-1,0
Menor a 
correlação
Maior a 
correlação
Validade Preditiva: 
interpretação
Parâmetro Ideal: 
r < 0,30 
Validade Relacionada a Estrutura e 
consistência interna
Correlações com outros testes (conv / Disc);
Análise Fatorial;
Consistência Interna.
Técnicas Estatísticas para o Estudo da 
Validade de Construto pela TCT