Validade_para_Psicometria

Prévia do material em texto

1
Standards for Educational and Psychological (1999)
• Testes propõem tarefas específicas às pessoas → observar a 
manifestação de características psicológicas (traços latentes).
• A partir das respostas das pessoas aos itens os psicólogos inferem 
características psicológicas específicas.
• A associação manifestação-traço latente precisa ser desafiada e 
comprovada por meio pesquisas com a aplicação de métodos 
científicos adequados. 
• Estas pesquisas caracterizam a validade dos instrumentos (ao lado da 
precisão e normalização) → legitimidade das interpretações que são 
feitas
• Pesquisas empíricas → podem enfraquecer ou fortalecer as 
interpretações sugeridas no contexto proposto
• Sem evidências de validade não se sabe o que o instrumento avalia 
realmente → pode avaliar apenas variância confiável de construto 
irrelevante
2
• Capacidade de resolver problemas novos, nos quais a cultura e educação não podem auxiliar
• Capacidade de identificar padrões de regularidades e mudanças
• Capacidade de selecionar as informações mais relevantes para a resolução de um problema
• Capacidade de resolver problemas tipicamente encontrados em ocupações como engenharia, 
física, etc.
A B C D E
?
!
Exemplos
3
Evidências de Validade – APA 1999 - SATEPSI
Evidência Definição
Evidências baseadas no 
conteúdo
Avalia a representatividade dos itens do teste investigando 
se eles consistem em amostras abrangentes do domínio que 
se pretende avaliar com o teste.
Evidências baseadas nas 
relações com outras 
variáveis
Levanta dados sobre os padrões de correlação entre os 
escores do teste e outras variáveis medindo o mesmo 
construto (convergência) ou construtos relacionados e com 
variáveis medindo construtos diferentes (divergência). 
Também traz dados sobre a capacidade preditiva do teste de 
outros fatos de interesse direto (critérios externos) que 
possuem importância por si só e associam-se ao propósito 
direto do uso do teste (por exemplo, sucesso no trabalho).
Evidências baseadas na 
estrutura interna
Levanta dados sobre a estrutura das correlações entre itens 
avaliando o mesmo construto e também sobre as correlações 
entre subtestes avaliando construtos similares.
Inclui DIF
Evidências baseadas no 
processo de resposta.
Levanta dados sobre os processos mentais envolvidos na 
realização das tarefas propostas pelo teste
Evidências baseadas nas 
conseqüências da testagem
Examina as consequências sociais intencionais e não 
intencionais do uso do teste para verificar se sua utilização 
está surtindo os efeitos desejados de acordo com o propósito 
para o qual foi criado.
▶
▶
▶
▶
4
Evidências baseadas no conteúdo
Cognitivos
Comportamen-
tais
Item
Item
Item
◀
5
Evidências baseadas nas relações 
com outras variáveis
Construtos
psicológicos
Variáveis
Externas
Mesmo construto:
Outros testes validados 
para DEPRESSÃO Variáveis de critério
Rendimento acadêmico
Desempenho em treino
! especializado
Desempenho no trabalho
Grupos contrastantes
6
Construtos Psicológicos
Testes medindo o 
mesmo construto Testes medindo construtos diferentes
Teste medindo 
construtos relacionados
Validade 
Convergente
Validade 
Divergente:
Depressão e inteligência
7
Variáveis externas
Grupo c/ 
diagnóstico 
clínico
Grupo 
adaptativo
8
Modelagem de equações 
estruturais
É um método avançado que 
• Verifica se as relações entre indicadores do construto 
avaliado (facetas) relaciona-se com os de outros construtos 
conforme indicado teórica ou empiricamente por outras 
pesquisas
• É muito relevante para testar o modelo teórico e qualidade 
da operacionalização das medidas
• Muito utilizado com testes adaptados: tenta replicar relações 
encontradas na versão original
9
Exemplo de modelagem de equação 
estrutural
◀
10
Evidências baseadas na estrutura 
interna
Consistência
interna
Suficiente
Alfa > 0,60
Baixa
Itens politômicos 
Alfa de Cronbach
Ex.: testes de 
personalidade com 
escala Likert
Itens dicotômicos
Kuder-Richardson
Ex.: testes de 
inteligência, itens em 
que para cada item há 
o acerto ou erro
11
Exemplo de análise de dados 
12
Exemplo de consistência interna
Item Obs Sign corr. corr. alpha Label
N1I55
N1I60
N1I73
N1I75
N1I79
N1I82
N1I89
N1I110
N1I118
3648 + 0,55 0,42 0,76 Geralmente faço o que os meus amigos e parentes querem, embora não concorde com 
4577 + 0,64 0,41 0,76 Tenho muito medo que os meus amigos deixem de gostar de mim.
4564 + 0,67 0,47 0,74 Deixo de fazer as coisas que desejo por medo de ser criticado pelos outros.
3550 + 0,72 0,36 0,77 Fico muito tímido quando estou entre desconhecidos.
2704 + 0,64 0,42 0,76 Sinto-me muito inseguro quanto tenho que fazer coisas que nunca fiz antes.
3663 + 0,62 0,48 0,75 Não gosto de expressar as minhas idéias, pois tenho medo de ser ridicularizado.
3665 + 0,62 0,46 0,75 Tenho muita dificuldade em tomar decisões na minha vida.
3652 + 0,68 0,54 0,74 Sou uma pessoa insegura.
3653 + 0,56 0,40 0,76 Sinto-me muito mal quando recebo alguma crítica.
Test 
scale 0,78 mean(unstandardized items)
13
Cognitivos
Comportamen-
tais
Item
Item
Item
Evidências baseadas na estrutura interna
Evidências baseadas na estrutura in
14
Exemplo de análise fatorial
Item Fator
1 2 3
102. Tento fazer com que as pessoas sintam-se bem. ,832
106. Procuro compreender as pessoas. ,784
72. Gosto de agradar aos outros. ,779
57. Gosto de ajudar as pessoas. ,756
22. Confio no que as pessoas dizem. ,793
55. Acredito que as pessoas têm boas intenções. ,760
87. Tenho amigos de total confiança. ,590
31. Tento influenciar as pessoas para que façam o que quero. ,622
8. Respeito a privacidade dos outros. -,567
89. Posso agredir fisicamente as pessoas quando fico muito irritado. ,539
66. Gosto de viver situações arriscadas. ,518
Link para comunicados PMK
15
Análise diferencial do item
Identifica vieses que podem gerar interpretações injustas NOS ITENS
Exemplos: itens regionais, sob efeito do gênero
Requer o uso da Teoria de Resposta ao Item
Dificuldade do item="b" varia de -4 a +4
Discriminação do item="a" varia de 0 a 2~3
Chance de acerto ao acaso="c" varia de 0 a 1
Numa aplicação real, são estimados os parâmetros dos itens que geram a 
Curva Característica dos Itens que melhor explicam as respostas observadas
demonstração da CCI no SpaceTime
16
Exemplos de DIF
Uniform DIF Against Focal Group
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
-3 -2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 3
Theta
P
ro
b
. 
o
f 
P
o
s
it
iv
e
 R
e
s
p
o
n
s
e
Reference
Focal
Nonuniform (Crossing) DIF 
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
-3 -2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 3
Theta
P
ro
b
. 
o
f 
P
o
s
it
iv
e
 R
e
s
p
o
n
s
e
Reference
Focal
Grupo de referência 
favorecido em todos 
os níveis
Grupo focal favorecido em 
thetas baixos
Grupo referência favorecido 
em thetas altos
◀
Exemplo Cassandra
17
PERDAS FUNCIONAIS EM IDOSOS (EMBRETSON)
• Avaliação de que atividades idosos com diferentes idades e 
condições de saúde conseguem fazer
- 4 + 4
Item: 
Idosos: João! Maria! Pedro! Antônia! Mauro! Francisca! Helem
0
Lavar 
mãos
Banho Vestir-se Escadas
• Possibilidade de inclusão de itens
• Aplicabilidade em todos os construtos e contextos
• A partir da observação das respostas a algumas tarefas, pode-se 
calcular a probabilidade de realizar outras
18
0 .5-2.0 1.0-1.5 1.5-1.0 2.0-.5
Quantidade de Inform ação
Com plexidade Perceptual
P25 P50 P75
Muito Baixa
2 elem.+ 2 regras
Alta
2 elem.+ 2 regras
+ Ruído
Baixa
4 elem.+ 2 regras
Alta.
4 elem.+ 2 regras + Ruído
Média
(4 or 2 elem.)+ 4 regras
Muito Alta
(4 or 2 elem.)+ 4 regras + Ruído
Baixa Alta
1 2 3 4 5
Análise do processo de resposta RA (Primi, 2002)
◀
19
Resumo dos delineamentos e 
métodos de análise
20
Evidências baseadas no 
Conteúdo
Evidências baseadas nas relações 
com outras variáveis
Evidências baseadas na 
estrutura interna
Evidências baseadas
 no processo de 
resposta.
Evidências baseadas nas 
consequências da testagem.
Validade de Conteúdo
Validade de Critério
• Concorrente
• Preditiva
Validade de Construto
Mudanças desenvolvimentais
Correlações com outros testes
Validade convergente-discriminante
Intervenções experimentais
Modelagem de equação estrutural
Dimensionalidade (análise fatorial)
Consistência interna
DIF
Psicologia Cognitiva
Anastasi e Urbina (1997) Standards de 1999
21