Material 05- Fidedignidade

Prévia do material em texto

FIDEDIGNIDADE 
Prof. Dr. Ricardo Neves Couto
UNIVERSIDADE FEDERAL DO DELTA DO PARNAÍBA
O estudo da fidedignidade é uma etapa posterior à fase de 
validação de um instrumento psicométrico.
Pela TCT, a fidedignidade era o parâmetro psicométrico mais 
investigado, sendo desenvolvidas várias técnicas estatísticas de 
estimação desse parâmetro.
Dentro da TRI, a fidedignidade é preterida em favor do parâmetro 
de validade, embora seja também estudada.
Teoria Clássica 
dos Testes (TCT)
Definição
Corresponde à consistência dos escores obtidos pelas mesmas 
pessoas quando elas são reexaminadas com o mesmo teste em 
diferentes ocasiões, ou com diferentes conjuntos de itens 
equivalentes, ou sob outras condições variáveis de exame.
Diz respeito também ao grau de precisão da 
medida ou ao nível de consistência interna 
(correlação item-total) entre os itens de um teste.
Clareando conceitos...
FIDEDIGNIDADE = CONFIABILIDADE = PRECISÃO
Nomenclatura com relação às técnicas estatísticas 
utilizadas para a análise dos dados empíricos coletados
Fidedignidade
Consistência 
Interna
Equivalência Constância
Estabilidade 
Ciências Físicas Fidedignidade Calibração dos Instrumentos
FIDEDIGNIDADE = MEDIR SEM ERROS
Medir os mesmos sujeitos
Em ocasiões diferentes 
com o mesmo teste
Na mesma ocasião com 
testes equivalentes
Correlação entre as duas medidas
- 1 + 1
Os tipos de fidedignidade são expressos em 
termos de um coeficiente de correlação.
> Precisão da medida
> Erro de mensuração
Medidas de Fidedignidade
Possibilitam estimar que proporção da variância total 
dos escores de teste é uma variância de erro. 
Coeficientes de precisão é a função da variância 
verdadeira (covariância) pela variância total
2
2
v
tt
t
s
r
s
=
ttr coeficientede fidedignidade=
2 varvs iância verdadeira do teste=
2 varts iância total do teste=
Exemplo 1: Interesse em medir flutuações de humor
Indicador: Mudanças do dia-a-dia
Resultado: Escores seriam parte da variância verdadeira do teste, pois 
são relevantes para o objetivo do teste.
Exemplo 2: Interesse em medir características de personalidade
Indicador: Mudanças do dia-a-dia
Resultado: Escores são considerados como variância de erro, pois não se 
adeqüam ao objetivo do teste.
Aplicação do Coeficiente de Fidedignidade 
Exemplo: Teste de Fluência de Palavras 
FORMA 1
Escrever o máximo possível 
de palavras começando 
com uma determinada letra.
FORMA 2
Escrever o máximo possível de 
palavras com uma outra letra 
aproximadamente igual em 
dificuldade.* Tempo: cinco minutos
* Tempo: cinco minutos
ou
Correlação (r)
Coeficiente de 
Fidedignidade
Qualquer condição que seja irrelevante para o objetivo 
do teste representa variância de erro.
R
e
d
u
z
in
d
o
 a
 v
a
ri
â
n
c
ia
 d
e
 e
rr
o
A
u
m
e
n
ta
n
d
o
 a
 C
o
n
fia
b
ilid
a
d
e
Manutenção de Condições Uniformes de Testagem
Controle do Ambiente
Instruções
Limites de Tempo
Amostra Normativa
Coeficientes de 
Fidedignidade
1. Fidedignidade Teste-Reteste
2. Formas Paralelas (Alternadas)
3. Método das Duas Metades
4. Kuder-Richardson
6. Fidedignidade do Avaliador
5. Coeficiente Alpha de Cronbach
Fidedignidade Teste-Reteste
O coeficiente de fidedignidade é a correlação entre os escores obtidos 
pelas mesmas pessoas nas duas aplicações de um mesmo teste.
Teste A
M
o
m
e
n
to
 1
Teste A
M
o
m
e
n
to
 2
Correlação (r) 
entre Escore A e 
Escore B
Mesmo(s) sujeito(s) Mesmo(s) sujeito(s)
Escore A Escore B
Coeficiente de 
Estabilidade ou 
Constância
1
Mostra a extensão em que os escores 
em um teste podem ser generalizados 
para situações diferentes.
Cuidados em manter breve o intervalo 
da retestagem (máximo de 6 meses).
Somente os testes que não são 
afetados pela repetição se prestam à 
técnica de reteste (como testes 
motores e de discriminação sensória).
A variância de erro corresponde às 
flutuações aleatórias de desempenho 
de uma sessão de teste para a outra.
1 Fidedignidade Teste-Reteste
VANTAGEM DESVANTAGENS
Garantia da equivalência 
(paralelismo), pois se trata da 
aplicação do mesmo teste.
Dificuldade em se definir o 
intervalo ideal de tempo entre a 
1ª e a 2ª aplicações.
Dificuldade em controlar os 
eventos que ocorrem entre a 1ª e 
a 2ª aplicações.
1 Fidedignidade Teste-Reteste
1 Fidedignidade Teste-Reteste
Teste-Reteste: interpretação
Parâmetro Ideal:
Coeficiente Correlação ≥ 0,50
Formas Paralelas (ou alternadas)
O coeficiente de fidedignidade é a correlação entre os escores obtidos 
pelas mesmas pessoas na aplicação de formas equivalentes de um teste.
Teste A
M
o
m
e
n
to
 1
Teste B 
(forma paralela)
M
o
m
e
n
to
 1
Correlação (r) 
entre Escore A e 
Escore B
Mesmo(s) sujeito(s) Mesmo(s) sujeito(s)
Escore A Escore B
Coeficiente de 
Equivalência
2
O coeficiente de fidedignidade é uma 
medida tanto da estabilidade temporal 
quanto da consistência da resposta a 
diferentes amostras de itens (ou 
formas de teste).
A variância de erro é resultante da 
amostragem de conteúdo.
2 Formas Paralelas (ou alternadas)
Os testes devem ser construídos independentemente para satisfazer as 
mesmas especificações.
Critérios para Manutenção da Equivalência
Devem conter o mesmo número de itens.
Devem ser expressos na mesma forma.
Devem abranger o mesmo tipo de conteúdo.
O intervalo de tempo e o nível de dificuldade dos itens devem ser iguais.
2 Formas Paralelas (ou alternadas)
VANTAGENS DESVANTAGENS
São úteis na investigação dos 
efeitos de algum fator 
experimental interveniente no 
desempenho apresentado no 
teste.
Dificuldade em se conseguir 
formas perfeitamente paralelas, 
isto é, medir mesmo traço latente 
com itens diferentes.
Os testes são aplicados 
numa só ocasião.
Reduz a possibilidade de 
treinamento ou fraude.
Não elimina totalmente o efeito 
da prática.
2 Formas Paralelas (ou alternadas)
2 Formas Paralelas (ou alternadas)
Formas Paralelas: interpretação
Parâmetro Ideal:
Testa se todos os itens possuem variâncias e erros iguais. 
Quando são iguais o cálculo da fidedignidade será dado pelo 
alpha de Cronbach. 
Se o valor do qui-quadrado for inferior a 0,05, rejeita-se a 
hipótese nula de igualdade de variâncias e erros na população. 
(Quando normatizando o teste – Amostra representativa)
2 Formas Paralelas (ou alternadas)
Parâmetro Ideal:
Maior variância verdadeira do que 
variância de erro.
Formas Paralelas: interpretação
0,70 
r ≥ 0,50
Duas Metades (Split Half)
O coeficiente de fidedignidade é a correlação entre os escores obtidos 
pelas mesmas pessoas na aplicação de um mesmo teste dividido em duas 
metades equivalentes.
Teste A
M
o
m
e
n
to
 1
Correlação (r) entre 
Escore A1 e Escore A2
Mesmo(s) sujeito(s)
Escore A1
Escore A2 Coeficiente de 
Consistência
3
r
tt 
= coeficiente obtido
DP
d
2 = variância das 
diferenças entre os escores 
de cada pessoa nos dois 
meios-testes.
DP
x
2 = variância dos 
escores totais.
Fórmula Geral
A variância verdadeira (coeficiente de fidedignidade) é 
dada pela diferença entre 1,0 e a variância de erro.
Duas Metades (Split Half)3
2
2
1 dtt
x
DP
r
DP
= −
Deve-se encontrar os escores nos 
itens pares e ímpares do teste.
A variância de erro é resultante da 
diferença entre os escores de uma 
pessoa nos dois meios-testes.
Deve-se dividir o teste em grupos de 
itens que tratam do mesmo conteúdo.
Duas Metades (Split Half)3
VANTAGENS DESVANTAGENS
Exige apenas uma aplicação 
(evita eventos temporais).
Dificuldade em se garantir a 
equivalência das duas metades.
Os subtestes são aplicados 
numa só ocasião.
Reduz a possibilidade de 
treinamento ou fraude.
A forma final do teste poderá reter 
um número demasiadamente 
elevado de itens, fatigando o 
sujeito (aumenta a variância de 
erro).
Duas Metades (Split Half)3
Duas Metades (Split Half)3
Duas Metades: interpretação
ParâmetroIdeal:
Coeficiente Spearman-Brown (rsb) ≥ 0,50
Kuder-Richardson
O coeficiente de fidedignidade é a correlação entre os escores obtidos em 
cada item do teste.
Teste A
M
o
m
e
n
to
 1
Item A1
Mesmo(s) sujeito(s) Coeficiente Kuder-
Richardson
Item A2
Item A3
Item A4
Item A40
.
.
.
Correlação (r) interitem 
entre cada escore
4
KR
20 
= coeficiente obtido
s
t
2 = variância total dos 
escores do teste
n = nº de itens do teste
Fórmula Geral Kuder-Richardson 20
A fórmula Kuder-Richardson 20 é utilizada quando os 
itens são dicotômicos.
pq = somatório do produto da proporção de pessoas que 
acertam o item (p) e da proporção dos que erram (q)
Kuder-Richardson4
20 2
1
1 t
pqn
KR
n s
 
= −  −  

KR
21 
= coeficiente obtido
s
t
2 = variância total dos 
escores do teste
n = nº de itens do teste
Fórmula Geral Kuder-Richardson 21
A fórmula Kuder-Richardson 21 é utilizada quando os 
itens, além de dicotômicos, têm o mesmo nível de 
dificuldade.
T = média da soma dos itens acertados 
pelo sujeito (média do escore total).
Kuder-Richardson4
2
21 2
1
1 t
T
T
nn
KR
n s
  
  −
  
  = −
−  
 
 
 
Quanto mais homogêneo, maior a 
fidedignidade.
A variância de erro é resultante da 
amostragem por conteúdo e pela 
heterogeneidade do domínio 
comportamental amostrado.
O coeficiente Kuder-Richardson é 
aplicável aos testes cujos itens são 
pontuados em termos de escalas 
dicotômicas (certo-errado; tudo-nada).
Kuder-Richardson4
Kuder-Richardson4
Condição Kuder-Richardson (KR)
Não-recomendado < 0,70
Aceitável 0,70 ≤ KR ≤ 0,79
Recomendado 0,80 ≤ KR ≤ 0,90
Não-recomendado > 0,90
Kuder-Richardson: interpretação
Parâmetro Ideal: 
0,70 ≤ KR ≤ 0,90
http://www-01.ibm.com/support/docview.wss?uid=swg21476088
Alpha de Cronbach
O coeficiente de fidedignidade é a correlação entre os escores obtidos em 
cada item do teste. É semelhante à técnica Kuder-Richardson.
Teste A
M
o
m
e
n
to
 1
Item A1
Mesmo(s) sujeito(s) Coeficiente Alpha
Item A2
Item A3
Item A4
Item A40
.
.
.
Correlação (r) interitem 
entre cada escore
5
a = coeficiente obtido
s
i
2 = soma das variâncias 
dos n itens
n = nº de itens do teste
Fórmula Geral Alpha
A fórmula Alpha é uma modificação da Kuder-Richardson 
e reflete o grau de covariância dos itens entre si.
s
T
2 = variância total dos 
escores do teste
O coeficiente Alpha varia de 0 (ausência total de 
consistência interna dos itens) a 1 (100% de consistência).
Alpha de Cronbach5
2
2
1
1
i
t
sn
n s

 
= −  −  

Quanto mais homogêneo, maior a 
fidedignidade.
A variância de erro é resultante da 
amostragem por conteúdo e pela 
heterogeneidade do domínio 
comportamental amostrado.
O coeficiente Alpha é aplicável aos 
testes cujos itens são pontuados em 
termos de escalas graduadas (Likert, 
Diferencial Semântico, Stapel, etc).
Alpha de Cronbach5
Alpha de Cronbach5
Condição Alpha de Cronbach (a)
Não-recomendado < 0,70
Aceitável 0,70 ≤ a ≤ 0,79
Recomendado 0,80 ≤ a ≤ 0,90
Não-recomendado > 0,90
Alpha de Cronbach: interpretação
Parâmetro Ideal: 
0,70 ≤ a ≤ 0,90
Fidedignidade do Avaliador
O coeficiente de fidedignidade é a correlação entre os escores atribuídos 
por cada avaliador.
Teste A
M
o
m
e
n
to
 1
Item A1
Mesmo(s) sujeito(s)
Fidedignidade do 
avaliador
Item A2
Item A3
Item A4
Item A40
.
.
.
Correlação (r)
80
Escores 
Avaliador 1 
75
77
74
83
Escores 
Avaliador 2 
74
81
76
71
79
6
Fidedignidade do Avaliador
Coeficiente Cohen Kappa
6
É uma das medidas mais robustas de exame da fidedignidade do avaliador.
Pr( ) Pr( )
1 Pr( )
a b
k
e
−
=
−
k = coeficiente Kappa
Pr(a) = é a concordância observada relativa entre os avaliadores.
Pr(b) = é a probabilidade de que a concordância seja devida ao acaso.
Fidedignidade do Avaliador
Coeficiente Cohen Kappa
6
É uma das medidas mais robustas de exame da fidedignidade do avaliador.
O Cohen Kappa é utilizado quando se trabalha com somente dois 
avaliadores. 
Quando se utilizam mais de dois avaliadores, emprega-se o coeficiente 
Fleiss Kappa.
CONDIÇÃO Fidedignidade do Avaliador
Não-recomendado < 0,70
Aceitável 0,70 ≤ k ≤ 0,79
Recomendado ≥ 0,80
Parâmetro Ideal: 
k ≥ 0,70
Fidedignidade do Avaliador6
Fidedignidade do Avaliador: interpretação
Muito usados para testes de 
criatividade e testes projetivos de 
personalidade.
A variância de erro é resultante da 
variância do avaliador.
Tipo de fidedignidade comumente 
calculado quando instrumentos 
avaliados subjetivamente são 
empregados na pesquisa.
Fidedignidade do Avaliador6
Tipo de Coeficiente de 
Fidedignidade
Variância de Erro
Teste-Reteste Amostragem de Tempo
Forma Alternada ou Paralela Amostragem de Conteúdo
Método das Duas Metades Amostragem de Conteúdo
Kuder-Richardson
Amostragem de Conteúdo e 
Heterogeneidade de Conteúdo
Coeficiente Alpha
Amostragem de Conteúdo e 
Heterogeneidade de Conteúdo
Avaliador Diferenças entre Avaliadores
Fontes de Variância de Erro em Relação aos 
Coeficientes de Fidedignidade
> Variabilidade da amostra
Fatores que Afetam a Fidedignidade
> Coeficiente de correlação
> Precisão da medida
> Número de itens
> Coeficiente de correlação
> Precisão da medida
- 1
- 1
+ 1
+ 1