Validade e fidedignidade

Esta é uma pré-visualização de arquivo. Entre para ver o arquivo original

Validade e fidedignidade
Mara Sizino da Victoria
POR QUE ESTUDAR A VALIDADE E FIDEDIGNIDADE DE UM TESTE?
As características psicológicas podem ser medidas.
As características psicológicas são mensurados por via indireta. Neste sentido, há a necessidade de garantir que o instrumento de medida seja válido e preciso.
SATEPSI (www.satepsi.cfp.org.br)
CONSELHO FEDERAL DE PSICOLOGIA
RESOLUÇÃO CFP N.º006/2004
alteração da Resolução CFP n.º 002/2003
“Art. 14 - Os dados empíricos das propriedades de um teste psicológico devem ser revisados periodicamente, não podendo o intervalo entre um estudo e outro ultrapassar: 15 (quinze) anos, para os dados referentes à padronização, e 20 (vinte) anos, para os dados referentes a validade e precisão”.
(CFP, 2004)
VALIDADE
O teste mede aquilo que se propõe?
Não é um conceito de tudo ou nada. Ou seja, não podemos dizer que o teste tem ou não validade e sim evidências de validade.
Um mesmo teste pode servir a um objetivo de avaliação e não servir para outro. Exemplo: um teste pode servir para a população de pacientes psiquiátricos e não servir para a população em geral; pode servir para a escola e não ser útil para a clínica.
(AMBIEL ET AL., 2013)
ABORDAGEM CLÁSSICA DA VALIDADE
VALIDADE DE CONTEÚDO – Os itens dos testes representam adequadamente a característica que se quer avaliar?
VALIDADE DE CRITÉRIO – Os itens do teste conseguem fazer uma previsão de uma variável externa ao teste, no futuro ou presente?
VALIDADE DE CONSTRUCTO – Quanto os itens do teste realmente medem uma determinada característica? → conceito atual de validade
(ANASTASI; URBINA, 2000)
ABORDAGEM CONTEMPORÂNEA DA VALIDADE
“Standards for Educational and Psychological Testing” –American Educational Research Association (AERA), the American Psychological Association (APA) e National Council on Measurement in Education (NCME) – 2014 (www.apa.org)
Não se baseia em tipos de validade, mas em fontes pelas quais se é possível encontrar evidências de validade.
(AMBIEL ET AL., 2013; APA, 2014)
EVIDÊNCIAS DE VALIDADE
A- EVIDÊNCIAS DE VALIDADE BASEADA NO CONTEÚDO
►busca-se a relação entre os itens do teste e o que se quer avaliar.
►participação de juízes da área
►avaliação criteriosa item a item do teste e a literatura – está condizente? Escala de stress infantil (ESI)
(AMBIEL ET AL., 2013)
EVIDÊNCIAS DE VALIDADE - CONTINUAÇÃO
B- EVIDÊNCIAS DE VALIDADE BASEADAS NAS RELAÇÃO COM OUTRAS VARIÁVEIS
►busca-se relações dos escores do teste medindo a mesma característica, características relacionadas ou características diferentes.
► as relações podem convergir (mesma característica ou relacionadas). Ex: teste de inteligência e desempenho acadêmico (notas dos alunos) – espera-se correlação alta.
► as relações podem divergir (características diferentes). Ex: teste de QI e teste de personalidade – espera-se correlação baixa.
(AMBIEL ET AL., 2013)
C- EVIDÊNCIAS DE VALIDADE BASEADAS NA ESTRUTURA INTERNA
►busca-se a relação entre o teste e os itens – correlação escore total e cada item
►outra maneira é através de análise fatorial – ex: testes de personalidade baseados no Big Five.
EVIDÊNCIAS DE VALIDADE - CONTINUAÇÃO
(AMBIEL ET AL., 2013)
EVIDÊNCIAS DE VALIDADE - CONTINUAÇÃO
D- EVIDÊNCIAS DE VALIDADE BASEADAS NO PROCESSO DE RESPOSTA
►busca-se dados sobre os processos mentais presentes na realização do teste.
►cria-se um modelo explicativo do processamento mental que ocorre durante o teste e faz-se previsões dos comportamentos de acertos, tempo de reação etc.
► Outra maneira é questionar sobre as estratégias de resposta dos testandos para responder os itens. Teste Cloze.
(AMBIEL ET AL., 2013)
EVIDÊNCIAS DE VALIDADE - CONTINUAÇÃO
E- EVIDÊNCIAS DE VALIDADE BASEADAS NAS CONSEQUENCIAS DA TESTAGEM
►busca-se ter uma visão mais ampla do uso do teste
►avalia as consequências sociais do uso do teste para verificar se as implicações de seu uso coincidem com os resultados desejados para o qual foi idealizado. Ex: um teste com finalidade diagnóstica, indicação de intervenção, tratamento. M-CHAT (instrumento de triagem do transtorno de espectro autista – TEA)
(AMBIEL ET AL., 2013)
FIDEDIGNIDADE
O teste apresenta estabilidade? É preciso? Mede sem erro?
Não existe teste sem erro, pois as fontes de erros são variadas: relacionadas ao contexto de testagem, ao testando e ao teste propriamente dito. Mas pretende-se minimizar os erro, estimar a extensão da sua influência através dos métodos de fidedignidade.
(AMBIEL ET AL., 2013)
MÉTODO TESTE-RETESTE
Consiste na aplicação e reaplicação do mesmo teste ao testando, em ocasiões diferentes. Entre uma aplicação e outra há um intervalo de tempo.
A precisão é obtida através do cálculo de correlação entre as duas pontuações no teste. Como a correlação varia de -1 a +1, quanto mais próximo de +1, maior a precisão encontrada.
Principal fonte de erro: intervalo de tempo.
(AMBIEL ET AL., 2013)
MÉTODO DAS METADES
Consiste na divisão do teste em duas partes equivalentes e aplicado uma única vez ao testando.
Principal fonte de erro: conteúdo dos itens
(AMBIEL ET AL., 2013)
MÉTODO DAS FORMAS PARALELAS
Consiste na aplicação de duas ou mais formas do teste, no mesmo dia ou em dias diferentes. 
Difícil estimar a equivalência dos itens.
Principal fonte de erro: conteúdo dos itens (quando aplicadas no mesmo dia); conteúdo dos itens e tempo (quando aplicadas em dias diferentes).
(AMBIEL ET AL., 2013)
MÉTODO DE COEFICIENTES DE KUDER-RICHARDSON E ALFA DE CRONBACH
Consiste na aplicação do teste uma única vez e análises estatísticas das relações entre respostas individuais nos itens com o escore total do teste.
Quanto mais homogêneos os itens forem, maior será o coeficiente de precisão.
Principal fonte de erro: conteúdo dos itens.
(AMBIEL ET AL., 2013)
MÉTODO DE PRECISÃO ENTRE AVALIADORES
Consiste em solicitar a avaliação de dois ou mais psicólogos para avaliar os resultados dos testandos.
Usado nas técnicas projetivas.
Principal fonte de erro: subjetividade do avaliador.
(AMBIEL ET AL., 2013)
RELAÇÃO ENTRE OS DOIS CONCEITOS
Os dois conceitos compõem as propriedades psicométricas de um teste psicológico.
Devem ser estudados no processo de construção, adaptação e revisão de um teste psicológico.
A operacionalização da validade e fidedignidade depende também do uso adequado do teste, do momento da aplicação, correção e interpretação.
É necessário o psicólogo conhecer os limites e alcances de cada teste utilizado através da literatura sobre o assunto e manual técnico.
(AMBIEL ET AL., 2013)
REFERÊNCIAS
AMBIEL ET AL. Avaliação Psicológica: guia de consulta para estudantes e profissionais de psicologia. São Paulo: Casa do Psicólogo, 2013.
ANASTASI, A.; URBINA, S. Testagem Psicológica. Porto Alegre: ArtMed, 2000.
APA. Standards for Educational and Psychological Testing. http://www.apa.org/science/programs/testing/standards.aspx. Acesso em 09 de fevereiro de 2018, 2014.
CFP. Sistema de Avaliação dos Testes Psicológico. Legislação. http://satepsi.cfp.org.br/legislacao.cfm. Acesso em 09 de fevereiro de 2018, 2004.
METODOLOGIA ATIVA