Aula 3 ValidadedosTestesPsicológicos 2018

Prévia do material em texto

FUNDAMENTOS EM VALIDADE DOS
TESTES PSICOLÓGICOS
Profa. Dra. Silvia Godoy
28/Fevereiro/2018
CURSO DE PSICOLOGIA3º SEMESTRE
REFERÊNCIA BIBLIOGRÁFICA
Alves, G. A. S., Souza, M. S. & Baptista, M. N. (2011). Validade
e precisão de testes psicológicos. Em R. A. M. Ambiel, I. S.
Rabelo, S. V. Pacanaro, G. A. S. Alves e I. F. A. S. Leme (Eds.),
Avaliação Psicológica: guia de consulta para estudantes e
profissionais de psicologia (pp. 109-125). São Paulo: Casa do
Psicólogo.
Urbina, S. (2007). Fundamentos da testagem psicológica. Porto
Alegre: Artmed. p. 155-164.
 Há três características básicas:
 Validade;
 Precisão/Fidedignidade;
 Padronização/Normatização.
PROPRIEDADES PSICOMÉTRICAS
O QUE FUNDAMENTA CIENTIFICAMENTE UM
TESTE PSICOLÓGICO?
 Problemática de ordem prática: qualidade
psicométrica dos instrumentos;
 Necessidade de formação contínua e atualização
profissional para o uso adequado dos testes;
IMPORTÂNCIA DAS PROPRIEDADES
PSICOMÉTRICAS
 Uso limitado no trabalho cotidiano dos psicólogos
devido aos déficits de conhecimento técnico-científico;
 Evidências ressaltam a importância dos estudos
psicométricos das técnicas de avaliação psicológica.
(Barroso, Scorsolini-Comin & Nascimento, 2015)
 Art. 14: “Os dados empíricos das propriedades de um
teste psicológico devem ser revisados periodicamente não
podendo o intervalo entre um estudo e outro ultrapassar:
 15 anos para dados referentes à padronização;
 20 anos para dados referentes à validade e
precisão”.
RESOLUÇÃO CFP Nº. 002/2003
 Fundamentação teórica, com especial ênfase na
definição do construto;
 Evidências empíricas de validade e precisão,
justificando os procedimentos adotados;
 Informações sobre os procedimentos de correção e
interpretação dos resultados;
REQUISITOS MÍNIMOS E OBRIGATÓRIOS
DOS INSTRUMENTOS PSICOLÓGICOS
 Informações sobre as características da amostra
normativa brasileira e quando os dados foram coletados;
 Procedimentos de aplicação e correção, bem como as
condições nas quais o teste deve ser aplicado para garantir
a uniformidade de procedimentos.
(Ambiel et al., 2011)
“Refere-se ao grau em que todas as evidências
acumuladas corroboram a interpretação
pretendida dos escores de um teste para os fins
propostos.”
(AERA, APA & NCME, 1999).
O QUE É VALIDADE?
Nesta definição estão implícitas três ideias que refletem a
visão dos profissionais da testagem em relação ao conceito
central de validade:
1. Resulta do acúmulo de evidências para possíveis
interpretações dos escores e do uso dos testes. Sempre
entendida como uma questão de grau;
2. Com o acúmulo dessas evidências, a validade das
inferências (hipóteses) pode aumentar ou diminuir;
3. As interpretações dos escores dos testes podem ser
derivadas de uma variedade de métodos.
 É fundamental para o desenvolvimento e avaliação
de um teste;
 Validação é constituído por um conjunto de
evidências que possam assegurar as interpretações
do teste;
 Então, o que se valida, não é o teste em si, mas as
interpretações propostas por ele;
 As interpretações dizem respeito ao construto que o
teste se propõe a mensurar;
 É uma questão de julgamento no que diz respeito aos
escores do teste, como são empregados para um
determinado objetivo.
 Validade então refere-se à legitimidade das
interpretações que são feitas, portanto, ao conjunto
de evidências favoráveis às interpretações
propostas obtidas em pesquisas destinadas a testar
os pressupostos de tais interpretações;
DEFINIÇÃO CONTEMPORÂNEA DE
VALIDADE
 Se um instrumento não possui evidências de
validade, não há segurança de que as interpretações
sobre as características psicológicas das pessoas
sugeridas pelas suas repostas sejam legítimas;
 Não se sabe o que o instrumento avalia realmente!
 Exemplo: Teste Wartteg.
 Técnica gráfica para avaliação da personalidade segundo
a teoria dos arquétipos de Jung.
 
 A realização dos desenhos na ordem sequencial indica
organização;
 A união das retas do Campo 6 indica boa capacidade
de associação e síntese;
 A multiplicação do tema no Campo 1 é característica
de pessoas inseguras;
 Desenho em pontilhado do Campo 7 indica
imaturidade afetiva.
 Início um pouco ingênuo da utilização dos testes
psicológicos no século XX;
 Utilização e desenvolvimento de testes psicológicos sem a
contribuição e benefício da teoria psicométrica, princípios
éticos e diretrizes práticas;
DEFINIÇÃO CLÁSSICA/TRADICIONAL DE
VALIDADE
 Altera o artigo 14 da Resolução CFP nº 002/2003
estipulando que estudos referentes à validade e à precisão
dos instrumentos devem ser realizados de modo a não
ultrapassar um período de vinte anos.
 Assim, nenhum teste é aprovado ou reprovado para
sempre, sendo que apenas pode não haver naquele
momento estudos que evidenciem e justifiquem seu uso de
forma segura.
A RESOLUÇÃO CFP 006/2004...
 Frente esta situação, começou-se a delinear como fazer
para distinguir um teste “bom” de um teste “ruim”;
 Com isso, em 1921 surgiu a primeira definição de
validade:
 “o grau que o teste mede o que propõe a medir”;
 “o que o teste mede e com que eficácia ele o faz”
(Anastasi & Urbina, 2000);
 Tal definição foi muito propagada e até hoje, muitos
profissionais tem essa visão;
 No entanto ela foi criticada pelos atuais Padrões de
Testagem, uma vez que não é o teste que possui evidências
de validade;
 São as interpretações feitas a partir dos resultados
encontrados numa pesquisa com o teste em questão.
 Desta forma, a definição de validade passou a ser
concebida como “o grau no qual as
interpretações obtidas dos dados empíricos do
teste encontram sustentação em base
científica sólida.”
(Urbina, 2007)
Definição Clássica dos “Tipos de Validade”
 Validade de conteúdo: avaliar o conteúdo de itens de
determinados instrumentos;
 Validade de critério: verifica a efetividade de um teste
em predizer o desempenho de um sujeito em uma situação
específica;
 Validade de construto: averiguar a extensão que um
teste mede determinado construto.
Validade de conteúdo:
 Tem o objetivo de avaliar o conteúdo dos itens de
determinado instrumento, verificando se estão adequados
ao propósito de representar um domínio de comportamento
a ser mensurado.
 Exemplo: O ENADE
Validade de critério:
 Demonstram o grau com que os escores do teste estão
sistematicamente relacionados com um ou mais critérios
externos;
 Avaliam a situação do sujeito em uma variável externa
ao teste no futuro ou no presente.
 
Escores do teste
de Inteligência
Sucesso escolar
Criatividade
Sucesso profissional
 
 A questão fundamental é:
 Quão efetivamente o critério pode ser previsto com
base nos escores do teste?
 Existem dois delineamentos:
 Preditivo;
 Concorrente;
Preditivo: a medida no critério é obtida no futuro.
Exemplo: aplica-se um teste de inteligência no início do
ano letivo e depois correlaciona-se com o desempenho dos
alunos no final do ano.
Concorrente: a medida no critério é obtida
simultaneamente.
Exemplo: aplica-se um teste de personalidade e
paralelamente verifica-se o desempenho no trabalho para ver que
“tipo de personalidade” se correlaciona com “bom ou mal”
desempenho.
Validade de construto:
 A validade de construto refere-se à extensão em que
podemos dizer que o teste mede um construto teórico ou
um traço e requer a acumulação gradual de informações
de diversas fontes;
 Descreve o grau com que o teste mede a característica
psicológica de interesse;
 A validade de construto pode ser verificada por meio
dos seguintes métodos:
 Mudanças de desenvolvimento ou diferenciação
por idades;
 Validação convergente e discriminante;
 Análise fatorial ou consistênciainterna.
Mudanças de desenvolvimento:
 Escores de um teste variam de acordo com o aumento
da idade ou diminuição da idade;
 Exemplos:
1. Testes de inteligência presumem que as habilidades
aumentem durante a infância será considerado como
evidência de validade se crianças mais velhas fizerem
mais pontos.
1. Testes percepto-motor presumem que os erros
diminuam com o maturação do organismo  será
considerado evidência de validade se os erros de cópia
de um desenho diminuírem nas crianças mais velhas.
Validação convergente-discriminante:
 É demonstrada pelo estudo da relação entre os
resultados do teste e outras medidas que avaliam um
construto diferente ou similar.
 Construtos similares validade convergente
Exemplo: Reconhecimento de palavras e
compreensão em leitura.
 Construtos distintos  validade divergente ou
discriminante
Exemplo: Inteligência e criatividade.
O que se espera em cada uma?
 Validade convergente – que as correlações
sejam altas e significativas, mostrando a
similaridade entre eles;
 Validade divergente - que as correlações sejam
baixas, apesar de significativas, de forma que os
construtos possam ser considerados como distintos.
Análise fatorial ou consistência interna:
 A análise da estrutura interna do teste possibilita
uma verificação das relações entre os itens e a
estrutura teórica da construção;
 As evidências baseadas nessa análise permitem
identificar as relações entre os itens do teste e os
componentes do construto à luz do qual os resultados
são interpretados;
 Para analisar a estrutura interna usa-se
procedimentos estatísticos específicos, sendo a análise
fatorial o mais comum  verifica o agrupamento de
itens, permitindo a inferência sobre o construto que se
está medindo;
 Exemplo: Dois testes – um de personalidade e um de
inteligência emocional. Verifica-se por meio da Análise
fatorial o agrupamento de dois fatores, um de personalidade
e um de inteligência emocional.
 Esforço dos profissionais da testagem para unificar o
termo de uma forma que englobe todas as linhas de
evidências;
 Integração de quase todas as formas de evidência de
validade como aspectos da validade de construto;
PERSPECTIVAS ATUAIS SOBRE VALIDADE: 
AS NOVAS TERMINOLOGIAS
(STANDARDS, 1999)
 Nova conceituação para o termo validade;
 O conceito de validade de construto foi ampliado;
 A terminologia “tipos de validade” foi intencionalmente
modificada para “fontes de evidência” de validade, o que
reforça a validade como um conceito único.
(APA, 1999)
Fontes de evidências de validade:
 Evidências de validade baseadas no conteúdo;
 Evidências de validade baseadas nas relações com
outras variáveis;
 Evidências de validade baseadas na estrutura
interna;
 Evidências de validade baseadas no processo de
resposta;
 Evidências de validade baseadas nas consequências
da testagem.
Evidências de validade baseadas no
conteúdo:
 Nessa fonte, busca-se uma relação entre o conteúdo
do teste (o que seus itens abordam) e o domínio que se
quer avaliar;
 Exemplo: um teste para avaliação de depressão
precisa conter itens que descrevam a depressão.
Evidências de validade baseadas nas
relações com outras variáveis:
 Nessa fonte, busca-se relações entre os escores do teste e
outras variáveis que medem as mesmas características,
podendo ser características relacionadas ou diferentes;
 As outras variáveis podem ser sexo, idade, desempenho
acadêmico, critério diagnóstico e também outros testes;
 Exemplo: um teste que visa avaliar a inteligência de
alunos do terceiro ano do ensino fundamental pode ser
comparado ao desempenho acadêmico desses alunos nas
disciplinas da escola (sucesso escolar).
Evidências de validade baseadas na
estrutura interna:
 Essa fonte busca relação entre o teste e seus itens. Com
o uso de análises estatísticas, é possível saber a
contribuição de cada item no resultado total do teste;
 Verifica-se o agrupamento de itens em fatores já
previstos teoricamente;
 Exemplo: Bateria Fatorial de Personalidade (BFP) –
seus itens foram confirmados pelo procedimento estatístico
de análise fatorial, com os fatores Extroversão, Socialização,
Realização, Neuroticismo e Abertura.
Evidências de validade baseadas no
processo de resposta:
 Fornecer informações detalhadas do desempenho ou da
resposta emitida pelo examinando e se esses processos
tem relação com o construto que o teste propõe medir;
 São obtidas por análises individuais de respostas, de
questionamentos aos respondentes sobre suas estratégias
de resolução dos itens.
 Exemplo: Aplicou-se em uma sala de aula do terceiro ano do
ciclo básico, um teste para avaliar a aquisição da leitura nas
crianças, ou seja, verificar em qual fase da aquisição as crianças se
encontram.
Ao analisar as respostas ao teste pode-se identificar que a
maioria das crianças já apresentam a leitura lexical, mas um
pequeno grupo de crianças ainda estão na fase logográfica.
Evidências de validade baseadas nas
consequências da testagem:
 Examina as consequências sociais intencionais e não
intencionais do uso do teste para verificar se sua utilização
está surtindo os efeitos desejados de acordo com o propósito
para o qual foi criado;
 A expectativa é a de que o teste contribua de maneira
benéfica em contextos clínicos e escolares, em seleção de
pessoal, etc.
 Exemplo: Um instrumento diagnóstico é aplicado num indivíduo
e, se conseguir detectar precocemente uma doença e indicar uma
intervenção adequada, é sinal que o efeito produzido foi benéfico
(validade consequencial).