Conceitos Validade

Prévia do material em texto

PSICOMETRIA
CONCEITOS DE VALIDADE
Profª Andréa Mazariolli
Qualidades 
Psicométricas
• Características que configuram a
cientificidade dos testes psicológicos;
• Indicam o maior ou menor grau de
confiabilidade nos resultados
apresentados pelo instrumento;
• A determinação das qualidades faz
parte do processo de construção de
testes.
Validade
• Validar - Verbo
• Dar validade a…
• Tornar legítimo ou legal…
• Válido – Adjetivo
• Que tem valor
• Que tem validade legal 
• Eficaz
• Validade – substantivo
• Qualidade de válido
Validade - historicamente tem sido definida assim:
Anastasi (1954): “grau que o teste mede o que se propõe medir”
Primi, Muniz e Nunes (2009, p. 244), a validade nos Standards for Educacional and
Psychological Testing, de 1986, passou a ser “o grau em que as evidências embasam
inferências feitas a partir dos escores dos testes”.
Com isso, nos Standards de 1999, validade passou a se referir ao “grau em que evidência e
teoria sustentam as interpretações dos escores dos testes, vinculados aos usos propostos dos
testes” (PRIMI; MUNIZ; NUNES, 2009, p. 244- 246).
(Anastasi e Urbina, 2000; Cronbach,1996; Hogan,2006): “a validade de um teste diz respeito
ao `o que’ o teste mede quão bem ele faz isso”
Urbina (2007) destacou, a partir das ideias e esquemas propostos por Embretson em 1983, a
noção da “validação de constructo como uma forma unitária e abrangente de expressar a
abordagem científica da integração de qualquer evidência relacionada com o sentido ou
interpretação dos escores de teste”.
Definição clássica dos “tipos de validade”
A “santíssima trindade” (tripartite)
Validade de conteúdo
Validade de critério
Validade de construto
• Validade de conteúdo: Responde à pergunta: “os itens do teste representam
adequadamente a característica que se quer avaliar?”.
• Validade de critério: Responde à pergunta: “Os itens do teste conseguem
fazer uma previsão de uma variável externa ao teste no futuro ou no
presente?”. Ex.: Um teste vocacional.
• Validade de construto: Responde à pergunta: “ quanto os itens do teste
realmente medem uma determinada característica?”.
Validade de Conteúdo
• Um teste tem validade de conteúdo se ele constitui uma amostra
representativa de um universo finito de comportamentos (domínio);
• Consiste no exame sistemático do conteúdo do teste, a fim de assegurar a
representatividade da amostra (os aspectos fundamentais do
comportamento e a representatividade dos itens);
• A importância da verificação do conteúdo pode ser justificada em razão de
que os testes são construídos e representam uma amostra de
comportamentos.
• Assim, faz-se necessário avaliar se as áreas contempladas nos itens que
compõem o teste são as mais representativas do domínio que se está
estudando, de forma que a relevância dos itens poderá indicar a
representatividade do instrumento. Ex Um teste para avaliação da
Depressão precisa conter itens que descrevam a Depressão.
Validade de Conteúdo
• Para a validação do conteúdo normalmente recorre-se à análise de juízes
experientes na área, para avaliarem adequadamente as propriedades do
instrumento, embora possa incluir a análise lógica e empírica, no sentido
da adequação do conteúdo do instrumento ao domínio teórico que se está
investigando.
• Em linhas gerais, os procedimentos de validação e descrição do conteúdo
envolvem o exame sistemático do conteúdo do teste, para determinar se
ele abrange uma amostra representativa do domínio de comportamento a
ser medido.
• A validação de conteúdo analisaria os itens do teste, com o intuito de
checar se eles representam determinada teoria de maneira adequada, se
um aspecto está mais privilegiado em detrimento de outro ou ainda, se
parte desse construto não está representada nos itens do teste.
Validade de Critério
• Grau de eficácia do teste para predizer um
desempenho específico (correlação entre
resultados do teste e critério específico);
• A validade de critério se divide em duas:
preditiva e concorrente. Diferença
fundamental: tempo em que ocorrem as
coletas de dados – teste e critérios
(simultânea ou posterior).
• Validade de Critério Preditiva: coleta de
informação do critério ocorre após a coleta de
informação do teste.
• Validade de Critério Concorrente: coleta
simultânea do teste e do critério.
• O valor do estudo baseado no teste
critério depende da relevância, da
precisão e validação da interpretação
baseada num critério.
Critérios mais utilizados
• 1. Desempenho acadêmico
• 2. Desempenho em treinamento 
especializado
• 3. Desempenho profissional
• 4. Diagnóstico psiquiátrico
• 5. Diagnóstico subjetivo
• 6. Outros testes
Procedimentos de Verificação da Validade
• Os psicometristas recorrem a uma série de técnicas para viabilizar a
demonstração da validade de seus instrumentos: construto, conteúdo e critério.
A validação pode incluir estudos empíricos ou observações.
• Validade de Construto: Pode ser trabalhada por meio da análise da representação
comportamental do construto e a análise por hipótese.
• •De acordo com a APA, a validade de construto pode ser relacionada ao
desempenho de sujeitos, à relação com outros testes, à verificação da
consistência interna dos itens e à análise fatorial.
• “A validade de um teste é a extensão em que podemos dizer que o teste mede
um construto teórico ou um traço (...). A validação do construto requer a
acumulação gradual de informações de várias fontes” (p. 117). Dessa forma,
pode-se compreender que a verificação do construto pode se dar de diferentes
maneiras, tais como mudanças desenvolvimentais, correlação com outros testes,
análise fatorial, consistência interna e convergente-discriminante, dentre as mais
relevantes.
Mudanças desenvolvimentais
• Esse procedimento de verificação da validade de um teste baseia-se
na possibilidade dos escores aumentara, de acordo com o aumento
da idade. Sob esta perspectiva, esse tipo de verificação é comumente
utilizado em testes de inteligência, por exemplo. Assim, uma vez que,
é esperado que as habilidades aumentem durante a infância espera-
se que os escores do teste revelem esse aumento, evidenciando a
validade do teste.
Estrutura Interna
• A análise da estrutura interna do teste possibilita uma verificação das relações entre os
itens e a estrutura teórica hipotetizada quando da construção. Sob outra perspectiva, as
evidências baseadas nessa análise permitem identificar as relações entre os itens do
teste e os componentes do construto à luz do qual os resultados são interpretados.
• No que se refere às possibilidades de análise da estrutura interna, há que se ressaltar
que elas devem ser escolhidas de acordo com as características do instrumento, bem
como de sua forma, sendo as mais utilizadas: matriz multirasgo-multimétodo e análise
fatorial. Ambos os procedimentos estatísticos permitem a verificação do agrupamento
de variáveis, sendo que a partir disso pode-se inferir sobre o construto que se está
medindo.
• Considerando a aplicação prática da evidência baseada na estrutura interna, a
importância desse tipo de análise justifica-se considerando que a AERA, APA e NCME
(1999) destacam que os propósitos dos testes, os domínios investigados e a indicação de
seu uso devem ser estabelecidos a partir da análise do construto e da relação entre os
itens e as dimensões teóricas que eles representam.
Evidência convergente-discriminante 
• Propõe a relação entre os resultados do teste e outras medidas que
avaliam um construto diferente ou similar. Quando os construtos são
similares, constitui-se a validade convergente e, quando são distintos,
a divergente.
• No caso da evidência baseada na convergência de construtos, espera-
se que as correlações obtidas sejam suficientemente altas e
significativas para justificar a similaridade entre eles, ao passo que na
evidência baseada na divergência espera-se que as correlações sejam
apesar de significativas, baixas, de forma que os construtos possam
ser considerados como distintos.
Definição Contemporânea de validadee 
• Apesar de a definição clássica ser utilizada na atualidade, vários
estudos, especialmente os aportes de Samuel Messick, apontaram
para uma concepção mais abrangente, principalmente por questionar
que a validade de construto estava presente também nos outros dois
tipos do modelo tripartite.
• Urbina (2007) destacou, a partir das ideias e esquemas propostos por
Embretson em 1983, a noção da “validação de constructo como uma
forma unitária e abrangente de expressar a abordagem científica da
integração de qualquer evidência relacionada com o sentido ou
interpretação dos escores de teste”. Com isso, nos Standards de 1999,
validade passou a se referir ao “grau em que evidência e teoria
sustentam as interpretações dos escores dos testes, vinculados aos
usos propostos dos testes” (PRIMI; MUNIZ; NUNES, 2009, p. 244-
246).
Validade como representação do construto
• Vale destacar que a validade deve indicar como a representação do
construto deve ser distinguida de outros construtos e de outras
variáveis.
• De acordo com Muñiz (1987) a validade de um teste consiste em
colocar à prova uma determinada teoria científica uma vez que a
validade refere-se à interpretação de resultados, quando os escores
de um teste forem interpretados em mais de uma maneira ou para
contextos diferentes, cada interpretação deve ser submetida a
estudos de validade.
Definição de Construto (ou traço latente)
• É qualquer coisa imaginada pela mente humana, porém não é diretamente
observável.
• Construtos são abstrações referentes à conceitos, ideias, entidades
teóricas, hipóteses e invenções.
• Na psicologia designa os traços, processos, conhecimentos armazenados
ou características que não podem ser observadas diretamente.
• Uma entidade hipotética derivada de uma teoria psicológica, pesquisa e
observação do comportamento.
• Designa também as relações entre conceitos.
• Variam quanto à complexidade, aplicabilidade e ao grau de abstração
requerida para inferi-los a partir dos dados comportamentais.
Observações gerais Padrões (APA, 1999)
• A população para a qual o teste é designado deve ser claramente
delimitado, assim como o construto
• Nenhum teste é válido para todos os propósitos ou para todas as situações
• O julgamento profissional é requerido para avaliar a extensão na qual
existe a evidência de validade aplicada a determinada situação e para
determinar qual nova evidência deve ser testada.
• Quando a validação se baseia no julgamento de experts, a experiência
deles deve ser comprovada
• Quando se estabelece que determinada performance indica adequado ou
inadequado, informações sobre os critérios devem ser providenciados.
Fonte Definição
Evidências baseadas no conteúdo Levanta dados sobre a representatividade dos itens do teste 
investigando se eles consistem em amostras abrangentes do 
domínio que se pretende avaliar com o teste.
Evidências baseadas no processo de resposta Levanta dados sobre os processos mentais envolvidos na 
realização das tarefas propostas pelo teste
Evidências baseadas na estrutura interna Levanta dados sobre a estrutura das correlações entre itens 
avaliando o mesmo construto e também sobre as correlações entre 
subtestes avaliando construtos similares.
Evidências baseadas nas relações com 
Variáveis externas
Levanta dados sobre os padrões de correlação entre os escores do 
teste e outras variáveis medindo o mesmo construto ou construtos 
relacionados (convergência) e com variáveis medindo construtos 
diferentes (divergência). Também traz dados sobre a capacidade 
preditiva do teste de outros fatos de interesse direto (critérios 
externos) que possuem importância por si só e associam-se ao 
propósito direto do uso do teste (por exemplo, sucesso no 
trabalho).
Evidências baseadas nas consequências da 
testagem
Examina as consequências sociais intencionais e não intencionais do 
uso do teste para verificar se sua utilização está surtindo os efeitos 
desejados de acordo com o propósito para o qual foi criado.
Fontes de validade de conteúdo e estrutura 
interna
• Conteúdo: levanta informações sobre o quanto os itens são amostras
representativas e abrangentes do domínio do construto;
• Estrutura interna: verifica se as correlações entre os itens, componentes ou
subtestes são coerentes com a teoria. Em outras palavras, pretende-se analisar o
que sustenta um teste. Segundo Ambiel e Carvalho (2017), uma das formas mais
comuns de avaliar a estrutura interna é a análise fatorial que pode ser tanto
exploratória, quanto confirmatória, na primeira o objetivo é a redução de uma
quantidade considerável de variáveis observáveis (itens) em partes menores
(fatores), isso por meio de correlações que desembocam em agrupamentos,
sendo interpretadas pela teoria previamente analisada. Já o segundo tipo
mencionado é realizado quando já se tem clareza da relação esperada entre as
variáveis, assim, como o nome sugere, está ligada ao teste hipóteses. Além
dessas, há outras diversas formas de avaliar a estrutura interna como a Análise de
Componentes Principais e Análises de Rasch.
Fonte de validade de variáveis externas
• Variáveis externas: diferente das correlações na estrutura interna, nesta
categoria, levantam-se informações acerca das correlações entre os escores do
teste e outras variáveis. Esse tipo de fonte de evidências pode ser de critério
(quando se relaciona o teste a uma variável externa não psicológica) e de
convergência ou discriminante (quando a variável externa, comparada com o
teste, é também um construto psicológico).
• A validade de critério ainda se subdivide em preditivo (quando os escores podem
predizer um comportamento no futuro) e concorrente (quando a comparação é
concomitante, em geral com alguma variável que já ocorreu); a convergência diz
respeito a correlações fortes, quando se utiliza testes com o mesmo construto e
correlações moderadas, quando os construtos são relacionados. Já quando se
correlacionam estatisticamente construtos não relacionados teoricamente – caso
da verificação da validade divergente/discriminante -, espera-se uma que a
correlação seja fraca.
Fontes de validade processo de resposta e 
consequências de testagem
• Processo de resposta: investiga os processos mentais em relação ao
modo como se responde, ou seja, se existem variáveis que interferem
no responder às tarefas do teste;
• Consequências da testagem: examina quais os benefícios intencionais
e não intencionais para a sociedade, decorrentes da utilização do
instrumento. Uma forma de investigar essa fonte de validade seria
realizar estudos experimentais, coletando dados acerca das
influências de intervenção por meio dos escores obtidos no
instrumento antes e depois dos procedimentos.
Revisão dos testes psicológicos
• Tendo em vista as razões aqui explicitadas, bem como a qualidade do
levantamento de informações, no período em que vigorou a
Resolução 002/2003 (2003- 2018), era indispensável a constância de
estudos sobre os instrumentos desenvolvidos, pois, no artigo 14 do
documento era indicado que “os dados empíricos das propriedades
de um teste psicológico devem ser revisados periodicamente, não
podendo o intervalo entre um estudo e outro ultrapassar 20 (anos),
para os dados referentes a validade e precisão” (CONSELHO FEDERAL
DE PSICOLOGIA, 2003, p.6). Se não fossem obedecidos os critérios
estabelecidos, o teste não poderia ser legalmente utilizado na prática
profissional dos psicólogos (CONSELHO FEDERAL DE PSICOLOGIA,
2003).
Resoluções
• Resolução CFP nº 17/2019 - Altera a Resolução CFP nº 03/2017, que define e regulamenta a Comissão 
Consultiva em Avaliação Psicológica.
• Resolução CFP 06/2019 - Institui regras para a elaboração de documentos escritos produzidos pela(o) 
psicóloga(o) no exercício profissional e revoga a Resolução CFP nº 15/1996, a Resolução CFP nº 07/2003 e a 
Resolução CFP nº 04/2019.
• Resolução CFP nº 01/2019 - Institui normas e procedimentos para a perícia psicológica no contexto do 
trânsito e revoga as Resoluções CFP nº 007/2009 e 009/2011.• Resolução CFP nº 009/2018 - Estabelece diretrizes para a realização de Avaliação Psicológica no exercício 
profissional da psicóloga e do psicólogo, regulamenta o Sistema de Avaliação de Testes Psicológicos –
SATEPSI e revoga as Resoluções n° 002/2003, nº 006/2004 e n° 005/2012 e Notas Técnicas n°
001/2017 e 002/2017.
• Resolução CFP nº 002/2016 - Regulamenta a Avaliação Psicológica em Concurso Público e processos 
seletivos de natureza pública e privada e revoga a Resolução CFP Nº 001/2002.
• Resolução CFP nº 002/2009 - Altera a Resolução CFP nº 018/2008 e dá outras providências.
• Resolução CFP nº 001/2009 - Dispõe sobre a obrigatoriedade do registro documental decorrente da 
prestação de serviços psicológicos.
• Resolução CFP nº 010/2005 - Aprova o Código de Ética Profissional do Psicólogo
http://satepsi.cfp.org.br/docs/ResolucaoExercicioProfissional-172019.pdf
http://satepsi.cfp.org.br/docs/Resolucao003-17.pdf
http://satepsi.cfp.org.br/docs/Resolucao-do-exercicio-profissional-6-2019-Conselho-federal-de-psicologia-BR(1).pdf
http://satepsi.cfp.org.br/docs/ResolucaoCFP007-03.pdf
http://satepsi.cfp.org.br/docs/Resolucao01-2019.pdf
http://satepsi.cfp.org.br/docs/Resolu%C3%A7%C3%A3o-CFP-n%C2%BA-09-2018-com-anexo.pdf
http://satepsi.cfp.org.br/docs/resolucao_CFP_002-03.doc
http://satepsi.cfp.org.br/docs/ResolucaoCFP006-04.pdf
http://satepsi.cfp.org.br/docs/resolucao_CFP_005-12.doc
http://satepsi.cfp.org.br/docs/NotaTecnica01-2017-PlataformasInformatizadas.pdf
http://satepsi.cfp.org.br/docs/NotaTecnica02-2017-AtualizacaoNormas.pdf
http://satepsi.cfp.org.br/docs/Resolucao002-2016.pdf
http://satepsi.cfp.org.br/docs/resolucao_CFP_001-002.doc
http://satepsi.cfp.org.br/docs/ResolucaoCFP002-09.pdf
http://satepsi.cfp.org.br/docs/resolucao_CFP_018-2008.doc
http://satepsi.cfp.org.br/docs/ResolucaoCFP001-09.pdf
http://satepsi.cfp.org.br/docs/codigo_etica.pdf
http://satepsi.cfp.org.br/docs/codigo-de-etica-psicologia.pdf
Notas Técnicas
• Nota Técnica 07/2019 - Orienta psicólogas(os) sobre a utilização de testes psicológicos
em serviços realizados por meio de tecnologias de informação e da comunicação.
• Nota Técnica 06/2019 - Orientação às(aos) Psicólogas(os) sobre Avaliação da Capacidade
Decisional de Pessoas com Deficiência e/ou com Doenças Crônicas.
• Nota Técnica 04/2019 - Orienta psicólogas(os), pesquisadores, editoras e laboratórios
responsáveis quanto às pesquisas para construção, adaptação e estudos de equivalência
de testes psicológicos para pessoas com deficiência e altera a Nota Técnica “Construção,
Adaptação e Validação de Instrumentos para Pessoas com Deficiência”.
• Nota técnica do Conselho Federal de Psicologia sobre o uso indevido de testes
psicológicos
• Nota Técnica nº 001/2015 – GT/CFP Orientações e informações sobre análise de testes
psicológicos
• Nota Técnica CONSTRUÇÃO, ADAPTAÇÃO E VALIDAÇÃO DE INSTRUMENTOS PARA
PESSOAS COM DEFICIÊNCIA
http://satepsi.cfp.org.br/docs/NotaTecnicaCFP072019.pdf
http://satepsi.cfp.org.br/docs/NotaTecnica-062019-Avaliacao-da-Capacidade-Decisional-de-PCDs.pdf
http://satepsi.cfp.org.br/docs/NotaTecnica042019.pdf
http://satepsi.cfp.org.br/docs/notaTecnica.pdf
http://satepsi.cfp.org.br/docs/notaTecnica012015.pdf
http://satepsi.cfp.org.br/docs/Nota_Tecnica_Construcao_adaptacao_validacao_instrumentos_pessoas_deficiencia.pdf
Para fixação...
• 1-) O que é validade?
• 2-) Qual é a definição clássica dos testes, conhecida como “Santa 
Trindade”, ou seja tripartite? Descreva-os.
• 3-) O que é um construto?
• 4-) Qual é a visão contemporânea dos Standards de 1999? Descreva-
os.
• 5-)
Referências
HUTZ, C. S.; BANDEIRA, D. R.; TRENTINI, C. M., Psicometria. Porto Alegre: Artmed, 2015.
PASQUALI, L. Psicometria – Teoria dos testes na psicologia e na educação. Petrópolis: Vozes, 2004.
URBINA, S. Fundamentos da Testagem Psicológica. Porto Alegre: Artmed, 2007. 
COHEN, R. J., SWEDLIK, M. E., STURMAN, E. D. Testagem e Avaliação Psicológica: Introdução a 
Testes e Medidas. Porto Alegre: Artmed. 8ª. ed., 2014.
DANCEY, C. P., REIDY, J. Estatística sem matemática para psicologia. Porto Alegre: Artmed. 7a. ed. 
2019.
DAMÁSIO, B. F., BORSA, J. C. Manual de Desenvolvimento de Instrumentos Psicológicos. São Paulo: 
Vetor Editora. 2018.
ERTHAL, T C S. Manual de Psicometria. Zahar Editora. 8a. ed. 2003. 
PASQUALI, L. TRI – Teoria de Resposta ao item: Teoria, procedimentos e aplicações. Curitiba: Apris
Editora, 2018.