Resumo Psicometria

Prévia do material em texto

TEXTOS 9 E 10
A DIMENSIONALIDADE
Sobre definir se o construto é uni ou multifatorial. Exemplo: o objeto a ser pesquisado são os
processos cognitivos, sendo a propriedade desse objeto a ser pesquisado a inteligência verbal.
Inteligência verbal é caracterizada por dois fatores independentes a fluência e compreensão
verbal (multifatorial), claro que o pesquisador pode decidir por estudar a inteligência verbal
apenas pelo aspecto da fluência verbal, mas nesse caso o atributo/propriedade de estudo deixa
de ser a inteligência verbal e passa a ser a fluência verbal.
A DEFINIÇÃO DOS CONSTRUTOS
Para decidir a dimensionalidade do construto é necessário conceituá-lo de forma detalhada a
partir de estudos da área, compreendendo sua definição institucional e operacional:
1. definição constitutiva: Construto é definido com base em outros construtos. Uma
definição semelhante a dos dicionários e enciclopédias = um conceito que é uma
realidade abstrata será definido como em termos de realidades abstratas. Ex:
Inteligência verbal definido como “Capacidade de compreender a linguagem”.
2. definição operacional: quando um construto é definido por meio de operações
concretas (não mais por outros construtos), por meio de comportamentos físicos em
que o construto se expressa. Ex: Inteligência Verbal como a “capacidade de
compreender uma frase”. As definições operacionais podem representar um construto
numa escala que expressa uma proporção de coincidência entre construto e definição
operacional que vai de 0 a 1; sendo o mais próx de 1 a maior relação.
A OPERACIONALIZAÇÃO DO CONSTRUTO
Busca compreender as tarefas (os itens do instrumento) que as pessoas deverão executar para
que se possa avaliar a magnitude de presença do construto (atributo).
1. fonte dos itens: busca por literatura, entrevistas e categorias comportamentais. Esses
devem ser selecionados em função das definições operacionais do construto estudado.
2. Critérios para construção dos itens:
a. Critério comportamental: o item deve expressar um comportamento (vá e
produza um texto é comportamental, vá e compreenda o texto não)
b. Critério de objetividade: modelo de certo ou errado, sim ou não, (não existe
uma resposta certa, usados para cálculo e mensuração objetiva).
c. Critério da simplicidade: um item deve expressar uma única ideia
d. Critério da clareza: utilizar frases curtas, com expressões simples e
inequívocas
e. Critério da relevância: deve ser consistente com o atributo escolhido e ter
uma relação com as demais frases.
f. Critério da precisão: distinto dos demais itens
g. Critério da variedade: variar a linguagem, no caso de escalas uma parte deve
ser “favorável” e outra metade “desfavorável”
h. Critério da modalidade: buscar neutralidade na linguagem - não utilizar
expressões extremadas, como excelente, miserável,
i. Critério da tipicidade: formar frases com expressões condizentes com o
atributo (beleza não é pesada, suja ou nojenta)
j. Critério da credibilidade: o item deve ser formulado de modo que não
apareça como ridículo, despropositado ou infantil
3. Critérios referentes ao conjunto dos itens:
a. Critério da amplitude: um item pode discriminar distintas magnitudes em
um mesmo indivíduo, assim o conjunto dos itens referentes ao mesmo atributo
deve cobrir toda a extensão de magnitude do construto - colocar ex
b. Critério do equilíbrio: os itens devem cobrir questões fáceis, médias e
difíceis. Distribuídos majoritariamente por questões medianas e em menor
quantidade por fáceis e difíceis (como por uma curva)
4. quantidade de itens: O bom senso de quem trabalha nessa área sugere que um
construto, para ser bem representado, necessita de cerca de 20 itens
A ANÁLISE TEÓRICA DOS ITENS
Análise dos itens feita por juízes.
- Análise semântica dos itens: verificar se todos os itens são compreensíveis para toda
população em que destina-se.
- Análise dos juízes: os juízes devem ser peritos na área em questão, irão ajuizar se os
itens estão de acordo. Possuindo como critério no mínimo 80% de concordância entre
os juízes sobre a pertinência entre o item e o traço em que ele se refere. - eles podem
sugerir novos itens ou mudanças.
Escalas psicológicas são construídas em três eixos:
- teórico: os fundamentos que sustentam o construto psicológico e a operacionalização
desses itens (obs: A teoria é ainda a parte mais fraca da pesquisa e do conhecimento
psicológicos, o que tem como consequência a precariedade dos atuais instrumentos
psicométricos de medida nessa área)
- empírico (experimental): comprovar ser adequado
- análitico (extatistico): provas e métodos para comprovação matemática
TEXTO 11
Validade e precisão - “fundamentais para a prática da avaliação psicológica, uma vez que eles
ajudam a traçar os alcances e limites dos testes utilizados no processo, ajudando na sua
conclusão”.
Conceitos se popularizaram com o movimento do Conselho Federal de Psicologia (resolução
025/2001; 002/2003; 009/2018 e 31/2022); Criação do SATEPSI para avaliar requisitos
técnicos e científicos Testes precisam ter fundamentação teórica, e evidências de validade e
precisão. Atualização dos dados do teste a cada 15 anos, para testes aprovados antes da
resolução, 20 anos.
Falha ética - utilizar algum teste com parecer desfavorável emitido pelo SATEPSI.
Precisão
Também conhecida como confiabilidade, fidedignidade refere-se a estabilidade do
teste, de maneira que, quanto mais próximas forem as suas pontuações obtidas por métodos
ou em situações diferentes, maior será a consistência do teste. Ex: uma mesma pessoa
sendo submetida a um teste que avalia a mesma coisa, em lugares diferentes e sendo
aplicados por pessoas diferentes. Espera-se que o resultado seja muito próximo. Se isso
acontecer, pode-se conferir precisão aos resultados do teste. No caso de dois resultados
diferentes, desconfia-se de um erro de medida. Quanto mais preciso um teste for considerado,
mais livre de erros ele se encontra. Logo, a precisão de um teste é determinada pelo nível em
que suas pontuações são livres de erro. Nenhuma medida está livre de erro, e os erros podem
vir de diversos fatores, tais quais:
- contexto da testagem (aplicador, avaliador, ambiente de testagem, motivos da
aplicação do teste)
- o testando e o teste em si (como tá no slide)
- condições emocionais, como disposição, ansiedade, fadiga
- acertos ao acaso
- familiaridade com o conteúdo, subjetividade e etc
- barulhos, etc
Se os devidos cuidados forem tomados no desenvolvimento, seleção, aplicação e correção
Quer mostrar o quanto os resultados do teste se afastam do ideal de correlação 1.
Determina um coeficiente que quanto mais próximo de 1, menos erro um teste comete
ao ser utilizado.
O nível de correlação expressa o nível de relação ou correspondência que existe entre
dois eventos
No modelo de correlação utilizam-se dados coletados via um dos três delineamentos:
- uma amostra de sujeitos, um mesmo teste uma mesma ocasião
- uma amostra de sujeitos, dois testes e uma mesma ocasião
- uma amostra de sujeitos, um mesmo teste e duas ocasiões
Métodos utilizados para se estimar os coeficientes de precisão e suas fontes de erros de
centrais:
Método de Teste-Reteste
Aplicação e reaplicação do mesmo teste ao respondente, mas em ocasiões diferentes.
Principal erro, nessa situação, é relacionado ao tempo. Precisão obtida através de um
coeficiente obtido de uma análise de correlação entre pontuações do teste obtidos em duas
estimações diferentes. Quanto mais correlacionadas essas pontuações estiverem (coeficiente
mais próximo de 1), maior precisão encontrada, e quanto menos correlacionadas (coeficiente
mais próximo de 0), menor precisão na medida.
- Delineamento: consiste em administrar o mesmo teste em duas ocasiões diferentes,
separadas por um certo intervalo de tempo
- Não existe um intervalo de tempo recomendado para todos os testes
- A correlação entre os escores obtidos nas duas administrações é o índice do grau em
que os escores podem flutuar como resultado de erro de amostragem
Precisão de FormasParalelas ou Alternativas
O mesmo indivíduo pode ser avaliado com duas ou mais formas do teste (formas
paralelas) no mesmo dia ou em dias diferentes. No caso da aplicação no mesmo dia
(imediato), a principal fonte de erro está ligada ao conteúdo. Ex: falam de 2+2 (mais familiar)
e 3+3. Pode ocorrer erro ligado ao conteúdo ou influência do tempo. Avaliando
personalidade, distingue-se traços, características relativamente duradouras, e os estados,
características temporárias. Assim, num mesmo indivíduo pode provocar respostas diferentes.
- Delineamento: duas ou mais formas diferentes de um teste – com objetivos idênticos,
mas com conteúdo específico diferente - são administradas ao mesmo grupo de
sujeitos
- Ou seja, a mesma pessoa é testada com uma forma primeiro e com outra, equivalente,
em seguida.
- Estima a quantidade de erro nos escores do teste que pode ser atribuída ao erro de
amostragem de conteúdo
Método das metades (split-half)
Aplicado apenas uma vez.
- Delineamento: uma amostra de sujeitos, um mesmo teste, uma mesma ocasião
- Divide-se o teste em duas partes equivalentes (pares e ímpares / primeira metade ou
segunda metade)
- A melhor forma de dividir o teste depende do seu delineamento. É importante
considerar
1) se alguns itens diferem sistematicamente de outros ao longo de todo o teste
- Estima a consistência dos escores nos dois meios-testes.
- Fatores relacionados ao conteúdo dos itens constituem as principais fontes de erro.
Testes projetivos
Tem que provar que duas pessoas cheguem a resultados iguais.
Correlação por item.
- Consiste em fazer com que pelo menos dois indivíduos diferentes avaliem um mesmo
protocolo, para que o desempenho do testante gere dois ou mais escores
independentes
- As correlações entre os resultados de escores gerados são os índices de precisão do
avaliador
- Avalia-se o grau de concordância entre os avaliadores em 80%
TEXTO 12
Validade de instrumentos psicométricos:
“O alcance em que o teste mensura o que se propõe medir ou ao conhecimento do que o
teste mede e de quão bem ele faz isso” (Definição histórica)
Grau em que as evidências embasam inferências feitas a partir dos escores dos testes
Refere-se a legitimidade das interpretações propostas obtidas em pesquisas destinadas a
testar tais pressupostos. (Legitimidade das pesquisas obtidas para teste de tal
comportamento e seus traços latentes)
Se um instrumento não possui evidências de validade, não há segurança de que as
interpretações sobre as características psicológicas das pessoas sugeridas pelas suas
respostas na testagem são legítimas. Nessa situação, não se tem certeza sobre o
instrumento psicológico efetivamente avalia e quão bem o faz e, portanto, sua
utilização em práticas profissionais é ética e tecnicamente impedida.
Tipos de estudos acerca da validade de instrumentos psicológicos: (Santíssima trindade
da validade)
- Primeiro tipo: Validade de conteúdo do construto
Objetivo de avaliar o conteúdo dos itens de determinado instrumento, para verificar se os
mesmos são adequados para representar o domínio de comportamento a ser mensurado.
- Segundo tipo: Validade de critério
Relaciona-se com a eficácia que o teste prediz sobre variáveis externas ou variáveis
critério, como desempenho profissional, acidentes de trabalho, diagnóstico psiquiátrico,
dentre outros.
- Terceiro tipo: Validade de construto
Medida em que um teste mede determinado construto ou traço, ou seja, a medida em que
as evidências apoiam os significados atribuídos aos escores dos testes.
Com o tempo, críticas ao modelo tripartite começaram a ser avaliadas, sendo a mais
importante delas, a do autor Messick (1996). Um dos principais questionamentos levantados
pelo autor foi a do conceito de validade de critério e validade de conteúdo, pois segundo
ele, ambas sempre irão se relacionar com o construto, pois levantaram informações sobre
as interpretações dos escores dos testes, mesmo que de forma diferente. Assim, todas as
informações sobre o teste será de contribuição para a validade de construto, sendo
desnecessário a existência dos outros dois tipos de validades.
Assim, foi definido validade de construto como sinônimo de validade, abrangendo todos
os tipos de validade do instrumento.
O processo de validação dos testes agrega um conjunto de evidências científicas que
assegurem as interpretações dos escores do teste e a relevância e utilidade dos usos
propostos. Assim, o processo de validação de testes não valida o teste em si, e sim as
interpretações propostas por ele e as aplicações práticas intentadas.
Depois de muitos estudos, foram definidas cinco fontes para evidenciar a validade de um
teste:
1) Evidências baseadas no conteúdo: Levanta dados sobre a representatividade dos
itens do teste investigando se eles consistem em amostras abrangentes do domínio
que se pretende avaliar com o teste.
2) Evidências baseadas no processo de resposta: Levanta dados sobre os
processos mentais envolvidos na realização das tarefas propostas pelo teste.
3) Evidências baseadas na estrutura interna: Levanta dados sobre a estrutura das
correlações entre itens avaliando o mesmo construto e também sobre as correlações
entre subtestes avaliando construtos similares.
4) Evidências baseadas nas relações com variáveis externas: Levanta dados sobre
os padrões de correlação entre os escores do teste e outras variáveis medindo o
mesmo construto ou construtos relacionados (convergência) e com variáveis
medindo construtos diferentes (divergência). Também traz dados sobre a
capacidade preditiva do teste de outros fatos de interesse direto (critérios externos)
que possuem importância por si só e associam-se ao propósito direto do uso do
teste (por exemplo, sucesso no trabalho).
5) Evidências baseadas nas consequências da testagem: Examina as
consequências sociais intencionais e não intencionais do uso do teste para verificar
se sua utilização está surtindo os efeitos desejados de acordo com o propósito para
o qual foi criado.