Conceitos em psicometria

Prévia do material em texto

Conceitos em Psicometria
Teste psicológico
Medida objetiva do comportamento
Valor: satisfação ou não das funções a que se propõe medir
Critérios estatísticos:
Padronização
Normatização 
Validade
Precisão ou fidedignidade
Padronização em Avaliação Psicológica
O uso dos testes psicológicos
Van Kolck
Padronização
Padronização - existência de uniformidade em todos os procedimentos relativos ao uso de um teste válido e preciso.
Variam desde as preocupações a serem tomadas na aplicação do teste (uniformidade das condições de testagem) até o desenvolvimento de parâmetros ou critérios para a interpretação dos resultados obtidos. 
A padronização da testagem visa garantir o uso adequado 		dos instrumentos.
 Pasquali (2001)
Código de Ética Profissional
Art. 2º Ao psicólogo é vedado:
h) Interferir na validade e fidedignidade de instrumentos e técnicas psicológicas, adulterar seus resultados ou fazer declarações falsas.
k) Ser perito, avaliador ou parecerista em situações nas quais seus vínculos pessoais ou profissionais, atuais ou anteriores, possam afetar a qualidade do trabalho a ser realizado ou a fidelidade aos resultados da avaliação.
Escolha dos testes
Objetivo da investigação e relevância do teste
Característica do(s) sujeito(s): 
idade, sexo, instrução, nível sócio-econômico, experiência anterior, linguagem, condições físicas...
Qualidades ou requisitos dos testes
Qualidade do teste, pertinência do teste, adaptado ao nível do candidato (intelectual, profissional, etc).
Condições de aplicação
Uso do material e tempo a ser gasto
Preparo do aplicador
Aplicação dos testes
Necessidade da padronização:Uniformidade na aplicação dos testes (material, ambiente, instruções de aplicação e correção)
Tempo para a tarefa, ordem e forma dos itens, material
Preparação do examinador (conhecimento, aparência, comportamento e gravação).
Condições de aplicação: local e móveis
Atitude do examinador: estabelecer rapport
Rapport: assumir uma atitude motivadora e encorajadora, que faça o indivíduo se sentir à vontade.
Aplicação dos testes
Atitude do sujeito:
Experiências anteriores, familiarização
Interação durante a aplicação:
Atitudes e/ou características: examinador, situação, sujeito
Questões relevantes:
Motivação para o teste: 
motivação, incentivo e ansiedade
Influência da prática
Simulação ou mascaramento dos resultados: “cola” ou fraude
Avaliação dos resultados
Fase de atribuição de escores para os resultados obtidos.
Importante: precisão e velocidade
Tipos diferentes de avaliação: 
Escalas de desenvolvimento
Testes para avaliação cognitiva
Testes aplicados coletivamente
Técnicas para avaliação de personalidade
Obs.: tempo gasto no teste
Interpretação dos resultados
Atribuição de sentido às notas brutas (escores).
Comparação a partir de um critério para que os resultados sejam uniformes
Determinação da posição de um indivíduo no grupo de referência: normal, superior ou inferior
Possibilidade de comparação aos resultados de outros testes.
Sistema de normas: normas de idade, normas em percentis e similares, normas por notas-padrão.
Normatização
Normatização
Conjunto de valores típicos descritivos de desempenho:
Num determinado teste
De um determinado grupo específico
Representativos de uma determinada população
Pressupõe que um teste necessita ser contextualizado para poder ser interpretado
Normatização
As normas oferecem ao psicólogo o padrão, fazendo todos os profissionais contextualizarem os escores individuais utilizando o mesmo referencial.
O grupo cujo o desempenho é utilizado como referencial – amostra normativa
Normatização
Normatização - “diz respeito a padrões de como se deve interpretar um escore que o sujeito recebeu num teste” (PASQUALI, 2001, p. 143). 
Os escores brutos de um teste devem ser convertidos em medidas relativas, com 2 objetivos: 
indicar a posição relativa do indivíduo na amostra normativa, avaliando seu desempenho em relação a outras pessoas, 
oferecer medidas comparáveis que permitam comparação direta do desempenho do indivíduo em testes diferentes. 
	(PASQUALI, 2001; ANASTASI; URBINA, 2000)
Estabelecimento de normas
Resultado bruto não tem sentido isoladamente
Comparação com resultados de um grupo representativo
Medida relativa: informação da posição do indivíduo em relação à amostra de padronização
Resultados ponderados: normal, superior ou inferior
Sistema de normas
O critério de referência ou norma de interpretação é normalmente definido por 2 padrões: 
 
Normas de desenvolvimento 
Grupo padrão composto pela população típica para qual o teste foi construído- normas intragrupo. 
16
Normas de desenvolvimento
Normas de desenvolvimento - maturação psicomotora, psíquica, idade mental, série escolar.
Idade mental- QI=100x IM
 IC
QI é comparável em diferentes idades - comparam com grupos que ele pode não pertencer.
Não é utilizada na maioria dos testes para adultos.
Utilizadas principalmente nas escalas de desenvolvimento e testes cognitivos
Principalmente utilizada em testes destinados a crianças
Comparação dos resultados brutos da criança com os resultados brutos médios de crianças de diferentes idades.
Só é adequado na avaliação de funções que apresentam variabilidade de acordo com a idade cronológica.
Normas de desenvolvimento
Idade Mental e Q.I.
Fórmula: IM x 100 = Q.I. 
 IC
Só é adequado na avaliação de funções que apresentam variabilidade de acordo com a idade cronológica.
Não é indicado para adultos
Não se sabe a situação em relação ao grupo a que pertence.
Normas de desenvolvimento
	Q.I.	Classificação Diagnóstica
	> ou = 140	Inteligência muito superior
	120-140	Superior
	110-120	Média-superior
	90-110	Normal ou média
	80-90	Média-inferior 
	50-80	Limítrofe (deficiência leve)
	< ou = 40	Muito Inferior (deficiência)
Significações Diagnósticas do Q.I.
Normas educacionais -série escolar
Estágio do desenvolvimento- sensório motor, pré operacional, operacional concreto, operacional formal.
21
Normas de desenvolvimento
 Critério de referência dos resultados é a população ou o grupo para o qual o teste foi desenvolvido. Comparação com os demais sujeitos da população.
Percentil (que proporção o grupo está abaixo desta pessoa- percentil 50 –mediana)
Escore-padrão (compara o aluno com o grupo que ele faz parte)
22
Normas Intragrupo
Percentil
Exprimem a posição relativa do indivíduo na amostra de padronização.
Quanto mais alto o percentil melhor.
São convenientes para dar a posição do indivíduo no grupo e comparar diferentes testes realizados pelo mesmo sujeito.
Universalidade para interpretação e comparação dos resultados.
Pode ser usados tanto em crianças como em adultos.
Percentil
Os escores de percentil indicam o quanto por cento de pessoas da amostra apresenta resultados inferiores ao considerado. 
Um percentil indica, portanto, “a posição relativa do indivíduo na amostra de padronização.Percentil
Alcançou em um teste de aptidão mecânica o percentil 85 (P = 85)  ela ocupa uma posição no grupo que deixa abaixo de si 85% dos componentes da amostra que serviu de norma para o teste (o que significa que 15% dos componentes da mesma amostra alcançaram resultados superiores ao dela).
Um percentil 22 está colocado em tal ponto da amostra que deixa abaixo de si 22% dos seus componentes (portanto, 78% dos componentes da amostra alcançaram resultados superiores ao do indivíduo). 
Percentil
Existem tabelas de classificação dos percentis que facilitam o entendimento do resultado alcançado por um determinado indivíduo, já que procuram dar um valor qualitativo a esse resultado.
Normalmente os percentis são agrupados em faixas, caracterizadas como, por exemplo, resultado médio, médio-superior, superior à média, muito inferior à média, etc. 
Percentil
As tabelas mais utilizadas classificam os percentis em cinco classes, ou em sete classes ou em nove classes. 
Quando se trata de escalas de personalidade, os percentis encontrados devem ser comparados com a escala “Z” (curva normal) para que se possam interpretar os resultados em termos de resultado normal, resultado fronteiriço/limítrofe ou resultado patológico.
Escore
Contagem direta ou medida direta do desempenho.
Ex: nº de perguntas que a pessoa respondeu, o tempo que precisou, soma das resposta certas mais o bônus por um trabalho rápido, menos as penalidades por erros.
Escore bruto x Escore ponderado.
As diferenças nos escores brutos normalmente não representam distâncias verdadeira entre os indivíduos.
Ex: comparar a irmã em outra série que fez provas mais fáceis e obteve altos escores. 
Escore padrão/ Escore Z
Revela a distância do sujeito em relação à média, em termos do desvio padrão da distribuição.
Z= desempenho do paciente-média da população
 desvio padrão da população
 Desempenho médio está entre -2 e +2 desvios padrão.
29
Escore padrão/ Escore Z
Nessa curva temos uma faixa onde é considerado desempenho médio da amostra de normatização de um teste e os limites de variação no resultado encontrados na população normativa.
Estes limites fornecem parâmetros para julgar se um resultado obtido pelo sujeito está dentro do esperado ou não. 
30
31
32
Validade e Precisão 
Validade e Precisão
Elementos indispensáveis para garantir a confiabilidade dos resultados das aplicações.
Embora a importância da presença de estudos sobre a validade e precisão de instrumentos não seja novidade na história da Psicometria, é possível observar muitos testes que se abstém deste tipo de verificação.
Para um teste ser confiável e recomendável deve apresentar os estudos de verificação de suas qualidades.
Validade
Você está medindo o que pensa que está medindo?
Ênfase no que está sendo mensurado.
É necessária a fim de verificar se o teste está medindo realmente o traço psicológico ou aptidão que se deseja.
Em que grau o teste mede aquilo que se propõe medir.
Importância da medida: o teste não mede diretamente o comportamento, mas uma amostra dele
Critérios:
Amostra bem escolhida
Amostra representativa
Validade
A validade tem sido entendida como a verificação do que o teste avalia e se ele realmente mede aquilo que se propõe. 
					(Pasquali, 2001)
Validade
Orientada pelo:
 critério;
 conteúdo e 
validade do constructo.
Validade de Conteúdo
Exame sistemático do conteúdo do teste para determinar se os itens cobrem uma amostra representativa do universo do comportamento a ser medido e para determinar se a escolha dos itens é apropriada e relevante.
Não é determinada estatisticamente.
Ex. Questões de prova
Resulta do julgamento de diferentes juízes ou pessoas de reconhecido saber na área da atitude ou traço que está sendo medido.
Validade de Conteúdo
Juízes analisam a representatividade dos itens em relação aos conceitos e à relevância dos objetivos a medir.
Devem julgar e/ou identificar comportamentos relevantes e, também, identificar se as áreas do conteúdo em questão foram representativamente amostradas.
Validade de Conteúdo
Ex: Universo do comportamento assertivo é muito amplo.
Teste de assertividade- conteúdo válido
Contenha itens representativos de situações hipotéticas em casa (se o respondente tem dificuldades em expressar opiniões para membros da família); no trabalho (dificuldades em pedir aos subordinados façam o que é exigido); situações sociais (devolver um bife diferente do pedido de um restaurante fino)
- 
Validade relacionada ao critério
Critério – os itens do teste conseguem fazer previsão de uma variável externa ao teste futuro ou no presente?
Qualidade da escala ou teste de funcionar como um preditor presente ou futuro de outra variável, operacionalmente independente, chamada critério.
Resultado comparado a um comportamento futuro.
Ex teste vocacional - aptidões necessárias para exercer profissão.
Validade relacionada ao critério
Ex: - desempenho acadêmico poderia ser utilizado como preditor do desempenho profissional.
teste de inteligência poderia funcionar como preditor do desempenho acadêmico.
Pode ser um escore do teste, um comportamento específico, uma quantidade de tempo, classificação diagnóstica, seja qual for o critério o ideal é que ele seja relevante e válido.
 
Validade relacionada ao critério
Um questionário para avaliar pessoas com distúrbios psiquiátrico poderia ser validado se os resultados fossem comparados com o diagnóstico feito com base em entrevistas clínicas.
Dois tipos de validade relacionada a critério definem-se a validade concorrente e validade preditiva.
 
Validade Concorrente x Validade Preditiva 
O elemento tempo é a principal diferença entre a validade concorrente e preditiva.
Concorrente/Simultânea
Relaciona o desempenho do sujeito ao tempo que a escala está sendo aplicada.
Trata da qualidade com que a escala pode descrever um critério presente.
Resultado é comparado a um comportamento presente (outro teste ou amostra conhecida).
 
Validade Concorrente x Validade Preditiva 
Preditiva
Previsões para o comportamento futuro (resultado comparado a um comportamento futuro).
Trata da qualidade com que a escala pode predizer um critério futuro.
Ex: um teste de depressão poderia ser validado se os escores altos no testes forem confirmados por diagnósticos clínicos a posteriori.
Resultado é comparado a um comportamento presente (outro teste ou amostra conhecida).
 - Contratar funcionários rápidos na linha de produção – usar um teste de destreza manual.
 
Validade relacionada ao constructo
Constructo - ideia informada, científica, desenvolvida ou hipotetizada para descrever ou explicar comportamentos.
Ex: Inteligência – constructo para descrever porque um estudante tem um desempenho melhor 	na escola.
Grau pelo qual um teste mede o constructo teórico ou traço para o qual ele foi designado para medir.
Quanto os itens do teste realmente medem uma determinada característica?- conceito atual de Validade
Validade relacionada ao constructo
Ansiedade - descrever porque o paciente psiquiátrico anda de um lado para o outro.
Satisfação no trabalho, fanatismo, motivação, autoetima, depressão, criatividade.Constructos – traços observáveis, pressupostos, que um desenvolvedor de testes pode invocar para descrever comportamento no teste ou desempenho no critério.
Validade – conceitos contemporâneos
Evidências de validade baseadas no conteúdo.
Busca-se uma relação entre o conteúdo do teste (o que os itens abordam) e o domínio que se quer avaliar.
Teste depressão – sintomas centrais e outros sintomas – junção deles que vai configurar o transtorno.
Avaliar através de juízes –especialistas na área.
Validade – conceitos contemporâneos
Evidências de validade baseadas nas relações com outras variáveis.
Busca-se uma relação entre o conteúdo os escores do teste e outras variáveis medindo a mesma característica, caraterísticas relacionadas ou características diferentes.
Sexo, idade, desempenho acadêmico, critérios diagnósticos e também outros testes.
Ex. Avaliar inteligência – desempenho acadêmico – evidências que convergem
Avaliar inteligência –personalidade - evidências que divergem
Validade – conceitos contemporâneos
Evidências de validade baseadas na estrutura interna
Busca-se uma relação entre o teste e seus itens.
Uso de análises estatísticas é possível saber a contribuição de cada item no resultado total do teste.
Ex. BFP
Validade – conceitos contemporâneos
Evidências de validade baseadas no processo da resposta
Identificam os processos mentais presentes na execução das tarefas propostas no teste.
Padrões de respostas são comparados com o modelo teórico, e, quanto mais próximas, maior a confiança no modelo teórico base para a interpretação do que o teste avalia.
Validade – conceitos contemporâneos
Evidências de validade baseadas na consequências da testagem
Avalia as consequências sociais do uso do teste para verificar se as implicações de sua utilização coincidem com os resultados desejados pela sua criação.
Teste contribua de maneira benéfica em diversos contextos.
Precisão/ Fidedignidade
Referenciando vários nomes: precisão, fidedignidade e confiabilidade.
Se baseia na consistência e precisão dos resultados do processo de mensuração.
Consistência: confiança na permanência do resultado do teste.
Precisão/ Fidedignidade
Evidências de que os escores obtidos seriam consistentes se os testes fossem repetidos com os mesmo indivíduos ou grupos e que os resultados serão razoavelmente precisos.
Característica que o instrumento deve possuir de medir sem obter erros.
Estabilidade do teste.
Medir bem o que se propõe medir.
Precisão/ Fidedignidade
Investigar se as diferenças individuais ocorreram ao acaso ou são fruto de diferenças reais.
Métodos para obter fidedignidade das escalas e testes:
Método do teste-reteste
Método das formas alternadas
Método das metades
Coeficiente de consistência interna.
Método do teste-reteste
Uma escala ou teste é fidedigno se repetidas mensurações são obtidas em condições constantes e apresentam o mesmo resultados (correlações dos resultados).
Limitações: Não é conveniente para medir a fidedignidade de testes escolares (provas de conhecimentos) – tempo entre as medidas – estimativa enviezada.
Coeficiente mais próximo de 1 - maior precisão.
Método das formas alternadas
O indivíduo pode ser avaliado com duas ou mais formas do teste ( no mesmo dia ou em dias diferentes.
 Escalas com versões equivalentes são dadas ao mesmo indivíduo e os resultados são correlacionados.
Reduz as chances de treinamento ou fraude.
Método das metades
Separar o teste em duas partes e calcular a correlação entre elas.
Realiza em uma única aplicação e divisão do teste em 2 partes equivalentes (itens pares e impares).
Correlação dos resultados obtidos nas duas metades - se a correção for alta ➡️ há evidências de fidedignidade para o teste todo.
Coeficiente Alfa Cronbach
E a média de todos os coeficientes possíveis de duas metades do teste e indica o valor esperado da divisão aleatória do conjunto de itens do teste
Consistência interitens.
Os itens individuais ou indicadores devem estar medindo o mesmo constructo e então serem altamente correlacionados.
Correlação do item com a escala total.
Correlação do item com cada um dos outros itens.
Coeficiente Alfa
Os valores de alfa geralmente vão de 0 a 1.
Quanto mais próximo de 1, maior a fidedignidade 
	Coeficiente de correlação	
	Coeficiente	Significado
	> 0,90	Excelente
	0,89 a 0,80	Bom
	0,79 a 0,70	Aceitável 
	0,69 a 0,60	Questionável 
	0,59 a 0,50	Ruim 
	<0,50	Inaceitável 
George e Mallery, 2002
Fidedignidade do avaliador
Determinados tipos de testes - projetivos- podem estar mais sujeitos a avaliação subjetiva do avaliador.
Podem necessitar de evidências adicionais de fidedignidade para seus escores.
Correlacionar protocolos de respostas dados por avaliadores diferentes, verificar o grau de similaridade entre eles.
61
Teoria de Resposta ao Item (TRI)
Conjunto de modelos estatísticos que suprem lacunas dos coeficientes tradicionais (ex: temporal, conteúdos avaliados de formas distintas).
Avalia especificamente em que parte do traço latente o teste esta mensurando mais adequadamente os participantes e onde há mais erros de medidas. 
62