validade+e+fidedignidade

Prévia do material em texto

Validade
DEFINIÇÃO CLÁSSICA ( O teste mede aquilo a que ele se propõe?
DEFNIÇÃO ATUAL ( o grau em que todas as evidências acumuladas corroboram a interpretação pretendida dos escores de um teste para os fins propostos. 
A validade é uma questão de julgamento que diz respeito aos escores dos testes, como são empregados para um determinado objetivo em um dado contexto.
Todos os procedimentos para determinar validade tratam das relações entre o valor obtido no teste ou escala e outros fatores (critérios) observáveis, independentes, sobre as características do comportamento em consideração.
Na literatura, existem discrepâncias com relação à nomes e conceitos de validade
A) Validade Relacionada a conteúdo: Exame sistemático do conteúdo do teste para determinar se os itens cobrem uma amostra representativa do universo do comportamento a ser medido e para determinar se a escolha dos itens é apropriada e relevante
Validade de conteúdo: é feita a partir do julgamento de diferentes juízes ou pessoas de reconhecido saber na área. Analisam a representatividade dos itens em relação aos conceitos e a relevância dos objetivos a medir
Validade de face (também denominada validade aparente): diz respeito à linguagem, a forma com que o conteúdo está sendo apresentado. Ex: um teste planejado para crianças e depois utilizado em adultos não terá validade de face. É avaliada por juízes e especialistas
B) Validade relacionada a critério: aborda a qualidade da escala ou teste de funcionar como um preditor presente ou futuro de outra variável, operacionalmente independente, chamada critério. 
Ex: a) teste de inteligência como preditor do desempenho escolar
b) questionário para avaliar transtornos psiquiátricos poderia ser validada se os resultados fossem comparados com o diagnóstico feito com base em entrevistas clínicas
Validade concorrente: a obtenção dos escores do teste e do critério são simultâneas. Trata da qualidade com que a escala pode descrever um critério presente
Validade preditiva: fará previsões (futuro). Trata da qualidade com que um teste pode predizer um critério futuro. Ex: teste de depressão poderá ser validado se os escores altos no teste forem confirmados por diagnósticos clínicos a posteriori. 
C) Validade relacionada a construto: grau pelo qual um teste mede o construto teórico ou traço para o qual ele foi designado para medir. A validade é teórica, ou seja, é a relação entre o teste e algum construto teórico de interesse.
Requer acumulação gradual de informações a partir de várias fontes
Validade Convergente: verifica se a medida em questão está substancialmente relacionada a outras formas de medida já existentes do mesmo construto. Alta correlação entre um novo teste e um teste similar já existente é considerado como evidência de que o novo teste mede (aproximadamente) o mesmo traço (construto) que o antigo teste (já validado) estava designado para medir
Validade discriminante: verifica se a medida em questão não está relacionada indevidamente com indicadores de construto distintos (ou seja, com as variáveis das quais o teste deveria diferir)
Validade fatorial: desenvolvida para identificar traços psicológicos comuns em uma bateria de testes. O principal objetivo da análise fatorial é reduzir o número de dimensões necessárias para se descrever dados derivados de um grande número de medidas
Os itens precisam ser unidimensionais ( representam um único conceito e que são correlacionados uns com os outros
Análise Fatorial ( determinação do número de fatores (construtos latentes – aquilo que o teste avalia) e os pesos (cargas fatoriais) de cada variável ou item sobre o fator. Os itens também devem apresentar alta correlação com o total da escala.
Fidedignidade (confiabilidade)
Qualidade dos escores do teste. Ele mede bem, com acurácia, aquilo a que se propõe? Estão relativamente livres de erros de mensuração?
A qualidade da fidedignidade não pertence ao teste e sim aos escores deles obtidos.
Não é absoluta nem imutável. Por isso, as possíveis fontes de erro na mensuração e o grau em que estas influenciam qualquer uso específico de um teste devem ser levados em consideração, estimados e relatados sempre que escores de testes forem empregados
Tabela. Fontes de erro de mensuração com os coeficientes de fidedignidade típicos usados para estimá-las
	Fonte de erro
	Tipo de teste propenso a cada fonte de erro
	Medidas apropriadas para estimar erros
	Diferenças entre avaliadores
	Testes avaliados com algum grau de subjetividade
	Fidedignidade do avaliador
	Erro de amostragem de tempo
	Testes de traços ou comportamentos relativamente estáveis
	Fidedignidade teste-reteste ou coeficiente de estabilidade
	Erro de amostragem de conteúdo
	Testes para os quais a consistência de resultados é desejada como um todo
	Fidedignidade de forma alternativa (ou formas paralelas) ou fidedignidade pelo método das metades
	Inconsistência ente os itens
	Testes que requerem consistência entre os itens
	Fidedignidade pelo método das metades, ou medidas de consistência interna (Kuder-Richardson ou alfa)
	Inconsistência entre os itens e heterogeneidade de conteúdo combinadas
	Testes que requerem consistência e homogeneidade entre os itens
	Medidas de consistência interna e evidências adicionais de homogeneidade
	Erros de amostragem de tempo e conteúdos combinados
	Testes que requerem estabilidade e consistência dos resultados como um todo
	Fidedignidade de forma alternativa (ou formas paralelas) com intervalo
A) Diferenças entre avaliadores ( erros que podem influenciar escores sempre que o elemento da subjetividade desempenha um papel na avaliação de um teste (juízes diferentes – julgamentos diferentes).
	Fidedignidade do avaliador ( fazer com que dois indivíduos diferentes avaliem o mesmo conjunto de dados
B) Erro de amostragem de tempo ( qualquer constructo ou comportamento avaliado é passível de flutuações com o tempo, alguns mais, outros menos.
Fidedignidade de teste-reteste: repetidas medidas são obtidas em condições constantes e dão o mesmo resultado, supondo nenhuma mudança nas características básicas (medidas são feitas pelo mesmo observador).
É uma medida de estabilidade no tempo. Limitações: escolher um intervalo de tempo grande o suficiente para minimizar os efeitos da memória e pequeno o suficiente para minimizar os efeitos de eventos intervenientes
C) Erro de amostragem de conteúdo ( erros relacionados ao conteúdo
Fidedignidade de forma alternativa (ou formas paralelas) ( versões supostamente equivalentes da escala são dadas aos mesmos indivíduos e os resultados correlacionados. Limitação: supor que não existe diferença entre as duas formas paralelas
Fidedignidade pelo método das metades ( uma única forma do teste ou escala foi aplicada em uma única sessão. O conjunto de itens do teste é dividido em duas metades e os escores para as duas metades são correlacionados. Ex: selecionar pares e ímpares para a divisão
Se a correlação for alta, significa que o teste é fidedigno no sentido de consistência em relação à amostragem do conteúdo. 
D) Inconsistência entre itens ( os erros resultam de flutuações nos itens ao longo do teste – do ponto de vista estatístico, elas se manifestam em baixas correlações entre os itens
E) Heterogeneidade de conteúdo ( inclusão de itens que exploram o conhecimento de conteúdos ou funções psicológicas que diferem daquelas exploradas por outros itens do mesmo teste
Medidas de consistência interna ( o instrumento é administrado em uma única vez, em uma única forma. 
Lógica: os itens individuais da escala deveriam todos medir o mesmo construto e então serem altamente correlacionados entre si e com o escore total.
Coeficiente alfa de cronbach: varia de 0 a 1. Resultados aceitáveis: a partir de 0,70. Quanto mais próximo de 1 for o resultado, melhor é a fidedignidade.Quanto maior o número de itens, maior deve ser a fidedignidade. Por isso, em escalas longas, o psicólogo deve ser mais exigente com os valores do alfa
F) Erros de amostragem de tempo e conteúdo combinados ( para testes que requerem ao mesmo tempo estabilidade e consistência de resultados.
Fidedignidade de forma alternativa (ou paralela) com intervalo ( podem ser calculadas quando duas ou mais formas paralelas do mesmo teste são administradas em duas ocasiões diferentes, separados por um certo intervalo de tempo, a um ou mais grupos de indivíduos.
Sensibilidade e Especificidade
Verificação da qualidade de um teste diagnóstico ( é feita a partir da comparação do desempenho do teste em dois grupos: um com a doença e outro sem a doença.
A classificação dos indivíduos em doentes e não doentes é feita a partir de outro teste, normalmente já consagrado como válido, chamado de padrão-ouro.
	
	Doença
	Teste
	Presente
	Ausente
	Positivo
	a
	B
	negativo
	c
	d
O resultado do teste pode ser classificado como positivo ou negativo
A doença pode ser caracterizada como presente ou ausente
Quando o padrão-ouro é válido, o resultado pode estar:
CORRETO = verdadeiro positivo 
 Verdadeiro-negativo
INCORRETO = falso-positivo			
 Falso-negativo
A qualidade do teste diagnóstico pode ser medida pelas taxas de verdadeiro-positivo entre os doentes e verdadeiro-negativo entre os não doentes ( SENSIBILIDADE E ESPECIFICIDADE
Sensibilidade ( capacidade de produzir resultados positivos em indivíduos com a doença em questão (taxa de verdadeiro-positivo)
Especificidade ( capacidade do teste produzir um resultado negativo em indivíduos sem a doença em questão (taxa de verdadeiro-negativo)