Psicometria estudos B2

Prévia do material em texto

FIDEDIGNIDADE
PRECISÃO-CONFIABILIDADE-CONSISTÊNCIA INTERNA-ESTABILIDADE
FIDEDIGNIDADE = “medir sem erros”
- toda mensuração está sujeita a erros de medida.
- a fidedignidade de um teste verifica o quanto o resultado obtido por um determinado sujeito em um teste se aproxima de seu verdadeiro desempenho.
- escore Z (erro padrão): quando uma medida se afasta da média em termos de desvio padrão.
- Pergunta: O quanto posso confiar nas informações obtidas seja de amostra, situações ou análise estatística?
- coeficiente de fidedignidade: se aproxima do 1 quanto maior for a precisão da medida (menos erro) e vice-versa.
- “[...] abaixo de 0,80 já é fraco e um 0,70 já é inaceitável. [...] 0,70 representa covariância de apenas 49% (=0,702) entre os resultados dos testes e um erro de 51%.” (p. 200).
- técnica utilizada: estabilidade, equivalência, consistência interna e constância.
- estabilidade dos escores do teste: quanto mais similares os escores, maior a fidedignidade
- estabilidade com que os escores do sujeito-testando conservam-se em aplicações alternativas de um mesmo testes ou em formas equivalentes de testes distintos.
- importância: replicação de estudos: instrumento deve ser o mais preciso possível para garantir condições necessárias para a adequadas replicação de resultados.
- fidedignidade diz respeito à calibração dos instrumentos. TCT
FONTES DE VARIÂNCIA DE ERROS:
1 estabilidade no tempo/temporal: constância dos resultados de um teste mesmo que realizado em momentos/ocasiões diferentes.
2 generalidade de amostragem dos itens: relação entre os resultados de um teste e a seleção de itens. 
3 homogeneidade dos itens: medição da mesma habilidade, função ou conhecimento.
TCT = “o coeficiente de fidedignidade é definido estatisticamente como a correlação entre os escores dos mesmos sujeitos em duas formas paralelas de um teste.” 
DELINEAMENTOS: procedimentos experimentais para se obter informações sobre a precisão dos testes.
Cada instrumento vai verificar qual delineamento é condizente. Na construção do instrumento já se pensa em como as evidencias de fidedignidade e validade serão obtidas.
1 Teste-reteste: consistência dos escores ao longo do tempo.
- mesmo teste
- mesma amostra de sujeitos
- duas ocasiões (aplicações em momento diferentes)
Obs: mais utilizado; quanto maior a correlação entre as duas aplicações, mais fidedigno será o teste.
2 Duas metades (Spearman-Brown): separar o teste em duas partes e calcular a correlação.
- teste dividido pela metade com a mesma dificuldade e discriminação. (itens com o mesmo conteúdo, mas de formas diferentes)
- mesma amostra de sujeitos (aplicar as duas metades aos sujeitos)
- única ocasião
Ex.: impar-par; 10primeiros-10últimos
Comum quando o instrumento é muito grande, ex. 170 itens divido em duas metades, fazendo-se aplicação abreviada. (versão com escala reduzida)
Obs: menos utilizado.
3 Formas paralelas: as aplicações ocorrem com conjuntos de itens distintos. Existência de duas formas equivalentes do mesmo teste. 
(equivalentes = mesmo n. de itens, formato, dificuldade ou atratividade, instruções e cobrir os mesmos domínios).
- dois testes que medem exatamente a mesma coisa (forma A, T1 e forma B, T2: itens diferentes, mas que perguntam a mesma coisa) (altera-se a forma de apresentação)
- mesma amostra
- única ocasião
Ex.: SAT nos EUA (banco de dados com itens)
Obs: dificilmente será encontrada na literatura brasileira, mais na literatura antiga, ex.: Taylor
Limitações (paralelas, duas metades) = teste grande gera efeito fadiga; difícil ter dois testes paralelos/compatíveis; sujeito pode responder algo numa segunda versão/metade algo que tenha aprendido, principalmente nos testes de desempenho (efeito de aprendizagem entre instrumentos: o espaçamento no tempo minimiza essa aprendizagem, ex.: WISC, distância de 6 meses, mas o quanto a criança já se desenvolveu? O que a literatura mostra como tempo ajustável? A diferença é em função do instrumento ou em função de variáveis outras?)
MODELOS DE ANÁLISES ESTATÍSTICAS 
- técnicas estatísticas para estimação do coeficiente de fidedignidade
- se, então, calcularmos a média de todos esses coeficientes, obteremos o coeficiente alfa.
- avaliar especificamente em que parte do traço latente o teste está mensurando mais adequadamente os participantes e onde há mais erros de medida. (TRI)
1 Correlação: relação entre dados coletados a partir dos delineamentos
Relação que existe entre dois dados/eventos obtidos por um dos três delineamentos.
Ex: teste-reteste: se existir 100% de correspondência entre as duas aplicações, o coeficiente de correlação será 1.
Coeficiente 0 significa inexistência de correlação.
OBS: não é correlação entre critérios!! Quando existir correlação entre desempenho/critérios, será validade.
2 Coeficientes alfa (α) (variância): reflete o grau de covariância dos itens entre si, indicando a consistência interna do próprio teste. Estatística.
Verificar a consistência interna do teste através da análise da consistência interna dos itens, verificando a congruência de cada item do teste com os restantes dos itens.
Quanto menor a variância do item, maior a precisão do teste.
Quanto menor a soma das variâncias dos itens, amis consistente, portanto, mais preciso o teste.
Quanto menos variabilidade um mesmo item produz numa amostra de sujeitos, menos erros ele provoca.
- Consistência interna: itens que compõem o teste que medem o mesmo construto?
- Cronbach
- Kunder-Richardson (KR-20, KR-21)
- Pearson-R
3 Precisão entre avaliadores ou interjuízes: similaridade entre correções.
Testes mais sujeitos à avaliação subjetiva do avaliador podem necessitar de evidências adicionais de fidedignidade para seus escores. Correlacionar os resultados dos protocolos de respostas dados a avaliadores diferentes e verificar o grau de similaridade entre eles.
FATORES QUE AFETAM A FIDEDIGNIDADE DE UM TESTE
Além das características dos próprios itens e do teste, fatores externos ao conteúdo do teste afetam a fidedignidade.
 
1 Variabilidade da amostra de sujeitos: número de avaliados
- correlação é afetada pelo tamanho da amostra, afeta drasticamente o índice de fidedignidade de um teste
- quanto maior é a variabilidade da amostra, maior será o coeficiente de correlação (= maior fidedignidade).
- o coeficiente de fidedignidade de um teste não é fixo, varia segundo aumenta ou diminui a variabilidade da amostra de sujeitos.
2 Comprimento do teste: número de itens.
- quanto maior o número de itens maior será a precisão do teste.
- afeta substancialmente o coeficiente de fidedignidade, deve ser corrigido pela fórmula de Spearman-Brown.
OBS: itens que vão sendo acrescentados ao teste devem ser itens paralelos aos já presentes no teste, ou seja, devem medir o mesmo traço latente. (óbvio!)
OBS: de forem eliminados itens de um teste, haverá queda do coeficiente de fidedignidade. Assim, raciocínio inverso, se quero um coeficiente mais aceitável, terei que acrescentar itens. Colocar na fórmula e verificar quantos itens devem ser acrescentados.
Fatores que afetam a Fidedignidade do Teste
1 fatores relativos ao teste
2 interdependência dos itens
3 objetividade da correção
4 dificuldade dos itens
5 homogeneidade do teste
6 defeitos técnicos na elaboração do teste
7 possibilidade de acerto casual
8 fatores relativos ao aplicador
9 fatores dispersivos durante o teste
10 fraude na realização do teste
VALIDADE
VALIDADE: grau em que um teste mede aquilo que se propõe a medir
(O item mede o comportamento/expressão do traço latente que se propõe?)
- correspondência/congruência entre traço latente e sua representação física (comportamento).
- um teste é válido quando os itens medem os comportamentos (expressão do traço latente) que se propõe a medir/mensurar.
- verificar se realmente mediu aquilo a que se propôs. 
- verificar se a medida é congruente com a propriedade do objeto que se pretendeu examinar
- “evidênciasde validade” = “o grau no qual as interpretações obtidas dos dados empíricos do teste encontram sustentação em base científica sólida.” 
- verificar a hipótese da legitimidade da representação do comportamento dos traços latentes: como legitimar ou justificar a pertinência da medida do comportamento humano?
- objetivo principal: verificar se cada item que compõe o teste é adequado para medir as características do que se quer avaliar. 
EVIDÊNCIAS DE VALIDADE: modelo trinitário para demonstração da validade dos instrumentos
1 Conteúdo: teste constitui amostra representativa de comportamentos (domínio, expressão do traço latente em questão), ou seja, se os itens do teste se constituem em uma amostra representativa do universo de itens do construto. 
(Os itens do teste representam adequadamente a característica que se quer avaliar?)
- necessário definir o conteúdo, os objetivos alvos da avaliação e a proporção de representação de cada tema no teste antes de construí-lo. Pode-se dizer que a validade de conteúdo está praticamente garantida a partir da sua construção.
(a) análise semântica: significado do item para os testando
(b) análise de juízes: significado do item para especialistas, realizando adequação do conteúdo semântico dos itens ao construto teórico que o teste quer medir.
2 Critério: investiga o grau de eficácia para predizer um desempenho específico de um sujeito.
(Os itens do teste conseguem fazer uma previsão de uma variável externa ao teste no futuro ou no presente?)
- quanto o teste pode predizer o desempenho específico do sujeito em tarefas especificadas. 
- o desempenho nessa tarefa especificada torna-se o critério por meio do qual a validade do teste será avaliada. 
- o critério deve ser relevante, válido e não contaminado. 
- medido/avaliado por meio de técnicas independentes ao teste que se quer avaliar.
- coleta da informação pelo teste a ser validado e a coleta da informação sobre o critério
(a) validade preditiva: coleta posterior
Os escores são obtidos antes que a medida do critério.
Os dados sobre o critério são coletados após a coleta da informação sobre o teste.
(b) validade concorrente: coletas simultâneas.
Ocorre quase no mesmo momento. 
As duas medidas (o teste e o critério) são obtidas quase simultaneamente (uma logo após a outra).
OBS: O fato de a informação ser obtida simultaneamente ou posteriormente a do próprio teste não é tecnicamente relevante; relevante é a determinação do critério avaliado:
- definir critério adequado
- medira, válida e independentemente do próprio testes, este critério
Ex. de critérios: desempenho acadêmico: notas dadas pelos professores; média acadêmica geral; honrarias acadêmicas. desempenho em treinamento. desempenho profissional. outros testes disponíveis (validade concorrente).
- grupos-critérios 
3 Construto: extensão em que mede um construto teórico ou um traço.
(traço: personalidade, ansiedade, auto eficácia etc.) 
(Quanto os itens do teste realmente medem uma determinada característica?)
- verifica se as hipóteses formuladas a respeito do construto são verdadeiras ou não. 
Técnicas de validação:
- analise fatorial: adequação entre os itens: exploratória ou confirmatória 
- analise da consistência interna: 
Técnicas de demonstração da adequação da representação do construto pelo teste:
(a) análise fatorial (cálculo do α): adequação dos itens
Verificar quantos construtos comuns são necessários para explicar as covariâncias dos itens.
Explica a correlação entre os itens a partir dos construtos/traços latentes.
A variável é uma boa representação comportamental do traço latente?
Será utilizada como teste de hipótese.
- exploratória
- confirmatória
(b) análise de consistência interna: calcular correlação entre itens
Correlação que existe entre cada item do teste e o restante dos itens ou total (escore total) dos itens.
Importante quando o número de itens do teste for pequeno. Quando for maior, a influência de cada item em particular no escore total vai se tornando menos relevante. Grande n ≥30.
Ex.: em um teste com 100 itens, cada item afeta o escore total em apenas 1%, não faz diferença relevante.
(c) análise por hipótese: capacidade de o teste diferenciar/discriminar critério externo a ele mesmo.
- convergente-discriminante:
O teste deve correlacionar-se significativamente com outras variáveis com as quais, em teoria, o construto medido pelo teste deveria estar relacionado (validade convergente).
O teste não se correlacionar com variáveis com as quais ele teoricamente deveria se diferir (validade discriminante)
- idade: utilizada como critério para validação do construto de um teste quando mede traços intrinsecamente dependentes de mudanças no desenvolvimento cognitivo/afetivo dos indivíduos. (ex.: Piaget).
Ex.: o teste que mede o traço X, o qual muda com a idade, é capaz de discriminar distintamente grupos de diferentes idades.
- correlação com outros testes: correlação com outros testes que medem os mesmos traços.
Se um teste X mede validamente um traço Z e o novo teste N se correlaciona altamente com o teste X, então o novo teste mede o mesmo traço.
- intervenção experimental: verificar se o teste discrimina claramente grupos-critérios “produzidos” experimentalmente em termos do traço medido pelo teste.
Uma das melhores técnicas.
Dificuldade: não existe uma definição inequívoca do critério a ser utilizado como representante da manifestação do traço.
Ex.: um teste que mede ansiedade teria validade de construto (ansiedade) se discriminasse grupo não ansioso de grupo ansioso, definidos estes grupos em termos de manipulações experimentais
Tipos de validade
1 convergente: correlação do seu escore com o escore de outros instrumentos de medida do mesmo construto.
2 discriminante: um instrumento tem de correlacionar-se fracamente com as variáveis (correlação não significativas entre os construtos)
3 preditiva: consiste no teste empírico de quanto à medida de um teste prediz o desempenho concreto do sujeito nas situações adaptativas pertinentes.
4 concorrente: correlação entre a variável dependente e a variável independente
NORMATIZAÇÃO E PADRONIZAÇÃO
= Necessidade de existir uniformidade em todos os procedimentos no uso de um teste válido e preciso.
Padronização: uniformidade das condições de aplicação do teste
Normatização: uniformidade na correção/interpretação dos resultados/escores do teste.
- necessidade de manter a uniformização de todos os procedimentos no uso dos testes psicológicos. 
- encontrará os dois termos como equivalentes, embora não estejamos falando da mesma coisa. 
- condições fundamentais para a aplicação de testes psicológicos, direitos dos sujeitos que se submetem a eles e as normas a respeito de como se deve interpretar os escores resultantes de uma aplicação de teste. 
PADRONIZAÇÃO: atentar para coleta de dados.
Garantir que a coleta dos dados sobre sujeitos seja de boa qualidade.
Garantir o uso adequado e legítimo dos testes psicológicos.
Padronizar as condições de testagem significa garantir a eficácia de seus resultados. 
Má aplicação torna dados inválidos. OBS: não invalida a qualidade psicométrica do teste, mas torna o protocolo do sujeito inválido (dados obtidos não são confiáveis).
Requisitos:
1 Qualidade do material 
(a) qualidade do teste: teste válido e preciso
(b) pertinência do teste: teste válido, preciso e relevante.
- ter relevância ao problema apresentado pelo sujeito testando.
Não existem testes para todas as necessidades que os sujeitos possam apresentar.
- teste deve se adaptar ao nível intelectual/profissional/etc. do candidato
Ex.: testes do tipo verbal não são pertinentes na testagem de analfabetos ou crianças.
2 Ambiente de testagem
O treino profissional é fundamental ao uso de instrumentos. 
Padronização dos testes implica em regras para suas aplicações: 
(a) seguir os procedimentos de aplicação (p. 229-230)
Seguir à risca as instruções e recomendações dadas pelo manual doteste
- qualidade do ambiente físico: por o testando em condições ótimas de ação, de modo que o meio ambiente não produza distratores. 
- qualidade do ambiente psicológico: reduzir ao mínimo ansiedade do testando.
(b) controlar os vieses do aplicador/examinador
- modo de ser e atuar podem afetar os resultados dos testes. 
Situação de testagem é uma relação social.
O psicólogo deve estar consciente da possível influência de tais fatores e procurar minimizá-los. (p. 231)
- deve ter desenvolvido habilidades necessárias
- autoconhecimento
- requisitos: conhecimento profundo do material utilizado; aparência adequada; comportamento durante a testagem (conduzir a testagem sem fazer interferências e interrupções desnecessárias; vocabulário adequado aos testandos; transmitir seriedade/segurança/confiança; atencioso; movimentar-se discretamente). (p. 232)
(c) atender aos direitos dos testando
Atuação do psicólogo na testagem é considerada uma atividade pericial.
- TCLE. Exceções: testagem por determinação legal (pericial) ou governamental (testagem nacional); testagem como parte de atividades escolares regulares; seleção. 
- Explicações sobre os resultados que serão produzidos e recomendações
- Conhecer escore e interpretação
(d) respeitar as normas na divulgação dos resultados. 
Normas de sigilo profissional.
- testando tem direito a toda e qualquer informação que desejar.
- solicitante tem direito apenas às informações estritamente necessárias à resposta da solicitação.
Segurança dos resultados
- arquivos seguros
- identidades codificadas
CEP/2005
NORMATIZAÇÃO
Padrões de como se deve interpretar um escore que o sujeito recebeu num teste.
Escore bruto necessita ser contextualizado para ser interpretado.
Relacionar o escore a um padrão ou norma para adquirir/atribuir sentido/significado.
Critério de referência ou Norma de interpretação: três padrões
1 Norma de desenvolvimento: o desenvolvimento humano é progressivo ao longo da vida.
- maturação psíquica, motora e de outros sistemas é o que fundamenta as normas de desenvolvimento.
Critério de norma: 
(a) idade mental (desempenho médio de sujeitos das variadas idades) ex.: QI
(b) série escolar ou escolaridade (semelhança entre currículos escolares e progressão contínua por meio deles)
(c) estágio de desenvolvimento (fases sucessivas do desenvolvimento como critério para a interpretação dos resultados.) ex.: Gesell; Piaget
2 Norma intragrupo
- amostra representativa: utiliza como parâmetro o grupo para o qual o teste foi construído. 
É importante que a amostra normativa seja representativa da população para a qual o teste foi construído. 
O resultado do sujeito só tem sentido se comparado com uma amostra representativa desta população. 
Amostra representativa: grupo cujo desempenho é utilizado como referencial.
(amostra normativa é representativa da população)
As normas fornecem um padrão de comparação para a interpretação dos escores individuais, utilizando como base os escores de uma amostra representativa da população (amostra normativa). 
- distribuição normativa como referência.
Pode ser referenciado em:
(a) escore P (posto percentílico: posição): indica a posição que o desempenho no teste coloca o sujeito quando comparado ao desempenho da amostra normativa com desempenho menor ou igual ao dele. 
Ex.: o posto percentil 50 indica que o sujeito situa-se na mediana dos escores da amostra
OBS: escores percentis estão dentro de uma escala ordinal que não considera a distância inconstante de escores sucessivos, ou seja, não considera que os intervalos entre os percentis medianos são menores do que os extremos da escala. Assim, diferenças iguais entre percentis não significam diferenças iguais em termos de escores brutos. Ex.: 90º-95º e 60º-65º
OBS: pego o escore bruto e identifico qual é o posto percentil. Ex.: escore bruto 6, pp 72 = 72% dos sujeitos receberam escore menor do que 6 e 28% escore maior do que 6.
Ogiva de percentis (p. 244): percentis (eixo y) ---- Escores (eixo x)
(percentagem acumulada = percentil)
(b) escore Z (desvio padrão): expressar o sentido do escore do sujeito em relação aos escores da amostra normativa.
Ex.: escore bruto 6 tem escore z 0,20, assim, está 0,20 desvios padrões acima da média.
Nem sempre desejamos comparar o escore de um sujeito com relação ao um grupo normativo e, assim, as normas referentes a grupo não respondem nossa expectativa de análise do desempenho do sujeito. Assim, quando desejamos decidir se alguém atingiu ou não certo nível de habilidade, de aprendizagem ou de traço de personalidade, utilizamos a norma referente a critério. (Importante!!!)
3 Norma de critério externo
- interessada saber se testandos atingiram um critério preestabelecido de desempenho.
- variabilidade ou gama de habilidades
- quando desejamos decidir se alguém atingiu ou não certo nível de habilidade, de aprendizagem ou de traço de personalidade, utilizamos a norma referente a critério.
(nível de aprendizagem, apresentou domínio de 80% do conteúdo; traços de personalidade, se atingiu ou não o ponto limítrofe de normalidade-anormalidade)
- diferenciar o mais forte do mais fraco em uma habilidade específica ou o nível de habilidade adquirido por um determinado sujeito. 
TRI: normatização: nível de teta: define a probabilidade de um determinado sujeito acertar um item específico.