Baixe o app para aproveitar ainda mais
Prévia do material em texto
PSICOMETRIA RESUMO NP2 - 2019 MÓDULO 5 – FIDEDIGNIDADE Este módulo salientará a Fidedignidade dos testes que pode ser referenciado por diferentes nomes. Ao longo de seus estudos, vocês encontrarão textos que utilizarão as palavras confiabilidade e precisão, além de fidedignidade e, alguns outros, que se referem à técnica utilizada, como, estabilidade, equivalência, consistência interna e constância. No entanto, fidedignidade significa “medir sem erros”, ou seja, significa que os resultados de um teste fidedigno, ainda que utilizado para medir os mesmos sujeitos em momentos diferentes deve ter resultados idênticos. Todavia, considerando que o erro está sempre presente, a análise da precisão de um instrumento mostra somente o quanto este teste se afasta do ideal e não o ideal propriamente dito. A fidedignidade sob este ponto de vista fornece estimativas que auxiliam o clínico a avaliar o risco de erro que está relacionado ao teste. Segundo Bunchaft (2002), toda mensuração está sujeita a erros de medida, de tal forma que se pode entender que o “Escore observado = Escore verdadeiro + Escore de erro”. Entende-se então que a fidedignidade de um teste verifica o quanto o resultado obtido por um determinado sujeito em um teste se aproxima de seu verdadeiro desempenho. Para compreender melhor o que isto significa leia, PASQUALI, L., Psicometria – Teoria dos testes na psicologia e na educação. Petrópolis. Vozes. 2004. p192- 225. E complemente seus estudos lendo BUNCHAFT, G.; CAVAS, CST, Sob Medida: Um guia sobre elaboração de medidas do comportamento e suas aplicações. São Paulo. Vetor Editora; 2002. p51-68. Como forma de exercitar e avaliar sua compreensão sobre este tema encontrará questões como a que segue: "Segundo Pasquali, para estimar a fidedignidade de um teste há três tipos de procedimentos para coletas de dados, quais sejam: I). Uma amostra de sujeitos, um mesmo teste e uma única ocasião II). Uma amostra de sujeitos, dois testes e uma ocasião III). Uma amostra de sujeito, um mesmo teste em duas ocasiões IV). Duas amostras de sujeitos, dois testes em três ocasiões V). Duas amostras de sujeitos, dois testes e uma ocasião Assinale a alternativa que estiver INCORRETA: a) I para a técnica do coeficiente Alfa b) II para a técnica do coeficiente Beta c) I para a técnica Duas metades d) III para a técnica Teste-Reteste e) II para a técnica Formas paralelas. A alternativa correta é a (B)." As fontes de variância de erros são três: estabilidade no tempo, generalidade de amostragem dos itens e homogeneidade dos itens (Bunchaft, 2002). A estabilidade temporal refere-se à constância dos resultados de um teste mesmo que realizado em momentos, ocasiões, diferentes. O quanto estes resultados são influenciados por variações diárias e casuais. A generalidade de amostragem dos itens refere-se à relação entre os resultados de um teste e a seleção de itens, bem como, a homogeneidade dos itens à medição da mesma habilidade, função ou conhecimento. Na Teoria Clássica dos Testes (TCT) “o coeficiente de fidedignidade é definido estatisticamente como a correlação entre os escores dos mesmos sujeitos em duas formas paralelas de um teste.” (Pasquali, 2009, p.193) Segundo Pasquali (2009) há três tipos de procedimentos experimentais para se obter informações sobre a precisão dos testes e dois modelos de análises estatísticas. Os procedimentos são: (a) teste e reteste; (b) formas paralelas, e (c) duas metades e as análises estatísticas, a correlação e a variância. Neste módulo você também poderá avaliar seus estudos resolvendo questões como a seguinte: "São métodos para o cálculo do Coeficiente de fidedignidade: a) Formas paralelas, teste-reteste, TRI, correlação linear de Pearson, método das duas metades. b) Teste-reteste, formas paralelas, método das duas metades, correlação linear de Pearson c) Teste-reteste, correlação linear de Pearson, método das metades, validade de conteúdo, índice de facilidade. d) Teste-reteste, método das metades, erro padrão de medida, validade de conteúdo. e) Método das metades, erro padrão de medida, índice de facilidade, correlação linear de Pearson. A alternativa correta para esta questão é a alternativa (B). A alternativa (A) Teoria de Resposta do Item, como o próprio nome diz, é um olhar teórico da psicometria e não um coeficiente. Da mesma forma os itens (C) e (E) também contém esta alternativa, contudo não é um coeficiente. Além disto a alternativa (C) conta ainda com um índice de validade e não de fidedignidade. As afirmativas (D) e (E) salientam o erro padrão de medida, que também não é um coeficiente de fidedignidade. Por isto, as alternativas (A), (C), (D) e (E) estão incorretas. A correlação expressa o nível de relação que existe entre dois dados que foram obtidos por um dos três procedimentos citados. Quanto aos coeficientes alfa (variância) eles verificam a consistência interna do teste aplicado uma única vez em uma amostra de sujeitos. Em outras palavras, a análise da variância verifica se os itens de um determinado instrumento são congruentes. Existem alguns fatores que contrafazem a fidedignidade de um teste, quais sejam, a variabilidade da amostra e o comprimento do teste. Na Teoria Clássica dos Testes (TCT) a correlação é influenciada pelo tamanho da amostra. Assim, aumentando a variabilidade aumenta também o índice de fidedignidade. Quanto ao comprimento do teste, quanto maior o número de itens maior será a precisão. Neste módulo você encontrará ainda questões que salientam o que Bunchaft (2002) denominou “Fatores que afetam a Fidedignidade do Teste”, ou seja, os fatores relativos ao teste, a interdependência dos Itens, objetividade da correção, dificuldade dos itens, homogeneidade do teste, como dito no início, Defeitos Técnicos na Elaboração do Teste, possibilidade de acerto casual, fatores relativos ao aplicador, fatores dispersivos durante o teste, e fraude na realização do mesmo. A questão abaixo ilustra alguns dos exercícios que fazem parte deste módulo. 'Segundo Guenia em “Sob medida: Um guia sobre elaboração de medidas do comportamento e suas aplicações” a definição de fidedignidade é: a) A fidedignidade ou precisão de um teste refere-se à consistência de resultados obtidos pelos mesmos sujeitos em diferentes ocasiões ou com diferentes conjuntos de itens equivalentes. b) Fidedignidade consiste na constância de resultados de um teste em diferentes ocasiões e nas diferentes formas de aplicação. c) Fidedignidade é quando observamos a concordância de resultados obtidas por métodos muito diferentes em um mesmo grupo. d) Fidedignidade é verificar se os itens são inteligíveis para o (estrato) habilidade da população meta. e) Fidedignidade é utilizada para verificar se o que o sujeito apresentou durante a realização da testagem é válido. A alternativa correta é a (a), dado que fidedignidade ou precisão, como a própria palavra aponta é o recurso estatístico utilizado para verificar se o resultado do teste é ou não consistente. As outras alternativas não se relacionam corretamente ao conceito de Fidedignidade. MÓDULO 6 – VALIDADE Para as ciências sociais este parâmetro é acrescido à fidedignidade, principalmente, na análise da qualidade dos instrumentos de avaliação psicológica. Seu objetivo é verificar se a medida é congruente com a propriedade do objeto que se pretendeu examinar, ou seja, se realmente mediu aquilo a que se propôs. Assim, este módulo consistirá de formulações objetivas sobre os tipos de Validade (conteúdo, critério e construto), delineando cada um deles, especialmente a Validade de construto. Para tanto, em seus estudos você precisará ler o capítulo 6 do livro PASQUALI, L., Psicometria – Teoria dos testes na psicologia e na educação. Petrópolis. Vozes. 2004. p158-191, além de complementá-lo com a leitura do mesmo tema no livro GUENIA, B; CAVAS, CST, Sob Medida: Umguia sobre elaboração de medidas do comportamento e suas aplicações. São Paulo. Vetor Editora; 2002. p69-85. A história dos parâmetros da Validade passa por três períodos, cada qual indicando o predomínio de um de seus tipos. O primeiro, denominado Validade de Conteúdo ocorreu entre o ano de 1900 e 1950. Época em que a ênfase era dada aos traços de personalidade, porém com pouca fundamentação empírica. O segundo entre os anos de 1950 e 1970, o período da Validade de Critério, teve como abordagem central o behaviorismo Skinneriano. Diferente da anterior esta foi uma época importante para a psicometria porque possibilitou verificar se o “teste predizia com precisão uma futura ou outra condição”. (Pasquali, 2004. p.160). A partir da década de 1970, deu-se início o terceiro e último período o da Validade de Construto, ou seja, aquele que se preocupa com os traços latentes ou construto. Para verificar se o conhecimento sobre estes períodos está adequado você terá a oportunidade de realizar uma série de exercícios como o que é apresentado a seguir: Leia as afirmativas abaixo e assinale a alternativa correta sobre o Conceito de Validade. I). É usar o mesmo instrumento de medida que seja reproduzível e significativo. II). Informa a ordem relativa dos objetos, do tamanho das diferenças entre estes objetos e o Z escore. III). É a avaliação, se a escala ou o teste tem uma boa consistência interna. IV). Quando se observa a concordância de resultados obtidos por métodos muito diferentes no mesmo grupo. a). As afirmativas I e II estão corretas b). As afirmativas I e III estão corretas c). As afirmativas II e IV estão corretas d). As afirmativas I e IV estão incorretas e). As afirmativas II e III estão incorretas. A resposta para esta questão é a alternativa (e), ou seja, considerando que a única afirmativa correta é a (IV), a primeira está incorreta porque tanto a afirmativa I quanto a II estão erradas. A alternativa (b) também está errada porque as afirmativas I e III estão incorretas. Com relação às alternativas (c) e (d), nos dois casos a afirmativa IV está correta, porém tanto a I quanto a II estão erradas. Embora a Validade nos faça pensar em um conceito único devemos compreendê-lo não como unidade, mas sim como produto de uma multiplicidade de critérios que podem servir a um objetivo de avaliação, mas não a outro. Por isto, atualmente os pesquisadores interpretam-na como “evidências de validade” e não como validade. Assim, de acordo com Urbina (2000), este conceito deve ser compreendido como “o grau no qual as interpretações obtidas dos dados empíricos do teste encontram sustentação em base científica sólida. ” Para se chegar às evidências de validade de um teste passa-se por algumas dificuldades durante os períodos de fundamentação teórica, coleta, análise estatística da informação. Por isto, os psicometristas utilizam-se de um modelo trinário - validade de construto, conteúdo e de critério - para demonstrar a validade dos instrumentos. Embora, ainda utilizado, atualmente há um grupo de pesquisadores que questionam este modelo. A validade de Construto ou de Conceito é a forma mais direta de se “verificar a hipótese da legitimidade da representação do comportamento dos traços latentes” (Pasquali, 2004. p.164). Tem por objetivo principal verificar se cada item que compõe o teste é adequado para medir as características do que se quer avaliar. Um exemplo de questão que você poderá encontrar sobre Validade de Construto é: Leia as alternativas abaixo que abordam a validade de construto e assinale a aquela que não corresponde a este conceito. a). Trata-se da extensão em que podemos dizer que o teste mede um traço. b). Cada construto é desenvolvido para explicar e organizar consistências de resposta observada. c). Em nenhum momento os escores-totais dos sujeitos são utilizados. Todas as estatísticas utilizadas, para a validade de construto, baseiam-se apenas relações inter-item. d). Deriva-se de inter-relações estabelecidas entre medidas comportamentais. e). Requer acumulação gradual de informações de várias fontes. A alternativa que você deve ter assinalado é a (c). Em outras palavras, além da investigação da consistência interna do teste, também se pesquisa o erro de estimação e a análise por hipótese. Vale lembrar que como todas as técnicas de análise da validade de um teste apresentam dificuldades é recomendável utilizar mais do que uma técnica para demonstrar a validade de construto. A Validade de Conteúdo indica se o item que compõe o teste é adequado para representar as características do que se quer avaliar. De acordo com Pasquali (2004) “um teste tem validade de conteúdo se ele constitui uma amostra representativa de um universo finito de comportamentos (domínio) ”. Para tanto, é necessário especificar o teste antes de iniciar a construção dos itens. Em outras palavras, definir o conteúdo, os objetivos alvos da avaliação e a proporção de representação de cada tema no teste. Desta forma, pode-se dizer que esta validade estará praticamente garantida a partir da sua construção. Quanto à Validade de Critério pode-se dizer que investiga o grau de eficácia para predizer um desempenho específico. Este deve ser medido por meio de técnicas independentes. Há dois tipos de validade de critério: (a) validade preditiva, cujas coletas de respostas a um teste ocorre em momentos distintos e distantes um do outro e (b) validade concorrente, quando a coleta das respostas ocorre quase que no mesmo tempo. Um exemplo de pergunta, ainda sobre validade é: O teste de Validade de Conteúdo consiste: a). Na correlação entre os resultados no teste e no critério. Sua determinação é derivada de um embasamento teórico. b). Consiste em utilizar um ou mais grupos diferentes quando a variável que se pretende avaliar, esperando que entre eles haja uma diferença significativa que não possa ser atribuída ao acaso. c). No exame sistemático do conteúdo do teste a fim de assegurar a representatividade dessa amostra, isto é, que todos os aspectos fundamentais do comportamento sejam, adequadamente e em proporções corretas. d). Utilizada pela técnica de validação convergente-discriminante. e). É um modelo positivista, pois fundamenta-se exclusivamente nos dados empíricos coletados de um conjunto de itens agrupados. A alternativa correta é a (c). MÓDULO 7 - NORMATIZAÇÃO O tema Normatização e Padronização, trata das condições fundamentais para a aplicação de testes psicológicos, direitos dos sujeitos que se submetem a eles e as normas a respeito de como se deve interpretar os escores resultantes de uma aplicação de teste. Os critérios de referência baseados no desenvolvimento, nas normas intragrupo e os referenciados no julgamento externo. Iniciaremos com o propósito maior da normatização e padronização, ou seja, a necessidade de manter a uniformização de todos os procedimentos no uso dos testes psicológicos. Neste sentido, o estudo em questão abordará desde a uniformidade das condições de aplicação do teste até a de sua correção. Alguns autores diferenciam padronização (uniformidade na aplicação dos testes) de normatização (uniformidade na interpretação dos resultados). Embora, a nomenclatura favoreça esta distinção, a literatura sobre psicometria, na maior parte das vezes, não o faz. Desta forma, você encontrará os dois termos como equivalentes, embora não estejamos falando da mesma coisa. Desta forma, dividiremos esta apresentação em duas, a primeira sobre a padronização e a segunda sobre a normatização. Como dito anteriormente, a padronização de um teste refere-se às condições de aplicação dos testes psicológicos, ou seja, a atenção dada à coleta de dados. Mesmo que o teste seja muito bom como tal se a aplicação não for cuidadosa poderá produzir resultados inválidos. Por isto, padronizar as condições de testagem significa garantir a eficácia de seus resultados. Para que um teste sejabem aplicado é preciso estar atento para o material e o ambiente da testagem. Para garantir a qualidade do material é necessário atentar a duas condições: a da qualidade do teste propriamente dito e sua pertinência. Neste sentido, o instrumento deve ser válido, preciso e relevante. Este estudo abordará algumas questões sobre este tema, como por exemplo, o que trata do material do teste. Neste sentido você encontrará algumas perguntas como a que se segue: Com relação ao material de testagem, leia as afirmativas avalie se estão certas ou erradas e assinale a alternativa correta. I) O teste que não utiliza os parâmetros de validade e precisão é considerado irregulares. II) O psicólogo que usar testes sem atentar aos seus parâmetros de qualificação será considerado eticamente irresponsável. III). Desde que garantida a validade e precisão do teste psicológico ele poderá ser utilizado em toda e qualquer avaliação IV) O nível de escolaridade do analisando não interfere na escolha do instrumento de avaliação psicológica V). Em uma seleção de motoristas amadores é importante utilizar testes que analisam raciocínio dedutivo. a). As afirmativas I e II estão corretas b). As afirmativas II e III estão corretas c). As afirmativas III e IV estão corretas d). As afirmativas IV e V estão corretas e). As afirmativas I e V estão corretas. A alternativa correta é a (a), pois as afirmativas (III), (IV) e (V) estão erradas. A afirmativa III está incorreta porque mesmo garantindo a validade e precisão nenhum teste serve para toda e qualquer avaliação. O aplicador deverá ter conhecimento sobre o que permite investigar um determinado instrumento psicológico. A afirmativa IV também está incorreta, dado que é preciso verificar se o nível de escolaridade exigido pelo instrumento está de acordo com o apresentado pelo sujeito. Por último, a afirmativa V está errada, tendo em vista que raciocínio dedutivo não se justificaria para tal cargo. Com relação à aplicação dos testes psicológicos, no que se refere ao ambiente de testagem, pode-se dizer que o treino profissional é fundamental ao uso de tais instrumentos. A padronização destes implica em regras para suas aplicações. Neste sentido, o profissional que utilizar de tais recursos deverá seguir os procedimentos de aplicação, atender aos direitos dos testando, controlar os vieses do aplicador e garantir que sejam respeitadas as normas de divulgação. De acordo com Pasquali (2004) “a normatização diz respeito a padrões de como se deve interpretar um escore que o sujeito recebeu num teste”. Por isto, para que possa ter sentido é preciso relacionar o escore a um padrão ou norma. A norma de interpretação é estabelecida por três padrões, quais sejam: (1) de desenvolvimento; (2) intragrupo, e (3) critério externo. Normas de desenvolvimento fundamentam-se no fato de que o desenvolvimento humano é progressivo ao longo da vida. Por isto, pode ser usado como critério de norma, a idade mental, a escolaridade e o estágio de desenvolvimento. As normas intragrupo utiliza como parâmetro o grupo para o qual o teste foi construído. Em outras palavras, o resultado do sujeito só tem sentido se comparado com uma amostra representativa desta população. Para tanto, pode ser referenciado em percentil e em desvio padrão (z). Um exemplo de exercício para o estudo dirigido deste tema é: Um escore bruto produzido por um teste necessita ser contextualizado para poder ser interpretado. Desse modo, qualquer escore deve ser referido a algum padrão ou norma para adquirir sentido, tal como a norma intragrupo. Assinale a alternativa que NÃO aponta para uma definição da norma intragrupo: a) Nas normas intragrupo, o escore do sujeito toma sentido em relação aos escores dos sujeitos da população. b) O critério de referência dos escores é o grupo ou a população para a qual o teste foi construído. c) Para sabermos o significado do resultado de um sujeito em um teste, devemos conhecer os resultados da população como um todo. d) As normas intragrupo são referenciadas em termos da posição do percentil ou do desvio normal. e) Nas normas intragrupo, as normas são estabelecidas sobre uma amostra representativa de uma população. A resposta para esta questão é a (c), pois nem sempre as normas podem ser obtidas através da aplicação da população geral. Por vezes, devemos obter uma amostra representativa da população. Com relação às normas referentes ao critério, esta difere da anterior denominada normas referentes a grupo, por estar interessada na variabilidade ou gama de habilidades. De outro modo, pode-se dizer que a norma referente ao critério está interessada em diferenciar o mais forte do mais fraco em uma habilidade específica ou o nível de habilidade adquirido por um determinado sujeito. O mesmo pode ocorrer com nível de aprendizagem e traços de personalidade. Na TRI a normatização é dada pelo nível de teta (?) que define a probabilidade de um determinado sujeito acertar um item específico. Nem sempre as normas a serem utilizadas podem ser as da curva normal ou percentílica, muitas vezes é preciso utilizar as normas referentes a um critério que é definido teoricamente. Este pode ser ilustrado pelo domínio da aprendizagem, pois após o aprendizado de um determinado conteúdo espera-se que os alunos se distribuíam em uma curva diferente da normal, dado que o objetivo da educação é o de que todos os alunos dominem o conteúdo. Esta curva é chamada curva J. Analise esta questão: Nem sempre desejamos comparar o escore de um sujeito com relação ao um grupo normativo e, assim, as normas referentes a grupo não respondem nossa expectativa de análise do desempenho do sujeito. Assim, quando desejamos decidir se alguém atingiu ou não certo nível de habilidade, de aprendizagem ou de traço de personalidade, utilizamos a norma referente a critério. Leia as proposições abaixo e assinale a alternativa INCORRETA: I - Um psicólogo que efetua avaliação de seleção em recursos humanos de uma determinada empresa para o cargo de segurança pode decidir pré-selecionar candidatos que apresentem controle de impulsividade encontrado em 20% da população, ou seja, o desejo é selecionar candidatos com grau ótimo de controle de impulsividade, o qual é observado em poucas pessoas. II - Na avaliação escolar, pode-se esperar que um aluno consiga resultado de 70% de aprendizado do conteúdo ministrado em aula; caso não atinja este critério de aprovação, ele será reprovado. III - Um psiquiatra estava interessado em investigar o nível do sintoma ‘ansiedade’ de um paciente com baixa tolerância a frustração, pois acreditava que este sintoma estava prejudicando sua vida pessoal e profissional. Para verificar o grau de severidade do sintoma utilizou um questionário de ansiedade, no qual oito respostas “sim” dentre dez perguntas da escala indicariam nível patológico de ansiedade, determinando este critério para distinguir entre normalidade e patologia. IV - O teste WISC-III de inteligência pretende aferir o quociente intelectual de crianças entre seis anos e seis anos e onze meses de idade. O resultado bruto é convertido em ponto ponderado, do qual se pode depreender o QI. Sabendo que o QI de um determinado sujeito é 80, podemos inferir que ele possui 80% da inteligência que se pode aferir neste teste. Assinale a alternativa CORRETA: a). Apenas as proposições I, II e IV estão corretas. b). Apenas as proposições I, II e III estão corretas. c). Apenas as proposições II e IV estão corretas. d). Apenas as proposições II e III estão corretas. e). Apenas as proposições I e IV estão corretas. A alternativa correta para esta questão é a (b). A proposição IV está incorreta, pois o QI é distribuído na curva normal (portanto refere-se à normas por grupos) e não na curva J (da norma referente à critério). Nem sempre desejamos comparar o escore de um sujeito com relação ao um grupo normativo e, assim, as normas referentesa grupo não respondem nossa expectativa de análise do desempenho do sujeito. Assim, quando desejamos decidir se alguém atingiu ou não certo nível de habilidade, de aprendizagem ou de traço de personalidade, utilizamos a norma referente a critério. Leia as proposições abaixo e assinale a alternativa INCORRETA: I - Um psicólogo que efetua avaliação de seleção em recursos humanos de uma determinada empresa para o cargo de segurança pode decidir pré-selecionar candidatos que apresentem controle de impulsividade encontrado em 20% da população, ou seja, o desejo é selecionar candidatos com grau ótimo de controle de impulsividade, o qual é observado em poucas pessoas. II - Na avaliação escolar, pode-se esperar que um aluno consiga resultado de 70% de aprendizado do conteúdo ministrado em aula; caso não atinja este critério de aprovação, ele será reprovado. III - Um psiquiatra estava interessado em investigar o nível do sintoma ‘ansiedade’ de um paciente com baixa tolerância a frustração, pois acreditava que este sintoma estava prejudicando sua vida pessoal e profissional. Para verificar o grau de severidade do sintoma utilizou um questionário de ansiedade, no qual oito respostas “sim” dentre dez perguntas da escala indicariam níveis patológicos de ansiedade, determinando este critério para distinguir entre normalidade e patologia. IV - O teste WISC-III de inteligência pretende aferir o quociente intelectual de crianças entre seis anos e seis anos e onze meses de idade. O resultado bruto é convertido em ponto ponderado, do qual se pode depreender o QI. Sabendo que o QI de um determinado sujeito é 80, podemos inferir que ele possui 80% da inteligência que se pode aferir neste teste. Assinale a alternativa CORRETA: a) Apenas as proposições I, II e IV estão corretas b) Apenas as proposições I, II e III estão corretas. c) Apenas as proposições II e IV estão corretas. d) Apenas as proposições II e III estão corretas. e) Apenas as proposições I e IV estão corretas. ALTERNATIVA CORRETA: b. A proposição IV está incorreta, pois o QI é distribuído na curva normal (portanto refere-se à normas por grupos) e não na curva J (da norma referente à critério). https://turmapsicologiaunip2018.blogspot.com/ https://turmapsicologiaunip2018.blogspot.com/
Compartilhar