Baixe o app para aproveitar ainda mais
Prévia do material em texto
Estatística aplicada a Psicologia Esta Foto de Autor Desconhecido está licenciado em CC BY-SA A AVALIAÇÃO PSICOLÓGICA MODELOS DE AVALIAÇÃO ADOTADOS NA PSICOLOGIA 2 O MODELO PSICOMÉTRICO ADOTADO NA PSICOLOGIA 3 FINALIDADES DA TESTAGEM PSICOLÓGICA Finalidades Medir as diferenças existentes, quanto a determinada característica, entre diversos sujeitos. Diferença Inter-individual Medir o comportamento do mesmo indivíduo em diferentes ocasiões. Diferença Intra-individual Deve possuir um valor diagnóstico ou preditivo. Correspondência empírica entre os itens e o comportamento desejado. 4 ÁREAS DE APLICAÇÃO DA PSICOMETRIA ÁREA INTERDISCIPLINAR Psicologia Estatística Psicometria Educação Medicina Sociologia Antropologia Informática Biologia 5 Teoria da medida e medidas psicológicas MENSURAÇÃO: teoria da medida O que é medir? “Atribuir magnitudes a certa propriedade de um objeto ou classe de objetos, de acordo com certas regras pré-estabelecidas e com a ajuda do sistema numérico, de forma que sua validade possa ser provada empiricamente”. 7 Busca criar uma interface entre sistemas teóricos de saber diferentes e a utilização do símbolo matemático (o número) no estudo científico dos fenômenos naturais. Objeto da teoria da medida: o uso do número na descrição dos fenômenos naturais. MENSURAÇÃO: teoria da medida Problema central da teoria da medida: justificar a legitimidade de se passar de procedimentos e operações empíricos (observação) para uma representação numérica destes procedimentos. 8 - O processo de mensuração é sempre quantitativo: implica sempre em um resultado numérico. MENSURAÇÃO: teoria da medida Características da Medida - A medida apresenta-se em unidades relativamente constantes, desde que as condições de mensuração também o sejam. Ex.: Metro (unidade constante) x pé, jarda, palmo (unidade não-constante). - A medida, boa parte das vezes, é relativa (não dispõe de um ponto zero absoluto). Ex.: Não existe ponto zero de habilidade para estudar Administração. 9 Sistema Teórico Objeto Atitude Metodologia Verdade Certeza Critério de Verdade Ciência (empírica) Matemática Fenômenos naturais Símbolos numéricos Empírica Transcen-dental Observação e Controle Dedução Fato Teorema Relativa Absoluta Teste empírico Consistência interna do argumento Enfoque Epistemológico em Ciência e Matemática MENSURAÇÃO: teoria da medida 10 Por que a mensuração na Psicologia? Conhecer sistematicamente um determinado atributo ou traço psicológico. Fins de diagnóstico e intervenção psicológicos. Identificação do tipo e intensidade de uma desordem de caráter psicológico. Promover a clareza nas soluções e guiar as decisões pautadas em fundamentos empíricos. MENSURAÇÃO: teoria da medida 11 Por que a mensuração na Psicologia? Possibilitar generalizações para momentos e/ou situações futuras (valor preditivo). Permitir comparações de desempenho nas instâncias intra e inter-individual. Subsidiar demais técnicas de coleta de informações, como a observação e a entrevista. MENSURAÇÃO: teoria da medida 12 QUANTIFICAÇÃO Permite uma descrição precisa do fenômeno, bem como sua comparação com outros fenômenos. COMUNICAÇÃO Condensa informações de maneira precisa e objetiva OBJETIVIDADE Reduz as possíveis ambigüidades. PADRONIZAÇÃO Assegura a equivalência entre objetos com características diversas. Funções da Medida MENSURAÇÃO: teoria da medida 13 O Uso da Medida O uso do número na descrição dos fenômenos naturais, ou seja, o uso do número estatístico (medida) somente se justifica se responder afirmativamente a duas questões: MENSURAÇÃO: teoria da medida É legítimo utilizar o número para descrever os fenômenos da ciência? É útil, vantajoso, utilizar o número para descrever os fenômenos da ciência? 14 São as diferentes formas de se atribuir números às propriedades dos objetos. MENSURAÇÃO: teoria da medida Formas de Medida Medida Fundamental Medida Derivada Medida por Teoria Medida por Lei 15 MENSURAÇÃO: teoria da medida Formas de Medida Medida Fundamental São atributos que permitem uma medida direta e fundamental, dado que o instrumento utilizado para medi-los possui a mesma qualidade que se quer medir neles. Permitem a concatenação: dois objetos podem ser associados, formando um terceiro objeto de mesma natureza. Duração Temporal Massa Comprimento 16 MENSURAÇÃO: teoria da medida Formas de Medida Volume (m3) Massa (kg) Densidade (Kg/m3) Medida Derivada Produto de uma operação de mensuração baseada em indícios que supõe estarem relacionados com o atributo do objeto medido. Mensuração indireta e inferencial. Menor nível de certeza e maior número possível de erros. Uma medida é derivada se finalmente pode ser expressa em termos de medidas fundamentais. = ÷ Fundamental Fundamental Derivada 17 MENSURAÇÃO: teoria da medida Formas de Medida São atributos mensuráveis somente com bases em leis científicas. Medida por Lei: É obtida indiretamente por meio da relação estabelecida entre duas ou mais variáveis. Ex: Lei do Reforço em Psicologia. Medida por Lei Lei: baseada em fatos empíricos. 18 MENSURAÇÃO: teoria da medida Formas de Medida São atributos mensuráveis somente com bases em teorias científicas. Medida por Teoria Medida por Teoria: Quando não existem sequer leis relacionando variáveis a medida pode ser obtida a partir de teorias que hipotetizam relações entre os atributos da realidade, ou seja, os atributos devem ser medidos através de fenômenos a eles relacionados via teoria. Ex: Efeito Doppler. Teoria: axiomas e postulados. Teoria: Uma fonte que se distancia do observador tem todos os comprimentos de onda de seu espectro deslocados para o vermelho, isto é, o efeito Doppler desloca os comprimentos de onda para valores maiores (menores se a fonte se aproxima). 19 A Medida Psicométrica A medida psicométrica é uma medida por teoria e faz uso dos modelos matemáticos para a investigação dos processos comportamentais ou psíquicos do ser humano. Embora se encontre no limite entre a Psicologia e a Estatística, os modelos teóricos da Psicometria fundamentam-se em uma visão epistemológica do homem, concepção esta que não pode unicamente ser reduzida a parâmetros estatísticos per si. MENSURAÇÃO: teoria da medida 20 A Medida Psicométrica MENSURAÇÃO: teoria da medida A TCT surgiu dentro da concepção monista materialista e defende que os desempenhos nas tarefas de um teste (medida) se definem em função de outros comportamentos presentes ou futuros (critério). A TRI fundamenta-se em uma concepção dualista interacionista do ser humano e compreende que o desempenho nas tarefas de um teste são definidas pela aptidão ou traço latente. 21 Teoria Clássica dos Testes (TCT) Teoria de Resposta ao Item (TRI) A Medida Psicométrica MENSURAÇÃO: teoria da medida COMPORTAMENTALISTA COGNITIVISTA 22 Teoria Clássica dos Testes (TCT) Teoria de Resposta ao Item (TRI) MODELOS PSICOMÉTRICOS Teoria Clássica dos Testes (TCT) Mede o escore global no teste (). Ou seja o comportamento manifesto é tomado como critério de verdade, sem considerar os traços latentes. 23 Teoria Clássica dos Testes (TCT) Busca medir os comportamentos Por isso, sua tarefa é elaborar estratégias (estatísticas) para controlar ou avaliar a magnitude do erro (E). T = V + E Nesta medição, a TCT presume a existência do ERRO DE MEDIDA. Nesta equação, conhecendo-se o erro, também se conhece o escore verdadeiro. E vice-versa. 24 MODELOS PSICOMÉTRICOS A TCT possui uma orientação mais COMPORTAMENTALISTA, pois tanto o teste quanto o critério são realidades físicas expressas através de comportamentos. A TCT tem uma forte tradição POSITIVISTA. Preocupa-se em construir testes de qualidade, que sejam estímulos adequados para eliciar comportamentos (variáveis) observáveis. A medida é feita a partir do comportamento ( = tau) manifesto no teste (um critério da medida). Teoria Clássica dos Testes (TCT) 25 MODELOS PSICOMÉTRICOS Teoria daResposta ao Item (TRI) Medida: escore de cada item (Θ) TCT vs TRI 26 MODELOS PSICOMÉTRICOS Teoria da Resposta ao Item (TRI) Critério: traço latente (aptidão), e não o comportamento expresso. Tarefa da TRI: identificar os itens que deem informações mais seguras sobre as diferenças individuais. TCT vs TRI 27 Teoria da Resposta ao Item (TRI) Define a qualidade dos testes psicológicos (que são comportamentos ou variáveis observáveis) em termos de um critério que não é o comportamento, mas sim, variáveis hipotéticas [teóricas] (Θ = teta, ou um traço pessoal que é latente). A TRI possui uma orientação COGNITIVISTA, pois o critério medido é uma estrutura mental, uma aptidão que será responsável pelo desempenho nas tarefas, em cada item do teste. A Teoria de Resposta ao Item também é conhecida por ‘Teoria do Traço Latente’ ou Psicometria Moderna. TCT vs TRI 28 Teoria da Resposta ao Item (TRI) Diferente da TCT, que considera o escore TOTAL num teste, a TRI considera o escore de cada ITEM do teste. Com isso, a TRI não faz referência ao comportamento manifesto, mas a uma “tendência” interna ao sujeito para um comportamento. A TRI parte de uma FUNDAMENTAÇÃO TEÓRICA de um dado construto, para então formular itens que irão medi-lo. TCT vs TRI 29 Teoria da Resposta ao Item (TRI) Por este principio, a TRI propõe a VALIDAÇÃO de itens e não de testes. Isto favorece a composição de grandes bancos de itens, independentes, que podem servir para elaborar (ou customizar) diferentes testes para diferentes finalidades. A resposta que o sujeito dá a um item depende do nível que o sujeito possui no traço latente, isto é, da magnitude (grandeza) do seu teta (aptidão). TCT vs TRI 30 A TCT e a TRI apresentam não somente diferenças epistemológicas, mas fundamentalmente diferenças metodológicas, pois a TRI deriva o escore teta (Θ) de uma relação não-linear com a probabilidade de acerto associada ao escore total do teste (poder informativo de cada item), enquanto a TCT faz uso unicamente de relações lineares entre o item e o escore total (poder informativo do teste como um todo). TCT x TRI TCT vs TRI 31 MODELOS PSICOMÉTRICOS A forma como os testes são construídos e medidos pela TCT são estruturalmente diferentes dos métodos empregados pela TRI. Utilizando-se de técnicas estatísticas mais modernas, A TRI é considerada um método mais avançado, que visa superar alguns vieses da TCT. No entanto, a TRI não deve ser encarada como um substituto da TCT, mas um complemento ao processo de investigação de atributos psicológicos. TCT vs TRI 32 O Uso da Medida Há legitimidade no uso do número na descrição dos fenômenos naturais se, e somente se, as propriedades estruturais, tanto do número quanto dos fenômenos naturais, forem salvaguardadas. MENSURAÇÃO: teoria da medida Propriedades do sistema numérico Identidade Ordem Aditividade 33 Um número é idêntico a si mesmo e somente a si mesmo. MENSURAÇÃO: teoria da medida Identidade Axiomas: Reflexividade: a = a ou a b. Simetria: se a = b, então b = a. Transitividade: se a = b e b = c, então a = c. 34 Um número não é só diferente de outro, mas é maior ou menor do que outro. MENSURAÇÃO: teoria da medida Ordem Axiomas: Assimetria: se a > b, então b a. Transitividade: se a > b e b > c, então a > c. Conectividade: ou a > b ou b > a. 35 Os números podem ser somados, isto é, podem ser concatenados de modo que a soma de dois números, excetuando o zero, produz um outro número diferente deles próprios. MENSURAÇÃO: teoria da medida Aditividade Axiomas: Comutatividade: a + b = b + a. Associatividade: (a + b) + c = a + (b + c). 36 Natureza da Medida: problemas básicos O problema da representação (isomorfismo). MENSURAÇÃO: teoria da medida Teorema da representação: representar com números (objeto da matemática) as propriedades dos fenômenos naturais (objeto da ciência). Necessidade de preservação das propriedades estruturais do número e características próprias dos atributos dos fenômenos empíricos. 37 Natureza da Medida: problemas básicos O problema da unicidade da representação. MENSURAÇÃO: teoria da medida O número, enquanto representação das propriedades dos objetos naturais, apresenta níveis diferentes de qualidade ou precisão, dependendo do tipo de característica dos objetos que se está focalizando. Ex.: Medida de Peso: Quilograma. Medida de Inteligência (QI). 38 Natureza da Medida: problemas básicos O problema do erro. MENSURAÇÃO: teoria da medida Corresponde ao tamanho do intervalo existente entre o objeto a ser medido e os pontos no instrumento responsável por medi-lo. Estatística: estuda o número como representação de algo diferente dele, porque ele é uma descrição de fenômenos naturais e não mais um conceito original. Matemática: estuda precisamente o número em sua própria identidade. 39 Natureza da Medida: problemas básicos O problema do erro. MENSURAÇÃO: teoria da medida Matemática: o número 1 é somente 1. Possui identidade pontual e absoluta. Medida: o número 1 pode ser mais ou menos 1, pode ter intersecção com o 2, etc. O número passa a ser um intervalo e, sendo um intervalo, possui variabilidade (variância), isto é, erro. Número da matemática: número matemático. Número da medida: número estatístico. 40 Natureza da Medida: problemas básicos O problema do erro. MENSURAÇÃO: teoria da medida Tipos de Erro Erros de observação 1º) Erros de inadequação do instrumento de observação. 2º) Erros pessoais relacionados a diferentes maneiras de cada pessoa reagir. 3º) Erros sistemáticos relacionados a algum fator sistemático não-controlado. Ex. Medir a temperatura em um nível diferente do nível do mar. 4º) Erros aleatórios, que não tem causa conhecida. 41 Natureza da Medida: problemas básicos O problema do erro. MENSURAÇÃO: teoria da medida Tipos de Erro 5º) Erros de amostragem advindos de inferências errôneas sobre populações a partir de amostras. Falta de representatividade. 42 Natureza da Medida: problemas básicos MENSURAÇÃO: teoria da medida Tipo Causa Controle Instrumental Aleatório Instrumento Diferenças individuais Calibração Atenção e treinamento Erros de Medida: fontes e controle Pessoal Sistemático Amostragem Fator específico Experimental ou estatístico Não Conhecida Teorias do erro (probabilidade) Seleção da amostra Representatividade da amostra (teoria estatística) 43 Natureza da Medida: problemas básicos O problema do erro. MENSURAÇÃO: teoria da medida A teoria do erro Nunca é possível determinarem-se as causas de todos os erros possíveis numa medida. Baseada na teoria da probabilidade e dos eventos aleatórios (sua ocorrência não pode ser predita a partir dos eventos que ocorreram antes dele, ou seja, é independente do que aconteceu antes). 44 Natureza da Medida: problemas básicos O problema do erro. MENSURAÇÃO: teoria da medida A teoria do erro Erro Padrão da Medida EPM = s2 N - 1 = DP N - 1 A medida verdadeira de um atributo se situa entre o valor médio das medidas efetuadas e um erro padrão em torno dele. 45 A Complexidade da Medida na Psicologia Em geral, a medida do fenômeno psicológico é do tipo “por teoria”. A medida do fenômeno psicológico é relativa, não dispondo do ponto zero absoluto (raro uso da escala de razão). Menor precisão do que as medidas das ciências exatas. Grande número de variáveis intervenientes. Na maior parte das vezes trabalham-se com construtos e não com conceitos. MENSURAÇÃO: teoria da medida 46 A Complexidade da Medida na Psicologia Muitas vezes, os testes são utilizados como instrumento diagnóstico único. O objeto de estudo é, por vezes, isolado do seu contexto para a viabilidade da mensuração. Muitos construtos são sensíveis à influência do treinamento (efeito-prática). O valor preditivo da medida é influenciado pela modificabilidade do construto no tempo e espaço. MENSURAÇÃO: teoria da medida 47 Variáveis e medidas de escalasConstrução de medidas psicológicas 79 O Processo da Testagem Psicológica CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS Elaboração de um Teste Procedimentos teóricos Procedimentos empíricos Procedimentos estatísticos De acordo com Pasquali (1999), são os três os procedimentos mais comumente utilizados para a construção de testes psicológicos de aptidão, inventários de personalidade e escalas de atitudes e diferencial semântico. 80 O Processo da Testagem Psicológica O primeiro passo na construção de um teste é voltar-se a um estudo aprofundado da teoria sobre o construto que irá fundamentar a concepção do instrumento. Esse procedimento teórico de elaboração é fundamental para garantir a futura validade do teste e, consequentemente, a sua qualidade psicométrica. Procedimentos teóricos CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 81 O Processo da Testagem Psicológica Corresponde à definição das etapas e técnicas de aplicação do instrumento piloto e da coleta válida da informação para proceder à avaliação da qualidade psicométrica da avaliação. Procedimentos empíricos (experimentais) CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 82 O Processo da Testagem Psicológica Estabelece os procedimentos estatísticos a serem efetuados sobre os dados no sentido de garantir a aferição de seus parâmetros psicométricos (validade, fidedignidade e normatização). Procedimentos analíticos (estatísticos) CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 83 O Processo da Testagem Psicológica Pela TCT, os procedimentos teóricos de elaboração são realizados pela coleta intuitiva e mais ou menos aleatória de uma amostra de itens que parecem cobrir o traço que deverá ser avaliado (face validity). A TRI busca a operacionalização do traço latente, ao definir os tipos e características dos comportamentos que irão constituir a representação empírica dos traços latentes. Procedimentos teóricos CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 84 O Processo da Testagem Psicológica A operacionalização, ou seja, o levantamento das definições operacionais de um teoria é a tarefa mais crítica para a garantia do isomorfismo. Além disso, a operacionalização da teoria permite o conhecimento da dimensionalidade do atributo, isto é, da sua estrutura semântica constitutiva. A dimensionalidade de um atributo irá apontar a qualidade e a quantidade de características discerníveis no construto avaliado. Procedimentos teóricos CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 85 O Processo da Testagem Psicológica Como a TRI parte de uma concepção dualista do homem, em que os comportamentos são elementos distintos do traço latente, ela assume o pressuposto de que somente uma habilidade é medida pelo modelo, isto é, o conjunto de itens deve estar medindo um único traço latente. Mesmo sabendo que exista uma variedade de habilidades responsáveis pelo processo de execução de uma tarefa, admite-se que haja uma habilidade dominante, responsável pelo conjunto de itens. A esse pressuposto dá-se o nome de unidimensionalidade do construto. Procedimentos teóricos CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 86 O Processo da Testagem Psicológica De um modo geral, o processo de testagem psicológica ocorre mediante uma série de etapas, como podem ser sintetizadas a seguir. CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 87 O Processo da Testagem Psicológica Análise de Itens Administração Interpretação Análise Comunicação Desenho do Teste 1 2 3 4 5 7 Seleção dos itens 1ª Aplicação do instrumento Análise dos itens Coleta de dados Adoção dos padrões determinados Cálculo dos resultados Fidedignidade Validade Contexto para generalização Significado dos escores Inferências a curto e longo prazo Elaboração de laudo Feedback da testagem Etapas Padronização Normatização Criação de padrões da testagem 6 2ª Aplicação do instrumento Tabulação dos dados Construção do manual técnico Elaboração dos itens Escolha do tipo de item ou escala Fatores Matriz de Especificações Definição de Dimensões Descritores Validação preliminar CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 88 O Processo da Testagem Psicológica Análise de Itens Administração Interpretação Análise Comunicação Desenho do Teste 1 2 3 4 5 7 Seleção dos itens 1ª Aplicação do instrumento Análise dos itens Coleta de dados Adoção dos padrões determinados Contexto para generalização Significado dos escores Inferências a curto e longo prazo Elaboração de laudo Feedback da testagem Etapas Padronização Normatização Criação de padrões da testagem 6 Normalização 2ª Aplicação do instrumento Construção do manual técnico Elaboração dos itens Escolha do tipo de item ou escala Fatores Matriz de Especificações Definição de Dimensões Descritores Validação preliminar Cálculo dos resultados Fidedignidade Validade Variáveis intervenientes Erros de mensuração Tabulação dos dados CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 89 Etapa 01: Desenho do Teste 1.1. Matriz de Especificações do Teste CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 90 Um dos procedimentos mais utilizados para o estudo de uma teoria e conseqüente operacionalização de um construto é o desenvolvimento de uma matriz de especificações de teste (também conhecida como blueprint test ou blueprint construction). O desenvolvimento das especificações do teste é bastante comum quando são examinados construtos como habilidades ou aptidões, embora possam ser utilizadas para vários outros construtos, como personalidade, inteligência e atitudes. Desenho do Teste 1 Matriz de Especificações CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 91 As especificações do teste indicam quais as dimensões (domínios/strands), sub-dimensões (sub-domínios/sub-strands) e descritores (standards) podem ser avaliados no teste e em que proporções. Além disso, as especificações do teste fornecem o número de itens para cada descritor, os tipos de itens a serem incluídos, além de classificar os domínios e descritores em diferentes níveis de complexidade cognitiva. Desenho do Teste 1 Matriz de Especificações CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 92 As especificações do teste também clarificam, definem e/ou limitam como os itens do teste serão redigidos para cada dimensão, fator e descritor. Não existe um modelo padronizado de especificações de teste. A seguir, é exposto um exemplo de Matriz de Especificações para Exame de Avaliação de Aprendizagem de Produção Textual para a 8ª série. Desenho do Teste 1 Matriz de Especificações CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 93 Exemplo de Matriz de Especificações para Exame de Avaliação de Aprendizagem de Produção Textual para a 8ª série. Matriz de Especificações CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 94 A operacionalização de um conceito subjetivo possibilita a sua mensuração a partir de um conjunto de descritores, os quais representarão futuramente os itens que, por sua vez, servirão como a representação do comportamento que se busca avaliar. Desenho do Teste 1 Matriz de Especificações CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 95 1.2. Dimensões (Fatores) Etapa 01: Desenho do Teste CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 96 - Indicam ou constituem os descritores responsáveis pela construção dos itens. Desenho do Teste 1 Dimensões (Matriz do Teste) - Em Psicometria, as dimensões são os elementos que, em conjunto, constituem o construto psicológico e correspondem igualmente ao percentual de representatividade do traço latente. CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS - Pode haver fatores separados para cada dimensão de um construto e um mínimo de um descritor por fator. 97 Criação de Descritores Desenho do Teste 1 - São as características significativas e importantes do construto que fornecem informações condensadas sobre o que deve ser avaliado. - Descritor é a denominação atual para objetivo instrucional. - Um descritor fornece uma frase objetiva e concisa que apresenta um comportamento observável do indivíduo tendo em vista o domínio de um conteúdo de aprendizagem, ou seja, o comportamento que demonstra a performance esperada. CONSTRUÇÃO DE MEDIDASPSICOLÓGICAS 98 Criação de Descritores Desenho do Teste 1 - Corresponde a uma variável diretamente associada a uma variável latente, sendo que, uma diferença nos valores da variável latente ocasiona modificações nos valores do descritor. - Ele deve permitir avaliar a magnitude da variável latente de um sujeito ao longo do tempo ou de diferentes sujeitos. - O descritor deve ser apresentado em termos comportamentais observáveis, indicando as competências necessárias ao domínio do conteúdo ao qual o sujeito foi exposto. CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 99 Desenho do Teste 1 Criação de Descritores CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS Verbos que Definem os Descritores Objetivo: "O aluno deverá demonstrar conhecimento de pontuação", Demonstrar conhecimento de pontuação não é um produto de aprendizagem mensurável. “inserir vírgula apropriadamente em frases” São necessárias algumas indicações que evidenciem essa demonstração. Para indicar conhecimento de pontuação Comportamento O verbo inserir indica uma ação mensurável. 100 Desenho do Teste 1 Criação de Descritores CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS A Estruturação do Descritor O descritor deve conter: Um comportamento diretamente observável; e Um estímulo ou uma condição em que o aluno se baseia para demonstrar a competência esperada. 101 A quantidade de descritores dependerá, finalmente: da complexidade conceitual; da quantidade de provas empíricas que a validação requer. A definição de descritores, que servirão como referência para a avaliação, tem de levar em consideração tudo o que está implícito na teoria sobre o construto sobre a qual o instrumento será desenvolvido. Desenho do Teste 1 Criação de Descritores CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 102 Desenho do Teste 1 - Serem representativos e significativos para a mensuração do atributo. - Terem validade, objetividade e consistência. - Serem centrados em aspectos claros, práticos e fáceis de entender. Propriedades dos descritores (Camargo, 1996) Criação de Descritores CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 103 Desenho do Teste 1 - Permitir enfoques integradores, ou seja, fornecer informações condensadas sobre vários aspectos do problema. - Serem de fácil mensuração, baseado em informações facilmente disponíveis. - Permitirem a relação com outros descritores, facilitando a interação entre eles. Criação de Descritores - Servirem de referência à construção dos itens. Propriedades dos descritores (Camargo, 1996) CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 104 Criação de Descritores Desenho do Teste 1 O traço latente é evidenciada pelo descritor através de um verbo, que expressa um comportamento observável e mensurável. AÇÕES DIRETAMENTE OBSERVAVEIS AÇÕES NÃO-OBSERVÁVEIS LISTAR APRECIAR CONSTRUIR SABER ESCREVER LER DESENHAR COMPREENDER MARCAR COMPARAR SUBILHAR DAR DIZER ESCOLHER COLOCAR SENTIR CONTAR CRIAR NUMERAR SABER NOMEAR GOSTAR RESUMIR ENTENDER CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 105 Desenho do Teste 1 Itens - São a unidade elementar do instrumento. Definição - É um mecanismo de avaliação de um construto por meio de um comando ou questão solicitada a um indivíduo. - Busca avaliar as percepções, interesses, opiniões, atitudes, conhecimentos, habilidades e aptidões relacionados ao domínio de conteúdo do teste. - Os itens podem ser analisados qualitativamente, a partir do seu conteúdo, e quantitativamente, por propriedades estatísticas que ditam sua forma e extensão. CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 106 O Processo de Elaboração de Itens Desenho do Teste 1 CONTEÚDO Visual PRODUTOS OPERAÇÕES Avaliação INTELECTO Construto Dimensões Classes 1ª 2ª 3ª Fatores 1.1. 2.1. 3.1. D01 D02 D03 Descritores . . . . . . . . . . . . Itens I01 I02 I03 I04 I05 D01 D02 D03 . . . D01 D02 D03 . . . I06 I07 I08 I09 I10 I11 I12 I13 I14 I15 I16 I17 I18 I19 I20 I27 I28 I21 I22 I24 I25 I26 I23 CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 107 PADRONIZAÇÃO: uniformidade de procedimento na aplicação e na pontuação do teste. 1º DISCRIMINAÇÃO: capacidade de discriminar as pessoas que possuem determinada característica, bem como a quantidade do atributo, em face das que não possuem ou possuem em quantidades diferentes. 3º VALIDADE APARENTE: deve ser considerado adequado e interessante, provocando melhor cooperação e motivação por parte do examinando. 2º PERTINÊNCIA: relevância e adequação ao comportamento do testando que se busca avaliar, e adaptabilidade ao nível do sujeito. 4º CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS 6º OBJETIVIDADE: aplicação, pontuação e interpretação dos escores devem ser independentes do julgamento subjetivo do examinador. 5º VALIDADE: capacidade de o teste medir, através de amostras de comportamento, aquilo que se propõe, de modo a representar efetivamente o objeto em estudo. 7º FIDEDIGNIDADE (confiabilidade ou precisão): capacidade de o instrumento, quando replicado, mostrar estabilidade e constância nos resultados obtidos. NORMATIZAÇÃO: uniformidade na interpretação dos escores dos testes. 8º CONSTRUÇÃO DE MEDIDAS PSICOLÓGICAS ELABORAÇÃO DE ITENS Representação comportamental do traço latente. São as tarefas cognitivas e comandos por meio do qual o traço latente se manifesta. Trabalha com o comportamento verbal ou motor. Sendo a fase de elaboração de itens, uma das etapas do processo de elaboração de medidas psicológicas, os mesmos procedimentos adotados para o teste como um todo são válidos para os itens em específico. - O item retrata fielmente um descritor. Igor Menezes 110 ELABORAÇÃO DE ITENS Fontes dos Itens Teoria e Matriz de Especificações do Teste. Outras medidas do mesmo construto. Entrevista: junto à população-meta. Os itens são elaborados ou selecionados em função das definições constitutivas e operacionais do construto. DEFINIÇÕES CONSTITUTIVAS – definições de dicionário. DEFINIÇÕES OPERACIONAIS – atribui significado a um construto ou variável, especificando as atividades ou operações necessárias para medi-lo ou manipulá-lo. Entrevista com expertises da área ou teoria. Igor Menezes 111 Igor Menezes ELABORAÇÃO DE ITENS Critérios Específicos para a Construção dos Itens CRITÉRIO DEFINIÇÃO Comportamental O item deve expressar um comportamento, não uma abstração ou construto. Objetividade Os itens devem cobrir comportamentos de fato, permitindo uma resposta certa ou errada. Simplicidade Um item deve expressar uma única idéia, de modo a evitar ambigüidades. Clareza O item deve ser inteligível até para o estrato mais baixo da população-meta. Utilização de frases curtas, com expressões simples e inequívocas. 112 ELABORAÇÃO DE ITENS Critérios Específicos para a Construção dos Itens CRITÉRIO DEFINIÇÃO Relevância O item deve ser consistente com o traço (atributo, fator, propriedade psicológica) definido e com as outras frases que cobrem o mesmo atributo. Precisão O item deve possuir uma posição definida no contínuo do atributo e ser distinto dos demais itens que cobrem o mesmo contínuo. Variedade Variar a linguagem e a forma de elaboração de itens, em casos de escalas de preferências, formulando a metade dos itens em termos favoráveis e metade em termos desfavoráveis, para evitar erro da resposta estereotipada à esquerda ou à direita da escala de resposta. 113 ELABORAÇÃO DE ITENS Critérios Específicos para a Construção dos Itens CRITÉRIO DEFINIÇÃO Modalidade Formular frases com expressões de reação modal, isto é, não utilizar expressões extremadas, como excelente, miserável, etc. A intensidade da reação da pessoa é dada na escala de resposta. Tipicidade Formar frases com expressões condizentes (típicas, próprias, inerentes) com o atributo. Credibilidade (Face Validity) O item deve ser formulado de modo que não apareça como ridículo, despropositado ou infantil. Igor Menezes 114 Igor Menezes ELABORAÇÃO DE ITENS Critérios Referentes ao Conjunto dos Itens O critério da amplitude, o qual afirma que o conjunto dos itens referentes aomesmo atributo deve cobrir toda a extensão de magnitude do contínuo desse atributo. Um instrumento deve, por conseguinte, ser competente em discriminar entre indivíduos de diferentes níveis de magnitude do traço latente, diferenciando os que possuem um traço alto, dos que possuem um traço pequeno. Traço maior Traço menor 115 Igor Menezes ELABORAÇÃO DE ITENS Critérios Referentes ao Conjunto dos Itens b) O critério do equilíbrio, em que os itens do mesmo contínuo devem cobrir igual ou proporcionalmente todos os segmentos (setores) do contínuo, devendo haver, portanto, itens fáceis, médios e difíceis. A quantidade final de itens de um teste dependerá da complexidade conceitual do construto, ou seja, uma grande quantidade de descritores irá demandar, conseqüentemente, uma grande quantidade de itens. 116 ELABORAÇÃO DE ITENS Critérios Referentes ao Conjunto dos Itens Além dos critérios expostos, os desenvolvedores de itens recebem orientações específicas voltadas a: Seleção do estímulo; Identificação dos descritores correspondentes aos estímulos que servem como referência para o item; Identificação das habilidades exigidas pelo descritor; Escolha do tipo de item a ser utilizado; Elaboração do enunciado; Igor Menezes 117 ELABORAÇÃO DE ITENS Critérios Referentes ao Conjunto dos Itens - Elaboração das instruções; Elaboração das alternativas (distratores); Observações relativas à linguagem; Características mais gerais sobre a elaboração de itens; Revisão de itens (vieses). Igor Menezes 118 Igor Menezes ELABORAÇÃO DE ITENS Quantidade de Itens Boa representação do construto: cerca de 20 itens. Depende da complexidade do construto. TEORIA CLÁSSICA DA MEDIDA TEORIA DA RESPOSTA AO ITEM ● 3 vezes a quantidade que se deseja obter. ●“Pool of Items”. 60/3 = 20 itens 22-2 = 20 itens ● Validade teórica real. ● 10% além dos requeridos. 119 Igor Menezes ELABORAÇÃO DE ITENS Quantidade de Itens A quantidade total de itens de um teste dependerá, basicamente: a) Da quantidade de provas empíricas que o domínio avaliado requer, ou seja, da sua complexidade teórica; b) Da quantidade de descritores definidos na matriz de especificações; c) Do nível de importância de cada descritor na avaliação geral do domínio e dos sub-domínios; 120 Igor Menezes ELABORAÇÃO DE ITENS Quantidade de Itens d) Da complexidade cognitiva de cada descritor; e) Do público-alvo (idade e série dos alunos avaliados); e f) Do tempo de leitura mínimo de cada item, a depender do seu tamanho. A quantidade de itens é definida, de modo relativamente “subjetivo”, mas com base no conjunto de todos esses critérios. 121 Igor Menezes ELABORAÇÃO DE ITENS Instruções e Restrições Os itens devem ser elaborados de modo a contemplar diferentes níveis de dificuldade ou complexidade. Os itens devem ser adaptados ao contexto do indivíduo, de modo a utilizar elementos culturalmente conhecidos, como vocabulário, situações e objetos. Os itens não devem possuir afirmações preconceituosas sobre etnia, religião ou gênero. Evitar a repetição de itens que possuam o mesmo conteúdo, salvos os casos de teste-reteste. Quando forem utilizadas palavras negativas, deve-se destacá-las para chamar a atenção do testando. 122 Igor Menezes ELABORAÇÃO DE ITENS Instruções e Restrições A linguagem deve ser adequada aos sujeitos da avaliação, favorecendo a validade aparente. Os itens deverão levar em conta o tempo de leitura mínimo. Criar enunciados curtos, evitando palavras e expressões não-funcionais, ou seja, repetidas. Todos os distratores (alternativas) devem ser plausíveis. Devem ser evitados distratores escritos com frases longas. 123 Igor Menezes ELABORAÇÃO DE ITENS 124 Igor Menezes Múltipla Escolha Tipos de Itens ELABORAÇÃO DE ITENS Verdadeiro-Falso (certo-errado) Complementação (de lacuna ou completamento) Associação (emparelhamento) Resposta Curta Escala Graduada (Likert, Thurstone, etc) Manchas de Tinta Pictórico Execução de Procedimentos Utilização de Objetos e Materiais Interpretação Gráfico 125 Igor Menezes Itens de Múltipla Escolha ELABORAÇÃO DE ITENS São constituídos por um tronco comum e um conjunto de opções ou alternativas, uma correta e as restantes incorretas, designando-se estas por distratores. 126 Igor Menezes ELABORAÇÃO DE ITENS Pontos Favoráveis Pontos Desfavoráveis Facilidade e rapidez de aplicação, processamento e análise. Demandam muito tempo e cuidado na elaboração das opções de respostas oferecidas. O maior número de opções reduz a probabilidade de que um item “chutado” esteja correto. Reduz o número de alternativas que podem ser escolhidas. Pode-se utilizar análises estatísticas para identificar os pontos fortes e fracos do teste, dos sujeitos avaliados, além de tópicos que precisam ser repensados. Limita a capacidade de resposta do indivíduo a um quantidade única de razões. A resposta não tem como ser ambígua. O respondente pode ser influenciado pelas alternativas apresentadas Opiniões e impressões pessoais do avaliador podem ser removidas do processo de atribuição de pontos Itens de Múltipla Escolha Cada item admite uma e somente uma resposta exata. Cada item só deve envolver um problema ou aspecto. 127 Igor Menezes ELABORAÇÃO DE ITENS Itens Verdadeiro-Falso Itens de múltipla escolha são melhores que os itens verdadeiro-falso porque são mais fáceis de construir. (V) (F) Itens verdadeiro-falso possuem uma probabilidade maior de acerto do que os itens de múltipla escolha. (C) (E) X X Certo-Errado Apresenta-se um certo número de proposições (frases) e pede-se para indicar o valor lógico (verdadeiro ou falso) de cada uma delas. 128 Igor Menezes ELABORAÇÃO DE ITENS Pontos Favoráveis Pontos Desfavoráveis São os mais fáceis de construir. Menos eficientes que os itens de múltipla escolha, pois oferecem 50% de chance de acerto. São bem adaptados para testar reconhecimento de informação técnica, afirmações de princípios ou leis, e informações sobre fatos. Aumentam as chances de acerto por “chute”. São mais fáceis na atribuição de escores. Limitam as alternativas e razões da resposta. Podem ser utilizados muitos itens em uma avaliação, pela simplicidade da escolha da resposta. Itens Verdadeiro-Falso As frases devem ser afirmações e tão simples quanto possível (curtas e diretas), não terem ambigüidade (apresentando uma só interpretação) e serem verdadeiras ou falsas em absoluto. 129 Igor Menezes ELABORAÇÃO DE ITENS Itens de Complementação Itens do Estudo de Frustração de Figuras de Rosenzweig (forma para crianças) - Teste de Personalidade É apresentada uma frase, idéia ou situação nas quais são deixados alguns espaços em branco para que o examinando complete. 130 Igor Menezes ELABORAÇÃO DE ITENS Pontos Favoráveis Ponto Desfavorável Apresenta um conteúdo prévio que facilita a evocação das idéias sobre um tópico. O examinando pode não se identificar com a situação ou personagens, prejudicando a projeção e, consequentemente, a avaliação das tendências de reação. Permite que o indivíduo se expresse livremente, sem a obrigatoriedade de alternativas para escolha. Itens de Complementação Devem requerer uma só designação (idéia, situação ou palavra) em cada um dos espaços da resposta. 131 Igor Menezes Itens de Associação ELABORAÇÃO DE ITENS Instruções: No espaço antes de cada elemento da coluna I, coloque o número da alternativa na coluna II com a qual ele se corresponde. Cada número pode ser usado apenas uma vez. Alguns números portanto, não serão usados. Coluna I ( ) Curvas conectando pontos com a mesma pressão atmosférica corrigida. ( ) Curvas conectando pontos com a mesma temperatura média de verão. ( ) Curvas conectando pontos à mesma altura acima do nível do mar. ( ) Curvas conectando pontos de igual latitude. ( ) Curvas conectando pontos com igual variação magnética. Coluna II 1. Curvas de nível 2. Isóbaras 3. Isógonas 4. Isóteras 5. Isotermas 6. Isótopos 7. Meridianos 8. Paralelos9. Linhas de prumo Apresentam dois conjuntos de termos ou expressões para que os examinandos estabeleçam uma correspondência entre eles, de acordo com uma regra pré-estabelecida. 132 Igor Menezes Itens de Associação ELABORAÇÃO DE ITENS Pontos Favoráveis Pontos Desfavoráveis Podem ser avaliados diferentes aspectos de um mesma tema em uma única questão. Pode não avaliar o conhecimento real do examinando visto que as alternativas já estão todas sugeridas e são mutuamente excludentes. São fáceis de serem atribuídos escores. O respondente pode ser influenciado pelas alternativas apresentadas. Cada par de listas deve ser relativo a um só objetivo ou conceito. Cada coluna deve ser organizada numa ordem lógica. 133 Igor Menezes Itens de Resposta Curta ELABORAÇÃO DE ITENS Indique dois critérios de classificação de itens de testes. _______________________________________________________________________________________________________________________________________ Uma questão simples é colocada ao aluno, o qual deve apresentar uma resposta curta. 134 Igor Menezes Itens de Resposta Curta ELABORAÇÃO DE ITENS Pontos Favoráveis Pontos Desfavoráveis Permite avaliar o real conhecimento do indivíduo, além do nível de desenvolvimento da sua escrita. Limita as respostas do sujeito a um número específico de possibilidades de resposta. Permite a criação prévia de indicadores e critérios de resposta centrais e periféricos a serem considerados na avaliação. Consomem mais tempo que questões fechadas. Sempre que for solicitado um número definido de elementos e a resposta ultrapassar esse número, serão considerados apenas os primeiros elementos de acordo com o número estabelecido, sob ameaça de penalização. 135 Igor Menezes ELABORAÇÃO DE ITENS Diz respeito a uma medida condizente com um padrão ordenado de respostas sobre um objeto ou uma série de escores que um examinando deve atingir em uma avaliação. Itens de uma Escala Graduada Para mim, esta é a melhor organização do mundo para se trabalhar: Discordo Totalmente Discordo Levemente Não concordo, nem discordo Concordo Levemente Concordo Totalmente Itens da Escala Graduada Tipo Likert (5 pontos) 136 Igor Menezes Itens de uma Escala Graduada ELABORAÇÃO DE ITENS Pontos Favoráveis Pontos Desfavoráveis Possuem o aporte da teoria da medida e seguem as propriedades numéricas. Boa parte das escalas são unidimensionais, avaliando somente uma característica do sujeito. A depender da complexidade do objeto medido, permitem análises estatísticas avançadas, como o uso da estatística paramétrica. Guardam, em sua maioria, somente as propriedades de identidade e ordem. Favorecem a acurácia da medida, visto possuírem diferentes níveis ou graus para avaliar um mesmo atributo. Os conceitos das escalas graduadas estão baseados nas propriedades dos sistemas numéricos (identidade, ordem, aditividade) 137 Igor Menezes Itens de Manchas de Tinta ELABORAÇÃO DE ITENS Itens do Teste de Personalidade Rorschach Os itens são constituídos por cada lâmina do teste. 138 Igor Menezes Itens de Manchas de Tinta ELABORAÇÃO DE ITENS Ponto Favorável Pontos Desfavoráveis Favorecem a livre evocação das idéias e conteúdos latentes associados às manchas. Estão mais propensas às influências subjetivas do examinador. Os itens não se apresentam de forma clara e são avaliados pelo conjunto de respostas do examinando. As manchas são entidades propositadamente ambíguas e destituídas de estrutura. 139 Igor Menezes ELABORAÇÃO DE ITENS Teste de Personalidade TAT – Teste de Apercepção Temática Itens de Testes Pictóricos Os itens são constituídos por cada lâmina do teste. 140 Igor Menezes ELABORAÇÃO DE ITENS Categorias de Respostas Adaptação do sujeito ao meio Percepção da realidade Aspectos relacionados com a comunicação verbal Aspectos relacionados à fantasias, a sociabilidade e ao controle do corpo Relação entre os impulsos e autocontrole Relação com a sexualidade Aspectos relacionados à socialização Aspectos relacionados à auto-imagem Itens de Testes Pictóricos Teste de Personalidade TAT – Teste de Apercepção Temática 141 Igor Menezes ELABORAÇÃO DE ITENS Pontos Favoráveis Pontos Desfavoráveis A interpretação do teste se dá pela análise de conteúdo dos itens Estão mais propensas às influências subjetivas do examinador. Favorecem a livre evocação das idéias e conteúdos latentes associados às figuras. Os itens não se apresentam de forma clara e são avaliados pelo conjunto de respostas do examinando. Itens de Testes Pictóricos Apresenta estímulos altamente estruturados e requer respostas verbais mais complexas e significativamente organizadas. 142 Igor Menezes ELABORAÇÃO DE ITENS Itens de Testes Gráficos Os itens são constituídos pelo desenho realizado pelo examinando. Desenho da Figura Humana de Machover 143 Igor Menezes ELABORAÇÃO DE ITENS Itens de Execução de Procedimento Escala Bayley de Desenvolvimento Infantil Os itens são constituídos por cada etapa do teste. 144 Igor Menezes Itens de Utilização de Objetos e Materiais ELABORAÇÃO DE ITENS Descreve uma ampla variedade de escalas de brincar para a avaliação de problemas específicos – variando do autismo à hiperatividade – e para a avaliação do desenvolvimento de áreas, como competência, motivação e temperamento do bebê. Materiais Padronizados do Scenotest 145 Igor Menezes Itens de Interpretação ELABORAÇÃO DE ITENS Busca avaliar a capacidade de discernimento do examinando e a qualidade da resposta em relação a um objeto. Teste de Acuidade Visual pelo Método dos Cartões de Teller 146 DIMENSÃO – LEITURA (COMPREENSÃO) FATORES Idéias essenciais para compreensão e interpretação de textos DESCRITORES 720 Localizar a idéia principal do texto. 634 Inferir as informações explícitas. 791 Inferir informações implícitas. Reconhecimento de aspectos discursivos em textos literários e não- literários. 003 Reconhecer características específicas de uma narrativa ficcional. 832 Articular as informações do texto com elementos paratextuais: verbais e não verbais. Percepção dos recursos lingüísticos como suporte de texto 460 Reconhecer o efeito de sentido conseqüente do uso expressivo da pontuação na frase. DIMENSÃO – LEITURA (COMPREENSÃO) FATORES Idéias essenciais para compreensão e interpretação de textos DESCRITORES 720 Localizar a idéia principal do texto. 634 Inferir as informações explícitas. 791 Inferir informações implícitas. Reconhecimento de aspectos discursivos em textos literários e não-literários. 003 Reconhecer características específicas de uma narrativa ficcional. 832 Articular as informações do texto com elementos paratextuais: verbais e não verbais. Percepção dos recursos lingüísticos como suporte de texto 460 Reconhecer o efeito de sentido conseqüente do uso expressivo da pontuação na frase. Exemplos: ESTÍMULO / CONDIÇÃO COMPORTAMENTO OBSERVÁVEL Dada uma lista de números... ...circular os números pares ESTÍMULO / CONDIÇÃO COMPORTAMENTO OBSERVÁVEL Dado um quadro de palavras... ...pintar as dissílabas.
Compartilhar