Baixe o app para aproveitar ainda mais
Prévia do material em texto
UNIVERSIDADE FEDERAL DE JUIZ DE FORA PROGRAMA DE PÓS-GRADUAÇÃO EM GESTÃO E AVALIAÇÃO DA EDUCAÇÃO PÚBLICA Supervisão de Instrumentos e Indicadores Centro de Políticas Públicas e Avaliação da Educação ▪ Apresentação dos participantes. ▪ Qual é o seu nome? ▪ De onde você é? ▪ O que você faz? ▪ Por que você está aqui? PPGP – Construção de Questionários ▪ Justificativa ▪ As noções e competências relativas ao levantamento e processamento de dados são necessárias ao exercício eficiente dos novos papéis que se atribuem ao gestor da educação pública no país. ▪ Objetivos ▪ Desenvolver as competências relacionadas à elaboração questionários em pesquisa social, através da revisão da literatura especializada e da prática de exercícios, incluindo a elaboração de questões. ▪ Ampliar as noções sobre os aspectos teóricos e práticos ligados à construção de questionários. PPGP – Construção de Questionários ▪ Primeiro dia: panorama geral do curso; a importância da teoria e da definição clara dos conceitos; tema, problema e hipóteses de pesquisa. ▪ Segundo dia: teoria e prática na construção de questões. ▪ Terceiro dia: processo de resposta e recomendações úteis para o desenho de questões efetivas. ▪ Quarto dia: o processo de construção de questões para levantar dados objetivos e para coletar estados subjetivos. ▪ Quinto dia: Atividade. PPGP – Construção de Questionários ▪ ALBARRACIN, D; JOHNSON, B T; ZANNA, M P. The Handbook of Attitudes. London: LEA, 2005. ▪ ALMEIDA, A C. O efeito do contexto e posição da pergunta no questionário sobre o resultado da medição, Opinião Pública, 2002, vol. 8, n. 2, pp. 328- 339. ▪ ANDERSON, P; MORGAN, G. Desenvolvimento de testes e questionários para avaliação do desempenho educacional. Rio de Janeiro: Elsevier, 2011. ▪ BRADBURN, N M; SUDMAN, S; WANSINK, B. Asking Questions: the definitive guide to questionnaire design. San Francisco:Wiley, 2004. ▪ CHAER, G; DINIZ, R R P; RIBEIRO, E A. A técnica do questionário na pesquisa educacional, Evidência, 2011, vol. 7, n. 7, pp. 251-266. ▪ CONVERSE, J M e PRESSER, S. Survey Questions: Handcrafting the standardized questionnaire. Thousand Oaks: Sage, 1986. ▪ DE VAUS, D A. Surveys in Social Research. London: UCL Press, 1996. PPGP – Construção de Questionários ▪ DEVELLIS, R F. Scale Development: Theory and applications. Beverly Hills: Sage, 2003. ▪ FACCENDA, O; DALBEN, A; FREITAS, L C. Capacidade explicativa de questionários de contexto: aspectos metodológicos, RBEP, 2011, vol. 92, n. 231, pp. 246-267. ▪ FOWLER, F J. Improving Survey Questions: Design and Evaluation Thousand Oaks: Sage, 1995. ▪ GIDEON, L. Handbook of Survey Methodology fo the Social Sciences. New York: Springer, 2012. ▪ GROVES, R M. Nonresponse rates and nonresponse bias in household surveys, Public Opinion Quarterly, 2006, vol. 70, n. 5, pp. 646-675. ▪ GROVES, R M. Three eras of survey research, Public Opinion Quarterly, 2011, vol. 75, n. 5, pp. 861-871. ▪ GROVES, R M; FOWLER, F J; COUPER, M P; LEPKOWSKI, J M; SINGER, E; TOURANGEAU, R. Survey Methodology. San Francisco:Wiley, 2004. PPGP – Construção de Questionários ▪ GROVES, R M; LYBERG, LARS. Total survey error: Past, presente, and future, Public Opinion Quarterly, 2010, vol. 74, n. 5, pp. 849-879. ▪ GÜNTHER, H. Como elaborar um questionário, Planejamento de Pesquisa nas Ciências Sociais, 2003, n. 1, pp. 1-15. ▪ GÜNTHER, H. Pesquisa Qualitativa versus Pesquisa Quantitativa: Essa é a questão? Psicologia:Teoria e Pesquisa, 2006, vol. 22, n. 2, pp. 201-210. ▪ HOPKINS, D J; KING, G. Inproving anchoring vignettes: Designing surveys to correct interpersonal incomparability, Public Opinion Quarterly, 2010, vol. 74, n. 1, pp. 201-222. ▪ KING, G; MURRAY, C J L; SALOMON, J A; TANDON, A. Enhancing the Validity and Cross-Cultural Comparability of Measurement in Survey Research, American Political Science Review, 2004, vol. 98, n. 1, pp. 191-207. ▪ KING, G; WAND, J. Comparing incomparable survey responses: Evaluating and selecting anchoring vignettes, Potilical Analysis, 2006, vol. 15, n. 1, pp.46-66. PPGP – Construção de Questionários ▪ KIRSCHBAUM, C. Decisões entre pesquisas quali e quanti sob a perspectiva de mecanismos causais, RBCS, 2013, vol. 28, n. 82, pp. 179-257. ▪ LEEUW, E D de; HOX, J J; DILLMAN, D A. International Handbook of Survey Methodology. New York: Laswrence Erlbaum, 2008. ▪ MARCHESAN, M T N e RAMOS, A G. Check list para a elaboração e análise de questionários em pesquisas de crenças, Revista Eletrônica de Linguística, 2012, vol. 6, n. 1, pp. 449-460. ▪ MARTINS, G A. Sobre confiabilidade e validade, RBGN, 2006, vol. 8, n. 20, pp.1-12. ▪ OPPENHEIN, A N. Questionnaire Design and Attitude Measurement. London: Heinemann, 1978. ▪ TOURANGEAU, R; RIPS, L J; RASINSKI, K. The Psychology of Survey Response. Cambridge: Cambridge University Press, 2000. PPGP – Construção de Questionários ▪ Escrevendo boas questões de questionários ▪ https://pt.surveymonkey.com/mp/writing-survey-questions/ ▪ A busca pelos exemplos certos de questões ▪ https://pt.surveymonkey.com/mp/certified-survey-questions/ ▪ Questões e exemplos de questionários populares ▪ https://pt.surveymonkey.com/mp/survey-question-examples/ ▪ Modelos de questionário educacional ▪ https://pt.surveymonkey.com/mp/education-survey-templates/ ▪ Recursos para Avaliação de Programas e Métodos de Pesquisa Social ▪ http://gsociology.icaap.org/methods/ ▪ Calculadora Amostral ▪ http://www.calculoamostral.vai.la ▪ https://pt.surveymonkey.com/mp/sample-size-calculator/ PPGP – Construção de Questionários ▪ A pesquisa em ciências sociais é o empreendimento, de caráter científico, que tem por objetivo responder questões sociais consideradas relevantes. ▪ Existem diversos temas e problemas de pesquisa na área das ciências sociais. ▪ Cada pesquisa possui uma estratégia de resposta (quali./quanti.). ▪ O desenho da pesquisa refere-se à seleção e organização da evidência. ▪ Seleção da evidência: coleta de dados primários ou utilização de bases de dados secundários. ▪ Organização da evidência: preparo da base de dados primários ou secundários. PPGP – Construção de Questionários ▪ Classicamente, o modelo científico ligado às pesquisas de levantamento de dados trabalha para responder a um teste de hipóteses pré-formuladas, por essa razão, certas operações lógicas precedem a coleta de dados. ▪ Se os dados empíricos confirmam a hipótese, a teoria que a fundamenta é corroborada. ▪ Existe, assim, uma forte dependência entre os dados e a teoria . PPGP – Construção de Questionários Teoria Hipótese Dados Hipótese Teoria ▪ Cuidados ao fazer afirmações e tirar conclusões sobre os dados, a hipótese e a teoria. ▪ O teste de hipótese é apenas um procedimento científico. ▪ Os dados dão apoio à teoria, não a confirmam. ▪ Os dados podem “ajudar” outras teorias. ▪ Existe sempre a possibilidade da relação ser espúria. PPGP – Construção de Questionários ▪ Teoria ▪ Teorias são compostas de conceitos, relações entre conceitos, e formulações que especificam os mecanismos causais que presidem essas relações. ▪ Conceito ▪ Um conceito é um símbolo, ele representa uma ideia sobre uma entidade, um processo, ou sobre uma das propriedades/atributos desses. ▪ Os conceitos oferecem uma linguagem comum, uma perspectiva compartilhada sobre o fenômeno em tela. ▪ Eles são instrumentos para classificar as experiências e são blocos constituintes e definidores das teorias. PPGP – Construção de Questionários Definição Referente Termo ▪ Orientações para a construção conceitual. ▪ Quais são as dimensões/características definidoras do conceito? ▪ Como as relações causais funcionam dentro e entre os conceitos? ▪ Qual é a negação,ausência ou oposição do conceito básico? ▪ Existe uma zona cinza no conceito? ▪ Como o conceito é operacionalizado? PPGP – Construção de Questionários ▪ Orientações para a construção conceitual. PPGP – Construção de Questionários Nível socioeconômico Desempenho Clima escolar Práticas pedagógicas Gestão escolar Capital social Capital econômico Capital cultural ▪ Famílias de métodos para o levantamento de dados nas Ciências Sociais: ▪ Observação; ▪ Experimento; ▪ Survey. PPGP – Construção de Questionários ▪ Distinção entre método e metodologia. ▪ Método: refere-se a um procedimento específico de coleta e / ou análise de dados (podem ser vários). ▪ Metodologia: refere-se às tarefas, estratégias e critérios que regem a investigação científica, incluindo todas as facetas do trabalho de pesquisa. ▪ Enquanto “método” refere-se às escolhas particulares feitas em um determinado estudo, “metodologia” refere-se às características mais amplas e mais persistentes do empreendimento científico. PPGP – Construção de Questionários ▪ Métodos mais conhecidos para o levantamento de dados nas Ciências Sociais. ▪ Entrevista: questionamento de uma pessoa selecionada pelo pesquisador, no intuito de obter informações relevante para a pesquisa. ▪ Grupo focal: discussão roteirizada sobre um determinado tema, objeto de pesquisa, entre um grupo de pessoas selecionada pelo pesquisador. ▪ Questionários: conjunto de questões padronizadas apresentadas a certa amostra da população alvo, a fim de levantar os dados necessários para a elucidação do objeto de pesquisa. PPGP – Construção de Questionários ▪ O que é um survey? ▪ Survey é o termo em inglês que se refere ao método de levantamento de dados feito a partir de uma amostra representativa da população. ▪ População: todos os indivíduos (ou unidades) que compõem o universo da análise. ▪ Amostra: fração de indivíduos (ou unidades) representativa da população. ▪ Dados: elementos brutos armazenados que não transmitem um significado específico. PPGP – Construção de Questionários Representatividade PPGP – Construção de Questionários População População alvo Amostra Respondentes Microdados Mensuração Constructo Itens Respostas Variáveis Indicadores Representatividade PPGP – Construção de Questionários População População alvo Amostra Respondentes Microdados Cobertura Amostra Não resposta Ajuste ▪ População x População Alvo ▪ Amostra ▪ Definida a população alvo é preciso estabelecer a técnica específica de amostragem a ser feita. As amostras podem ser probabilísticas, como por exemplo: aleatória simples, estratificada, por conglomerados, complexa etc.; ou não probabilísticas, por exemplo: por conveniência, proposital, por cotas, snowball etc. ▪ Somente as amostras probabilísticas permitem a generalização dos resultados (inferência estatística)! PPGP – Construção de Questionários ▪ Amostra probabilística ▪ Todas as unidades da população devem possuir uma probabilidade não nula de ser selecionada. ▪ A seleção de uma amostra de forma probabilística não implica em probabilidades iguais. ▪ Permitem a generalização dos resultados da pesquisa para a população e erros amostrais podem ser calculados, o que permite a estimação de parâmetros da população com níveis de confiança conhecidos. ▪ Necessita de alguma forma de listagem ou cadastro. PPGP – Construção de Questionários ▪ Exercício: utilizar a calculadora amostral para definir o tamanho das amostras para 100 casos, 1.000 casos, 100.000 casos e 100.000.000 de casos. Especifique o nível de confiança em 95% e depois 99%, mantenha o erro amostral em 5%. Descreva as diferenças. Depois, mantenha o nível de confiança em 95% e altere o erro amostral de 5%, para 4%, 3%, 2% e 1%. Descreva as diferenças. http://www.publicacoesdeturismo.com.br/calculoamostral PPGP – Construção de Questionários ▪ Amostra não probabilística ▪ Trata-se da seleção de pessoas que por algum motivo estão disponíveis para participar da pesquisa. ▪ Limitações de tempo, recursos e mão de obra são usualmente acionados para justificar esse procedimento. ▪ Não permitem a generalização dos resultados da pesquisa para a população ou o cálculo dos erros amostrais. ▪ Quando adotadas é necessário tomar ao menos algumas precauções para que a amostra seja proporcional à população no que diz respeito à características relevantes. PPGP – Construção de Questionários ▪ Exemplo de amostra não probabilística PPGP – Construção de Questionários Escol. Sexo Total Homens Mulheres Experiência de trabalho Experiência de trabalho Até 5 anos De 6 a 10 anos De 11 a 19 anos 20 anos ou mais Até 5 anos De 6 a 10 anos De 11 a 19 anos 20 anos ou mais Normal médio 10 20 30 40 30 60 90 120 400 Normal superior 20 30 40 50 60 90 120 150 560 Licenc. 60 90 100 100 180 270 300 300 1400 Grad (exc. lic.) 5 10 5 5 15 30 15 15 100 Pós-grad. 5 10 5 5 15 30 15 15 100 Total 100 160 180 200 300 480 540 600 2560 ▪ Exemplo de amostra não probabilística PPGP – Construção de Questionários Escol. Sexo Total Homens Mulheres Experiência de trabalho Experiência de trabalho Até 5 anos De 6 a 10 anos De 11 a 19 anos 20 anos ou mais Até 5 anos De 6 a 10 anos De 11 a 19 anos 20 anos ou mais Normal médio 0,4% 0,8% 1,2% 1,6% 1,2% 2,3% 3,5% 4,7% 15,6% Normal superior 0,8% 1,2% 1,6% 2,0% 2,3% 3,5% 4,7% 5,9% 21,9% Licenc. 2,3% 3,5% 3,9% 3,9% 7,0% 10,5% 11,7% 11,7% 54,7% Grad (exc. lic.) 0,2% 0,4% 0,2% 0,2% 0,6% 1,2% 0,6% 0,6% 3,9% Pós-grad. 0,2% 0,4% 0,2% 0,2% 0,6% 1,2% 0,6% 0,6% 3,9% Total 3,9% 6,3% 7,0% 7,8% 11,7% 18,8% 21,1% 23,4% 100,0% ▪ Exemplo de amostra não probabilística PPGP – Construção de Questionários Escol. Sexo Total Homens Mulheres Experiência de trabalho Experiência de trabalho Até 5 anos De 6 a 10 anos De 11 a 19 anos 20 anos ou mais Até 5 anos De 6 a 10 anos De 11 a 19 anos 20 anos ou mais Normal médio 1 2 3 4 3 6 9 12 40 Normal superior 2 3 4 5 6 9 12 15 56 Licenc. 6 9 10 10 18 27 30 30 140 Grad (exc. lic.) 1 1 1 1 2 3 2 2 10 Pós-grad. 1 1 1 1 2 3 2 2 10 Total 10 16 18 20 30 48 54 60 256 Representatividade PPGP – Construção de Questionários População População alvo Amostra Respondentes Microdados Mensuração Constructo Itens Respostas Variáveis Indicadores PPGP – Construção de Questionários Mensuração Constructo Itens Respostas Variáveis Indicadores Validade Medida Processamento Agregação PPGP – Construção de Questionários Mensuração Constructo Itens Respostas Variáveis Indicadores Validade Medida Processamento Agregação PPGP – Construção de Questionários Mensuração Constructo Itens Respostas Variáveis Indicadores Validade Medida Processamento Agregação PPGP – Construção de Questionários Questionários Modos de coleta Características do entrevistador Características do respondente ▪ Validade e confiabilidade são aspectos importantes e complementares nas pesquisas que utilizam o levantamento amostral de dados. Validade diz respeito à “veracidade” das evidências encontradas. Confiabilidade trata da “precisão” dos resultados da pesquisa realizada. PPGP – Construção de Questionários Válida e confiável. Inválida, mas confiável. Válida, mas não confiável Inválida, e não confiável ▪ Exemplo de questão com alta variação, mas sem viés. Você foi vítima de algum crime na últimasemana? ▪ Exemplo de questão com baixa variação, mas com viés. O projeto de lei do desarmamento tira as armas das mãos dos criminosos. Você é a favor do desarmamento? ▪ É possível uma questão ter alta variação e viés? ▪ Quais são as fontes de variação e viés em uma pesquisa de levantamento de dados? PPGP – Construção de Questionários ▪ Validade aparente: os itens do instrumento parecem válidos, ou, são julgados válidos pelo pesquisador, seus pares, orientador, banca etc. ▪ Validade de conteúdo: os itens do instrumento evidenciam os domínios específicos daquilo que se pretende medir. ▪ Validade de critério: os itens do instrumento se correlacionam ou apresentam uma distribuição em razão de outros (externos) de uma forma conhecida. ▪ Validade de constructo: os itens do instrumento permitem uma medida que se relaciona consistentemente com outras desenvolvidas a partir da mesma teoria, dos mesmos conceitos. ▪ Validade total: é a soma das validades anteriores. PPGP – Construção de Questionários ▪ Todos os anos, governos, empresas, jornais e universidades realizam pesquisas que coletam dados de centenas de milhares de pessoas. ▪ Essas pesquisas são feitas através de questionários aplicados por entrevistadores nas ruas, nas casas, no trabalho ou são feitas através de questionários auto-aplicados. ▪ Não existe um método apropriado para construir questionários, temos na literatura apenas algumas recomendações. ▪ Todo questionário deve ser feito “sob medida”: amostra e instrumento. PPGP – Construção de Questionários ▪ Deve-se estar atento ao contexto social da aplicação. ▪ Contexto cultural. ▪ Contexto da pesquisa. ▪ Contexto do pesquisador. ▪ Contexto do respondente. ▪ Recomendações gerais. ▪ Utilize uma linguagem adequada. ▪ Prefira o simples ao complicado. ▪ Seja parcimonioso. PPGP – Construção de Questionários ▪ Podemos encontrar vários tipos de problemas ao avaliarmos os itens de um questionário. Os mais frequentes são listados a seguir. ▪ O aplicador pode ter dificuldade ao ler sentenças muito complexas, ou que contenham palavras difíceis de pronunciar. ▪ O respondente pode ter dificuldade de compreender a pergunta por conta do vocabulário utilizado, ou da estrutura complexa da sentença, ou da falta de clareza sobre qual informação se espera dele. ▪ Os termos e conceitos podem não ser compreendidos da mesma maneira pelos respondentes, ou podem não ser interpretados da maneira que o pesquisador deseja. ▪ O respondente pode der dificuldade de processar cognitivamente a questão, ou por que é incapaz, ou por que não está afim de realizar o nível de esforço necessário para responder adequadamente. ▪ A informação desejada pode ser/estar inacessível para o respondente. PPGP – Construção de Questionários ▪ Podemos pensar em um modelo para representar o processo de resposta. PPGP – Construção de Questionários Compreensão Recuperação Julgamento Resposta O respondente escuta/lê e compreende os termos e conceitos usados. O respondente procura por informação relevante na memória. O respondente decide o que reportar, qualquer que seja a informação disponível. O respondente fornece uma resposta à questão colocada ▪ Este modelo sequencial é um tipo ideal importante, mas sabemos que há vários avanços e retrocessos. PPGP – Construção de Questionários Compreensão Recuperação Julgamento Resposta ▪ Problemas que podemos encontrar na etapa de compreensão da pergunta. ▪ Léxicos: o que as palavras individualmente querem dizer? ▪ Utilize sempre termos que a maioria das pessoas interpretam da mesma maneira. ▪ Semânticos: o que a questão como um todo significa? ▪ Forneça definições para que a população alvo possa mapear e localizar uma resposta. ▪ Pragmáticos: o que o autor da questão quer que eu entenda? ▪ Tente antecipar e bloquear as estrapolações que os respondentes queiram fazer. PPGP – Construção de Questionários ▪ Problemas que podemos encontrar na etapa de recuperação da informação. ▪ Interferência: com o passar do tempo é mais provável que eventos similares ocorram, tornando difícil distinguir detalhes entre eles pois a tendência é se misturarem em uma memória mais genérica. ▪ Declínio: quanto mais tempo se passou, mais a memória se enfraquece e esse processo continua por longos períodos, até que não haja mais um traço da memória. ▪ Em ambos os casos forneça “pistas” para a memória dos respondentes. PPGP – Construção de Questionários ▪ Problemas que podemos encontrar na etapa de julgamento e estimativa. ▪ Os respondentes tentarão compensar o fato de não ter uma resposta pronta na memória. ▪ Quando expostos a questões difíceis os respondentes podem pegar um “atalho”, substituindo processos mentais que permitam encontrar mais facilmente respostas viáveis, ainda que imperfeitas. ▪ Estimativas são feitas com base em três grandes estratégias que levam a erros: relembrar e contar (subestimação), cálculo mental de taxas e médias (superestimação), estabelecimento de limites inferiores mas não superiores (superestimação). ▪ Facilite a tarefa mental para o respondente. PPGP – Construção de Questionários ▪ Problemas que podemos encontrar na etapa de seleção da resposta. ▪ O resultado das etapas anteriores pode fornecer uma resposta imprecisa, ou que não se adequa às categorias de resposta oferecidas pelo pesquisador, ou que precisa ser convertida em algum número. ▪ O pesquisador pode oferecer uma opção extra: “não se aplica”, “nenhuma das anteriores”,“Outra:_______”. ▪ Os respondentes também passam por um estágio de “edição” da resposta selecionada. ▪ Garantir a confidencialidade, fornecer exemplos em que respostas não desejáveis sejam possíveis e deixar o respondente confortável para exprimir suas opiniões de várias formas. PPGP – Construção de Questionários ▪ Problemas que podemos encontrar na etapa de seleção da resposta. ▪ Tipos de questões que podem ser consideradas sensíveis. ▪ A informação é considerada privada (Nº CPF, telefone de casa, renda mensal etc.). ▪ Envolve comportamentos ilícitos (uso de drogas, uso de bebida antes de dirigir etc.). ▪ Assuntos estigmatizantes (aborto, número de parceiros, discriminação etc.). PPGP – Construção de Questionários ▪ Problemas que podemos encontrar na etapa de seleção da resposta. ▪ Alguns desenhos afetam o quanto algumas questões podem ser consideradas sensíveis: Auto administrado x Entrevista pessoal; Forma de organização da entrevista;Termos utilizados. ▪ Consequências da inclusão de questões sensíveis: Alta taxa de não- resposta geral; Alta taxa de não-resposta específica; Contaminação por respostas falsas ou imprecisas. ▪ Por que isso acontece? Em razão da presença de uma “norma” social, nesse caso, para muitas perguntas o respondentes sentem que há uma “resposta correta” (não descumprir a lei, cumprir com deveres cívicos, aderir a valores democráticos etc.). As pessoas escolhem seguir a “norma” para evitar maiores questionamentos ou constrangimentos. PPGP – Construção de Questionários ▪ Problemas que podemos encontrar na etapa de seleção da resposta. ▪ Muitas pesquisas já constataram a tendência à distorção criada pelo efeito da desejabilidade social nas respostas à surveys. ▪ O respondente tende a distorcer suas respostas a fim de parecer melhor ou evitar o contrário, parecer pior. ▪ A distorção da resposta também pode ser derivada da imagem que o respondente tem de si mesmo. ▪ Há, também, algumas perguntas que podem representar alguma ameaça real ao respondente, a depender da resposta. PPGP – Construção de Questionários ▪ Problemas que podemos encontrar na etapa de seleção da resposta. ▪ Para evitar o efeito da desejabilidade social nas respostas o pesquisadorpode recorrer a diversas estratégias. ▪ O pesquisador deve perguntar aos entrevistados sobre algo que eles estão dispostos a responder com precisão. ▪ Assegurar a confidencialidade das respostas e dizer as atitudes concretas tomadas para garanti-la. ▪ Comunicar da forma mais clara possível a importância da precisão nas respostas fornecidas. ▪ Reduzir ao máximo o papel do entrevistador. ▪ Aumentar a noção do respondente acerca da adequação e necessidade da pergunta para se atingir os objetivos da pesquisa. PPGP – Construção de Questionários ▪ Problemas que podemos encontrar na etapa de seleção da resposta. ▪ Para evitar o efeito da desejabilidade social nas respostas o pesquisador pode recorrer a diversas estratégias. ▪ Procurar meios de reduzir a extensão em que respondentes sentem que as respostas serão utilizadas para colocá-los em uma posição delicada, inadequada ou imprecisa. ▪ O nível de detalhe em que são feitas as perguntas pode ser ajustado para alterar o sentimento de “invasão” do respondente. ▪ A pergunta pode apresentar alternativas codificadas, onde o pesquisador (ou o entrevistador) não conseguiriam decifrar a resposta diretamente. PPGP – Construção de Questionários ▪ Ao construirmos os itens que compõem o questionário precisamos estar sempre atentos a cinco características: ▪ A pergunta precisa ser comunicada consistentemente; ▪ A pergunta precisa ser compreendida consistentemente; ▪ As expectativas quanto à resposta adequada devem estar claras; ▪ Os respondentes precisam ter a informação necessária; ▪ Os respondentes precisam estar dispostos a responder. ▪ Como regra geral, ao construir um questionário, você deve continuamente perguntar “Por que eu estou fazendo essa pergunta?” e deve, em cada instância, ser capaz de explicar como a questão está intimamente relacionada com a pergunta de pesquisa subjacente. PPGP – Construção de Questionários ▪ Construindo questões para levantar dados objetivos. ▪ Os dados levantados, em tese, podem ser verificados. ▪ Nesse caso, existem respostas corretas e incorretas. ▪ Essas questões servem para caracterizar o respondente e para quantificar ou descrever eventos. ▪ São cinco desafios a vencer quando escrevemos esse tipo de questão: 1. Definir os objetivos da pergunta e especificar o tipo de respostas necessárias para atingi-los; 2. Garantir aos respondentes uma compreensão comum e compartilhada do significado da questão; 3. Assegurar que os respondentes sejam questionados sobre algo que eles possam oferecer uma resposta; 4. Fazer perguntas que os entrevistados são capazes de responder nos termos exigidos pela pergunta; 5. Perguntar aos entrevistados sobre algo que eles estão dispostos a responder com precisão. PPGP – Construção de Questionários ▪ Dados factuais e quasi-factuais. ▪ Alguns aspectos da vida e do comportamento humano podem ser vistos como meros fatos, e por isso consideramos que eles não impõem grandes desafios aos pesquisadores. No entanto, alguns podem tocar em pontos sensíveis, outros podem ser difíceis de recordar, e há ainda aqueles que podem ser considerados aspectos quasi-factuais. ▪ Aspectos quasi-factuais são quase sempre vistos como fatores concretos ou objetivos, mas está atrelado a eles um componente subjetivo muito forte. Eles compartilham características com questões factuais e atitudinais. PPGP – Construção de Questionários ▪ Quais desses são dados factuais e quais são dados quasi-factuais? ▪ Dia de nascimento. ▪ Língua materna. ▪ País de nascimento. ▪ Idade. ▪ Estado civil. ▪ Renda. ▪ Raça. ▪ Etnia. PPGP – Construção de Questionários Fatos Permanentes Fatos Mutáveis Quasi-fatos ▪ Objetivo da questão. ▪ O objetivo da questão define o tipo de dado que é necessário. ▪ Um bom objetivo para a questão tem que ser específico. ▪ Consistência na compreensão. ▪ Todos os respondentes devem ter a mesma compreensão sobre o que precisam reportar ao pesquisador. ▪ Essa é uma das tarefas mais difíceis para o pesquisador. PPGP – Construção de Questionários ▪ Exemplo 1: ▪ Objetivo: Idade. Quais são as implicações de cada uma das questões? ▪ Q1: Quantos anos você tem? ▪ Q1: Quantos anos você fez em seu último aniversário? ▪ Q2: Em que data você nasceu? PPGP – Construção de Questionários ▪ Exemplo 2: ▪ Objetivo: Renda. Quais são as implicações de cada uma das questões? ▪ Q1: Qual sua renda? ▪ Q2: Agora gostaríamos de estimar sua renda total e de sua família no ano passado (2015). Quando você calcular sua renda total, gostaríamos que você incluísse aquilo que você e os membros da sua família ganham no trabalho, bem como, aquilo que você e eles recebem de outras fontes, tais como: aluguéis, bônus, benefícios sociais, dividendos, ou rendimento de poupanças etc. Assim, incluídas todas as fontes, qual a sua renda total e a renda total de sua família em 2015? ▪ Q3: Quanto você ganha por mês em seu emprego? (Considere o dinheiro e os benefícios recebidos, como, por exemplo, tickets alimentação ou refeição etc.) (Caso tenha mais de um emprego, responda a pergunta pensando naquele em que você trabalha mais horas no mês). ▪ Q4: Qual era o rendimento mensal que você ganhava normalmente, em setembro de 2015, nesse trabalho? PPGP – Construção de Questionários ▪ Exemplo 2: ▪ Objetivo: Renda. Quais são as implicações de cada uma das questões? ▪ Q5: Assinale a alternativa que engloba o valor da sua renda total, ou seja, somando todos os seus rendimentos: a) Até R$ 954,00 b) De R$ 954,01 a RS 1.908,00. c) De R$ 1.908,01 a R$ 2.862,00. d) De R$ 2.862,01 a R$ 3.816,00. e) De R$ 3.816,01 a R$ 4.770,00. f) De R$ 4.770,01 a R$ 5.724,00. g) De R$ 5.724,01 a R$ 9.540,00. h) Mais de R$ 9.540,01. PPGP – Construção de Questionários ▪ Uma vez que a questão foi construída atendendo a um objetivo específico e os respondentes compreendem bem o que lhes é solicitado, devemos nos perguntar se eles têm a informação necessária para responder. ▪ Fontes de problemas: ▪ O pesquisado pode não ter a informação necessária para responder a pergunta; ▪ O respondente pode já ter tido a informação mas não consegue lembrar para completar a tarefa; ▪ Quando perguntado sobre eventos localizados em determinado período, o respondente pode se recordar do evento, mas tem dificuldades para localizá- lo no período informado. PPGP – Construção de Questionários ▪ A forma das respostas deve estar adequada à pergunta e ao que se quer do respondente. ▪ A maioria das perguntas informa a resposta adequada. ▪ Questões abertas podem ser utilizadas em um estudo exploratório, quando o constructo, o objetivo, ainda não está bem definido pelo pesquisador. ▪ A forma da resposta também informa o nível de mensuração da variável e consequentemente configura o quadro de análise. PPGP – Construção de Questionários ▪ Em grande parte dos surveys são coletadas informações sobre respondentes para contraste e controle. As demais respostas, que tratam do objeto de pesquisa em si (o clima escolar, o estado de saúde etc.), são tabuladas em relação à essas características dos respondentes. ▪ As mais comuns são: 1. Idade; 2. Gênero; 3. Estado civil; 4. Situação de emprego; 5. Nível socioeconômico; 6. Origem étnica, raça ou cor; 7. Afiliação ou preferência religiosa; 8. Características ligadas à posição no trabalho (setor, posição etc.). PPGP – Construção de Questionários ▪ Como perguntar a idade das pessoas ▪ Quantos anos você têm? ▪ Qual a sua idade? ▪ Quantos anos você completou em seu último aniversário. ▪ Qual a sua data de nascimento? ___/___/_____ ▪ Em que ano você nasceu? ▪ Em qual dessas faixas etárias você se encaixa? ▪ 0 a 20 anos. ▪ 21 a 50 anos. ▪ 51 a 80 anos. ▪ 81 anosou mais. Pense bem no público alvo antes de definir as faixas etárias PPGP – Construção de Questionários ▪ Como perguntar o gênero das pessoas ▪ Você é homem ou mulher? ▪ Qual seu sexo? ▪ Masculino. ▪ Feminino. ▪ Qual dessas categorias mais representa seu gênero? ▪ Homem cisgênero. ▪ Homem transgênero. ▪ Mulher cisgênero. ▪ Mulher transgênero. ▪ Nenhuma das anteriores. PPGP – Construção de Questionários ▪ Como perguntar o estado civil das pessoas ▪ Você é casado(a), divorciado(a), viúvo(a), separado(a), ou nunca foi casado(a)? ▪ Você está casado nesse momento? Sua esposa, ou, seu esposo, mora com você? Vocês vivem juntos ou separados? Você considera a separação algo transitório ou permanente? ▪ Você já se casou alguma vez? ▪ Sim, ainda sou casado(a). ▪ Sim, mas não sou mais casado(a). #Você é viúvo(a), legalmente divorciado(a), legalmente separado(a), ou só vive separado(a)? ▪ Não. PPGP – Construção de Questionários ▪ Como perguntar a situação de emprego das pessoas ▪ No mês passado, você recebeu algum pagamento por trabalho realizado por você? ▪ Você está trabalhando? ▪ Sim. ▪ Não. #Você diria que não está trabalhando principalmente porque não quer trabalhar agora ou você acha que está difícil arrumar um trabalho? ▪ Você trabalhou na semana de 22 a 28 de setembro de 2015? ▪ Sim. #Quantos trabalhos você tinha na semana de 22 a 28 de setembro de 2015? ▪ Não. #Você teve algum trabalho no período de 29 de setembro de 2014 a 21 de setembro de 2015? #Você teve algum trabalho antes de 29 de setembro de 2014? #Você tomou alguma providência para conseguir trabalho na semana de 22 a 28 de setembro de 2015? #Você tomou alguma providência para conseguir trabalho no período de 30 de agosto a 21 de setembro de 2015? #Você tomou alguma providência para conseguir trabalho no período de 31 de julho a 29 de agosto de 2015? #Você tomou alguma providência para conseguir trabalho no período de 29 de setembro de 2014 a 30 de julho de 2015? PPGP – Construção de Questionários ▪ Como perguntar sobre o nível socioeconômico das pessoas ▪ Renda ▪ Qual a sua renda mensal total, ou seja, somando todos os seus rendimentos? ▪ Qual era a renda mensal que você ganhava normalmente, em setembro de 2015? ▪ Educação ▪ Até que série ou ano você estudou? ▪ Você concluiu a 4ª série/ 5º ano do EF? Você concluiu a 8ª série/ 9º ano do EF? Você concluiu a 3ª série do EM? Você concluiu algum curso superior (faculdade)? ▪ Bens no domicílio ▪ Na sua casa tem geladeira? Não. Sim, uma. Sim, duas. Sim, três ou mais. ▪ Na sua casa tem carro (automóvel)? Não. Sim, uma. Sim, duas. Sim, três ou mais. ▪ Na sua casa tem máquina de lavar? Não. Sim, uma. Sim, duas. Sim, três ou mais. ▪ Serviços públicos no domicílio ▪ Na sua casa tem energia elétrica? Não. Sim. ▪ Na sua casa tem água encanada? Não. Sim. PPGP – Construção de Questionários ▪ Como perguntar sobre a origem étnica, raça ou cor das pessoas ▪ Em relação à sua cor ou raça, como você se considera? ▪ Você se considera branco(a), preto(a), pardo(a), amarelo(a) ou indígena? ▪ Você diria que é de origem brasileira, africana, centro-americana, europeia, indígena, judaica, norte-americana, árabe (oriente médio, síria, libanesa, armênia), sul-asiática, sul-americana (exceto brasileira), outra, não sabe? ▪ A maioria das pessoas no país se considera brasileiro(a). Entretanto, somada a essa identidade, haveria alguma nacionalidade específica com a qual você se identifica? PPGP – Construção de Questionários ▪ Como perguntar sobre a afiliação ou preferência religiosa das pessoas: ▪ Em relação à sua crença ou religião, como você se considera? ▪ Você se considera? ▪ Católico praticante. ▪ Católico não praticante. ▪ Espírita. ▪ Protestante. ▪ Evangélico. ▪ Ateu. ▪ De religiões ligadas à cultura africana (umbanda, candomblé etc.). ▪ Não tenho religião. PPGP – Construção de Questionários ▪ Construindo questões para levantar dados subjetivos. ▪ Os dados levantados, em tese, não podem ser verificados. ▪ Nesse caso, não existem respostas corretas e incorretas. ▪ Essas questões servem para mensurar os “estados subjetivos” das pessoas: seu conhecimento e percepção, seus sentimentos, e seus posicionamentos (julgamentos). PPGP – Construção de Questionários ▪ Afirmar que os dados levantados por esse tipo de questão não podem ser verificados, ou que não existem respostas corretas, não significa dizer que não há padrões para determinar a adequação ou qualidade desses itens. ▪ Os mesmos padrões gerais existentes para as questões objetivas valem para itens subjetivos. ▪ Itens subjetivos devem ser comunicados e compreendidos consistentemente. ▪ A tarefa e as respostas adequadas à pergunta devem ser informadas aos respondentes. ▪ O pesquisado deve ter a informação necessária para responder, isso se o objetivo da pergunta não for avaliar o conhecimento. PPGP – Construção de Questionários ▪ Em sua maioria, os surveys pretendem obter informações sobre as percepções ou sentimentos dos respondentes sobre eles mesmos ou sobre os outros. ▪ A tarefa básica proposta nas perguntas desse tipo é quase sempre a mesma: o respondente deve “posicionar” sua resposta em um único, e bem definido, continuum. PPGP – Construção de Questionários ▪ A dimensão é definida como “quente” ou “fria”, “devagar” ou “rápida”, frequente ou infrequente. ▪ Os respondentes devem posicionar sua opinião sobre si mesmo, ou sobre àquilo que estejam classificando, no continuum dessa dimensão. PPGP – Construção de Questionários ITENS IN S T R U M E N T O ▪ Avaliando pessoas, lugares e coisas. ▪ O que deve ser classificado? ▪ Em qual dimensão, continuum, o objeto está colocado? ▪ Quais são as características do continuum oferecidas aos respondentes? ▪ Quantas categorias oferecer? ▪ Quando usar categorias definidas por números ou por adjetivos? ▪ O que fazer com o missing? ▪ O método prevalentemente utilizado para a construção de uma escala de atitudes é o de Likert. ▪ Não é recomendável utilizar esse método para estudar constructos a partir de apenas uma variável, ou de um conjunto muito pequeno delas. PPGP – Construção de Questionários ▪ A mensuração é o processo onde o pesquisador assinala números ou rótulos a unidades de análise a fim de representar propriedades conceituais A mensuração possui algumas características comuns que se aplicam a qualquer tipo de dado. ▪ A mensuração possui algumas características comuns que se aplicam a qualquer tipo de dado: 1. A mensuração envolve um processo de assinalamento de números ou símbolos para identificar um objeto; 2. Ela classifica as propriedades ou características dos objetos, em vez dos objetos em si; 3. As propriedades dos objetos devem ser assinaladas de acordo com regras de correspondência adequadamente especificadas. PPGP – Construção de Questionários ▪ Níveis de mensuração. ▪ Nominal: os casos são essencialmente classificados em duas ou mais categorias da mesma variável. ▪ Ordinal: um valor pode ser definido como maior ou menor que o outro. ▪ Intervalar: existe uma unidade padrão, assim os casos podem ser expressos em termos de distâncias ou intervalos iguais. ▪ De razão: a variável possui um ponto zero absoluto. PPGP – Construção de Questionários ▪ Níveis de mensuração, propriedades e operações Fonte: Russel K. Schutt et al (2006). PPGP – Construção de Questionários Proposições pertinentes Propriedade Operação Nominal Ordinal Intervalar De razão A é igual ou diferente de B Identidade = ≠ ● ● ● ● A é maior ou menor que B Magnitude > < ● ● ● A é x vezes maior ou menor que B Unidades iguais + - ● ● A é múltiplo ou divisorde B Zero absoluto × ÷ ● ▪ Exemplo de codificação de um item dicotômico PPGP – Construção de Questionários Item Sim Não No sentido do continuum 1 0 No sentido contrário 0 1 ▪ Exemplo de codificação de um item politômico PPGP – Construção de Questionários Item Concordo totalmente Concordo Discordo Discordo totalmente No sentido do continuum 4 3 2 1 No sentido contrário 1 2 3 4 ▪ Há quatro passos a serem cumpridos para se construir uma escala Likert. 1. O primeiro é o brainstorm, produza grande número de enunciados de itens, expressando algum aspecto da atitude em relação ao constructo. Cada item vai fornecer, em maior ou menor grau, alguma informação sobre a atitude da pessoa. 2. Crie categorias tomando por base as opções de escalas de Concordo- Discordo, Satisfeito-Insatisfeito, Muito Bom-Muito Ruim, Frequente- Infrequente etc. 3. Atribua valores numéricos às opções, levando em conta a direção das questões e do continuum que se pretende construir para a dimensão. 4. Calcule a soma ou a média dos escores de cada respondente. PPGP – Construção de Questionários ▪ Possíveis escalas para a construção de itens Likert. ▪ Frequência: Sempre, Quase sempre, Frequentemente, Às vezes, Raramente, Quase nunca, Nunca. ▪ Magnitude: Grande, Médio, Pequeno; Muito, Pouco; Alta, Baixa. ▪ Sentimento: Muito positivo, Positivo, Nem positivo Nem negativo, Negativo, Muito negativo. ▪ Avaliação: Excelente, Muito bom, Bom, Razoável, Ruim, Muito ruim, Péssimo. ▪ Satisfação: Totalmente satisfeito, Satisfeito, Pouco satisfeito, Indiferente, Pouco insatisfeito, Insatisfeito,Totalmente insatisfeito. ▪ Concordância: Concordo totalmente, Concordo muito, Concordo, Concordo pouco, Concordo mais que discordo, Nem concordo nem discordo, Discordo mais que concordo, Discordo pouco, Discordo, Discordo muito, Discordo totalmente. PPGP – Construção de Questionários ▪ Por exemplo, se quisermos mensurar religiosidade, teríamos construir vários itens que representem bem essa dimensão e pedir para as pessoas classificarem suas posições frente ao tema. ▪ Com base em sua opinião, diga se concorda totalmente, concorda, discorda ou discorda totalmente das questões abaixo. 1. Vou à igreja. 2. Faço minhas orações. 3. Detesto músicas religiosas. 4. Leio livros religiosos. 5. Cerimônias religiosas são maçantes. 6. Acredito em Deus. PPGP – Construção de Questionários ▪ Na prática, é comum inverter a direção de alguns itens, de tal modo que uma extremidade do continuum de respostas às vezes corresponde a uma atitude favorável, e às vezes corresponde a uma atitude desfavorável. ▪ No exemplo, os itens 3 e 5 têm a direção invertida em relação aos demais. ▪ Essa estratégia, ajuda no controle das respostas inconsistentes. ▪ Ela ajuda também a capturar a atenção do respondente, saindo do modo “automático” de resposta, ele tende a ler com mais atenção as questões. PPGP – Construção de Questionários ▪ Exercício 1: atribua valores para as opções marcadas, atentando para a direção dos itens e do constructo, e, calcule o score de cada escola. PPGP – Construção de Questionários Questões Esc1 Esc2 Esc3 Banheiros Sim Sim Sim Cozinha/cantina Sim Sim Não Sala de professores Sim Sim Não Quadra poliesportiva Sim Não Não Laboratório de informática Sim Não Não Laboratório de ciências Não Não Não ▪ Exercício 1: gabarito. PPGP – Construção de Questionários Questões Esc1 Esc2 Esc3 Banheiros 1 1 1 Cozinha/cantina 1 1 0 Sala de professores 1 1 0 Quadra poliesportiva 1 0 0 Laboratório de informática 1 0 0 Laboratório de ciências 0 0 0 Modelo da soma 5 3 1 Modelo da média 0,8 0,5 0,2 ▪ Exercício 2: atribua valores de 1 a 4 para as opções marcadas, atentando para a direção dos itens e do constructo, e, calcule o score dos respondentes via modelo da soma e modelo da média. PPGP – Construção de Questionários Questões João Maria Raquel Vou à igreja DT CT C Faço minhas orações D CT CT Detesto músicas religiosas C DT D Leio livros religiosos DT CT C Cerimônias religiosas são maçantes C DT D Acredito em Deus CT CT CT ▪ Exercício 2: gabarito. PPGP – Construção de Questionários Questões João Maria Raquel Vou à igreja 1 4 3 Faço minhas orações 2 4 4 Detesto músicas religiosas 2 4 3 Leio livros religiosos 1 4 3 Cerimônias religiosas são maçantes 2 4 3 Acredito em Deus 4 4 4 Modelo da soma 12 24 20 Modelo da média 2,0 4,0 3,3 ▪ Exercício 3: atribua valores de 1 a 4 para as opções marcadas, atentando para a direção dos itens e do constructo, e, calcule o score dos respondentes via modelo da soma e modelo da média. ▪ Não faça imputação de dados! PPGP – Construção de Questionários Questões João Maria Raquel Vou à igreja DT CT C Faço minhas orações D CT CT Detesto músicas religiosas C D Leio livros religiosos DT CT C Cerimônias religiosas são maçantes C D Acredito em Deus CT CT CT ▪ Exercício 3: gabarito. PPGP – Construção de Questionários Questões João Maria Raquel Vou à igreja 1 4 3 Faço minhas orações 2 4 4 Detesto músicas religiosas 2 3 Leio livros religiosos 1 4 3 Cerimônias religiosas são maçantes 2 3 Acredito em Deus 4 4 4 Modelo da soma 12 16 20 Modelo da média 2,0 4,0 3,3 ▪ Exercício 2 e 3: considerações. ▪ A escolha do método de agregação é feita pelo pesquisador, o modelo da média viola o nível de medida das variáveis construídas com base na escala de Likert, mas solucionam o problema de scaling (variação nos limites da escala a depender do N de itens e do N de respondentes) e de missing. PPGP – Construção de Questionários ▪ Para fins de uma seleção mais rigorosa de quais itens devem compor uma escala de Likert, seria ainda preciso adotar outros procedimentos estatísticos. Essas são apenas as formas mais simples de se calcular um escore com base em itens de um questionário. ▪ Após a escolha do método de atribuição dos valores a cada uma das opções dos itens – que pode ser da forma não paramétrica mostrada acima, ou via métodos específicos, como o escalonamento ótimo – é preciso analisar a validade, a confiabilidade, a dimensionalidade e os parâmetros dos itens utilizados na construção da escala. ▪ Depois é preciso verificar se a medida representa o constructo proposto, verificando seu poder preditivo/explicativo, sua relação com resultados previamente conhecidos, seu poder discriminante, sua distribuição ou associação previamente conhecida com outras medidas. PPGP – Construção de Questionários ▪ Exemplos PPGP – Construção de Questionários 109876543210 11% 19% 29% 21% 10% 7% 1%1%0%0%0% De uma forma geral, de 0 (zero) a 10 (dez), qual nota você dá para você mesmo como ALUNO, considerando que “10” é ótima e “0” é muito ruim? ▪ Exemplos PPGP – Construção de Questionários 109876543210 11% 13% 21% 18% 12% 14% 5% 3% 1%1%1% De uma forma geral, de 0 (zero) a 10 (dez), como você avalia sua ESCOLA, considerando que “10” é ótima e “0” é muito ruim? ▪ Exemplos PPGP – Construção de Questionários 0% 20% 40% 60% 80% 100% Em geral, estou satisfeito comigo mesmo(a). Eu me sinto uma pessoa feliz. Sinto que tenho muitos motivos para ter orgulho de mim mesmo(a). Eu me sinto uma pessoa capaz e inteligente. 32% 51% 42% 46% 58% 41% 45% 45% 8% 7% 11% 8% 1% 1% 2% 1% Sempre. Às vezes. Raramente. Nunca. ▪ Exemplos PPGP – Construção de Questionários CONCLUIRÁ O ENSINO FUNDAMENTAL. CONCLUIRÁ O ENSINO MÉDIO. INGRESSARÁ NO ENSINO SUPERIOR. TERÁ BOAS OPORTUNIDADES DE TRABALHO. 3% 2% 20% 35% 5% 8% 39% 33% 16% 24% 31%16% 58% 64% 10% 1% 19% 1% 1% 15% Até 25% de 26% a 50% de 51% a 75% Mais de 75% Não se aplica ▪ Exemplos PPGP – Construção de Questionários 39% 13% 29% 8% 20% 45% 31% 38% 44% 37% 51% 29% 44% 46% 53% 43% 14% 37% 18% 45% 28% 8% 15% 16% 3% 12% 2% 18% 7% 2% 2% 95% 3% Boa parte dos meus alunos vai conseguir completar os estudos, mas com alguma dificuldade. Boa parte dos meus alunos vai conseguir completar os estudos sem dificuldades. Boa parte dos meus alunos vai conseguir passar em alguma faculdade. Boa parte dos meus alunos vai conseguir passar na faculdade que quiser. Boa parte dos meus alunos vai conseguir ter oportunidades tão boas quanto as dos pais. Boa parte dos meus alunos vai conseguir ter melhores oportunidades do que os pais. Boa parte dos meus alunos vai conseguir ter boas oportunidades de trabalho. Essa questão é para controle metodológico, por favor, marque a alternativa “D”. Eu tenho altas expectativas sobre o futuro escolar de boa parte dos meus alunos. Concordo totalmente Concordo Discordo Discordo totalmente ▪ Outro método de elaboração de escalas de atitude é o método de Guttman, cujo nome técnico é análise de escalograma. ▪ Uma característica essencial da escala de Guttman é o seu aspecto cumulativo, que fica evidente em situações como a deste exemplo, onde os itens apresentam uma clara ordenação. PPGP – Construção de Questionários ▪ Exemplo de escalograma. PPGP – Construção de Questionários Questões R1 R2 R3 R4 R5 R6 R7 Você está disposto a permitir que mulçumanos vivam em seu país? Sim Sim Sim Sim Sim Sim Não Você está disposto a permitir que mulçumanos vivam em seu estado? Sim Sim Sim Sim Sim Não Não Você está disposto a permitir que mulçumanos vivam em seu município? Sim Sim Sim Sim Não Não Não Você está disposto a permitir que mulçumanos vivam em seu bairro? Sim Sim Sim Não Não Não Não Você está disposto a permitir que mulçumanos vivam ao lado de sua casa? Sim Sim Não Não Não Não Não Você se moraria na mesma casa que um mulçumano? Sim Não Não Não Não Não Não Você deixaria seu filho ou filha se casar com um(a) mulçumano(a)? Não Não Não Não Não Não Não ▪ Exemplo de escalograma. PPGP – Construção de Questionários Questões R1 R2 R3 R4 R5 R6 R7 Total Você está disposto a permitir que mulçumanos vivam em seu país? 1 1 1 1 1 1 0 6 Você está disposto a permitir que mulçumanos vivam em seu estado? 1 1 1 1 1 0 0 5 Você está disposto a permitir que mulçumanos vivam em seu município? 1 1 1 1 0 0 0 4 Você está disposto a permitir que mulçumanos vivam em seu bairro? 1 1 1 0 0 0 0 3 Você está disposto a permitir que mulçumanos vivam ao lado de sua casa? 1 1 0 0 0 0 0 2 Você se moraria na mesma casa que um mulçumano? 1 0 0 0 0 0 0 1 Você deixaria seu filho ou filha se casar com um(a) mulçumano(a)? 0 0 0 0 0 0 0 0 Total 6 5 4 3 2 1 0 21 ▪ Vinhetas de Ancoragem ▪ Objetivo: apresentar perguntas suplementares a fim de tornar possível a construção de uma escala de concordância que seja capaz de extrair mais informações a partir das mesmas perguntas. ▪ As vinhetas de ancoragem são definidas como uma metodologia estatística que busca, principalmente, minimizar os problemas transculturais, tornando possível comparar os resultados de diferentes realidades sociais e culturais. ▪ As vinhetas se configuram em pequenas estórias utilizadas para caracterizar, através de exemplos, o continuum de um construto. A ideia é redimensionar as respostas com base em um padrão pré- estabelecido por meio de estórias (vinhetas) que descrevem diferentes níveis do constructo. Ao invés de itens com generalizações abstratas, as vinhetas oferecem situações distintas, concretas e mais detalhadas da realidade e do construto a qual se pretende medir. PPGP – Construção de Questionários ▪ Vinhetas de Ancoragem ▪ Exemplo: PPGP – Construção de Questionários Eu tenho boas práticas pedagógicas. ▪ Vinhetas de Ancoragem ▪ Exemplo: PPGP – Construção de Questionários Discordo totalmente Discordo Concordo Concordo totalmente Discordo totalmente Discordo Concordo Concordo totalmente Discordo totalmente Discordo Concordo Concordo totalmente ▪ Vinhetas de Ancoragem ▪ Exemplo: PPGP – Construção de Questionários O professor Pedro utiliza diferentes recursos para ensinar (quadro, TV, música etc), usa também o livro didático, e propõe atividades diferentes para o trabalho em sala de aula. A professora Paula utiliza mais o livro didático. Às vezes, ela passa algum vídeo ou usa o laboratório de Informática e passa atividades para a turma em sala de aula. O professor Carlos trabalha o livro didático em sala de aula, de vez em quando passa atividades para seus alunos, mas os exercícios são muito parecidos. ▪ Vinhetas de Ancoragem ▪ Exemplo: PPGP – Construção de Questionários Discordo totalmente Discordo Concordo Concordo totalmente Discordo totalmente Discordo Concordo Concordo totalmente Discordo totalmente Discordo Concordo Concordo totalmente ▪ Vinhetas de Ancoragem ▪ Exemplo: PPGP – Construção de Questionários ▪ Vinhetas de Ancoragem ▪ Exemplo: PPGP – Construção de Questionários ▪ Vinhetas de Ancoragem ▪ Exemplo: PPGP – Construção de Questionários Abaixo da V1 No mesmo ponto da V1 Entre a V1 e V2 No mesmo ponto da V2 Entre a V2 e V3 No mesmo ponto da V3 Acima da V3 ▪Concluindo ▪ Construa questões consistentes; ▪ Padronize a tarefa e as respostas; ▪ Defina a direção e a quantidade de categorias; ▪ Utilize mais de uma questão para o mesmo constructo; ▪ Planeje e organize previamente seus itens, categorias e direção em relação ao constructo, isso facilita o trabalho e previne erros. PPGP – Construção de Questionários PPGP – Construção de Questionários Variáveis Categorias 5º EF 9º EF 3ª EM 2013 2014 2015 2013 2014 2015 2013 2014 2015 Sexo Masculino 193 202 201 243 238 238 268 263 274 Dif. 13 9 11 15 14 16 13 13 9 Feminino 206 212 212 258 252 254 280 275 283 Cor ou raça Branca 205 213 211 257 253 253 281 278 286 Dif. -16 -18 -17 -14 -17 -16 -11 -15 -13 Parda 201 207 208 250 244 246 273 268 277 Preta 189 195 194 243 236 237 269 263 273 Amarela 193 201 197 248 244 243 268 266 271 Indígena 199 206 208 249 242 243 260 256 264 Nível socioeconômico Baixo 184 193 192 239 234 236 264 260 269 M-baixo 195 203 202 247 240 243 271 267 276 M-alto 205 214 211 253 247 248 277 273 281 Dif. -35 -32 -30 -22 -23 -21 -19 -19 -20 Alto 219 225 222 261 257 257 283 279 289 PPGP – Construção de Questionários 100,00 150,00 200,00 250,00 300,00 350,00 400,00 0 1 2 3 4 5 6 7 8 9 10 Muito abaixo do básico Abaixo do básico Acima do básico Muito acima do básico PPGP – Construção de Questionários PROGRAMAS EM BRANCO VÁLIDOS TOTAL (N) AVALIANDO IDEPB 2016 29,8% 70,2% 34803 PAEBES 2016 22,3% 77,7% 57830 PROEB 2016 7,9% 92,1% 230970 SAEGO 2016 20,1% 79,9% 10180 SAEMS 2016 17,5% 82,5% 33104 SAEPE 2016 23,9% 76,1% 131137 SAEPI 2016 26,7% 73,3% 10864 SAERS 2016 25,0% 75,0% 85117 SAETHE 2016 17,4% 82,6% 5512 SEAPE 2016 24,5% 75,5% 14508 TOTAL 17,8% 82,2% 614025 PPGP – Construção de Questionários 37% 26% 40% 26% 19% 27% 26% 6% 28% 13% 32% 27% 28% 49% 48% 49% 53% 35% 51% 40% 12% 53% 29% 49% 51% 54% 10% 20% 8% 16% 34% 17% 25% 48%14% 39% 14% 17% 14% 4% 6% 3% 5% 12% 5% 8% 34% 5% 20% 5% 5% 4% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90%100% Na minha escola, temos várias atividades… Na minha escola, os alunos se dão bem com o… A minha escola está sempre preparada para… Quando o diretor ou os professores chamam a… Na minha escola, muitos alunos ficam do lado de… Na minha escola, os alunos se dão bem com os… A minha escola oferece aulas extras (português,… Os professores faltam muito às aulas. N(459068) Na minha escola, os problemas que acontecem… Minha escola tem atividades para os alunos nos… Quando há brigas entre os alunos, o(a)… Na minha escola, os alunos se dão bem com os… Na minha escola as pessoas se relacionam bem.… Concordo totalmente. Concordo. Discordo. Discordo totalmente. PPGP – Construção de Questionários ITEM N MÍN. MÁX. MÉD. DESV. CLIMA1 466053,00 1,00 4,00 3,21 0,75 CLIMA2 464305,00 1,00 4,00 2,94 0,83 CLIMA3 465163,00 1,00 4,00 3,25 0,73 CLIMA4 463194,00 1,00 4,00 3,00 0,78 CLIMA5 461938,00 1,00 4,00 2,40 0,93 CLIMA6 462913,00 1,00 4,00 3,01 0,79 CLIMA7 460219,00 1,00 4,00 2,84 0,91 CLIMA8 459068,00 1,00 4,00 3,09 0,84 CLIMA9 459748,00 1,00 4,00 3,04 0,78 CLIMA10 459114,00 1,00 4,00 2,34 0,94 CLIMA11 459911,00 1,00 4,00 3,07 0,82 CLIMA12 460881,00 1,00 4,00 3,00 0,80 CLIMA13 460746,00 1,00 4,00 3,05 0,76 VÁL. LIST. 392024,00 - - - - PPGP – Construção de Questionários Cronbach's Alpha Cronbach's Alpha Based on Standardized Items N of Items 0,70 0,72 13,00 ITEM Corrected Item-Total Correlation Squared Multiple Correlation Cronbach's Alpha if Item Deleted CLIMA1 0,44 0,23 0,67 CLIMA2 0,42 0,21 0,67 CLIMA3 0,49 0,28 0,66 CLIMA4 0,40 0,19 0,67 CLIMA5 0,05 0,06 0,72 CLIMA6 0,48 0,27 0,66 CLIMA7 0,26 0,11 0,69 CLIMA8 0,14 0,11 0,71 CLIMA9 0,38 0,17 0,68 CLIMA10 0,08 0,08 0,72 CLIMA11 0,32 0,13 0,68 CLIMA12 0,44 0,28 0,67 CLIMA13 0,48 0,31 0,66 PPGP – Construção de Questionários ITENS CLIMA 1 CLIMA 2 CLIMA 3 CLIMA 4 CLIMA 5 CLIMA 6 CLIMA 7 CLIMA 8 CLIMA 9 CLIMA 10 CLIMA 11 CLIMA 12 CLIMA 13 CLIMA 1 1,00 0,26 0,37 0,24 -0,01 0,25 0,22 0,13 0,24 0,10 0,21 0,20 0,24 CLIMA 2 0,26 1,00 0,29 0,25 0,05 0,33 0,14 0,05 0,20 0,07 0,17 0,26 0,27 CLIMA 3 0,37 0,29 1,00 0,28 0,01 0,29 0,19 0,16 0,28 0,05 0,24 0,25 0,29 CLIMA 4 0,24 0,25 0,28 1,00 0,01 0,29 0,16 0,05 0,21 0,08 0,17 0,24 0,26 CLIMA 5 -0,01 0,05 0,01 0,01 1,00 0,08 -0,06 0,18 0,00 -0,10 -0,02 0,07 0,05 CLIMA 6 0,25 0,33 0,29 0,29 0,08 1,00 0,15 0,08 0,23 0,06 0,17 0,33 0,34 CLIMA 7 0,22 0,14 0,19 0,16 -0,06 0,15 1,00 -0,01 0,15 0,17 0,12 0,13 0,16 CLIMA 8 0,13 0,05 0,16 0,05 0,18 0,08 -0,01 1,00 0,11 -0,18 0,10 0,06 0,08 CLIMA 9 0,24 0,20 0,28 0,21 0,00 0,23 0,15 0,11 1,00 0,04 0,24 0,21 0,25 CLIMA 10 0,10 0,07 0,05 0,08 -0,10 0,06 0,17 -0,18 0,04 1,00 0,04 0,06 0,06 CLIMA 11 0,21 0,17 0,24 0,17 -0,02 0,17 0,12 0,10 0,24 0,04 1,00 0,17 0,20 CLIMA 12 0,20 0,26 0,25 0,24 0,07 0,33 0,13 0,06 0,21 0,06 0,17 1,00 0,45 CLIMA 13 0,24 0,27 0,29 0,26 0,05 0,34 0,16 0,08 0,25 0,06 0,20 0,45 1,00 PPGP – Construção de Questionários Kaiser-Meyer-Olkin Measure of Sampling Adequacy. 0,84 Bartlett's Test of Sphericity Approx. Chi-Square 736280,53 df 78,00 Sig. 0,00 ITEM INICIAL EXTRAÇÃO CLIMA1 1,00 0,44 CLIMA2 1,00 0,36 CLIMA3 1,00 0,47 CLIMA4 1,00 0,32 CLIMA5 1,00 0,45 CLIMA6 1,00 0,47 CLIMA7 1,00 0,33 CLIMA8 1,00 0,60 CLIMA9 1,00 0,35 CLIMA10 1,00 0,46 CLIMA11 1,00 0,35 CLIMA12 1,00 0,54 CLIMA13 1,00 0,50 COMP. AUTOVAL. INICIAIS SOM. DA EXTR. CARGAS EXP. TOTAL % VAR. CUM. % TOTAL % VAR. CUM. % 1 3,21 24,68 24,68 3,21 24,68 24,68 2 1,36 10,50 35,18 1,36 10,50 35,18 3 1,08 8,28 43,46 1,08 8,28 43,46 4 0,93 7,15 50,61 5 0,85 6,52 57,13 6 0,82 6,29 63,42 7 0,76 5,85 69,26 8 0,75 5,78 75,05 9 0,75 5,76 80,80 10 0,69 5,28 86,09 11 0,64 4,93 91,02 12 0,62 4,76 95,78 13 0,55 4,22 100,00 PPGP – Construção de Questionários ITEM INICIAL EXTRAÇÃO COMP. 1 COMP. 2 COMP. 3 CLIMA1 1,00 0,44 0,58 0,31 CLIMA2 1,00 0,36 0,57 CLIMA3 1,00 0,47 0,64 0,25 CLIMA4 1,00 0,32 0,55 CLIMA5 1,00 0,45 0,60 -0,30 CLIMA6 1,00 0,47 0,62 -0,29 CLIMA7 1,00 0,33 0,38 -0,38 0,21 CLIMA8 1,00 0,60 0,21 0,65 0,36 CLIMA9 1,00 0,35 0,52 0,27 CLIMA10 1,00 0,46 -0,64 CLIMA11 1,00 0,35 0,45 0,39 CLIMA12 1,00 0,54 0,59 -0,43 CLIMA13 1,00 0,50 0,64 -0,31 PPGP – Construção de Questionários 0 20000 40000 60000 80000 100000 120000 140000 160000 180000 1 2 3 4 5 6 7 8 9 10 PERCEPÇÃO DOS ESTUDANTES DO FUNDAMENTAL SOBRE O CLIMA ESCOLAR PPGP – Construção de Questionários 100 150 200 250 300 350 400 1 2 3 4 5 6 7 8 9 10 Percepção dos estudantes do fundamental sobre o clima escolar Valor da proficiência em L. Portuguesa Valor da proficiência em Matemática PPGP – Construção de Questionários 100 150 200 250 300 350 400 1 2 3 4 5 6 7 8 9 10 Nível socioeconômico dos estudantes do fundamental Valor da proficiência em L. Portuguesa Valor da proficiência em Matemática ▪ A pesquisa é o procedimento científico para responder questões consideradas relevantes. ▪ Existem diversos métodos para o levantamento de dados nas Ciências Sociais. ▪ Cada pesquisa possui uma estratégia de resposta. ▪ O desenho da pesquisa refere-se à seleção e organização da evidência. ▪ Seleção da evidência: coleta de dados primários ou utilização de bases de dados secundários. ▪ Organização da evidência: preparo da base de dados primários ou secundários. PPGP – Construção de Questionários ▪ Survey é o termo em inglês que se refere ao método de levantamento de dados feito a partir de uma amostra representativa da população. ▪ Universo: todos os indivíduos (ou unidades) existentes. ▪ População: todos os indivíduos (ou unidades) relevantes para as considerações do pesquisador. ▪ População alvo: todos os indivíduos (ou unidades) que compõem o universo da análise. ▪ Amostra: fração de indivíduos (ou unidades) representativa da população. PPGP – Construção de Questionários ▪ Distinção entre método e metodologia. ▪ Método: refere-se a um procedimento específico de coleta e / ou análise de dados (podem ser vários). ▪ Metodologia: refere-se às tarefas, estratégias e critérios que regem a investigação científica, incluindo todas as facetas do trabalho de pesquisa. PPGP – Construção de Questionários ▪ Métodos mais conhecidos para o levantamento de dados nas Ciências Sociais. ▪ Entrevista: questionamento de uma pessoa selecionada pelo pesquisador, no intuito de obter informações relevante para a pesquisa. ▪ Grupo focal: discussão roteirizada sobre um determinado tema, objeto de pesquisa, entre um grupo de pessoas selecionada pelo pesquisador. ▪ Questionários: instrumentos compostos de questões padronizadas apresentadas a certa amostra da população alvo, a fim de levantar os dados necessários para a elucidação do objeto de pesquisa. PPGP – Construção de Questionários ▪ Não existe um método apropriado para construir questionários, mas há na literatura uma série de recomendações. ▪ Todo questionário deve ser feito “sob medida”. ▪ Deve-se estar atento ao contexto cultural, o da pesquisa, o do pesquisador e o do respondente. PPGP – Construção de Questionários ▪ Crie um plano de análise! ▪ Quais são as questões que você irá utilizar para mensurar seu constructo? ▪ Quais subgrupos de respondentes você irá considerar? ▪ Você irá explicar diferenciais em relação ao constructo? ▪ O que é essenciale deve estar no instrumento? PPGP – Construção de Questionários ▪Lógica sequencial do instrumento. ▪ Do geral para o específico. ▪ Do distante para o próximo. ▪ Do impessoal para o pessoal. ▪ Agrupamento ordenado. ▪ Perguntas mais importantes primeiro. PPGP – Construção de Questionários ▪Estrutura do instrumento. ▪ Introdução. ▪ Estabelecer a confiança. ▪ Eliminar resistências. ▪ Incentivos(?). ▪ Justificar a importância. ▪ Perguntas. ▪ Manter o interesse. ▪ Manter a atenção. ▪ Encerramento. ▪ Agradecimento. ▪ Reforçar a importância. ▪ Recompensas(?). PPGP – Construção de Questionários ▪ As variáveis construídas na pesquisa social constituem uma ponte crucial entre a conceituação e a observação. ▪ A pesquisa empírica explora a variação observada entre unidades de análise de diferentes tipos e os fatores responsáveis por esta variação. ▪ Variável é o eixo ao longo do qual a variação é medida e avaliada particularmente na pesquisa quantitativa. ▪ Todas as classes de objetos que assumem diferentes valores, categorias ou atributos para diferentes observações podem ser consideradas como variáveis. ▪ Variável é o oposto de constante, que é uma entidade que retém o mesmo valor através de todas as observações possíveis. PPGP – Construção de Questionários ▪ Elementos comuns e conceitos para o trabalho com bases de dados. ▪ Tabela: estrutura interna dos dados em uma base. ▪ Linhas e colunas formam uma tabela. ▪ Linha: contém todas as informações sobre um caso na tabela Uma linha é uma série de colunas que descrevem atributos de um único objeto (registro). ▪ Coluna: contém todas as informações sobre uma variável na tabela Uma coluna é uma série de linhas que descrevem os valores de uma única característica, atributo ou propriedade dos casos. PPGP – Construção de Questionários ▪ Exemplo: REG MUN ESC ALUNO NASCIMENTO RESP 1 RESP 2 RESP 3 Fortaleza Fortaleza EE A Andreza 15/09/1994 A C ... Acarau Itarema EE B João 05/06/1994 A D ... Fortaleza Fortaleza EE C Maria 30/12/1993 B E ... ... ... ... ... ... ... ... ... PPGP – Construção de Questionários ▪ Exemplo: tabela de dados. PPGP – Construção de Questionários UF CD_MUN NM_MUN CD_ESC NM_ESC REDE TA11 MT11 LP11 IDEB11 RO 1100015 ALTA FLORESTA D'OESTE 11024682 EEEF EURIDICE LOPES Estadual 92,6 211,93 173,05 4,8 RO 1100015 ALTA FLORESTA D'OESTE 11025310 EMEIEF PEDRO ALEIXO Municipal 86,6 215,67 206,56 4,9 GO 5200308 ALEXANIA 52044092 ESC MUL SAO RAFAEL Municipal 92,5 197,07 167,08 4,5 DF 5300108 BRASILIA 53006976 CEF TELEBRASILIA Estadual 90,8 225,44 206,95 5,5 DF 5300108 BRASILIA 53006992 EC AGROVILA Estadual 92,8 220,06 196,04 5,3 DF 5300108 BRASILIA 53007000 EC IPE Estadual 94,4 278,12 224,82 6,9 DF 5300108 BRASILIA 53007018 EC KANEGAE Estadual 86,7 215,76 206,65 4,9 DF 5300108 BRASILIA 53007026 EC 01 DO RIACHO FUNDO Estadual 93,2 227,28 211,71 5,7 ▪ Exemplo: linha de dados. PPGP – Construção de Questionários UF CD_MUN NM_MUN CD_ESC NM_ESC REDE TA11 MT11 LP11 IDEB11 RO 1100015 ALTA FLORESTA D'OESTE 11024682 EEEF EURIDICE LOPES Estadual 92,6 211,93 173,05 4,8 RO 1100015 ALTA FLORESTA D'OESTE 11025310 EMEIEF PEDRO ALEIXO Municipal 86,6 215,67 206,56 4,9 GO 5200308 ALEXANIA 52044092 ESC MUL SAO RAFAEL Municipal 92,5 197,07 167,08 4,5 DF 5300108 BRASILIA 53006976 CEF TELEBRASILIA Estadual 90,8 225,44 206,95 5,5 DF 5300108 BRASILIA 53006992 EC AGROVILA Estadual 92,8 220,06 196,04 5,3 DF 5300108 BRASILIA 53007000 EC IPE Estadual 94,4 278,12 224,82 6,9 DF 5300108 BRASILIA 53007018 EC KANEGAE Estadual 86,7 215,76 206,65 4,9 DF 5300108 BRASILIA 53007026 EC 01 DO RIACHO FUNDO Estadual 93,2 227,28 211,71 5,7 ▪ Exemplo: coluna de dados. UF CD_MUN NM_MUN CD_ESC NM_ESC REDE TA11 MT11 LP11 IDEB11 RO 1100015 ALTA FLORESTA D'OESTE 11024682 EEEF EURIDICE LOPES Estadual 92,6 211,93 173,05 4,8 RO 1100015 ALTA FLORESTA D'OESTE 11025310 EMEIEF PEDRO ALEIXO Municipal 86,6 215,67 206,56 4,9 GO 5200308 ALEXANIA 52044092 ESC MUL SAO RAFAEL Municipal 92,5 197,07 167,08 4,5 DF 5300108 BRASILIA 53006976 CEF TELEBRASILIA Estadual 90,8 225,44 206,95 5,5 DF 5300108 BRASILIA 53006992 EC AGROVILA Estadual 92,8 220,06 196,04 5,3 DF 5300108 BRASILIA 53007000 EC IPE Estadual 94,4 278,12 224,82 6,9 DF 5300108 BRASILIA 53007018 EC KANEGAE Estadual 86,7 215,76 206,65 4,9 DF 5300108 BRASILIA 53007026 EC 01 DO RIACHO FUNDO Estadual 93,2 227,28 211,71 5,7 PPGP – Construção de Questionários ▪ Exemplo: dicionário de variáveis. VARIÁVEL RÓTULO UF UNIDADE DA FEDERAÇÃO CD_MUN CÓDIGO DO MUNICÍPIO NM_MUN NOME DO MUNICÍPIO CD_ESC CÓDIGO DA ESCOLA NM_ESC NOME DA ESCOLA REDE REDE DA ESCOLA TA11 TAXA DE APROVAÇÃO EM 2011 PF_MT11 PROFICIÊNCIA MÉDIA EM MATEMÁTICA EM 2011 PF_LP11 PROFICIÊNCIA MÉDIA EM LÍNGUA PORTUGUESA EM 2011 IDEB11 ÍNDICE DE DESENVOLVIMENTO DA EDUCAÇÃO BÁSICA EM 2011 PPGP – Construção de Questionários PPGP – Construção de Questionários Obrigado! Email para contato: lribeiro@caed.ufjf.br.
Compartilhar