Medição Modulo 6 - Avaliação de Impacto de Programas e Políticas Sociais

Prévia do material em texto

Avaliação de Impacto de Programas e Políticas Sociais – modulo 6
Medição
A.1. Quais dos seguintes elementos da Teoria da Mudança poderiam ser medidos por meio de um indicador? Marque todas as respostas que julgar corretas.
A. Necessidades 
B. Atividades / Insumos 
C. Produtos 
D. Resultados Intermediários 
E. Resultados Finais 
Todas as respostas estão corretas. Ao longo da implementação de um programa, os indicadores permitem quantificar todas as etapas da cadeia causal (sejam elas necessidades, atividades/insumos, produtos ou resultados), convertendo-as em variáveis e permitindo estabelecer relações causais entre elas.
A2.b. Verdadeiro ou falso: cada elemento da cadeia causal da Teoria da Mudança pode ter apenas um indicador para medição do progresso.
A. Verdadeiro 
B. Falso 
A alternativa correta é a B. É possível que, para medir de maneira eficaz os componentes da cadeia causal, sejam necessários um ou mais indicadores. O importante é que os indicadores escolhidos possam medir com exatidão e precisão cada etapa da Teoria da Mudança.
B.1. Quais dos seguintes enunciados são verdadeiros? Marque todas as respostas que julgar corretas.
A. Um indicador é exato se não tem desvios sistemáticos do valor verdadeiro. 
B. Um indicador é preciso se não tem desvios sistemáticos do valor verdadeiro. 
C. Um indicador é exato se repetidas medições do mesmo objeto sempre geram o mesmo valor. 
D. Um indicador é preciso se repetidas medições do mesmo objeto sempre geram o mesmo valor. 
As respostas corretas são as alternativas A e D. A exatidão se refere ao viés da resposta, ou seja, à proximidade em relação ao valor verdadeiro (se é subestimado ou superestimado). A precisão se refere à variabilidade da resposta, à diferença entre os valores gerados em repetidas medições do mesmo objeto. Em medições realizadas repetidas vezes, a exatidão depende da posição do valor médio dos resultados. A precisão, por outro lado, se refere à dispersão que os diferentes valores obtidos na medição têm entre si.
B.2. Verdadeiro ou falso: o indicador é considerado confiável quando ele mede os valores do construto com maior exatidão.
A. Verdadeiro 
B. Falso 
Falso. A confiabilidade do indicador está relacionada à precisão com a qual o ele realiza a medição. Por outro lado, se o indicador é exato na medição das variáveis, considera-se que este é válido ou rigoroso.
B.3. Selecione os indicadores abaixo para os seus respectivos construtos, de acordo com o que buscam medir.
A. Porcentagem de pessoas sem qualquer nível educacional População em situação vulnerável 
B. Taxa de respostas a pesquisas cidadãs Participação cidadã 
C. Pessoas sequestradas anualmente Níveis de delinquência 
D. Frequência a comícios políticos Participação cidadã 
E. Porcentagem de pessoas sem casa População em situação vulnerável 
F. Taxa de pobreza População em situação vulnerável 
G. Taxa de abstenção em eleições Participação cidadã 
H. Número de roubos por mês Níveis de delinquência 
I. Taxa de homicídio Níveis de delinquência 
B.4. Relacione as medições das empresas com a classificação abaixo.
Empresa 01: imagem01 Exato e Impreciso 
Empresa 02: imagem01 Exato e Preciso 
Empresa 03: imagem01 Inexato e Impreciso 
Empresa 04: imagem01 Inexato e Preciso
B.5. Qual das quatro empresas o governo deve contratar?
A. Empresa 1 
B. Empresa 2 
C. Empresa 3 
D. Empresa 4 
A resposta correta é a alternativa B. A empresa 2 foi a que apresentou medições mais exatas e precisas.
C.1. Os enunciados abaixo descrevem um processo para responder à pergunta "Quantos litros de água você bebe por dia (em média)?". Para cada enunciado, relacione a etapa de formulação de uma resposta.
· A pessoa estima que os copos que utiliza têm aproximadamente 250 ml, e que pratica atividade física em média duas vezes por semana. Estimar / Julgar 
· A pessoa revisa sua memória e conclui que, no geral, bebe 3 copos de água por dia, e 4 copos nos dias em que pratica atividade física. Recuperar informação 
· A pessoa assume que os litros de água tomados por dia são aqueles constituídos somente por água, não considerando outros líquidos como café, chá, bebidas, etc. Compreender a pergunta 
· A pessoa responde que bebe cerca de 800 ml de água por dia. Responder 
A primeira etapa do processo é interpretar a pergunta, como expresso no terceiro enunciado. Em seguida, a pessoa recupera a informação necessária para responder à pergunta, como descrito no segundo enunciado. Então, a pessoa usa essa informação para fazer uma estimativa, como exemplificado no primeiro enunciado. Por fim, ela sintetiza sua resposta, como visto no quarto enunciado.
C.2. Você agora vai, na prática, passar pelo processo de responder a uma pergunta. Por favor, responda à seguinte pergunta sobre este curso online: Quantas horas por semana você dedica ao curso? (É importante para nós que você selecione alguma das opções a seguir antes de continuar).
A. Menos de 2 horas 
B. 2 ou mais horas, mas menos de 4 
C. 4 ou mais horas, mas menos de 6 
D. 6 ou mais horas, mas menos de 8 
E. 8 horas ou mais 
F. Não sei/Não quero responder 
Não há uma resposta correta para esta pergunta. Mas, para respondê-la, você passou pelas etapas de interpretar a pergunta, recuperar a informação necessária para responder à pergunta, usar a informação para fazer uma estimativa e sintetizar a resposta.
C.3. Aos responder à questão anterior, qual dos passos no processo de responder a uma pergunta foi mais difícil/complicado para você?
A. Entender / Compreender a pergunta 
B. Recuperar Informação 
C. Estimativa / Julgamento 
D. Responder 
Não há uma resposta correta para esta questão. O objetivo dela é que você perceba na prática o processo de se responder à uma pergunta e reflita sobre ele.
D.1. Quais dos seguintes enunciados são verdadeiros? Marque todas as respostas que julgar corretas.
A. As perguntas negativas são confusas porque suas respostas são sempre de caráter positivo. 
B. O erro por imprecisão é aquele que se dá porque a pergunta está aberta a múltiplas interpretações. 
C. O erro por imprecisão se dá porque as perguntas estão vinculadas a um período de tempo muito amplo, e por isso as respostas são ambíguas. 
D. Para evitar o erro por alternativas incompletas, é recomendável revisar a questão e as alternativas para se ter certeza de que constam ali todas as respostas possíveis e que estas são excludentes entre si. 
E. As categorias sobrepostas são aquelas que não são excludentes entre si. 
As respostas corretas são as alternativas B, D, e E. A opção A é incorreta porque as perguntas negativas não têm necessariamente respostas positivas (apesar de serem confusas e passíveis de  má interpretação). A opção C, por sua vez, é incorreta porque os erros por imprecisão acontecem porque há muitas interpretações possíveis para uma só pergunta, mas não necessariamente vinculadas à variável do tempo.
Parte superior do formulário
D.2. Qual é o erro de medição presente na seguinte pergunta: Qual é a cor de cabelo do seu irmão?
       a. Preto
       b. Castanho
       c. Loiro
       d. Ruivo
       e. Outro
A. Negativas 
B. Imprecisão 
C. Premissa 
D. Categorias sobrepostas 
E. Alternativas incompletas 
A resposta correta é a C. A pergunta assume que a pessoa pesquisada tem um irmão (e que tem apenas um), o que pode produzir um erro de medição por premissa.
E.1. Verdadeiro ou falso: a pergunta "Quantos dias o certificado demorou para chegar à sua casa no ano passado?" comete um erro de medição denominado "Viés de ancoragem".
A. Verdadeiro 
B. Falso 
Falso. O erro de medição vinculado à pergunta está relacionado ao viés de lembrança, já que as respostas poderão ser influenciadas pelas percepções dos indivíduos (que com o passar tempo se veem alteradas). Na pergunta não são dadas informações que possam resultar em uma ancoragem para a resposta do entrevistado.
E.2. Selecione o erro de medição correspondente a cada caso.
1. Você participou de algum processo ou procedimento municipal (processos participativos, de atendimento a serviços, etc) nos últimosvinte meses? Efeito telescópio 
2. Quanto você obteve de restituição do imposto de renda no exercício retrasado? Viés de memória 
3. Quando você enfrenta filas para acessar serviços municipais, dá lugar às pessoas mais velhas ou portadoras de deficiência? Viés de desejabilidade social 
4. Se você tivesse que escolher entre duas políticas públicas voltadas para educação financeira, sendo A a mais barata (R$ 100.000 ao ano) e B a mais cara (R$ 250.000 ao ano), qual escolheria? Efeito de enquadramento 
5. Foi comprovado que 80% das pessoas que buscaram acessar serviços de zeladoria na cidade repetiram procedimentos municipais mais de duas vezes por não terem obtido respostas nas vezes anteriores. E você, quantas vezes teve que repetir procedimentos análogos? Viés de ancoragem 
A pergunta do item 1 corresponde a um erro por efeito telescópio, que significa a subjetivação do tempo e da distância dos eventos.
A pergunta do item 2 corresponde a um erro por viés de memória - os eventos podem ser melhor ou pior lembrados segundo a pessoa. Assim, é recomendável neste caso pedir que a pessoa mantenha um registro do que se vai medir (o que é unicamente possível em avaliações realizadas em intervalos de tempo, não pontuais).
A pergunta 3 está sujeita a certas pressões ou ideais sociais que podem condicionar o entrevistado, e por isso pode ocorrer o viés de desejabilidade social.
A pergunta 4 se relaciona ao "efeito de enquadramento", dado que as respostas podem ser condicionadas à formulação da pergunta.
Por último, a pergunta 5 condiciona o entrevistado ao oferecer uma informação que pode mudar a sua resposta, e por isso é um exemplo do chamado viés de ancoragem.
F.1. Quais dos seguintes exemplos correspondem a dados de fontes primárias? Marque todas as respostas que julgar corretas.
A. Uma chamada telefônica realizada pela equipe de pesquisa para perguntar sobre a situação da economia e do emprego em uma família. 
B. Os índices da percepção da corrupção na Colômbia, obtidos entre 2005 e 2012 pela ONG Transparência Internacional. 
C. A variação das taxas de desemprego mundiais nos últimos quatro anos, segundo o Banco Mundial. 
D. Uma pesquisa online sobre o consumo do tabaco pelos jovens, realizada pela equipe de pesquisa. 
E. Os dados do censo sobre o envelhecimento da população brasileira nos últimos dez anos. 
As respostas corretas são as alternativas A e D. Os dados primários são aqueles coletados de forma específica para a pesquisa - seja por necessidade de uma amostra com número maior de observações do que se tem com uma fonte secundária, ou por não se confiar nas fontes disponíveis. Já os dados secundários são aqueles  levantados de forma indireta, como dados públicos/administrativos (Censo, ONGs) ou privados. Eles são utilizados quando existe confiança na fonte de levantamento de informações e se considera que o custo para fazê-lo é muito alto.
G1. Quais dos aspectos abaixo foram citados pela professora como melhores práticas para evitar erros de medição? Marque todas as alternativas que julgar corretas.
A. Perguntas gerais são preferíveis a perguntas específicas porque são mais fáceis de serem entendidas pelo entrevistado. 
B. Vocabulário das perguntas deve ser específico para o público-alvo da pesquisa. 
C. Para tornar questionários mais curtos, questões devem incluir mais de uma pergunta por vez. 
D. É preciso assegurar que as alternativas incluem todas as possibilidades possíveis, sem sobreposição. 
As alternativas corretas são B e D. A alternativa A é incorreta: perguntas devem ser específicas para garantir respostas exatas e evitar viés. A alternativa C é incorreta: quando temos uma pergunta complexa, devemos dividi-la em várias perguntas menores e garantir que haja apenas uma pergunta por questão.
Parte superior do formulário
Parte inferior do formulário
Parte inferior do formulário