Estudo de caso - Módulo 6 - Avaliação de Impacto de Programas e Políticas Sociais

Prévia do material em texto

01/03/2020 avaliacao_impacto | - Turma FEV/2020: Estudo de Caso - Módulo 6: feedback EC1
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109041&pageid=43865 1/2
Painel / Meus cursos / Avaliação de Impacto de Programas e Políticas Sociais / Semana 3
/ Estudo de Caso - Módulo 6
Avaliação de Impacto de Programas
e Políticas Sociais
Estudo de Caso - Módulo 6
Feedback
EC.1. Vimos que indicadores devem ser usados para medir cada passo da cadeia causal. A
seguir, temos uma lista de perguntas para gerar indicadores que podem ser úteis para o
programa PAME. Selecione o passo da cadeia causal correspondente a cada pergunta.
1. Qual foi o montante de vendas do seu negócio ou empreendimento no mês passado
e neste mês?  O negócio cresce 
2. A quantas aulas de capacitação você assistiu no total?  (Potenciais)
microempreendedores capacitados 
3. No mês passado, qual foi o salário líquido proveniente de seu
empreendimento?  Aumentam as rendas dos microempreendedores 
4. Aproximadamente quanto do dinheiro recebido foi gasto em máquinas, inventário,
outros ativos e insumos para o negócio? Investimento para começar ou expandir
um negócio 
5. Quantas horas na semana, em média, você dedica ao seu
empreendimento?  Aumenta o emprego independente dos microempreendedores 

6. Nos últimos três meses você fez ofertas especiais para atrair
clientes?  Microempreendedores usam boas práticas empresariais 
7. Você recebeu ajuda monetária (capital) para comprar ferramentas, produtos para
venda ou maquinário para seu negócio?  Transferência monetária 
Avançar
Progresso na lição: 17%

☰
https://mooc.escolavirtual.gov.br/my/
https://mooc.escolavirtual.gov.br/course/view.php?id=4103
https://mooc.escolavirtual.gov.br/course/view.php?id=4103#section-3
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109041
01/03/2020 avaliacao_impacto | - Turma FEV/2020: Estudo de Caso - Módulo 6: feedback EC2
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109041&pageid=43877 1/2
Painel / Meus cursos / Avaliação de Impacto de Programas e Políticas Sociais / Semana 3
/ Estudo de Caso - Módulo 6
Avaliação de Impacto de Programas
e Políticas Sociais
Estudo de Caso - Módulo 6
Feedback
EC.2. Considere a pergunta: "em média, quantas horas por semana você trabalhou no seu
empreendimento em setembro de 2010?" A seguir são apresentados erros que podem
fazer com que a resposta do entrevistado ou entrevistada não seja a verdadeira: em que
passo do processo de responder uma pergunta cada erro foi cometido? 
A. Normalmente, o entrevistado trabalha 15 horas por semana em seu
empreendimento, mas, no período citado na pergunta, houve vários pedidos
importantes que o fizeram trabalhar mais horas. O entrevistado, ao não se lembrar
da diferença, responde 15 horas. Recuperar informação 
B. O entrevistado trabalha 20 horas por semana, mas considera isso muito pouco. Para
fazer uma imagem melhor de si, ele responde 30 horas. Responder 
C. O entrevistado responde 40 horas em vez de 20 horas, porque pensa que a
pergunta é sobre as horas trabalhadas no total (e não apenas no seu
empreendimento). Entender a pergunta 
D. De segunda a sexta, o entrevistado trabalha 4 horas por dia em seu
empreendimento, e não trabalha aos finais de semana. No entanto, para calcular o
número de horas por semana, ele multiplica essas 4 horas pelos 7 dias da semana,
respondendo 28 em vez de 20 (cinco dias úteis). Estimar 
Avançar
Progresso na lição: 24%

☰
https://mooc.escolavirtual.gov.br/my/
https://mooc.escolavirtual.gov.br/course/view.php?id=4103
https://mooc.escolavirtual.gov.br/course/view.php?id=4103#section-3
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109041
01/03/2020 avaliacao_impacto | - Turma FEV/2020: Estudo de Caso - Módulo 6: feedback EC 3
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109041&pageid=43868 1/2
Painel / Meus cursos / Avaliação de Impacto de Programas e Políticas Sociais / Semana 3
/ Estudo de Caso - Módulo 6
Avaliação de Impacto de Programas
e Políticas Sociais
Estudo de Caso - Módulo 6
Feedback
EC.3. Um exemplo seria se os empresários, embora conscientes de não usarem certas
práticas, optam por responder que as praticam porque nas capacitações foram
informados de que essas práticas são importantes.
Em qual dos diferentes passos necessários para se responder a uma pergunta se comete o
erro descrito acima?
A. Entender/compreender a pergunta 
B. Recuperar a informação 
C. Estimar/julgar 
D. Responder 
A alternativa correta é a D. O erro se dá no último passo: os empresários decidem
não dar a resposta verdadeira apesar de saberem qual é (passo 4). 
Avançar
Progresso na lição: 34%
☰
https://mooc.escolavirtual.gov.br/my/
https://mooc.escolavirtual.gov.br/course/view.php?id=4103
https://mooc.escolavirtual.gov.br/course/view.php?id=4103#section-3
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109041
01/03/2020 avaliacao_impacto | - Turma FEV/2020: Estudo de Caso - Módulo 6: feedback EC4
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109041&pageid=43870 1/2
Painel / Meus cursos / Avaliação de Impacto de Programas e Políticas Sociais / Semana 3
/ Estudo de Caso - Módulo 6
Avaliação de Impacto de Programas
e Políticas Sociais
Estudo de Caso - Módulo 6
Feedback
EC.4. Que efeito isso teria nos resultados encontrados?
A. O impacto das capacitações na adoção das boas práticas empresariais seria
superestimado. 
B. O impacto das capacitações na adoção das boas práticas empresariais seria
subestimado. 
A alternativa correta é a A. O erro superestimaria o impacto do programa, pois leva
a parecer que este tenha promovido uma melhora nas práticas, quando na verdade
não houve essa mudança.
Avançar
Progresso na lição: 41%
☰
https://mooc.escolavirtual.gov.br/my/
https://mooc.escolavirtual.gov.br/course/view.php?id=4103
https://mooc.escolavirtual.gov.br/course/view.php?id=4103#section-3
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109041
01/03/2020 avaliacao_impacto | - Turma FEV/2020: Estudo de Caso - Módulo 6: feedback EC5
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109041&pageid=43873 1/3
Painel / Meus cursos / Avaliação de Impacto de Programas e Políticas Sociais / Semana 3
/ Estudo de Caso - Módulo 6
Avaliação de Impacto de Programas
e Políticas Sociais
Estudo de Caso - Módulo 6
Feedback
EC.5. Relacione às situações descritas abaixo com as consequências possíveis para a
qualidade da medição.
A. Muitos microempresários respondem que seus rendimentos são mais baixos do que
realmente são por medo de que essa informação seja usada pelas autoridades
fiscais. 
Reduz a exatidão  
Esta situação reduz a exatidão, já que representa um desvio sistemático do
valor verdadeiro. Neste caso, a média de rendimento encontrada será mais
baixa que a média verdadeira.
B. Muitos microempresários não têm registros de seus rendimentos porque se
baseiam na própria memória para estimá-los. Alguns superestimam os rendimentos
do negócio, enquanto outros subestimam. 
Reduz a precisão  
Esta situação reduz a precisão. Neste caso, as respostas dos entrevistados não
refletem bem os seus rendimentos em um mês médio, mas não há desvios
sistemáticos: alguns superestimam, outros subestimam. Se esses desvios
positivos e negativos representam valores iguais, a média encontrada será
igual à média verdadeira.
C. A pesquisa é realizada no começo de julho e pergunta o montante dos rendimentos
do negócio no mês anterior. Em junho, alguns microempreendedores venderam
muitos produtos cujos insumos já haviam sido pagos nos meses anteriores. Outros,
por sua vez, compraram muitos insumos utilizados em produtos que serão vendidos
nos meses posteriores. 
Reduz a precisão  

☰
https://mooc.escolavirtual.gov.br/my/
https://mooc.escolavirtual.gov.br/course/view.php?id=4103
https://mooc.escolavirtual.gov.br/course/view.php?id=4103#section-3
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109041
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=10904001/03/2020 avaliacao_impacto | - Turma FEV/2020: Estudo de Caso - Módulo 6: feedback EC6
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109041&pageid=43876 1/2
Painel / Meus cursos / Avaliação de Impacto de Programas e Políticas Sociais / Semana 3
/ Estudo de Caso - Módulo 6
Avaliação de Impacto de Programas
e Políticas Sociais
Estudo de Caso - Módulo 6
Feedback
EC.6. Que tipo de erro se pode cometer ao formular a resposta à pergunta ao lado?
A. Imprecisão 
B. Efeito macro 
C. Categorias sobrepostas 
D. Premissa 
E. Viés de ancoragem 
O erro que corresponde a este caso é o de Categorias Sobrepostas, dado que as
opções que são dadas em cada caso não são excludentes entre si. Se trabalhassem
na empresa 10 pessoas, o entrevistado poderia responder a terceira e a quarta
opções. No questionário real, as opções dadas são excludentes entre si: a terceira
opção seria “5 a 9 pessoas”, e a quarta, “10 a 49 pessoas”.
Avançar
Progresso na lição: 62%
☰
https://mooc.escolavirtual.gov.br/my/
https://mooc.escolavirtual.gov.br/course/view.php?id=4103
https://mooc.escolavirtual.gov.br/course/view.php?id=4103#section-3
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109041
01/03/2020 avaliacao_impacto | - Turma FEV/2020: Estudo de Caso - Módulo 6: feedback EC7
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109041&pageid=43880 1/2
Painel / Meus cursos / Avaliação de Impacto de Programas e Políticas Sociais / Semana 3
/ Estudo de Caso - Módulo 6
Avaliação de Impacto de Programas
e Políticas Sociais
Estudo de Caso - Módulo 6
Feedback
EC.7. Que tipo de erro se pode cometer ao formular a resposta à pergunta acima?
A. Efeito macro 
B. Efeito telescópio 
C. Perguntas negativas 
D. Premissa 
E. Viés de ancoragem 
O erro presente nessa pergunta é o de Premissa, ou seja: a entrevista presume uma
verdade sobre o entrevistado, partindo dela para fazer as perguntas. É o que se
pode observar, no caso acima, a partir da colocação “emprego secundário”: a
pergunta assume que o entrevistado tem um emprego secundário, quando é
possível que ele não tenha. No questionário original, a pergunta é realizada após
uma série de outras investigações que compõem o rol de “filtro” para abarcar a
parte da população que, efetivamente, tem um emprego secundário.
Avançar
Progresso na lição: 69%
☰
https://mooc.escolavirtual.gov.br/my/
https://mooc.escolavirtual.gov.br/course/view.php?id=4103
https://mooc.escolavirtual.gov.br/course/view.php?id=4103#section-3
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109041
01/03/2020 avaliacao_impacto | - Turma FEV/2020: Estudo de Caso - Módulo 6: feedback EC8
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109041&pageid=43882 1/2
Painel / Meus cursos / Avaliação de Impacto de Programas e Políticas Sociais / Semana 3
/ Estudo de Caso - Módulo 6
Avaliação de Impacto de Programas
e Políticas Sociais
Estudo de Caso - Módulo 6
Feedback
EC.8. Que tipo de erro se pode cometer ao formular a resposta à pergunta acima?
A. Viés de conveniência socia 
B. Efeito macro 
C. Imprecisão 
D. Alternativas incompletas 
E. Categorias sobrepostas 
O erro presente na pergunta é o de Imprecisão, já que ela faz uso de padrões que
não estão definidos claramente: a expressão “gasto significativo” é bastante genérica
e pode remeter a diferentes quantidades para diferentes setores da população.
Essas possíveis múltiplas interpretações ampliam a margem de erro nas respostas.
Para evitar este tipo de erro, pode-se (a) Definir o que se considera um “gasto
significativo” (seja em termos absolutos, percentuais, etc.); (b) Complementar a
pergunta com a solicitação de uma quantia concreta que permita aos pesquisadores
reordenar os dados das variáveis relevantes segundo seus critérios. (Ex: “Se você
respondeu que sim, escreva o valor”).
Avançar
Progresso na lição: 76%

☰
https://mooc.escolavirtual.gov.br/my/
https://mooc.escolavirtual.gov.br/course/view.php?id=4103
https://mooc.escolavirtual.gov.br/course/view.php?id=4103#section-3
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109041
01/03/2020 avaliacao_impacto | - Turma FEV/2020: Estudo de Caso - Módulo 6: feedback EC9
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109041&pageid=43884 1/2
Painel / Meus cursos / Avaliação de Impacto de Programas e Políticas Sociais / Semana 3
/ Estudo de Caso - Módulo 6
Avaliação de Impacto de Programas
e Políticas Sociais
Estudo de Caso - Módulo 6
Feedback
EC.9. Que tipo de erro se pode cometer ao formular a resposta à pergunta acima?
A. Alternativas incompletas 
B. Efeito telescópio 
C. Imprecisão 
D. Viés de conveniência social 
E. Viés de recordação 
A pergunta comete o erro de não abranger todas as opções de resposta existentes.
Isso pode ser observado nos intervalos de números entre as opções 4 e 5 (há um
salto numérico e a opção de “50 a 99 pessoas” não está disponível). Para evitar esse
erro, é preciso prestar atenção ao elaborar a entrevista e ter certeza de que todas as
respostas possíveis estão ali dispostas.
Avançar
Progresso na lição: 83%

☰
https://mooc.escolavirtual.gov.br/my/
https://mooc.escolavirtual.gov.br/course/view.php?id=4103
https://mooc.escolavirtual.gov.br/course/view.php?id=4103#section-3
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109041
01/03/2020 avaliacao_impacto | - Turma FEV/2020: Estudo de Caso - Módulo 6: feedback EC10
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109041&pageid=43886 1/2
Painel / Meus cursos / Avaliação de Impacto de Programas e Políticas Sociais / Semana 3
/ Estudo de Caso - Módulo 6
Avaliação de Impacto de Programas
e Políticas Sociais
Estudo de Caso - Módulo 6
Feedback
EC.10. Que tipo de erro se pode cometer ao formular a resposta à pergunta acima?
A. Efeito telescópio 
B. Efeito macro 
C. Viés de ancoragem 
D. Viés de conveniência social 
E. Perguntas negativas 
Explicação: Ao se apresentar uma pergunta negativa, o entrevistado pode confundir
o significados das respostas (“Não é que não me sinto capaz, ou que sim?”).
Portanto, deve-se evitar este tipo de pergunta estrutura e formular a pergunta de
maneira mais simples. Neste caso: “Você acredita que é capaz de (...)?” ou “Você é
capaz de (...)?”.
Avançar
Progresso na lição: 90%
☰
https://mooc.escolavirtual.gov.br/my/
https://mooc.escolavirtual.gov.br/course/view.php?id=4103
https://mooc.escolavirtual.gov.br/course/view.php?id=4103#section-3
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109041
01/03/2020 avaliacao_impacto | - Turma FEV/2020: Estudo de Caso - Módulo 6: feedback EC11
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109041&pageid=43888 1/2
Painel / Meus cursos / Avaliação de Impacto de Programas e Políticas Sociais / Semana 3
/ Estudo de Caso - Módulo 6
Avaliação de Impacto de Programas
e Políticas Sociais
Estudo de Caso - Módulo 6
Feedback
EC.11. Que tipo de erro se pode cometer ao formular a resposta à pergunta acima?
A. Efeito telescópio 
B. Efeito macro 
C. Viés de ancoragem 
D. Viés de conveniência social 
E. Perguntas negativas 
O erro vinculado a essa pergunta é o de Viés de Ancoragem, que indica que as
pessoas são condicionadas segundo o que leem. É o que ocorre diante da afirmativa
que vem antes da pergunta: o mais provável é que o enunciado influencie a resposta
do entrevistado. Para desviar-se desse erro, deve-se evitar esse tipo de afirmação e
formular perguntas diretas.
Avançar
Progresso na lição: 97%

☰
https://mooc.escolavirtual.gov.br/my/
https://mooc.escolavirtual.gov.br/course/view.php?id=4103
https://mooc.escolavirtual.gov.br/course/view.php?id=4103#section-3
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109041