MODULO 7- QUESTIONARIOS 7

Prévia do material em texto

Avaliação de Impacto de Programas e Políticas Sociais
1. Painel
2. Meus cursos
3. Avaliação de Impacto de Programas e Políticas Sociais
4. Semana 4
5. Introdução - Módulo 7
Introdução - Módulo 7
GUIA
No módulo anterior, nosso foco foi formular um bom questionário para uma avaliação de impacto. Mas produzir bons instrumentos não é suficiente: é necessário aplicá-los cuidadosamente, considerando a experiência de campo da organização responsável, as características locais e da população entrevistada, além do orçamento necessário para essa etapa da pesquisa. O levantamento de dados e outros aspectos operacionais das avaliações de impacto são os temas deste módulo.
Para aqueles que utilizam os resultados dessas avaliações, tais aspectos muitas vezes não são visíveis. Isso não significa, porém, que não sejam importantes ou não gerem dificuldades. Pelo contrário: abordar adequadamente os aspectos operacionais de uma avaliação de impacto é essencial para obter resultados confiáveis. E isso não é fácil. São muitos os fatores que devem ser considerados.
Os aspectos operacionais discutidos nos vídeos deste módulo incluem o planejamento, a colaboração com a organização implementadora, o levantamento de dados, a capacitação da equipe de campo, o cumprimento de critérios éticos e a gestão do orçamento.
Esse último aspecto é aprofundado num estudo de caso que mostra como mudanças efetuadas nos diferentes parâmetros do orçamento podem afetar os custos de uma avaliação de impacto.
OBJETIVOS
Ao finalizar este módulo, você deverá ser capaz de:
· Entender a importância dos aspectos operacionais de uma avaliação de impacto;
· Conhecer algumas boas práticas para realizar com sucesso as etapas operacionais de uma avaliação.
RAIO-X DO MÓDULO
Este módulo contém oito vídeos sobre os tópicos da aula: aspectos operacionais e sua importância para a boa implementação de uma avaliação de impacto. Os vídeos, em conjunto, têm cerca de 1 hora de duração. Para fixar os conteúdos dos vídeos, você deverá responder a 20 questões objetivas referentes ao conteúdo apresentado. Reserve cerca de 2 horas para finalizar esta lição.
O estudo de caso é desenvolvido a partir de uma planilha de orçamento de uma avaliação de um programa de capacitação no Peru, com o objetivo de ilustrar como mudanças nos parâmetros da avaliação podem afetar seus custos. O estudo de caso contém 14 questões. Reserve cerca de 1:30 hora para finalizar o estudo de caso. Recomendamos que, para o estudo de caso, você tenha à mão papel, caneta e uma calculadora. 
Feedback
A.1. De acordo com o vídeo, por que os aspectos operacionais de uma avaliação de impacto são importantes? Marque todas as respostas que julgar corretas.
A. Porque são essenciais para o funcionamento da avaliação. 
B. Porque garantem um impacto positivo do programa. 
C. Porque as coisas nem sempre ocorrem como o planejado. 
D. Porque são um dos determinantes da qualidade da avaliação de impacto. 
As respostas corretas são A, C e D. Como se mencionou no vídeo, os aspectos operacionais contribuem para o funcionamento correto da implementação do programa porque permitem monitorar as atividades que vão ser realizadas e seu andamento. Além disso, permitem flexibilidade para se adaptar de forma oportuna às mudanças imprevistas. Finalmente, a qualidade da avaliação de impacto depende dos aspectos operacionais. Estes aspectos não asseguram que o programa tenha um impacto positivo, já que isso depende de outros elementos, como a teoria por trás do programa e sua implementação.
Feedback
A.2. Qual seria uma maneira de antever o desafio de implementação do programa de educação por computadores, mencionado pelo professor no vídeo, evitando-se a baixa participação das escolas e gastos pouco eficazes? Marque todas as respostas que julgar corretas.
A. Consultar o Ministério da Educação sobre as condições de funcionamento das escolas. 
B. Consultar as escolas por telefone, verificando se elas têm acesso à internet. 
C. Considerar apenas qual o grau de acesso à internet na região à qual a escola pertence (rural ou urbana). 
D. Considerar que o governo ou o implementador da política instalaria internet onde fosse necessário para dar andamento à pesquisa. 
As respostas corretas são as alternativas A e B. Problemas na implementação de uma intervenção devem ser evitados para garantir que as conclusões da pesquisa tratem do efeito do programa, e não de aspectos do seu desenho operacional. Assim, é importante que os agentes implementadores sejam consultados sobre as dificuldades futuras e que a pesquisa leve tais aspectos em consideração.
Feedback
A.3. Quais são as possíveis falhas no gerenciamento dos aspectos operacionais que podem comprometer a qualidade da avaliação de impacto? Marque todas as respostas que julgar corretas.
A. Má comunicação entre equipe de pesquisa e implementador. 
B. Má abordagem da Teoria da Mudança. 
C. Mau planejamento do período de pesquisa. 
D. Gastos maiores que o orçamento. 
E. Monitoramento inadequado da coleta de dados. 
As respostas corretas são A, C, D e E. Em primeiro lugar, a má comunicação entre a equipe de pesquisa e o implementador pode provocar o mau cumprimento dos protocolos de investigação (como, por exemplo, a não aleatorização no momento de selecionar a amostra). Ou também pode ocorrer de os resultados serem mal interpretados se nem todos tiverem a mesma informação sobre a implementação da intervenção. Em segundo lugar, se mal planejado e definido em época de indisponibilidade dos entrevistados, o período de pesquisa pode afetar o tamanho e a composição da amostra. Em terceiro lugar, se os gastos são maiores que o orçamento, é possível que não haja fundos para as etapas finais do projeto. Finalmente, o monitoramento inadequado da coleta de dados pode levar a problemas como o mau desenvolvimento de uma pergunta ou a aplicação inadequada do questionário. A opção B, má abordagem da Teoria da Mudança, é uma falha do desenho da política, e não dos aspectos operacionais.
Feedback
B.1. Verdadeiro ou falso: um bom planejamento deve ser capaz de antecipar todos os cenários possíveis.
A. Verdadeiro 
B. Falso 
Falso. O objetivo não é antecipar todos os cenários possíveis, mas desenhar um planejamento flexível que permita responder a cenários imprevistos e tomar rotas de ação oportunas.
Feedback
C.1. Qual é a característica desejada para uma organização implementadora de uma avaliação para cada uma das descrições abaixo?
1. Ser característico de uma região. Representatividade 
2. Apresentar estabilidade nos membros da organização. Rotação de pessoal 
3. Capacidade de obter uma amostra suficientemente grande para uma avaliação de impacto. Escala 
4. Apresentar alto grau de confiabilidade. Conhecimento e reputação local 
5. Capacidade para adaptar processos segundo os requerimentos de uma avaliação de impacto. Flexibilidade 
6. Apresentar interesse em conhecer a efetividade do seu programa. Desejo de conhecer a verdade 
7. Capacidade de implementar de maneira adequada ao planejado. Experiência 
Feedback
C.2. Segundo o vídeo, quais são os princípios básicos do trabalho em colaboração com uma organização implementadora? Marque todas as respostas que julgar corretas.
A. Estabelecer com clareza as regras e responsabilidades. 
B. Colocar os objetivos da pesquisa à frente dos objetivos do implementador. 
C. Manter uma comunicação constante. 
D. Alinhar interesses e expectativas. 
As alternativas corretas são A, C e D. No vídeo são apresentados os seguintes princípios básicos: 1. Alinhar interesses e expectativas; 2. Estabelecer as regras do jogo e responsabilidades; 3. Manter uma comunicação constante.
Feedback
D.1. A que etapa do levantamento de dados correspondem as seguintes atividades:
1. Avaliar os impactos finais do programa, atividade que deve ser realizada no tempo estimado do impacto do programa. Linha final 
2. Verificar se há equilíbrio entre o grupo de controle e o grupo de tratamento, bem como poder estatístico suficiente. Linha de base 
3. Fazer monitoramento por meio da avaliaçãode processos, ou medir se há impacto antes do fim do programa. Linha de acompanhamento 
Feedback
D.2. De acordo com o vídeo, quando devemos realizar o levantamento de dados? Marque todas as respostas que julgar corretas.
A. Quando os impactos já estiverem refletidos na população. 
B. Quando os pesquisados se encontrarem disponíveis. 
C. Quando as condições logísticas forem apropriadas. 
D. Quando não houver distorções (como comemorações ou férias) que afetem as pessoas no momento da pesquisa. 
Todas as alternativas estão corretas. Em primeiro lugar, não há por que pesquisar impactos antes de a intervenção surtir efeitos, já que isso faria com que os resultados fossem muito similares à linha de base. Em segundo lugar, para não haver entrevistas incompletas ou não realizadas, é importante considerar quando os entrevistados terão tempo para responder às perguntas. Em terceiro lugar, as condições logísticas (como o transporte da equipe de campo) devem ser adequadas para que não haja problemas na execução das pesquisas. Finalmente, é preciso selecionar um período neutro, alheio a eventos, comemorações ou qualquer outro fenômeno que possa afetar coletivamente a condição emocional dos entrevistados e influenciar, portanto, as suas respostas.
Feedback
D.3. Considere as seguintes características positivas de entrevistadores: 
· Habilidades interpessoais  
· Flexibilidade  
· Empatia  
· Paciência  
· Experiência em levantamento de dados  
· Afinidade com o estudo e o contexto  
· Domínio de tecnologias de comunicação  
· Capacidade de reação  
 Verdadeiro ou falso: é necessário que um candidato tenha todas essas características para que seja um bom entrevistador.
A. Verdadeiro 
B. Falso 
Falso. Essas são características desejáveis a um candidato a entrevistador. No entanto, se ele não tiver alguma(s) del(a)s, pode desenvolvê-la(s) por meio de uma capacitação antes de ir a campo.
Feedback
D.4. A capacitação das equipes de campo deve abordar conceitos teóricos e práticos. Das seguintes atividades, assinale quais são elementos teóricos:
A. Passos a seguir 
B. Jogo de papéis 
C. Aspectos éticos 
D. Simulação 
E. Plano de reação 
F. Protocolos 
As respostas corretas são A, C, E e F. De acordo com o vídeo, os elementos teóricos são Protocolos, Aspectos éticos, Passos a seguir e Plano de reação. Já os elementos práticos são Jogo de papéis e Simulação.
Feedback
E.1. Identifique qual das seguintes alternativas corresponde a um custo direto de uma avaliação de impacto.
A. Serviços de terceiros 
B. Trabalho técnico e de campo 
C. Aluguel e gastos de escritório 
D. Serviços básicos (luz, água etc.) 
A alternativa correta é a B. O vídeo apresentou os custos diretos divididos em duas categorias: trabalho técnico e trabalho de campo. Serviços de terceiros (alternativa A), aluguel e gastos de escritório (alternativa C) e serviços básicos como água e eletricidade (alternativa D) são apresentados como custos indiretos, normalmente ligados a infraestrutura.
Feedback
E.2. Agora identifique qual das seguintes alternativas corresponde a um custo indireto de uma avaliação de impacto.
A. Salários da equipe de pesquisa 
B. Seguros para as equipes de campo 
C. Custo de aluguel e manutenção de escritório 
D. Capacitação para a equipe de campo 
E. Transporte e alimentação para a equipe de campo 
A alternativa correta é a C. Os custos de aluguel e manutenção de escritório (alternativa C) são custos indiretos da implementação de uma avaliação de impacto. Já os custos diretos relacionados à implementação da avaliação de impacto podem ser os salários da equipe de pesquisa (letra A), seguros para a equipe de campo (letra B), capacitação para a equipe de campo (letra D) e transporte e alimentação para a equipe de campo (letra E).
Feedback
F.1. Quais das vantagens listadas são relacionadas a um sistema de monitoramento? Marque todas as respostas que julgar corretas.
A. Entrega de informações a respeito dos dados para sua posterior interpretação. 
B. Em geral, diminuição direta dos custos do projeto. 
C. Detecção de falhas na implementação ou de ameaça à qualidade dos dados. 
As respostas corretas são as alternativas A e C. O monitoramento permite obter informações a respeito da coleta dos dados, possibilitando, portanto, a interpretação desses resultados. Podemos, por exemplo, reconhecer uma pergunta mal formulada, ou uma resposta não representativa daquilo que se buscava. Graças a essa informação é possível identificar falhas que podem pôr em risco a qualidade dos dados, e corrigir os erros oportunamente. A alternativa B é incorreta porque realizar monitoramento consiste em atividades adicionais, o que geralmente aumenta os custos da pesquisa.
Feedback
F.2. Faça a correspondência entre os componentes do monitoramento e suas respectivas definições.
1. Revisão minuciosa do material recebido, para detectar erros de aplicação (como perguntas inteiras em branco, por exemplo). Análise 
2. Digitalização dupla de uma porcentagem das pesquisas, para certificar a ausência de erro. Digitalização 
3. Supervisão da pesquisa em campo, gravação de chamadas telefônicas para detectar erros, observação da aplicação de instrumentos de pesquisa. Monitoramento geral 
4. Ligação para confirmar dados com um entrevistado, o que permite detectar possíveis falsificações. Checagem (backchecking) 
Parte superior do formulário
Parte inferior do formulário
Feedback
G.1. Quais são os princípios do relatório de Belmont? Marque todas as respostas que julgar corretas.
A. Princípio do risco-benefício 
B. Princípio da eficiência 
C. Princípio do respeito às pessoas 
D. Princípio da justiça 
As respostas corretas são A, C e D. Os princípios do relatório de Belmont garantem que pesquisas com seres humanos sejam realizadas eticamente, tanto em campo como no gerenciamento da informação. Os princípios são o respeito às pessoas, o risco-benefício e a justiça.
Feedback
G.2. Quais das seguintes alternativas são boas práticas para a proteção dos dados? Marque todas as respostas que julgar corretas.
A. Eliminar as informações pessoais dos entrevistados, ou seja, tudo o que possa identificá-los após a consolidação dos dados. 
B. Criptografar os dados. 
C. Combinar a informação pessoal dos entrevistados às respostas à pesquisa. 
As alternativas corretas são A e B. Uma vez revisada e consolidada a base de dados, é recomendável eliminar as informações pessoais dos entrevistados, de modo que eles não possam ser identificados. Outra maneira de proteger a informação é por meio da criptografia dos dados durante sua coleta, trânsito e repouso. A alternativa C não é correta, porque é recomendável separar as informações pessoais das respostas à pesquisa, para evitar que os entrevistados possam ser relacionados às suas respostas.
Feedback
G.3. Verdadeiro ou falso: para reunir toda a informação necessária para a pesquisa, não se pode permitir que o entrevistado omita alguma resposta ou não responda parte de um questionário.
A. Verdadeiro 
B. Falso 
Falso. De acordo com o princípio do respeito às pessoas, o entrevistado tem a liberdade de (a qualquer momento) omitir uma resposta, omitir parte da pesquisa ou mesmo encerrá-la, caso não se sinta confortável.
Feedback
G.4. Dentre as opções a seguir, assinale quais são informações que, se reveladas, podem identificar indivíduos com um alto nível de confiança (não considere combinações entre as opções).
A. Nome completo 
B. Gênero 
C. Telefone 
D. E-mail 
E. Nível de educação 
F. Ano de nascimento 
As respostas são A, C, e D. Usualmente, o gênero, o ano de nascimento e o nível de educação são informações sociodemográficas que não comprometem a identidade dos entrevistados. Informações específicas como nome completo, e-mail e telefone são mais relevantes e muitas vezes permitem identificar a pessoa entrevistada. Portanto, é importante identificar os tipos e a quantidade de informações que podem comprometer a confidencialidade dos entrevistados.
Feedback
G.5. Por que pode ser desejável trabalhar com uma parceira externa para a implementaçãode uma avaliação? Marque todas as alternativas que julgar corretas.
A. Porque ela pode ter equipes de trabalho estáveis e preparadas. 
B. Porque ela pode ter cobertura e escala maiores. 
C. Porque ela pode ter experiência no tema. 
D. Porque ela pode ter uma ampla rede de contatos. 
Todas as alternativas podem ser razões para se trabalhar com uma parceira externa. No geral, empresas externas de boa qualidade podem ter maior experiência e capacidade de expandir o projeto do que a equipe de pesquisa poderia ter individualmente. Além disso, boas parceiras de implementação contam com equipes de trabalho estáveis e dedicadas ao tema de pesquisa. Finalmente, as redes de contato da boa parceira de implementação podem facilitar processos e/ou relações necessárias para a efetivação do projeto de pesquisa.
Feedback
G.6. Verdadeiro ou falso: é recomendável acordar e assinar um documento entre o grupo de pesquisa e a empresa parceira externa para garantir a qualidade dos processos e que a avaliação seja desenvolvida conforme o planejado.
A. Verdadeiro 
B. Falso 
Verdadeiro. Como discutido no vídeo, os documentos acordados e assinados entre o grupo de pesquisa e a parceira externa determinam os protocolos a serem seguidos pela parceira para garantir a qualidade dos processos e da implementação da avaliação.
Estudo de Caso - Módulo 7
Construindo o orçamento de uma avaliação de impacto
Este caso é inspirado na publicação acadêmica "Teaching Entrepreneurship: Impact of Business Training on Microfinance Clients and Institutions" , dos pesquisadores Dean Karlan (afiliado do J-PAL) e Martin Valdivia. INTRODUÇÃO
Quando há uma oportunidade de uma avaliação de impacto aleatorizada, os pesquisadores e a equipe que implementa o programa se deparam com questões operacionais para determinar a viabilidade de uma avaliação e executá-la como planejado. Algumas dessas questões são:
1. Qual é a estrutura orçamentária de uma avaliação de impacto experimental?
2. Como se custeia o trabalho de campo?
3. Quais são os itens que mais incidem sobre o orçamento?
4. O que é uma faixa de preços aceitável para um contrato de trabalho de campo?
Estas são algumas das perguntas que serão respondidas neste exercício, que é acompanhado por uma planilha de Excel: Orçamento de uma avaliação de impacto. Faça download da planilha para este estudo de caso.
Para fazer este Estudo de Caso, recomendamos que você tenha à mão papel, lápis ou caneta e calculadora.
OBJETIVOS
Depois deste exercício, os participantes serão capazes de:
· Identificar os parâmetros mais importantes para o orçamento de uma avaliação de impacto;
· Entender como se calculam os custos do trabalho de campo;
· Observar como as variações de certos parâmetros afetam os custos estimados da avaliação.
CONTEXTO DA AVALIAÇÃO
O Ministério de Produção do Peru (PRODUCE) quer avaliar o impacto de um programa nacional de capacitação para grupos de microempreendedores. O programa ensina boas práticas para a gestão financeira (como, por exemplo, separar as contas do negócio das contas pessoais) e apresenta ferramentas simples para registros financeiros. O governo quer que essa avaliação, feita em comunidades de duas regiões do sul do país, seja rigorosa. 
Para isso, está disposto a aleatorizar a distribuição dessas capacitações entre os microempreendedores elegíveis. Você dirige a área de avaliação do governo e deve entregar ao PRODUCE um orçamento detalhado da implementação de uma avaliação aleatorizada do programa em questão. Sua equipe, então, começa a elaborar o documento Orçamento de uma avaliação de impacto. (Abra a planilha de Excel Orçamento de uma avaliação de impacto).
A seguir, descreveremos os conteúdos das três abas dessa planilha: Orçamento Detalhado, Distribuição do Orçamento e Premissas.
DESCRIÇÃO DA PLANILHA
Na planilha Orçamento de uma avaliação de impacto está a informação orçamentária da avaliação de impacto experimental do programa de capacitação para microempreendedores. Inspirado em um orçamento real, o documento contém três abas:
1. Orçamento Detalhado: oferece informações sobre os custos para cada categoria do orçamento, detalhando o gasto por unidade de item e observando a despesa total para o primeiro ano de avaliação
2. Distribuição de Orçamento: contém um gráfico onde se pode observar a distribuição dos custos da avaliação por categoria.
3. Premissas: a aba detalha todas as premissas associadas ao orçamento e permite mudá-las para avaliar como tais alterações afetam os custos estimados da avaliação.
ITENS ORÇAMENTÁRIOS
O orçamento de uma avaliação, como o que se apresenta na aba Orçamento Detalhado, é composto de custos variáveis e custos fixos, que geralmente se associam a uma das sete categorias a seguir:
· Pessoal do projeto: a remuneração da equipe de pesquisa normalmente inclui salários a pesquisadores, analistas, coordenadores de campo e pessoal de apoio. Os salários da equipe de pesquisa normalmente são definidos a partir de uma estimativa das horas investidas em cada etapa da avaliação, ou do número de meses de contrato, quando em projetos de longo prazo.
· Traslado: as viagens da equipe de avaliação são necessárias para realizar visitas a campo, negociações e outros trabalhos de pesquisa. Os custos de traslados incluem transporte, hospedagem, despesas de viagem e seguros.
· Pesquisa de linha de base, pesquisa de acompanhamento e pesquisa final: isto inclui salários da equipe de campo (pesquisadores, supervisores, etc), transporte, questionários em papel, canetas, equipamentos eletrônicos, gastos em comunicações e outros materiais de apoio.
· Monitoramento: custos associados ao monitoramento da implementação do programa ou política. Também pode englobar os custos de levantamento de dados para monitoramento.
· Outros custos diretos: custos operacionais gerados pela contratação de pessoal, impostos, gerenciamento de fundos e outros custos.
· Gastos com escritório: são gastos diretos com a manutenção geral da equipe de pesquisa, incluindo: materiais de escritório, computadores, aluguéis, serviços básicos (água, eletricidade, gás), telefone, internet etc.
· Imprevistos: é um montante predeterminado (de maneira geral, percentualmente ao orçamento total) que serve para minimizar os riscos de insolvência do projeto ao enfrentar adversidades que possam surgir ao longo de seu desenvolvimento. Aconselha-se que seja efetivamente utilizado para cobrir imprevistos reais, mais do que para cobrir erros de orçamento.
ABA DE PREMISSAS
Em um orçamento, os custos do trabalho de campo se baseiam em um conjunto de premissas sobre o processo de levantamento de dados. Essas premissas são determinadas durante o desenho da avaliação e estabelecidas conjuntamente pelos pesquisadores e pelo gerente de pesquisa da avaliação.
Para simular uma avaliação do custo total da etapa de levantamento de dados da linha de base, este exercício começa expondo detalhadamente os seus procedimentos orçamentários. Um primeiro passo é confirmar com o pesquisador principal alguns parâmetros-chave, tais como o tamanho da amostra e o tipo de instrumento de medição. Logo, o gerente de pesquisa deverá estabelecer o tamanho da equipe de campo, estimar a duração da aplicação dos questionários ou surveys (instrumentos da pesquisa) e determinar os custos logísticos.
Depois de consultar o pesquisador principal e o gerente de pesquisa do projeto, sua equipe obteve as seguintes informações sobre a amostra:
AMOSTRA
· A amostra da avaliação é composta por 48 grupos de microcrédito (célula C7), de duas regiões do sul do Peru
· Em cada grupo de microcrédito há em média 56 microempreendedores (célula C8)
· Cada microempreendedor fará uma prova de conhecimentos sobre contabilidade básica. Essa prova será aplicada aos grupos de microcrédito (todos os microempreendedores farão a prova ao mesmo tempo). A duração da prova será de 70 minutos (célula C15)
· Uma entrevista individual será aplicada presencialmente a cada microempreendedor, tendo uma duração média de 20 minutos (célula C16)
· Além disso, a totalidade dosmicroempreendedores (100%) participará da avaliação e não serão aplicados instrumentos a uma subamostra
Essas informações serão usadas para as respostas das questões a seguir.
ORIENTAÇÃO PARA RESPOSTAS NUMÉRICAS
· Não use ponto (.); 
· Se necessário, detalhe até duas casas decimais com vírgula (,);
· Se o valor for negativo, indique com um sinal de menos (-);
· Não insira espaço na resposta;
· Não inclua unidade de medida da resposta (R$, %, horas etc.);
· Não arredonde o resultado;
· Não use frações.
Um exemplo: se a resposta for R$123.456,78, digite na caixa de respostas "123456,78".
Os espaços que devem ser editados na aba das Premissas aparecem em amarelo. Tenha em mente que esses espaços serão editados em diferentes momentos do Estudo de Caso.
Feedback
EC.1. Neste exercício, você aprenderá a estabelecer parâmetros de tamanho amostral a partir das premissas passadas. Assim, na aba Premissas:
· Insira o número de grupos de microcrédito (célula C7) 
· Insira o número de microempreendedores (célula C8)
A partir dos valores alocados segundo a instrução acima, qual o número total de empreendedores que fazem a prova (célula C9)?
A resposta correta é 2688. Considerando-se que todos os empreendedores deverão fazer a prova, e que eles constituem 48 grupos de microcrédito com uma média de 56 integrantes por grupo, a resposta (automática na planilha) é 2688.
Parte superior do formulário
Parte inferior do formulário
Feedback
EC.2. Agora, considerando o tamanho amostral, vamos converter os instrumentos (questionários) em unidades de tempo.
· Insira a duração das provas por microempreendedor na célula C15 (em minutos) e anote a duração da entrevista na célula C16 (em minutos).
Agora, você poderá notar preenchido o tempo total necessário ao levantamento de dados por grupo de microcrédito, composto pelo tempo de “Obtenção de Consentimento” (15 minutos estimados para organizar os microempreendedores e obter sua permissão para participação na pesquisa, C14), "Aplicação de provas" em grupo (C15) e "Aplicação de entrevistas" individuais (C16).
Qual o número total de minutos requeridos para se cumprir a aplicação das entrevistas aos empreendedores de um grupo de microcrédito (célula D16)?
A resposta correta é 1120 minutos. Considerando-se que o tempo requerido é composto pela aplicação de pesquisa (20 minutos) a cada um dos 56 integrantes do grupo, multiplicados, eles totalizam 1120 minutos.
EQUIPE DE CAMPO
A seguir, estão informações da equipe de campo responsável pela coleta de dados.
· Entrevistadores: a equipe de pesquisa tem cinco entrevistadores. Eles visitam cada grupo de microcrédito para aplicar os instrumentos de pesquisa (C39).
· Supervisores: um supervisor se encarrega da equipe de entrevistadores (C40).
· Verificadores (ou backcheckers): depois de aplicadas as perguntas, uma equipe de dois verificadores (C43) se encarrega de telefonar para 15% da amostra (escolhida aleatoriamente) revisando respostas que possam ser verificadas (tais como idade) ou que se mostrem inconsistentes (C61).
· Digitadores: a pesquisa e a prova serão feitas em papel. Para minimizar o risco de erros de digitação, duas pessoas são encarregadas de digitar cada prova e cada pesquisa separadamente (C46).
A planilha também dispõe de parâmetros do tempo de viagem necessário à equipe de campo para chegar às unidades da amostra, apontando a dispersão territorial da amostra (células C25 e C26).
Feedback
EC.3. Considerando o número de profissionais necessários à pesquisa (entre supervisores, verificadores, entrevistadores e digitadores), calcule as horas de trabalho da equipe.
· A quantidade de horas dedicadas dependerá do número de entrevistadores (C39), supervisores (C40), verificadores (C43) e digitadores (C46). Preencha essas células.
Esse montante também dependerá da quantidade de horas de verificação (ou checagem). A célula “Taxas de chamadas” (C61) mostra uma taxa de 15% (microempreendedores que serão novamente contatados após a aplicação da prova e da entrevista). Essa taxa e o tempo das chamadas (que deve permanecer em uma hora) determinarão o número de horas totais de verificação (C63). A duração do trabalho de campo (em dias) para cada etapa (3c) se encontra nas células C80 a C82.
Qual o número de horas requeridas para a aplicação de todos os instrumentos (célula C34)? 
A resposta correta é 343,20 horas. O tempo total exigido para a aplicação dos instrumentos deve ser o resultado da soma do tempo de traslado (2 horas) ao tempo de aplicação dos instrumentos e ao de consentimento de cada grupo (5,15 horas), multiplicado pelo número de grupos (48). Isso totaliza 343,2 horas.
Feedback
EC.4. Qual o total de dias que dura o trabalho de campo, considerando os dias de levantamento de dados, verificação e digitação (célula C84)? 
A resposta correta é 73 dias. Este tempo é calculado somando os dias de levantamento de dados (48), os dias de verificação ou checagem (23) e os dias de dupla digitação (2).
LEVANTAMENTO DE DADOS
Cada grupo de microcrédito recebe a visita da equipe de pesquisadores. Após receberem o consentimento informado de cada indivíduo em relação à sua participação na pesquisa, os pesquisadores aplicam uma prova de conhecimentos de 22 páginas ao grupo (C90). Uma vez terminada a prova, cada pesquisador se reúne individualmente com um microempreendedor para aplicar uma pesquisa de cinco páginas (C91). 
Em seguida, os verificadores contatam um subgrupo de 15% desse (definido aleatoriamente) para se certificarem de que não houve erros na aplicação da pesquisa original.
Cada digitador registra as respostas para todas as pesquisas (5 páginas por pesquisa) e provas (1 página de resposta por prova) por meio de um software de digitação (célula C73). Finalmente, as duas digitações são consolidadas e o trabalho dos dois digitadores são comparados para detectar erros nessa etapa. O produto final é uma base de dados com as respostas consolidadas.
Feedback
EC.5. Agora vamos fazer ajustes finais ao custo de levantamento de dados. 
· Coloque o número de páginas por prova na célula C90 e o número de páginas por pesquisa na célula C91. Multiplicados pelo custo da cópia por página (o que já consta na célula C89), resultam no custo de impressões, que aparece na célula C95.  ​
Qual o custo total de impressões (célula C95)?
A resposta correta é R$ 5574,00. Considerando-se que são 22 páginas por prova e 5 páginas por pesquisa (ambas aplicadas a cada um dos 56 microempreendedores dos 48 grupos), e que a cópia custa R$ 0,064 por página, o custo total das impressões deve ser de R$ 5574,00.
Feedback
EC.6. Finalmente, você poderá calcular o custo total de levantamento de dados da linha de base.
· O valor do custo de transporte (R$9,60) se encontra na célula C98, o de alimentação (R$11,84) na célula C99, o de comunicação (R$12,16), na C100, e o de impressão, na C95. 
· O custo de levantamento de dados da linha de base é composto pelo produto do salário e horas de trabalho da equipe de avaliação, somado aos custos de transporte, deslocamento e impressões. O valor final pode ser observado na célula C118.
Qual o custo total do levantamento de dados da linha de base (célula C118)?
A resposta correta é R$ 64351,60. O valor total de gastos corresponde à somatória de custos com pessoal (supervisores, pesquisadores, verificadores, digitadores), traslado, alimentação, comunicação e impressões. Custo total do levantamento de dados é, portanto, R$: 64.351,60.
ABA DISTRIBUIÇÃO DO ORÇAMENTO
Note que o Pessoal de Projeto é o componente mais dispendioso desta avaliação de impacto. Segundo o que se observa na aba Distribuição do Orçamento:
· Os distintos componentes do Pessoal de Projeto englobam 40% do orçamento;
· Os custos de linha de base equivalem a 13%, assim como os custos da linha de acompanhamento (13%) e da pesquisa final (13%);
· Os custos de monitoramento e de traslado, juntos, totalizam 3%;
· Os custos de escritório e de imprevistos representam, cada um, 5% dos gastos.
	O gráfico à esquerda mostra a distribuição do orçamento deste estudo decaso. A análise orçamentária de avaliações de impacto realizadas por professores afiliados do J-PAL confirma a magnitude e variabilidade dos custos. 
Ao acessarmos os orçamentos já realizados, foi possível observar que os custos associados à linha de base e à linha final representavam de 42% a 85% do orçamento total. 
Os salários da equipe de pesquisa caracterizavam outro custo importante, e variável a partir do número de pesquisadores, dos valores que cobravam, da duração da avaliação e dos salários de cada país.
Feedback
EC.7. Segundo o Orçamento detalhado, quantos levantamentos de dados estão programados no orçamento? 
A resposta correta são 3 levantamentos. Como tratado ao longo do exercício relativo à etapa orçamentária e explicitado na aba Orçamento Detalhado, existem três etapas de coleta de dados: linha de base, linha de acompanhamento e pesquisa final. Além desses gastos com levantamento de dados, as demais categorias orçamentárias se caracterizam pelo pagamento do pessoal do projeto (pesquisador principal, gerente de pesquisa etc.), traslados, monitoramento da intervenção (não da pesquisa), além de outros custos diretos, indiretos e relativos a imprevistos.
Feedback
EC.8. Qual é o valor total do orçamento que aparece na célula I88? 
A resposta correta é R$ 571035,84. A informação deverá vir ao final de todo o preenchimento orientado, somando automaticamente os gastos com recursos humanos, transporte, alimentação e materiais.
MUDANÇAS NAS PREMISSAS
Não é incomum que os orçamentos de avaliação estejam sujeitos a mudanças, e é sempre importante levar em conta o impacto que essas mudanças têm sobre o orçamento total. Para promover melhor compreensão acerca das mudanças orçamentárias, este exercício propõe uma simulação de variações de parâmetros de campo.
Assim, a seguir apresentam-se diversos cenários que afetam as premissas estabelecidas nos exercícios anteriores. Siga as instruções, mudando os parâmetros indicados na aba Premissas, e determine qual seria o impacto sobre o orçamento total da avaliação de cada um dos cenários.
Nota: como anteriormente orientado, as células a serem editadas aparecem em amarelo. Tenha em mente que algumas delas já foram editadas ao longo deste estudo de caso e não precisam ser editadas novamente. 
Feedback
EC.9. O pesquisador principal avisa que está interessado em medir novas variáveis de impacto, pois deseja saber se o programa afeta as taxas de trabalho infantil e de frequência escolar. Pede, portanto, para estender a entrevista.
· Ao incluir as perguntas relativas a esses indicadores, duplicam-se o número de páginas e o tempo de aplicação da entrevista. Na aba Premissas, mude os parâmetros da duração e o número de páginas da entrevista (células C16 e C91).
Como essas mudanças de custo de levantamento de dados afetam o custo total da linha de base (C118)? 
A resposta correta é R$ 118568,60. A informação deverá vir ao final de todo o preenchimento orientado, somando automaticamente os gastos com recursos humanos, transporte, alimentação e materiais (agora alterados pela extensão da entrevista).
Feedback
EC.10. O pesquisador principal volta a escrever para você. Desta vez, ele está preocupado com o fato de o tamanho da amostra da avaliação não ser suficiente para detectar de forma confiável o impacto do programa.
· Por isso, determina que será necessário duplicar o número de grupos de microcrédito no estudo. Na aba Premissas, mude o parâmetro de número de grupos de microcrédito (C7).
Partindo dos parâmetros da questão anterior, qual seria o custo do levantamento de dados da linha de base com esse novo desenho? 
A resposta correta é R$ 237123,40. A informação deverá vir ao final de todo o preenchimento orientado, somando automaticamente os gastos com recursos humanos, transporte, alimentação e materiais (agora alterados também pela duplicação do número de grupos).
Feedback
EC.11. Ao aumentar o número de grupos de microcrédito no estudo, é necessário ampliar a extensão territorial que os pesquisadores devem cobrir.
· Depois de fazer os cálculos, o gerente de pesquisa informa que isso implicaria na duplicação do tempo médio de transporte da equipe de campo (células C25 e C26). 
· Ele também informa que essa ampliação da cobertura territorial levaria à inclusão de grupos de microcrédito em zonas rurais mais isoladas, para as quais o custo de transporte é maior. Portanto, sugere também duplicar o custo de transporte por dia para toda a equipe de campo (célula C98).
Mantendo-se as premissas estabelecidas nas perguntas EC.9. e EC.10., qual seria o custo do levantamento de dados da linha de base (C118), levando-se em conta a nova dispersão da amostra?
A resposta correta é R$ 248182,60. Essa informação deverá vir ao final de todo o preenchimento orientado, somando automaticamente os gastos com recursos humanos, transporte, alimentação e materiais (agora alterados também pela duplicação do tempo médio e do custo de transporte)
Feedback
EC.12. Após essa expansão orçamentária advinda do aumento da extensão da entrevista e da dispersão amostral, como se compara o novo valor, em termos percentuais, ao orçamento calculado na questão EC.6. (R$64.351,60)?
A resposta correta é 285,66%. Seguindo o cálculo de percentual de mudança, a diferença entre o novo valor (R$248.162,60) e o original (R$64.351,60), R$183.831,00, quando dividida pelo orçamento original (R$64.351,60) e multiplicada por 100, totaliza 285,66% de aumento.
Feedback
EC.13. Após revisar o novo orçamento, o Ministério de Produção tem dúvidas sobre a viabilidade logística e financeira da proposta. Como alternativa propõe, em vez de duplicar o número de grupos de microcrédito, duplicar o número de empreendedores no estudo (a partir da duplicação de seu número dentro dos grupos).
Para determinar o valor total do orçamento a partir dessa premissa, será necessário:
· Voltar a inserir o número original de grupos de microcrédito (48 grupos, na célula C7);
· Voltar a inserir o tempo médio de transporte (60 minutos para ida, 60 minutos para volta, células C25 e C26);
· Voltar a inserir o custo original de transporte por dia (R$ 9,60 na célula C98);
· Finalmente, duplicar o número de empreendedores por grupo (célula C8).
Qual seria o custo do levantamento de dados da linha de base?
A resposta correta é R$ 185206,60. Essa informação deverá vir ao final de todo o preenchimento orientado, somando automaticamente os gastos com recursos humanos, transporte, alimentação e materiais (agora alterados também pela duplicação do número de empreendedores por grupo, em vez da duplicação dos grupos – o que impacta o custo de transporte).
Feedback
EC.14. Qual seria um possível problema da proposta de redução dos custos a partir do aumento do número de microempreendedores, e não do número de grupos de microcrédito?
A. Haver maior risco de perder indivíduos da amostra.  
B. Aumentar o número de empreendedores por grupo e possivelmente causar um viés na avaliação.   
C. Aumentar o custo da avaliação, pois, na realidade, é igualmente dispendioso aumentar o número de empreendedores por grupo ou aumentar o número de grupos de microcrédito.   
D. Reduzir o poder estatístico, pois o poder estatístico é menor quando aumentamos o número de microempreendedores por grupo, em comparação a aumentarmos o número de grupos de microcrédito.  
A alternativa correta é a D. Em decorrência da correlação intracluster, uma observação adicional obtida a partir de um grupo novo renderá mais informação que uma observação adicional advinda de um indivíduo dentro de um grupo já estudado. Ou seja: incluir mais microempreendedores por grupo traz menos informação e implica menor ganho de poder estatístico do que agregar novos grupos à pesquisa.
Parte superior do formulário
Parte inferior do formulário
Parte superior do formulário
Parte inferior do formulário
Parte superior do formulário
Parte inferior do formulário