MODULO 9- QUESTIONARIOS 9

Prévia do material em texto

Introdução - Módulo 9
GUIA
Nos módulos anteriores, vimos como desenhar e implementar corretamente as avaliações de impacto aleatorizadas. Todo esse trabalho, porém, será em vão se os resultados da avaliação não forem utilizados. Neste módulo discutiremos como viabilizar um bom uso da evidência gerada pelas avaliações como insumo para a tomada de decisões em políticas públicas.
O módulo consiste em uma sequência de vídeos com perguntas e um estudo de caso. Nos vídeos, abordaremos o uso direto de uma avaliação de impacto, ou seja, o uso de seus resultados para tomar uma decisão sobre o programa avaliado. Por meio do exemplo de programas deTransferências Monetárias Condicionadas, mostraremos que uma avaliação pode orientar diferentes tipos de decisões sobre Programas, como por exemplo a maneira de se otimizar seu desenho ou decidir sobre sua expansão.
Subutilizamos o potencial das avaliações se só aprendemos sobre o programa e o contexto específico em que ele foi avaliado. Assim, discutiremos também o uso indireto das avaliações. Argumentaremos que, para determinar se os resultados de um contexto podem ser replicados em outro, é preciso combinar teoria, evidência descritiva e evidência de avaliações de impacto. Ilustraremos como funciona esse método de generalização por meio de três exemplos: a proteção de uma espécie de peixe no Chile, o ensino focado no Peru, e incentivos para a vacinação de crianças na Índia.
O estudo de caso deste módulo nos dá um quarto exemplo sobre como generalizar os resultados de avaliações de impacto para embasar a tomada de decisões de um programa: um programa de mentoria que, por meio de orientação acadêmica e vocacional ao longo do Ensino Médio, pretende ajudar jovens de baixa renda a pensar suas trajetórias.
OBJETIVOS
Ao finalizar este módulo, você deverá ser capaz de:
· Identificar fatores-chave e desenvolver estratégias para garantir um bom uso da evidência como insumo para a tomada de decisões;
· Entender os principais aspectos a serem levados em conta na hora de usar os resultados de avaliações.
RAIO-X DO MÓDULO
Este módulo contém sete vídeos sobre os tópicos da aula: como evidência pode ser usada para a tomada de decisão em políticas públicas e exemplos de uso direto e indireto de evidência. Os vídeos, em conjunto, têm cerca de 35 minutos de duração. Para fixar os conteúdos dos vídeos, você deverá responder a 17 questões objetivas referentes ao conteúdo apresentado. Reserve cerca de 1:30 hora para finalizar esta lição.
O estudo de caso é desenvolvido a partir da necessidade de se desenhar um programa de mentorias para jovens. Evidências de diversos programas já avaliados são usadas para a discussão. O estudo de caso contém textos sobre a avaliação e oito questões. Reserve cerca de 45 minutos para finalizar o estudo de caso.
Uso de Evidências para Informar Políticas
Feedback
A.1. De acordo com o vídeo, que tipos de decisões podem ser tomadas com base em evidência? Marque todas as respostas que julgar corretas. 
A. Expandir ou não um programa. 
B. Interromper ou não um programa. 
C. Escolher entre diferentes desenhos do programa. 
D. Redesenhar um programa. 
Todas as respostas estão corretas. A evidência permite tomar decisões informadas sobre os programas avaliados. Permite orientar sobre a viabilidade de se escalar um programa com base em resultados de seu piloto, bem como saber se um programa deve continuar, ser finalizado, ou sofrer modificações. Além disso, com base em evidência, é possível escolher uma modalidade da política avaliada, entre opções existentes, que seja a mais efetiva.
Feedback
A.2. Qual é a diferença entre o uso direto e o uso indireto de evidências? 
A. Se a evidência a partir da qual se tomou decisões provém do mesmo programa, o uso é direto. Por outro lado, se a informação provém de outro programa ou contexto, o uso da evidência é indireto. 
B. Se a evidência é usada diretamente depois do estudo é uso direto. Por outro lado, se mais de um ano se passa entre a finalização do estudo e seu uso, o uso da evidência é indireto. 
C. Se a evidência é usada pelo próprio avaliador do programa, o uso é direto. Se outras pessoas, por outro lado, a utilizam, o uso é indireto. 
A resposta correta é a alternativa A. Uso direto da evidência diz respeito a tomar decisões sobre um programa baseando-se na evidência daquele mesmo programa. Uso indireto da evidência é recorrer à informação que provém de outros programas. No geral, é mais difícil usar evidência de forma indireta porque requer adaptar o programa desde o seu contexto original até o contexto a partir de onde se deseja implementar.
Nas tomadas de decisão, utilizamos no J-PAL o ciclo de aprendizagem, um modelo para usar sistematicamente diferentes tipos de evidência (não só de avaliações de impacto, mas também de outros tipos de avaliação que vimos no segundo módulo deste curso). No ciclo de aprendizagem, são contemplados os usos direto e indireto da evidência.
A.3.a Para as diferentes etapas do ciclo de aprendizado, selecione o tipo de avaliação correspondente. 
1. Diagnóstico: Avaliação de necessidades 
Como vimos no módulo 1 do curso, programas e políticas são criados para atacar problemas específicos. A avaliação de necessidades identifica a natureza e o escopo de um problema social, definindo a abordagem necessária para atacar este problema.
2. Desenho e Avaliação: Avaliação de impacto 
Com base no diagnóstico e na revisão de literatura, desenhamos um piloto do programa. Como se explica no vídeo, se não estamos convencidos da efetividade que o programa terá (porque não existe muita evidência em contextos similares ao nosso, por exemplo), é aconselhável fazer uma avaliação de impacto. 
3. Implementação: Avaliação de processos 
É sempre aconselhável fazer uma avaliação de processos, ou seja, uma avaliação da implementação do programa. Isso nos permite identificar (e depois resolver) possíveis problemas de implementação. Além do mais, se fizermos uma avaliação de impacto e a conclusão for a de que o programa não atingiu os resultados esperados, uma avaliação de processos pode nos dizer se isso se deveu a uma falha na implementação ou na teoria.
Feedback
A.3.b. No ciclo de aprendizagem, são contemplados os usos direto e indireto da evidência. Selecione o tipo de evidência correspondente às diferentes etapas do ciclo de aprendizagem.
1. Revisão de Literatura: Uso Indireto 
A revisão de literatura consiste em revisar o que tem funcionado (ou não) em outros contextos: revisamos avaliações de outros programas e aprendemos as condições que se aplicam ao nosso contexto para desenhar a intervenção.
2. Expansão, Redesenho ou Encerramento de um Programa: Uso Direto 
Essas decisões são tomadas com base na análise de resultados da avaliação de impacto e de processos do próprio programa. São, portanto, exemplos de uso direto da evidência.
Feedback
B.1. A que se refere o termo "transferência de renda condicionada", exposto no vídeo? 
A. A conceder transferência de renda a famílias de baixa renda que não têm renda mensal. 
B. A conceder crédito a famílias de baixa renda a uma baixa taxa de juros. 
C. A conceder bens de consumo e alimentos a famílias de baixa renda. 
D. A conceder transferência monetária sob a condição de que famílias cumpram com requisitos estabelecidos. 
A resposta correta é a alternativa D. Como o nome indica, as transferências condicionadas são concedidas pelo governo às famílias mais necessitadas, mas sua entrega está condicionada ao cumprimento de alguns requerimentos estabelecidos. Por exemplo, as crianças devem ir à escola, receber cuidados médicos ou cumprir requerimentos nutricionais.
Feedback
B.2. Verdadeiro ou falso: a avaliação do programa de transferência de renda condicionada na Colômbia mostrou que é preciso aumentar o orçamento das transferências condicionadas para aumentar a participação escolar. 
A. Verdadeiro 
B. Falso 
A resposta correta é a alternativa B. Para conhecer o impacto que modificações mínimas nas transferências condicionadas na Colômbia teriam, foram desenhadostrês modelos de transferências. Os três casos utilizaram a mesma quantidade de orçamento, mas a dosagem e o período da transferência variaram. No final, os resultados indicaram que é possível aumentar a participação escolar modificando o período e a dosagem da transferência, sem resultar em um maior gasto orçamentário. 
Feedback
C.1. Verdadeiro ou falso: não importa quanta evidência exista, sempre haverá incerteza sobre o sucesso de uma política quando aplicada em outro contexto.
A. Verdadeiro 
B. Falso 
A resposta correta é a alternativa A. Sempre existe uma incerteza acerca dos resultados que um programa pode ter quando implementado em contextos diferentes. Além disso, mesmo quando realizamos uma análise exaustiva da evidência disponível, os resultados futuros não serão necessariamente iguais aos resultados conhecidos, já que avaliações de impacto rigorosas trabalham com dados amostrais.
Feedback
C.2. Que perguntas devemos fazer a partir da Teoria da Mudança para saber se a evidência de um determinado programa pode ser útil para o desenho do nosso programa, que será implementado em um contexto diferente? Marque todas as alternativas que julgar corretas. 
A. Os mecanismos por meio dos quais os programas funcionam são os mesmos? 
B. Quão similares são os programas? 
C. Os dois programas tentam solucionar o mesmo problema? 
D. As populações alvo e as condições locais dos dois programas são comparáveis? 
Todas as respostas são corretas. Dentre as perguntas necessárias à comparação entre a evidência existente e a intervenção que desejamos implementar, estão:  1) Existe o mesmo problema?; 2) As populações alvo e as condições locais dos dois programas são comparáveis?; 3) Quão similar é o programa que se quer implementar?; 4) Quão similar é a organização que o implementa?; 5) Os programas funcionam por meio dos mesmos mecanismos?; 6) Existem mais evidências sobre as mudanças de conduta necessárias para produzir o resultado final? 
Feedback
D.1. Quais foram as duas políticas implementadas para reduzir a pesca ilegal de merluza no Chile? Marque todas as alternativas que julgar corretas. 
A. Fiscalização dos vendedores durante o período de proibição. 
B. Aumento do imposto à venda de merluza. 
C. Delimitação de áreas de proteção para a merluza. 
D. Advertência aos consumidores sobre a necessidade de redução da demanda por merluza capturada ilegalmente. 
As respostas corretas são as alternativas A e D. A primeira alternativa era aumentar a fiscalização das lojas nos períodos de reprodução da espécie, em que a pesca era proibida. A outra alternativa era levar informação aos consumidores para que deixassem de consumir merluza capturada ilegalmente.
Feedback
D.2. Quais foram os resultados das duas intervenções? Marque todas as alternativas que julgar corretas. 
A. A fiscalização diminuiu MAIS a venda ilegal de merluza que a campanha informativa. 
B. A fiscalização diminuiu MENOS a venda ilegal de merluza que a campanha informativa. 
C. Salvar uma merluza com a fiscalização foi MAIS caro que com a campanha informativa. 
D. Salvar uma merluza com a fiscalização foi MENOS caro que com a campanha informativa. 
As respostas corretas são as alternativas A e C. O impacto da fiscalização foi maior que o da campanha informativa. No geral, a fiscalização reduziu 5 pontos percentuais a mais a quantidade de locais que vendiam merluza ilegalmente. Ao mesmo tempo, o custo da ação de fiscalização foi mais caro. A análise custo-efetividade apontou que salvar uma merluza por meio da fiscalização era mais caro (ou menos custo-efetivo) do que por meio da campanha informativa. Portanto, o impacto da fiscalização é maior, mas a análise por custo-efetividade favoreceu a campanha informativa. 
Feedback
D.3. Segundo o vídeo, quais são as condições necessárias para replicar a campanha de informação para outras espécies? Marque todas as alternativas que julgar corretas. 
A. Que a proibição da venda da espécie que se deseja proteger seja limitada a um período do ano. 
B. Que os consumidores sejam capazes de reconhecer a espécie que se deseja proteger. 
C. Que as zonas pesqueiras da espécie que se deseja proteger sejam as mesmas zonas pesqueiras de merluza. 
As respostas corretas são as alternativas A e B. Devemos ter certeza de que a nova espécie de peixe que se deseja proteger cumpra com certas condições - as mesmas condições que, de acordo com a teoria da mudança, permitiram que a política informativa fosse efetiva para a merluza. Uma dessas condições é que o veto à venda seja limitado a um período, porque, para o consumidor, não consumir um produto por um determinado período é diferente de não poder consumi-lo nunca mais. Além disso, os consumidores também devem ser capazes de identificar o peixe que se deseja proteger, similarmente ao caso da merluza. 
Feedback
E.1. De acordo com o vídeo, quais são os problemas que motivaram o desenho da política educativa no Peru? Marque todas as alternativas que julgar corretas. 
A. Os estudantes das escolas rurais do Peru têm pior desempenho escolar em relação aos demais. 
B. A educação no Peru se encontra atrasada em relação a outros países. 
C. As escolas nas zonas rurais costumam ter classes heterogêneas, com alunos de diversos níveis de conhecimento e aprendizagem na mesma sala de aula. 
D. As escolas nas zonas rurais costumam ter classes com alunos de diversas idades na mesma sala de aula. 
As respostas corretas são as alternativas A, C e D. De acordo com o vídeo, todos esses são desafios da educação no Peru. A alternativa B está incorreta porque os níveis de educação no país não foram relacionados aos de outros países. 
Feedback
E.2. Dados os desafios, qual foi a nova política implantada no Peru? Marque todas as alternativas que julgar corretas. 
A. Os alunos foram reagrupados de acordo com seu nível de aprendizagem. 
B. As crianças que viviam longe da escola tiveram uma mudança no horário escolar. 
C. O programa reservou um tempo para aulas de desenvolvimento de habilidades básicas entre as crianças com menor desempenho. 
D. Professores com baixo desempenho tiveram uma capacitação extra. 
As respostas corretas são as alternativas A e C. O programa organizou os alunos por nível de aprendizado, e não mais por idade. Além disso, planejou aulas para o desenvolvimento de habilidades básicas e apoio às crianças com menor desempenho escolar. 
Feedback
F.1. Considere o programa de vacinação na Índia. Segundo o vídeo, que característica a intervenção 2 teria de diferente da intervenção 1? 
A. Na intervenção 2, havia sempre uma enfermeira nos acampamentos de vacinação. 
B. Na intervenção 2, os pais eram pagos para vacinar seus filhos. 
C. Na intervenção 2, o preço das vacinas era menor. 
D. Na intervenção 2, os pais recebiam um quilo de lentilhas por vacinação. 
A resposta correta é a alternativa D. Na intervenção 1, havia uma enfermeira presente nos acampamentos de vacinação. Na intervenção 2, além da enfermeira, o incentivo que os pais teriam para ir vacinar seus filhos era receber um quilo de lentilhas por vacinação. Em nenhum caso as vacinas foram cobradas, e não eram oferecidas remunerações monetárias aos pais em troca da vacinação de seus filhos. 
Feedback
F.2. Suponha que o governo de Serra Leoa queira replicar o programa indiano de vacinação. Neste contexto, por que é relevante o dado de que, em Serra Leoa, 84% das crianças recebem pelo menos a primeira vacina (DPT1)? 
A. O dado sugere que uma maioria considerável da população se opõe à vacinação por razões culturais. 
B. O dado garante que o programa implantado na Índia também será efetivo em Serra Leoa. 
C. O dado sugere que o programa não é necessário, dado que a porcentagem no país supera o mínimo recomendado pela OMS. 
D. O dado sugere que as baixas taxas de vacinação completa em Serra Leoa não se devem à oposição dos pais à vacinação por razões culturais. 
A resposta correta é a alternativa D. Este é um dado relevante porque a efetividade do programa proposto seria improvável se as baixas taxas de vacinação completa se devessema oposições dos pais à vacinação por convicções culturais. O fato de a maioria dos filhos receber ao menos uma vacina sugere que esse não é o caso em Serra Leoa. 
Feedback
F.3. De acordo com o vídeo, quais são alguns dos componentes teóricos do programa de incentivo à vacinação?
A. A procrastinação é ligada ao maior valor atribuído às ações presentes. 
B. A única diferença entre o grupo de controle e o de tratamento é o programa. 
C. Pequenos incentivos podem ter grandes impactos no comportamento. 
D. Aumentos na demanda estão acompanhados por aumentos no preço de bens e serviços. 
As respostas corretas são as alternativas A e C. A procrastinação dos pais (denominada na Economia Comportamental como "viés pelo presente") é considerada na Teoria da Mudança devido ao fato de eles adiarem a vacinação de seus filhos, mesmo sabendo dos benefícios da vacina. Além disso, a Teoria da Mudança considera o aprendizado de que pequenos incentivos podem surtir grandes impactos no comportamento. Os outros componentes teóricos citados não foram aplicados nesse caso. 
Feedback
G.1. De acordo com o conteúdo deste módulo, que tipos de decisões podem ser tomadas com base em evidências? Marque todas as alternativas que julgar corretas. 
A. Determinar a expansão ou não de um programa. 
B. Continuar ou terminar um programa. 
C. Escolher entre diferentes alternativas de programa. 
D. Criar modificações do programa. 
Todas são respostas corretas. A evidência permite tomar decisões informadas sobre os programas sociais; permite saber se devemos expandir um programa, com base nos resultados da versão piloto; também permite saber se um programa deve continuar, ser finalizado, ou se devem ser realizadas modificações nos seus componentes não efetivos. Além disso, com base em evidências é possível escolher a alternativa de política que melhor responda aos problemas dentre as opções desenhadas e testadas de intervenção. 
Estudo de Caso - Módulo 9
Usando evidência rigorosa para desenhar programa de mentoria
ANÁLISE DE EVIDÊNCIA
Para este estudo de caso, suponha que você trabalhe para uma organização que financia programas sociais na França. Você recebeu uma proposta para financiar um programa de mentoria que busca ajudar jovens de baixa renda a escolher uma boa opção de orientação acadêmica e vocacional depois da educação secundária. Para determinar se financiar este programa seria ou não uma boa decisão, você deve fazer uma revisão da evidência existente na literatura relacionada.
Encontramos cinco avaliações rigorosas de programas similares, mas nenhuma das intervenções é exatamente igual ao programa proposto. Como usamos essa evidência?
Nos vídeos deste módulo vimos que, para determinar em que medida os resultados de uma avaliação são generalizáveis para outro contexto, é importante responder a uma série de perguntas:
· Qual é a Teoria da Mudança do programa proposto?
· O programa avaliado procura responder ao mesmo problema? A população alvo e as condições locais são comparáveis?
· Quão similares são o programa avaliado e o programa proposto? E suas organizações implementadoras?
· Os dois programas funcionam por meio dos mesmos mecanismos?
LITERATURA DE REFERÊNCIA
Tendo essas perguntas como base, vamos analisar os resultados de avaliações de impacto de programas de mentoria já estabelecidos. Como referência, os links abaixo trazem publicações acadêmicas que analisam os resultados dessas avaliações e servem como material complementar do módulo.
· Making a Difference, An Impact Study of Big Brothers Big Sisters
· Private and Public Provision of Counseling to Job Seekers: Evidence from a Large Controlled Experiment
· Investing in Schooling in Chile: The role of Information About Financial Aid for Higher Education
· The (Surprising) Efficacy of Academic and Behavioral Intervention with Disadvantaged Youth: Results from a Randomized Experiment in Chicago
· Adjusting Your Dreams? The Effect of School and Peers on Dropout Behaviour
CONTEXTO
Na França, no nono ano do período escolar, os jovens terminam o “colégio” (análogo ao ensino fundamental do Brasil) e entram no “liceu” (similar ao ensino médio brasileiro), onde estudam por mais três anos. Há três divisões no liceu: a) geral, que prepara para a universidade; b) tecnológica, que prepara para o ensino superior orientado para carreiras técnicas; e c) profissional, orientada para a entrada imediata no mercado de trabalho. A divisão geral é considerada a mais prestigiada, seguida pela tecnológica e, então, pela profissional. Cada uma dessas divisões tem subdivisões.
Os jovens de baixa renda ou provenientes de regiões mais pobres enfrentam vários obstáculos para alcançar um bom desempenho escolar. Um deles é ter uma ideia imprecisa do sistema escolar e dessas divisões (quais são, que perspectivas de trabalho oferecem, as possibilidades de obtenção de ajuda financeira, o grau de dificuldade, etc.). A falta de entendimento desses aspectos pode dificultar a escolha do caminho mais adequado.
Por um lado, é possível que, por estarem mal informados sobre as opções existentes e a forma de entrada nas divisões dos liceus, os jovens tenham ambições pouco adequadas aos seus resultados escolares. Na França, somente os estudantes de mais alta performance entram na divisão geral ou nas subdivisões profissionais com maior demanda. Esse sistema pode provocar a frustração dos alunos, sobretudo dos estudantes com baixo rendimento acadêmico.
Todos os anos, 140.000 jovens franceses abandonam a educação básica. Sobretudo a longo prazo, pessoas sem qualificação enfrentam maior taxa de desemprego, além de geralmente conseguirem empregos precários e pouco qualificados se comparados àqueles oferecidos aos profissionais que completam o liceu. Há estudos que mostram que o aumento da escolaridade e a obtenção de diplomas são fatores que podem prevenir a pobreza.
Por outro lado, o ambiente sociocultural das crianças de baixa renda pode afetar suas ambições educacionais e profissionais. Alunos com alto desempenho acadêmico e provenientes de famílias de baixa renda podem se autocensurar ou subestimar os apoios institucionais para a continuação de seus estudos (por exemplo, bolsas ou facilidades para a entrada em determinadas universidades).
Um estudo realizado no país mostra que o nível educacional está fortemente correlacionado às origens sociais. Entre os filhos de pessoas da categoria “Operários”, 76% abandonam o sistema de educação com um diploma de, no máximo, liceu. Já entre os filhos de pessoas da categoria “Executivos”, o percentual cai para 36%. 
POSSÍVEL SOLUÇÃO: O PROGRAMA SUCESSO NA ESCOLA
A associação Sucesso na Escola tem um projeto que busca ajudar jovens de regiões pobres a ter acesso a uma boa opção de orientação acadêmica e vocacional durante o liceu (ou ensino médio). A ideia é que um acompanhamento personalizado possa ajudá-los a escolher sua trajetória de maneira realista e adequada às suas ambições e aptidões escolares.
O programa consiste em um acompanhamento dos alunos por mentores voluntários nos liceus (no décimo ano de ensino, início daquele que seria o primeiro ano do ensino médio brasileiro) localizados nas Zonas Educativas Prioritárias (ZEP) - distritos escolares em regiões de baixa renda. Os mentores voluntários devem participar de uma capacitação em que a associação explica os objetivos e regras do programa, além de dar conselhos para o desenvolvimento de uma boa relação entre mentores e mentorados.
Mentor e mentorados devem se encontrar quatro vezes ao ano durante o liceu, depois do horário das aulas. Durante esses encontros de aproximadamente 45 minutos, o mentor deve incitar os alunos à reflexão sobre sua orientação escolar (liceu e universidade) e seu projeto profissional; acompanhá-los na elaboração e execução desse projeto; e orientá-los e motivá-los a um maior envolvimento na escola com vistas à melhoria de seus resultados acadêmicos.
Parte superior do formulário
Parte inferior do formulário
Parte superior do formulário
Parte inferior do formulário
Feedback
EC1.b.Verdadeiro ou falso: em geral, resultados intermediários não são o foco de interesse de avaliações de impacto. 
A. Verdadeiro 
B. Falso 
A alternativa correta é a B. Como exposto nos vídeos do módulo 3, resultados intermediários medem mudanças em atitudes, comportamentos, conhecimentos e capacidades. Essas mudanças são em geral focos de interesse das avaliações de impacto.
ESTUDO 1 - PROGRAMA BIG BROTHERS, BIG SISTERS
A mentoria pode ter um impacto positivo no rendimento escolar e na conduta dos mentorados quando essa relação se desenvolve a longo prazo e é baseada em encontros frequentes. (Tierney et al, 1995)
Este estudo se baseia em um programa de mentoria chamado Big Brothers, Big Sisters, implementado nos Estados Unidos. O programa consiste em um acompanhamento, por 12 meses, de crianças entre 6 e 8 anos provenientes de famílias monoparentais (aquelas em que só a mãe ou só o pai é responsável pela criação dos filhos). Os voluntários são, em geral, jovens graduados entre 20 e 34 anos de idade, que se encontram de duas a quatro vezes por mês com as crianças participantes, para desenvolver uma relação de amizade e apoio regular de um adulto.
Para participar do programa, os pais devem preencher um formulário de candidatura e participar de uma entrevista com um conselheiro do projeto. Os mentores voluntários são selecionados e recrutados após uma visita domiciliar, a verificação de referências e antecedentes criminais, além de uma entrevista com um conselheiro do projeto.
Durante cada encontro, que dura entre três e quatro horas, crianças e mentores realizam alguma atividade, como culinária, esporte ou tutoria escolar. Ao longo do primeiro ano, os conselheiros do programa contatam, pelo menos uma vez por mês, os mentores, os pais e o mentorado, para verificar o bom desenvolvimento do processo.
Os resultados 
· O programa teve um impacto positivo quanto à probabilidade das crianças não consumirem álcool e/ou drogas;
· O programa teve efeitos positivos sobre a conduta das crianças na escola. Os beneficiários faltaram menos às aulas, sentiam-se mais capazes de fazer suas tarefas e tinham notas melhores (sobretudo as meninas);
· Houve também uma melhora nas relações com os pais, e maior confiança e entendimento com seus pares.
Parte superior do formulário
Parte inferior do formulário
ESTUDO 2 - PROGRAMA DE ORIENTAÇÃO VOCACIONAL NA FRANÇA
A capacidade da associação de implementar o programa é um determinante do impacto que o programa terá sobre os beneficiários. (Behaghel et al. 2013)
Esse estudo avaliou o impacto de um programa de orientação vocacional a estudantes de ensino médio. A mentoria foi feita por profissionais inseridos no mercado de trabalho na França, direcionada a alunos provenientes de regiões de baixa renda que ingressavam na divisão geral do liceu (a mais prestigiada divisão do que seria o ensino médio brasileiro). Ao longo do liceu, os mentores deveriam apoiar os jovens no processo de orientação vocacional e na elaboração do seu projeto profissional.
Os resultados
· A associação enfrentou dificuldades para encontrar mentores voluntários, e somente uma parte dos alunos pôde ter a mentoria;
· Um ou dois anos depois de iniciado o programa, poucos alunos mencionaram espontaneamente seus mentores em conversas com adultos sobre seu futuro profissional, o que sugere que a relação de mentoria não se desenvolveu de maneira tão sólida.
· Os alunos beneficiários do programa foram os que mais declararam não saber que carreira seguir logo após o liceu (ensino médio), e os que menos acreditaram que poderiam terminar o ensino superior.
Feedback
EC.3. Que tipo de falha do programa os resultados mostram? 
A. Falha de teoria. 
B. Falha de implementação. 
C. Falha de delimitação do problema. 
D. Falha de custo-efetividade. 
A alternativa correta é a B. O programa teve sérios problemas de implementação. Em particular, não conseguiu reunir um número suficiente de mentores voluntários para atender aos mentorados. Além disso, as reuniões entre mentor e mentorado não conseguiram estabelecer uma relação significativa de mentoria. É possível também que tenha havido uma falha de teoria do programa, mas será preciso primeiro corrigir os problemas de implementação para aferir se o programa atinge os objetivos esperados quando as atividades são implementadas corretamente.
ESTUDO 3 - PROGRAMA DE ACESSO AO MERCADO DE TRABALHO
A mentoria pode ter impactos negativos sobre o humor e as ambições dos jovens. (Cahuc et al, 2012) 
Este estudo avaliou diferentes métodos de acompanhamento cujo objetivo era facilitar o acesso de jovens que abandonam a universidade (sem se graduar) ao mercado de trabalho ou à capacitação. Um dos métodos consistia em oferecer aos jovens o acompanhamento de um profissional ativo, para que eles pudessem adquirir um conhecimento menos formal sobre o trabalho.
Os resultados
· Um a cada cinco jovens recusou o plano de ser mentorado;
· A meta do número de jovens a serem mentorados não pôde ser cumprida por falta de mentores.
· A mentoria teve um impacto negativo sobre o humor e o sentimento de bem-estar dos jovens. O programa parece ter se tornado uma fonte de frustração (em decorrência da descoberta dos obstáculos do mundo profissional, que até então eram desconhecidos pelos jovens).
Feedback
EC.4. Quais resultados do estudo 3 são relevantes para o programa Sucesso na Escola? Marque todas as respostas que julgar corretas.
A. A avaliação expõe os mecanismos por meio dos quais a mentoria tem efeitos positivos. 
B. Os resultados questionam a capacidade dos mentores de transmitirem a informação adequada aos mentorados. 
C. Com base nos índices de rejeição ao programa, é importante considerar o grau de aceitação que a mentoria tem entre os jovens. 
D. Os resultados indicam o número de reuniões semanais necessárias para que o aluno construa um projeto para sua vida profissional. 
As respostas corretas são as alternativas B e C. A alternativa A não é correta porque o estudo conclui que a mentoria teve um efeito negativo. Os resultados relevantes são que as informações que os mentores oferecem podem variar em qualidade e não necessariamente contribuem para o desenvolvimento do aluno. Além disso, os resultados mostram que os estudantes podem recusar a mentoria, e por isso é importante considerar os níveis de aceitação da política entre os jovens. O número ótimo de reuniões semanais não é mencionado, e por isso a alternativa D não é correta.
ESTUDO 4 - PROGRAMA DE INFORMAÇÃO NO CHILE
Informar aos alunos sobre apoio financeiro disponível e condições de elegibilidade em processos seletivos em momentos-chave da vida estudantil pode influenciar sua orientação escolar. (Dinkelman et al, 2014)
Este estudo avaliou o impacto de um programa de informação estabelecido em zonas urbanas de baixa renda no Chile. Os alunos do oitavo ano receberam um DVD informativo, ao qual poderiam assistir na escola ou em casa, com suas famílias. O DVD apresentava o relato de 13 jovens trabalhadores, de origem socioeconômica modesta, que explicavam sua trajetória escolar e profissional. Esses jovens mencionavam as ajudas financeiras que receberam para seus estudos superiores (universitários ou carreiras profissionais curtas), graças a seus resultados escolares, às condições de elegibilidade e aos prazos de candidatura.
Os resultados 
· Logo após receberem o DVD, os alunos com desempenho escolar alto e mediano foram os mais interessados em ir à universidade. Alunos de baixo desempenho foram mais propensos a querer formações técnicas e profissionais;
· Os alunos que receberam o DVD e que obtiveram bons resultados na escola foram os que mais se inscreveram nos liceus acadêmicos com aulas preparatórias para a universidade;
· O DVD conseguiu reduzir ausências nos estudos, mas não teve efeito sobre resultados escolares.
ESTUDO 5 - PROGRAMA BECOMING A MAN​
Oferecer reforço escolar personalizado e intensivo pode melhorar o comportamento e o rendimento na escola, reduzindo assim a taxa de abandono escolar precoce. (Cook et al, 2014)Este estudo tem como base o programa Becoming a Man, implementado em escolas públicas em zonas vulneráveis do sul de Chicago (nono e décimo ano escolar). Duas ONGs implementaram seminários de terapia cognitiva e de conduta, com o objetivo de ajudar os participantes a melhorar sua capacidade de tomar decisões e resolver problemas cotidianos, a avaliar as consequências de suas ações, a compreender a perspectiva de outra pessoa e a reagir sem violência. Estes seminários foram seguidos de aulas de esportes para canalizar a agressividade (boxe e tiro com arco).
O programa também ofereceu reforço escolar intensivo e personalizado. Os tutores recrutados pelas ONGs ofereciam reforço em matemática a alunos com baixo desempenho. Essas sessões, de uma hora, ocorriam todos os dias, durante o horário da aula. Os tutores eram, em geral, jovens profissionais não necessariamente capacitados para a docência, mas motivados a prestarem um serviço à comunidade em troca de um salário modesto.
Os resultados
· A terapia cognitiva e de conduta reduziu consideravelmente a taxa de prisão dos jovens por crimes violentos, mas não teve impacto sobre o seu rendimento escolar quando não veio acompanhada do reforço escolar;
· A terapia e o reforço escolar intensivo e personalizado melhoraram significativamente os resultados em matemática e aumentaram a taxa de graduação entre os jovens do programa.
Feedback
EC.6. Verdadeiro ou falso: este estudo mostrou que a terapia e o reforço escolar intensivo e personalizado do programa têm efeitos significativos no rendimento escolar dos jovens. Portanto, o mais provável é que esses resultados se repitam no programa Sucesso na Escola. 
A. Verdadeiro 
B. Falso 
Falso. Os desenhos dos dois programas apresentam diferenças significativas. O programa Becoming a Man consiste em terapia cognitiva e sessões de uma hora de reforço escolar, todos os dias. Em contrapartida, o programa Sucesso na Escola provê informação vocacional e conta com quatro reuniões planejadas por ano, de 45 minutos cada. Embora o programa Becoming a Man tenha sido uma política de sucesso, as diferenças no desenho do programa não garantem que os resultados poderão ser replicados no programa Sucesso na Escola. 
ESTUDO 6 - PROGRAMA PORTFÓLIO DOS PAIS
Ajudar as famílias das crianças com maiores dificuldades a terem ambições mais realistas e a formularem aspirações menos focadas nas divisões mais seletivas do liceu pode reduzir a taxa de reprovação e de abandono. (Goux et al, 2014).
Ao serem entrevistados ao final da trajetória de seus filhos no colégio (nono ano na França, análogo ao final do ensino fundamental no Brasil), a maioria dos pais acredita que estes virão a se graduar no liceu geral (o mais disputado). Na verdade, os resultados escolares desses alunos e suas possibilidades de sucesso no liceu são muito baixas. De fato, dentre os que apresentaram mais dificuldades e os mais vulneráveis à desistência, poucos consideram a possibilidade de seguir uma formação de ofício ou profissional curta no liceu, o que reflete o pouco valor que é dado a essas formações na França.
Este estudo foca em um programa chamado Portfólio dos Pais, que busca informar as famílias dos alunos com baixo rendimento escolar sobre as possibilidades de orientação acadêmica ao término da escolaridade obrigatória na França (no final do nono ano). O programa inclui duas reuniões dirigidas pela equipe administrativa e docente da escola, onde se apresentam aos pais dos alunos as diferentes possibilidades de orientação acadêmica (divisões dos liceus) disponíveis. Depois dessas reuniões coletivas, os pais se reúnem de três a cinco vezes (segundo as necessidades do aluno) com o diretor do colégio para discutir cada caso.
Os resultados
· O programa permitiu desenvolver os projetos das famílias de maneira significativa e ampliou o espectro das orientações vocacionais consideradas;
· Esse ajuste de aspirações veio acompanhado de uma importante redução do abandono escolar, favorecendo trajetórias sem reprovação nos centros de aprendizagem (de ofícios ou profissões) e nos liceus profissionais;
· Dois anos após a intervenção, o abandono escolar nessa população caiu de 20% a 15%;
· Não há efeitos negativos sobre a proporção de alunos que decidiram continuar seus estudos em uma divisão mais seletiva do liceu.
Feedback
EC.7. Quais são algumas das diferenças entre os programas Portfólio dos Pais e Sucesso na Escola? Marque todas as respostas que julgar corretas. 
A. A população alvo dos dois programas é distinta. 
B. Os dois programas oferecem reuniões de orientação acadêmica, mas não são as mesmas pessoas que vão a essas reuniões. 
C. O número de reuniões é muito diferente. Sucesso na Escola tem mais reuniões que Portfólio dos Pais. 
D. O objetivo dos programas é diferente. Em Portfólio dos Pais, a meta é ajudar a tomar decisões ótimas sobre o futuro escolar, enquanto Sucesso na Escola pretende criar laços de amizade entre mentores e mentorados. 
As alternativas corretas são A e B. A população alvo de Sucesso na Escola são todos os alunos de zonas vulneráveis, tanto os de baixo como os de alto rendimento acadêmico. A população alvo de Portfólio dos pais são apenas famílias responsáveis por alunos de baixo rendimento. Em Portfólio dos Pais, os pais dos alunos se reúnem com o diretor e os funcionários do colégio. Em Sucesso na Escola, os próprios alunos se reúnem com mentores voluntários. O número de reuniões é parecido: quatro para Sucesso na Escola e entre 5 e 7 para Portfólio dos Pais. Os dois programas têm como objetivo ajudar a tomar decisões ótimas sobre orientação vocacional.