Prévia do material em texto
1 Análise do Retorno Social do Investimento – SROI Avaliando o impacto social da ESCOLA DE MÚSICA DO ESTADO DE SÃO PAULO TOM JOBIM 2 INFORMAÇÕES SOBRE O ESTUDO Avaliação do Retorno Social do Investimento para a Escola de Música do Estado de São Paulo Tom Jobim (EMESP Tom Jobim), gerida pela Santa Marcelina Cultura. Estudo publicado em Maio de 2019 pelo IDIS – Instituto para o Desenvolvimento do Investimento Social. www.idis.org.br EQUIPE Paula Fabiani Diretora-presidente do IDIS. Foi diretora financeira da Fundação Maria Cecília Souto Vidigal e Controller do Instituto Akatu. Trabalhou no Private Equity do Grupo Votorantim, e nos bancos BankBoston e Lloyds Bank. É economista formada pela FEA-USP com MBA na NYU - Stern School of Business. Paula Fabiani é a única brasileira certificada pela Social Value na metodologia SROI. Raquel Altemani Gerente de Projetos do IDIS. Atuou durante três anos na Nielsen Brasil. Antes disso, atuou na área de Processos e Qualidade em instituições financeiras, incluindo o Banco ibi, Banco Votorantim e Banco CBSS. É formada em Administração pela FEA-USP com pós-graduação em Gestão Estratégica da Sustentabilidade pela FIA-USP. Liliana Guimarães Analista de Projetos do IDIS. Advogada formada pela Fundação Getúlio Vargas (FGV), realizou intercâmbio acadêmico com foco em Sociologia no SciencesPo - Institut d’Études Politiques de Paris e graduou-se em Administração Pública em 2018, também pela FGV. 3 AGRADECIMENTOS O IDIS – Instituto para o Desenvolvimento do Investimento So- cial gostaria de agradecer imensamente a todas as pessoas que dedicaram tempo e reflexão para contribuir com este estudo nas entrevistas, grupos focais e questionários, tornando possível a ob- tenção dos resultados aqui apresentados. Adicionalmente, gostaríamos de agradecer a toda a equipe da Santa Marcelina Cultura por sua abertura, transparência, receptivi- dade e colaboração ao longo de todo o estudo. SUMÁRIO EXECUTIVO CAPÍTULO 1 – Introdução 1.1. A EMESP Tom Jobim 1.2. Os objetivos desta avaliação CAPÍTULO 2 - A Metodologia Social Return On Investment (SROI) 2.1 O diferencial da metodologia SROI 2.2. Os princípios da metodologia SROI 2.3. Os estágios da metodologia SROI CAPÍTULO 3 – Estabelecendo o escopo e identificando os stakeholders-chave 3.1. Estabelecendo o escopo 3.2. Identificando os stakeholders CAPÍTULO 4 - Como a EMESP Tom Jobim gera mudanças? 4.1. O que é a Teoria de Mudança? 4.2. A Teoria de Mudança da EMESP Tom Jobim 4.3. Testando a Teoria de Mudança para a avaliação SROI 4.4. Fatores externos à EMESP Tom Jobim que influenciam os resultados do programa (facilitadores e obstáculos) CAPÍTULO 5 – Engajamento de stakeholders e coleta de dados 5.1. Coleta de dados qualitativos 5.2. Coleta de dados quantitativos CAPÍTULO 6 – Construindo o modelo SROI 6.1. Processo de modelagem 6.2. Incidência dos resultados: o que mudou depois da EMESP Tom Jobim? 6.3. O impacto da EMESP Tom Jobim: medindo a mudança causada exclusivamente pela Escola 6.4. Valorando os resultados através de proxies financeiras 6.5. Outros componentes do modelo de avaliação SROI 6.6. Resumo das variáveis adotadas e cálculo do valor social gerado CAPÍTULO 7 – Resultados da avaliação SROI da EMESP Tom Jobim 7.1. O retorno social do investimento na EMESP Tom Jobim 7.2. Distribuição dos valores entre os stakeholders 7.3. Análise de sensibilidade 7.4. Conclusões e recomendações 7.5. Considerações Finais APÊNDICE 1 – Referências para saber mais sobre a metodologia SROI APÊNDICE 2 – Sumário das justificativas para a não inclusão dos demais stakeholders nesta avaliação SROI APÊNDICE 3 – Roteiros das entrevistas de diagnóstico APÊNDICE 4 – Roteiro e sistematização dos grupos focais APÊNDICE 5 – Questionário e sistematização da coleta de dados quantitativos APÊNDICE 6 – Cálculo das proxies financeiras APÊNDICE 7 – Bibliografia APÊNDICE 8 – Glossário 5 11 12 13 14 14 15 16 17 17 18 21 21 22 29 30 31 31 33 35 35 39 56 64 68 70 73 73 74 77 80 87 88 89 92 98 109 171 180 181 SUMÁRIO 5 INTRODUÇÃO A Santa Marcelina Cultura é uma associação sem fins lucrativos, qualificada como Organização Social pela Secretaria da Cultura do Estado de São Paulo. Criada em 2008, sua missão é “desenvolver um ciclo completo de formação musical integrado a um projeto de inclusão sociocultural, em que a prática e a teoria estejam sempre interligadas, e em que a arte e a sociedade dialoguem para refor- çar uma à outra”. A Santa Marcelina Cultura administra dois programas de educa- ção musical do Governo do Estado: o Programa Guri, focado na educação musical e inclusão sociocultural de crianças e jovens na Grande São Paulo, e a Escola de Música do Estado de São Paulo – EMESP Tom Jobim, além de gerir o Theatro São Pedro, desenvol- vendo um trabalho voltado a montagens operísticas profissionais. A Escola de Música do Estado de São Paulo – EMESP Tom Jobim, objeto deste estudo de avaliação, é referência no ensino brasileiro de música e oferece aos alunos uma formação rica e abrangente, basea- da em um plano artístico-pedagógico que proporciona conhecimen- to, vivência e compreensão musical. Seus cursos, todos gratuitos, são ministrados por professores de reconhecimento nacional e inter- nacional e são direcionados para um público diverso que vai desde crianças e jovens no início de sua formação musical até profissionais que buscam aperfeiçoamento técnico ou especializações. Em setembro de 2018, a Santa Marcelina Cultura decidiu avaliar o impacto da EMESP Tom Jobim e monetizá-lo para estimar o retor- no social dos recursos investidos e analisar sua contribuição para a sociedade. SUMÁRIO EXECUTIVO SOBRE ESSE RELATÓRIO Este relatório apresenta os resultados da Avaliação do Retorno Social do Investimento para a EMESP Tom Jobim, gerida pela as- sociação Santa Marcelina Cultura. A avaliação mede o impacto social gerado pela EMESP Tom Jobim, escola de música gratuita situada na região central da cidade de São Paulo. Os principais objetivos desta avaliação são: • Compreender o impacto da EMESP Tom Jobim por meio de um estudo avaliativo que demonstre a efetividade do investimento realizado pela Santa Marcelina Cultura; • Oferecer análises relevantes para o processo de planejamento e tomada de decisões da Santa Marcelina Cultura quanto aos desdo- bramentos e continuidade da EMESP Tom Jobim; 6 TEORIA DE MUDANÇA DA EMESP TOM JOBIM RESULTADOS OBTIDOS A avaliação de Retorno Social do Investimento da EMESP Tom Jo- bim evidencia que o Programa traz benefícios sociais relevantes para seus participantes e públicos envolvidos em todos os eixos de mudança pretendidos, que excedem em 3,27 vezes o investi- mento realizado. Isso significa que para cada R$ 1,00 investido na EMESP Tom Jobim, são gerados R$ 3,27 de benefícios sociais. O valor do investimento total realizado pela Santa Marcelina Cultu- ra na EMESP Tom Jobim de 2016 a 2018 é de R$ 72.923.358. A partir da interação com o grupo gestor e a equipe da EMESP e da coleta de dados qualitativa e quantitativa com os ex-alunos da Escola, chegou-se à Teoria de Mudança da EMESP Tom Jobim – uma síntese sobre o impacto que a Escola objetiva atingir e a es- tratégia proposta para que as mudanças efetivamente aconteçam. O resultado de longo prazo desejado com a EMESP Tom Jobim é: “Oferecer formação musical de qualidade para crianças, adoles- centes e jovens, contribuindo para seu desenvolvimento artístico e profissional, além de proporcionar vivências musicais à comu- nidade em geral”. Para atingir esse objetivo, o Programa busca impactar seus bene- ficiários nos seguintes eixos de mudança: 2016 2017 2018 TOTAL GERAL Investimento na EMESP Tom Jobim R$ 20.893.947 R$ 25.681.996 R$ 26.347.414 R$ 72.923.358 Formação musical Ampliação do repertório cultural e artístico Desenvolvimento profissional Desenvolvimento de habilidades socioemocionaisFortalecimento das relações sociais e familiares Desenvolvimento de experiências voltadas à performance musical ALUNOS FAMÍLIAS PROFESSORES • Auxiliar a Santa Marcelina Cultura a identificar potenciais pontos de aprimoramento e otimização do impacto gerado pela EMESP Tom Jobim. Para esta avaliação usou-se a metodologia SROI (Social Return on Investment). Aproximação do universo da música e da arte Oportunidade de exercitar a emoção e a sensibilidade PÚBLICO 7 IMPACTO DO PROGRAMA POR PÚBLICO-ALVO Alunos Professores Familiares ou responsáveis O impacto percentual de cada público-alvo em relação ao impacto total da EMESP Tom Jobim é fortemente influenciado pela grande diferença no número de participantes de cada grupo. Por exemplo: enquanto o universo de professores impactados pela Escola é de 137 pessoas, o universo do público frequentador das apresenta- ções musicais de 117.582 pessoas. Portanto, ainda que, como vere- mos a seguir, o impacto individual gerado em cada um dos profes- sores seja muito superior ao impacto individual para o público dos espetáculos, quando se consolida a mensuração de impacto total de cada público-alvo, a diferença de escala entre eles fica muito evidenciada. Quando desconsideramos o efeito da escala (número de pessoas impactadas em cada público-alvo) e analisamos o valor social ge- rado por indivíduo, é possível constatar que cada aluno é impacta- do socialmente em valor equivalente a R$ 60.223. Os professores aparecem como o segundo público com maior impacto individual, com valor equivalente a R$ 27.015. Já os familiares e responsáveis, aparecem em terceiro lugar e apresentam impacto equivalente a R$ 5.773. O público das apresentações, que possui um envolvi- mento mais pontual com a EMESP Tom Jobim, possui um impacto de valor equivalente a R$ 230. Já o valor social gerado pelo Programa no mesmo período foi de R$ 238.118.450. Quando analisamos o percentual do impacto gerado em cada um dos públicos-alvo avaliados, observamos que o impacto gerado para os alunos representa 79% do impacto total da Escola. O im- pacto gerado nos familiares ou adultos responsáveis pelos alunos representa 8% do impacto gerado. Já o impacto nos professores contribui para 2% do impacto total. E por fim, o impacto no pú- blico das apresentações artísticas promovidas pela EMESP Tom Jobim representa 11% do impacto da Escola. Público 79% 11% 8% 2% 8 Quando analisamos o percentual do impacto total gerado pela EMESP Tom Jobim para cada eixo de mudança, observamos que a formação musical oferecida aos alunos, é responsável por 63% do impacto social total. Se somarmos a esse número o impacto decorrente das experiências voltadas à performance musical, que de certa forma também são parte integrante da formação musical que os alunos recebem, obtemos um percentual de 75%. Ou seja, o ensino da música aos alunos é claramente o elemento preponde- rante do impacto gerado pela EMESP Tom Jobim, enquanto 25% do impacto é distribuído entre o desenvolvimento profissional dos professores e aspectos de desenvolvimento social e cultural dos alunos, familiares ou responsáveis e do público que frequenta a programação musical promovida pela Escola. IMPACTO INDIVIDUAL GERADO POR PÚBLICO-ALVO R$ 5.773 R$ 60.223 R$ 27.015 ALUNOS PROFESSORES FAMILIARES OU RESPONSÁVEIS PÚBLICO R$ 230 CONTRIBUIÇÃO PARA O IMPACTO DO PROGRAMA POR EIXO DE MUDANÇA Alunos: Formação musical Professores: Desenvolvimento profissional Responsáveis: Ampliação do repertório cultural e artístico Público: Aproximação do universoda música e da arte 63% Alunos: Desenvolvimento de experiências voltadas à performance musical Alunos: Desenvolvimento de habilidades socioemocionais Responsáveis: Fortalecimento das relações sociais e familiares Público: Oportunidade de exercitar a emoção e a sensibilidade 12% 4% 3% 4% 5% 7% 2% 9 CONCLUSÕES A Avaliação de Impacto confirma que o retorno social do inves- timento é positivo e relevante, e que a EMESP Tom Jobim atin- ge seu objetivo de oferecer formação musical de qualidade para crianças, adolescentes e jovens, contribuindo para seu desenvol- vimento artístico e profissional, além de proporcionar vivências musicais à comunidade em geral. Os alunos desenvolvem não somente os fundamentos técnicos e habilidade nos instrumentos ou na voz, mas também se apro- fundam na música como uma linguagem expressiva, aprimoram a escuta sensível e crítica, e refletem sobre o papel da música e da arte na sociedade. O exercício do aprendizado e a rotina de aulas, estudos, ensaios e apresentações desenvolvem a con- centração e o controle da ansiedade. Os estudantes aprimoram a percepção de que o processo de estudo e desenvolvimento é algo contínuo, que nunca termina e que exige persistência e dedicação. Essa consciência extrapola o campo da música e in- fluencia positivamente na busca de seus objetivos e na constru- ção de seus planos de vida. A EMESP Tom Jobim dá, ainda, grande ênfase à experiência prática voltada para a performance musical. Os grupos artísti- cos geridos pela Escola são reconhecidos por sua excelência e fazem apresentações nas mais importantes salas de concerto, teatros e espaços culturais do Brasil e do mundo. Os partici- pantes aprimoram suas habilidades para a prática coletiva da música, como a escuta, o comprometimento com os ensaios, a capacidade de lidar com imprevistos, a negociação e o respeito e tolerância com os colegas. No ambiente familiar, as relações são fortalecidas e a música, a arte e a cultura tornam-se um incentivo para encontros e reuniões mais frequentes e para a ampliação do diálogo e da interação entre os alunos e seus familiares. Juntos, passam a frequentar com mais in- tensidade a programação cultural da cidade, o que contribui para desenvolver seu repertório de referências na música e na arte. O corpo docente da EMESP Tom Jobim é composto por profissio- nais de reconhecimento nacional e internacional. A oportunidade de convivência e troca de experiências com um grupo de músicos de tamanha relevância, bem como com os renomados profissio- nais convidados pela Escola por meio das parcerias com conser- vatórios e orquestras internacionais, é apontada pelos professores como um grande benefício de fazer parte da equipe da Escola. A maior parte dos professores mantém uma ativa carreira e produ- ção musical, algo que é respeitado e valorizado pela direção da EMESP Tom Jobim. Todos esses aspectos fazem da EMESP Tom Jobim uma iniciativa de alto impacto social que gera transformações relevantes e positivas, e que foram analisadas e mensuradas no presente estudo avaliativo. 10 Ao longo deste Relatório, apresentamos o detalhamento do pro- cesso avaliativo, os dados coletados e analisados, a metodologia de monetização dos impactos mensurados e os resultados e con- clusões do estudo. Além disso, apresentamos algumas sugestões e recomendações que podem alavancar ainda mais os benefícios sociais gerados pela EMESP Tom Jobim. 11 1INTRODUÇÃO Este relatório apresenta os resultados da avaliação do retorno so- cial do investimento da Escola de Música do Estado de São Paulo – EMESP Tom Jobim, gerida pela associação Santa Marcelina Cul- tura na cidade de São Paulo – SP. A Santa Marcelina Cultura faz parte do Instituto Internacional das Irmãs de Santa Marcelina, congregação surgida na Itália em 1838 e atualmente presente em oito países, e dedica-se às frentes de educação, saúde e assistência social. No Brasil, o instituto foi esta- belecido em 1912, quando fundou seu primeiro colégio em Botuca- tu. Desde então, vem ampliando sua atuação com outras escolas, faculdades, hospitais e obras sociais Brasil afora. Seguindo a missão da Congregação de “educar, formar, cuidar, curar e construir”, a Santa Marcelina Cultura foi criada em 2008 com o objetivo de promover “um ciclo completo de formação mu- sical integrado a um projeto de inclusão sociocultural, em que aprática e a teoria estejam sempre interligadas, em que a arte e a sociedade dialoguem para reforçar uma à outra”. É qualificada como Organização Social de Cultura pela Secretaria da Cultura do Estado de São Paulo e, portanto, apta a gerir equipamentos e programas públicos de cultura mediante contratos de gestão fir- mados com o governo estadual. A história da EMESP Tom Jobim teve início em 1989, quando era conhecida como Universidade Livre de Música e situava-se no bair- ro paulistano do Bom Retiro. Seu reitor e primeiro presidente do Conselho foi o compositor Antônio Carlos Jobim. Em 2001, a Es- cola mudou de endereço e de nome: suas atividades foram trans- feridas para a região da Luz, mais precisamente no Largo General Osório, e ela passou a ser chamada de Centro de Estudos Musicais Tom Jobim. Mais tarde, foi rebatizada como Escola de Música do Estado de São Paulo – EMESP Tom Jobim. A partir do ano de 2009, a gestão da EMESP Tom Jobim ficou a cargo da Santa Marcelina Cultura, que desde então vem realizando 12 A Escola de Música do Estado de São Paulo – EMESP Tom Jobim visa a formação musical de crianças, jovens e adultos. Sua propos- ta educativa é ampla e profunda, abrangendo toda a história e es- tilos da música ocidental – da antiga à contemporânea, da popular à erudita – e seu corpo docente é composto por prestigiados mú- sicos de reconhecimento nacional e internacional. A EMESP Tom Jobim prepara seus alunos para a vida profissional no campo da música, proporcionando-lhes a oportunidade de realizar intercâm- bios em renomados conservatórios internacionais e trocar expe- riências com artistas, maestros e professores convidados. Devido ao número limitado de vagas, o ingresso na EMESP Tom Jo- bim é bastante concorrido – os candidatos devem passar por um rigoroso processo seletivo que avalia seu nível de aptidão musical. Atualmente, a Escola abriga cerca de 130 professores e 1.300 alunos. O ensino da música na EMESP Tom Jobim se dá em três frentes. A primeira delas é composta pelos Cursos de Formação, divididos em ciclos de acordo com o desenvolvimento dos alunos. Cada ciclo dura três anos e tem um limite de idade para ingresso: para iniciar o 1º ciclo, o estudante deve ter no máximo 13 anos de idade; para o 2º ciclo, até 16 anos; e para o 3ºciclo, até 21 anos. As aulas de instru- mento ou canto são individuais, enquanto as aulas teóricas acon- tecem em grupo. Além disso, há aulas coletivas de prática musical. A segunda frente são os Cursos de Especialização, com duração de 2 a 4 anos. Os estudantes podem se aprofundar nas áreas de Com- posição, Regência, Música Antiga, Academia de Ópera, Prática Ins- trumental Avançada (erudita e popular) e Canto (erudito e popular). Por fim, os Cursos Livres duram 1 ano e subdividem-se da seguinte maneira: • Cursos introdutórios: abertos ao público em geral; • Cursos preparatórios: para o ingresso nos Cursos de Formação; • Cursos internos: voltados para alunos dos Cursos de Formação; • Cursos complementares: voltado para profissionais – alunos ou externos. A EMESP Tom Jobim realiza um importante trabalho de difusão artística, com a Orquestra Jovem do Estado, a Orquestra Jovem Tom Jobim, a Banda Sinfônica Jovem do Estado, o Coral Jovem do Estado, a Academia de Ópera do Theatro São Pedro e a Orquestra 1.1 A EMESP Tom Jobim melhorias no espaço físico da Escola, qualificando suas relações trabalhistas e aprimorando sua proposta pedagógica. Atualmente, a organização gere também o Programa Guri, focado na educação musical e inclusão sociocultural de crianças e jovens das periferias de São Paulo, e o Theatro São Pedro, com um trabalho voltado a montagens operísticas profissionais. 13 1.2 Os objetivos desta avaliação Em junho de 2018, a Santa Marcelina Cultura demonstrou interesse em avaliar o impacto social da EMESP Tom Jobim. Os principais objetivos e motivadores desta avaliação são: • Compreender o impacto da EMESP Tom Jobim através de um estudo avaliativo que demonstre a efetividade do investimento da Santa Marcelina Cultura; • Apoiar o planejamento estratégico e o processo de tomada de decisões da Santa Marcelina Cultura quanto aos desdobramentos e continuidade da EMESP Tom Jobim; • Auxiliar a Santa Marcelina Cultura a identificar potenciais pontos de aprimoramento e otimização do impacto gerado pela EMESP Tom Jobim. A metodologia SROI permite que os objetivos acima sejam atingi- dos, em função de suas seguintes características: • Os resultados da avaliação SROI retratam em que medida as in- tervenções são eficientes e a forma como os resultados são perce- bidos pelos grupos de interesse (públicos-alvo ou stakeholders); • As informações geradas pela avaliação SROI podem auxiliar a Santa Marcelina Cultura a maximizar o impacto de um determina- do recurso (financeiro ou não-financeiro). De fato, através de um processo avaliativo que combina métodos de pesquisa qualitativa e quantitativa, é possível analisar quais fatores, intrínsecos e ex- trínsecos à EMESP Tom Jobim, estão dificultando ou potenciali- zando o sucesso da Escola. Jovem do Theatro São Pedro. Seus diversos grupos se apresentam em teatros e salas de concerto renomadas dentro e fora do Brasil, e são um importante recurso para aprimorar ainda mais a perfor- mance dos alunos. 14 A METODOLOGIA SOCIAL RETURN ON INVESTMENT (SROI) O Social Return on Investment (SROI) ou Retorno Social sobre In- vestimento é um tipo de análise de custo-benefício reconhecida pelo Cabinet Office do Reino Unido1. O método auxilia organiza- ções a avaliar aspectos intangíveis de seus projetos ou programas, isto é, aspectos que criam um valor que é real, mas que por ser difícil de medir, normalmente não é considerado. Ao invés de simplesmente focar nos custos do investimento, a me- todologia SROI contabiliza todos os impactos considerados como relevantes pelos diferentes grupos de interesse, ou seja, os diferen- tes stakeholders. O SROI vai além das avaliações convencionais, que costumam fo- car apenas nas intervenções e atividades realizadas pelo programa e que nem sempre refletem as mudanças mais importantes. A riqueza do SROI está justamente em medir o impacto que foi vi- venciado de fato pelos stakeholders. O SROI mede a mudança que é relevante para as pessoas ou organizações que experimentaram ou contribuíram para tal mudança. Uma vez que as mudanças principais são identificadas, valores são atribuídos por meio da definição de um equivalente monetário para cada benefício. Porém, é importante esclarecer que o SROI almeja medir um valor que não é monetário. A avaliação SROI é muito mais do que um número, ela retrata a his- tória da mudança e seu objetivo é gerar informações que apoiem decisões, incluindo dados qualitativos, quantitativos e financeiros. Em resumo, na busca pela história de como a mudança foi gerada, mede-se o impacto social, ambiental e econômico de um projeto, programa ou toda uma organização. 2 2.1 O diferencial da metodologia SROI 1 Mais informações sobre a metodologia SROI no Apêndice 1. 15 Há duas naturezas de avaliações pela metodologia SROI: • SROI de avaliação: conduzido retrospectivamente e baseado em resultados reais, que já tenham acontecido. • SROI de previsão: prevê quanto valor social será criado caso as alternativas alcancem os resultados esperados. O estudo avaliativo realizado pelo IDIS junto à Santa Marcelina Cultura caracteriza-se como um estudo de SROI de avaliação, já que sua estrutura de coleta de dados envolveu alunos, familiares ou responsáveis, professores e o público frequentador das apre- sentações artísticas geridas pela EMESP Tom Jobim no período entre 2016 e 2018 e, portanto, foram capazes de compartilhar suas percepções a respeito de impactos concretos decorrentes de seu envolvimento com a Escola. As próximas duas seções desse capítulo baseiam-se no guia da metodologia SROI2. 2.2 Os princípios da metodologia SROI 2 Este guia está disponível(em inglês) em: http://socialvalueuk.org/what-is-sroi/the-sroi-guide. O guia de 2009 foi escrito por Jeremy Nicholls, Eilis Lawlor, Eva Neitzert e Tim Goodspeed. Em 2015 foi traduzido para o português pelo IDIS e está disponível para download em: http://www. idis.org.br/publicacoes/. 3 O termo “material” não tem o sentido físico/concreto (de “matéria”), mas sim o sentido usual- mente aplicado nas Ciências Contábeis, onde “material” significa “o que realmente importa, o que é relevante” e o que de fato afeta o desempenho de uma iniciativa. O SROI foi desenvolvido por meio de análises de contabilidade social e custo-benefício e tem como base sete princípios. Esses princípios, apresentados a seguir, sustentam como o SROI deve ser aplicado. 1. Envolver os stakeholders 2. Entender o que muda 3. Valorizar as coisas que importam 4. Incluir somente o que for material3 5. Não reivindicar em excesso 6. Ser transparente 7. Verificar o resultado Como qualquer metodologia de pesquisa, o SROI requer discerni- mento durante toda a análise e não há substituto para o julgamen- to daquele que a põe em prática e que busca tomar as melhores e mais pertinentes decisões para os desafios que se apresentam ao longo do estudo. 16 Realizar uma análise de impacto social utilizando a metodologia SROI envolve seis etapas: 1. Estabelecer o escopo e identificar os stakeholders-chave – É importante ter limites claros em relação ao que sua análise SROI irá cobrir, quem estará envolvido no processo e como. 2. Mapear resultados – Um mapa de impacto ou uma teoria de mudança serão desenvolvidos a partir de seu envolvimento com os stakeholders, e este documento demonstrará a relação entre entradas, saídas e resultados. 3. Evidenciar resultados e atribuir-lhes um valor – Esta etapa en- volve encontrar dados para demonstrar se os resultados acontece- ram e, então, atribuir-lhes um valor. 4. Estabelecer o impacto – Tendo coletado as evidências sobre os resultados e atribuído valor monetário a eles, os aspectos da mu- dança que teriam acontecido de qualquer maneira ou que sejam o resultado de outros fatores são eliminados da análise. 5. Calcular o SROI – Esta etapa envolve a soma de todos os bene- fícios, a subtração de qualquer impacto negativo e a comparação do resultado com o investimento. Este ponto também é o ponto no qual a sensibilidade dos resultados pode ser testada. 6. Relatar, usar e incorporar as conclusões – Facilmente esqueci- da, esta última etapa é vital e envolve compartilhar os resultados com os stakeholders, e reagir a eles, incorporando processos com bons resultados. 2.3 Os estágios da metodologia SROI 17 ESTABELECENDO O ESCOPO E IDENTIFICANDO OS STAKEHOLDERS-CHAVE3 Com o objetivo de aumentar o entendimento da equipe do IDIS envolvida na avaliação da EMESP Tom Jobim e delimitar claramente o escopo que seria aplicado no estudo, foram entrevistadas 13 pes- soas indicadas pela própria organização, com diferentes visões e pontos de vista a respeito do Programa. 3.1 Estabelecendo o escopo GRUPO NOME RELAÇÃO COM O PROGRAMA Equipe Institucional Santa Marcelina Cultura Irmã Rosane Guedin Diretora-Presidente Paulo Zuben Odair Fiuza Diretor Artístico-Pedagógico Diretor Administrativo Mônica Toyota Supervisora de Relacionamento Institucional Equipe EMESP Ricardo Appezzato Coordenador Artístico – Programa Guri e EMESP Adriana Schincariol e Eduardo Ribeiro Coordenadores pedagógicos da EMESP Paulo Braga e Marco Prado Coordenador pedagógico / Professor da EMESP Beneficiários Vinicius e Abner Alunos da EMESP Alisson e Phillips Ex-alunos da EMESP RELAÇÃO DAS ENTREVISTAS INTRODUTÓRIAS REALIZADAS As entrevistas iniciais foram muito importantes para identificar os stakeholders, entender em detalhes as atividades relacionadas ao Programa, bem como para mapear as percepções e expectativas dos entrevistados em relação à iniciativa. Definiu-se então que as atividades que fariam parte do escopo se- riam: • Formação musical (envolvendo todos os ciclos do curso de for- mação, cursos de especialização e cursos livres): aulas práticas individuais e coletivas, disciplinas de apoio em aulas coletivas, es- tudo individual e coletivo, apresentações públicas e avaliações in- dividuais de performance. 18 Os stakeholders, ou grupos de interesse, são pessoas, organiza- ções ou entidades que experimentam mudança, seja ela positiva ou negativa, intencional ou não, como resultado da intervenção de um projeto. A identificação dos stakeholders da EMESP Tom Jobim foi pos- sível através da análise da documentação disponível acerca do Programa e das entrevistas iniciais com a equipe da Santa Mar- celina Cultura. A figura a seguir apresenta os stakeholders que são influenciados pela EMESP Tom Jobim ou que contribuem para a sua realização: 3.2 Identificando os stakeholders • Experiências pedagógico-musicais extraclasse: apresentações musicais, workshops, palestras, encontros, masterclasses, inter- câmbios com professores nacionais e internacionais convidados. • Participação dos alunos em grupos artísticos. Em relação ao escopo temporal, definiu-se que a avaliação de- veria englobar o período entre 2016 e 2018, ou seja, três anos de gestão da EMESP Tom Jobim – período no qual o Programa encontra-se com a mesma configuração geral de atividades e es- tratégia de atuação. Equipe EMESP Comunidade artística EMESP 19 Para a metodologia SROI, deve-se incluir na avaliação somente os stakeholders que experimentam mudanças materiais como resul- tado das atividades do projeto em análise. Assim, para esta ava- liação, foram considerados somente os stakeholders significativa- mente afetados pelas atividades da EMESP Tom Jobim, definidos através da quantidade de mudança material experimentada e sua permanência ao longo do tempo. Os stakeholders ou públicos-alvo definidos como parte integrante do escopo da avaliação e sua forma de interação com a EMESP Tom Jobim são descritos a seguir. Alunos da EMESP Tom Jobim Os alunos da EMESP Tom Jobim são selecionados a partir de um rigoroso processo seletivo que avalia o conhecimento prévio teó- rico e prático sobre música dos candidatos e sua adequação ao curso pretendido. Os alunos se dividem entre alunos dos cursos de formação, cursos de especialização e cursos livres. Nos cursos de formação, a dedicação é de 6 horas-aula semanais e há um limite de idade estabelecido para cada um dos três ciclos que formam o programa: para o primeiro ciclo de formação, os alunos devem ter até 13 anos; para o segundo ciclo, até 16 anos; e para o terceiro ciclo, até 21 anos. Para os alunos dos cursos livres, a idade limite para ingresso é a considerada compatível com o con- teúdo artístico-pedagógico das atividades oferecidas, e a dedica- ção dos alunos às aulas é de duas horas semanais. Já os cursos de especialização, demandam dedicação de 6 horas-aula por semana e não apresentam limite máximo de idade, com exceção da Acade- mia de Ópera que é voltada para alunos de até 30 anos. Além da dedicação dos alunos durantes as aulas, é esperada dos alunos uma intensa dedicação às horas de estudo individual, como parte de seu processo de aprendizagem e desenvolvimento. Um outro veículo que contribui ainda mais para a evolução dos alunos são os grupos artísticos geridos pela EMESP Tom Jobim – uma oportunidade de vivenciar a prática da performance, desenvolver repertório e trabalhar com uma variedade de maestros e músicos. Selecionados por um processo seletivo anual aberto para alunos e não-alunos, os participantes dos grupos artísticos se dedicam por aproximadamente 54 horas mensais aos ensaios e apresentações. Outra forma de envolvimento dos alunos da EMESP Tom Jobim com a Escola é o grêmio estudantil, que desenvolve atividades e debates cívicos, culturais, artísticos, educacionais e sociais, além de ser um canal de comunicação entre os estudantes e a direção da escola. Familiares ou adultos responsáveis pelos alunos Os familiaresou adultos responsáveis pelos alunos também pas- sam por mudanças e transformações em decorrência da EMESP Tom Jobim. Além de serem indiretamente impactados por meio da convivência com os alunos, também frequentam o espaço físi- co da Escola, sobretudo os responsáveis por crianças. No prédio 20 da Escola, situado no centro da cidade de São Paulo, os familiares e responsáveis têm a oportunidade de presenciar as recorrentes apresentações musicais realizadas no saguão de entrada e no au- ditório da EMESP Tom Jobim. Professores da EMESP Tom Jobim Todos os professores da EMESP Tom Jobim são contratados pela Escola em regime CLT e possuem carga horária de aproximada- mente 10 horas-aula por semana. Muitos professores se dedicam simultaneamente a outras escolas e conservatórios de música, além de manterem uma ativa carreira profissional como artistas. Público frequentador das apresentações dos grupos artísticos geridos pela EMESP Tom Jobim O público frequentador das apresentações dos grupos artísticos é bastante diverso. Além dos familiares e amigos de alunos, há frequentadores que identificam nas apresentações uma oportuni- dade para aproximar-se do universo da música e expandirem seu repertório cultural. Muitos são frequentadores assíduos de apresentações musicais em geral, e reconhecem o valor do trabalho desempenhado pelos alunos da EMESP como performances comparáveis as das reno- madas orquestras profissionais nacionais e internacionais. Outros públicos impactados Além dos professores, demais funcionários da equipe interna do Programa também foram apontados como pessoas impactadas pela EMESP Tom Jobim, uma vez que convivem e interagem re- gularmente com os alunos e acompanham todo o trabalho desen- volvido pela Santa Marcelina Cultura. Porém, devido a interação de caráter mais indireta com as atividades principais avaliadas, a equipe interna não foi designada como parte do público-alvo a ser analisado no estudo avaliativo. Parceiros culturais e institucionais, por sua vez, também são bene- ficiados pela EMESP Tom Jobim, mas não foram designados como parte do público-alvo deste estudo. São casas de show, teatros, espaços para eventos, auditórios, profissionais do mercado musi- cal (musicistas, maestros, professores, orquestras, conservatórios), escolas nacionais e internacionais, com os quais a Santa Marceli- na Cultura colabora, e que também usufruem da oportunidade de realizar troca de experiências com os alunos, professores e ativida- des desenvolvidas pela Escola. As razões para a inclusão ou exclusão de grupos de stakeholders nesta avaliação são apresentadas no Apêndice 2. 21 Atividade ou intervenção 4 4.1 O que é a Teoria de Mudança? A Teoria de Mudança é construída a partir da mudança que se pretende promover no contexto. Trata-se do objetivo de longo prazo da organização. Busca-se, então, identificar as condições necessárias para o atingimento do objetivo de longo prazo. Tratam-se dos resultados esperados pela organização. As atividades ou intervenções da organização serão definidas com base na sua capacidade de produzir os resultados esperados. Condição para mudança Condição para mudança Mudança < < < P LA N E JA M E N TO A VA LI A Ç Ã O > > > Atividade ou intervenção Atividade ou intervenção COMO A EMESP TOM JOBIM GERA MUDANÇAS? Neste capítulo descrevemos de que modo a EMESP Tom Jobim cria condições para que ocorram mudanças na vida dos quatro públicos-alvo definidos como foco da avaliação e de que maneira essas transformações ocorrem. De forma alinhada aos princípios da metodologia SROI, a Teoria de Mudança da EMESP Tom Jobim e os impactos nela descritos, foram desenvolvidos e validados junto aos principais stakeholders da Escola. Promover uma mudança real e sustentável em uma comunidade é um grande desafio, pois ocorre num contexto multifacetado (esfe- ra política, pessoal, social, etc.) e envolve diversos atores. Para garantir que um projeto e suas atividades alcancem o resulta- do esperado, é necessário ter um objetivo específico e estabelecer com clareza qual é o resultado desejado no longo prazo. Em resumo, a Teoria de Mudança é um mapa, isto é, uma repre- sentação da forma como a realidade pode ser mudada e inclui as etapas (pré-condições) que devem ser atingidas no curto e médio prazo para se alcançar o objetivo final de longo prazo. A figura abaixo ilustra a estrutura da Teoria de Mudança: 22 É importante lembrar que, ao longo do processo de mudança, exis- tem fatores externos atuando de modo paralelo e independente que podem influenciar os resultados do projeto. Estes fatores po- dem ser “facilitadores”, ou seja, auxiliam a obtenção da mudança ou “obstáculos”, os quais criam desafios e empecilhos para o atin- gimento dos objetivos. Tais elementos são descritos no item 4.4. 4.2 A Teoria de Mudança da EMESP Tom Jobim A Teoria de Mudança facilita o entendimento dos objetivos estra- tégicos da EMESP Tom Jobim e levanta as hipóteses de mudança a serem validadas, ou não, junto aos stakeholders na fase qualitativa de coleta de dados. A partir da elaboração da Teoria de Mudança da EMESP Tom Jo- bim, foram criadas hipóteses quanto às mudanças geradas na vida dos beneficiários por meio da Escola, que levaram à formulação de um modelo teórico que explica de que forma esse processo ocor- re. Neste sentido, são estabelecidas as ligações de causa e efeito entre cada iniciativa e seus respectivos resultados para compreen- der porque cada pré-condição é necessária para se atingir o resul- tado seguinte. A Teoria de Mudança da EMESP Tom Jobim foi construída em um exercício realizado pela equipe da Santa Marcelina Cultura com o apoio do IDIS em outubro de 2018 e retrata as principais mudanças geradas para os públicos definidos como foco do estudo avalia- tivo: os alunos, os familiares ou responsáveis, os professores de música da Escola e o público espectador das apresentações dos grupos artísticos. Deste modo, o diagrama apresenta um resumo das mudanças que ocorreram como resultado das diversas atividades realizadas no Programa, isto é, são as mudanças que a EMESP Tom Jobim efeti- vamente gerou, inclusive aquelas não esperadas ou não previstas. As mudanças aqui registradas são as mais relevantes da Escola pelo fato de terem sido relatadas espontaneamente pelos próprios stakeholders durante os grupos focais e entrevistas. Sendo assim, estas são as mudanças materiais que buscamos medir na etapa seguinte do processo de avaliação SROI. 23 O resultado esperado no longo prazo da EMESP Tom Jobim, ou seja, a mudança que se objetiva alcançar, é “Oferecer formação musical de qualidade para crianças, adolescentes e jovens, contri- buindo para seu desenvolvimento artístico e profissional, além de proporcionar vivências musicais à comunidade em geral”. As pré-condições definidas como necessárias para atingir o obje- tivo de longo-prazo foram as seguintes: O B JE TI V O D E L O N G O P R A Z O Oferecer formação musical de qualidade para crianças, adolescentes e jovens, contribuindo para seu desenvolvimento artístico e profissional, além de proporcionar vivências musicais à comunidade em geral. C O N D IÇ Õ E S N E C E SS Á R IA S PA R A A M U D A N Ç A A TI V ID A D E S PA R A A TI N G IR A S C O N D IÇ Õ E S N E C E SS Á R IA S ALUNOS FAMÍLIAS PROFESSORES Formação musical: aulas práticas individuais e coletivas, disciplinas de apoio em aulas coletivas, estudo individual e coletivo, apresentações públicas e avaliações individuais de performance A seguir, apresentamos, em maior detalhe, as mudanças concretas envolvidas em cada um dos impactos gerados em cada público avaliado. Formação musical Ampliação do repertório cultural e artístico Desenvolvimento profissional Desenvolvimento de habilidades socioemocionais Fortalecimento das relações sociais e familiares Desenvolvimentode experiências voltadas à performance musical ALUNOS FAMÍLIAS PROFESSORES Aproximação do universo da música e da arte Oportunidade de exercitar a emoção e a sensibilidade PÚBLICO Formação musical Ampliação do repertório cultural e artístico Desenvolvimento profissional Desenvolvimento de habilidades socioemocionais Fortalecimento das relações sociais e familiares Desenvolvimento de experiências voltadas à performance musical Aproximação do universoda música e da arte Oportunidade de exercitar a emoção e a sensibilidade PÚBLICO Experiências pedagógico-musicais extraclasse: apresentações musicais, workshops, palestras, encontros, masterclasses, intercâmbios com professores nacionais e internacionais convidados Participação em grupos artísticos 24 Impacto nos Alunos A EMESP Tom Jobim é percebida pelos alunos como uma insti- tuição de excelência no ensino da música. Seus estudantes têm a oportunidade de se desenvolver tecnicamente no instrumento ou voz, ampliar seu repertório musical e aprender sobre a história da música de maneira aprofundada. Além disso, a Escola oferece oportunidades de apresentações, participação em grupos artísti- cos, masterclasses e workshops, contato com artistas convidados e possibilidade de intercâmbio em renomados conservatórios in- ternacionais. Nos grupos focais realizados com os alunos, vários deles ressal- taram a sólida base de ensino proporcionada pela Escola, compa- rável às melhores universidades do país. A EMESP Tom Jobim é percebida e reconhecida como uma organização que prepara os estudantes para a atuação profissional na área da música. A gratuidade dos cursos, a excelência do corpo docente e as par- cerias internacionais são alguns dos aspectos mais destacados pelos alunos. Para muitos deles, a EMESP Tom Jobim representa acessibilidade e democratização do ensino da música. Ao mesmo tempo, eles reconhecem a dificuldade de se ingressar na Escola e se manifestam a favor da abertura de mais vagas, de forma que mais pessoas tenham a chance de estudar lá. Os alunos do curso de formação musical não apenas desenvolvem os fundamentos técnicos e habilidade nos instrumentos ou na voz, mas também se aprofundam na música como uma linguagem ex- pressiva, aprimoram a escuta sensível e crítica, a percepção mu- sical e refletem sobre o papel da música e da arte na sociedade. O exercício do aprendizado e a rotina de aulas, estudos, ensaios e apresentações desenvolvem a concentração e o controle da ansie- dade. Os estudantes se dão conta de que o processo de estudo e desenvolvimento é algo contínuo, que nunca termina e que exige persistência e dedicação. Essa consciência extrapola o campo da música e interfere positivamente na busca de seus objetivos e na construção de seus planos de vida. Grande parte dos alunos dos cursos de formação seguem a carreira musical e assumem posi- ções em grandes orquestras e grupos nacionais ou internacionais ou estabelecem uma carreira autoral. Outros alunos fazem da mú- sica uma atividade paralela a outra carreira, sem que isso reduza de nenhuma forma a profundidade e o profissionalismo de sua for- mação artística e a relevância da música em suas vidas. Os alunos dos cursos de especialização, voltados para músicos profissionais que desejam se aprofundar em áreas específicas, des- tacam a liberdade e a flexibilidade como pontos fortes da EMESP Tom Jobim. Ao longo do curso, eles descobrem novos interesses e ganham consciência sobre os pontos de desenvolvimento nos quais ainda podem se dedicar para evoluir em sua atuação na música. 25 Os participantes de cursos livres, por sua vez, realçam a troca de aprendizados com colegas e a confraternização propiciada pelas aulas em conjunto. Os cursos livres são abertos e gratuitos para a comunidade, sem restrições de idade e com menor exigência de conhecimento musical prévio no processo seletivo do que os cur- sos de formação, sendo, portanto, um veículo de democratização do ensino da música. A grande diversidade entre os participantes (de idade, gênero, nível de conhecimento e experiência musical, nível socioeconômico, experiências de vida e outros) é vista pelos alunos como um grande ponto forte da Escola, que proporciona riqueza nos relacionamentos e torna a experiência do aprendizado ainda mais interessante. A qualidade das aulas e dos professores é também altamente reconhecida e elogiada pelos estudantes. A EMESP Tom Jobim dá, ainda, grande ênfase à experiência prática voltada para a performance musical, que faz com que os alunos se sintam mais seguros e preparados para a atuação profissional. Os grupos artísticos geridos pela Escola são reconhecidos por sua excelência e fazem apresentações nas mais importantes salas de concerto, teatros e espaços culturais do Brasil e do mundo. Os parti- cipantes desenvolvem importantes habilidades para a prática cole- tiva da música, como a escuta, o comprometimento com os ensaios, a capacidade de lidar com imprevistos, a negociação e o respeito e tolerância com os colegas. Entre os alunos que participam de gru- pos artísticos, ressalta-se o benefício da bolsa-auxílio, que represen- ta uma ajuda de custo aos estudantes, bem como a oportunidade de se realizar apresentações em teatros consagrados. A presença de regentes e artistas convidados, para participar de concertos ou para ministrar aulas, também é bastante valorizada. IMPACTO NOS ALUNOS MUDANÇAS ENVOLVIDAS Formação musical • Ampliação do conhecimento sobre o universo musical e conhecimento de novas linguagens, estilos e instrumentos. • Desenvolvimento de habilidades técnicas relacionadas ao instrumento ou voz e à prática da música. • Aprimoramento da escuta e capacidade de entender melhor as músicas que ouve. • Entendimento da música como uma linguagem e desenvolvimento de sua leitura, escrita e interpretação. • Visão crítica sobre a música e reflexão sobre sua estética, forma, estilo e significado. • Consciência de que o desenvolvimento das habilidades musicais são resultado de horas de estudo e dedicação. • Reflexão sobre o papel da música e do artista. Desenvolvimento de experiências voltadas à performance musical • Oportunidade de tocar em salas de concerto, teatros e outros espaços culturais. • Maior segurança e preparo para a atuação profissional. • Desenvolvimento de habilidades relacionadas à prática coletiva da música: comprometimento com ensaios, tolerância com o erro do outro, capacidade de lidar com imprevistos e negociar. 26 Desenvolvimento de habilidades socioemocionais • Maior capacidade de se expor e mais facilidade para se aproximar das pessoas. • Maior autoconfiança e capacidade de acreditar em si mesmo. • Maior concentração e foco. • Maior senso de responsabilidade e comprometimento com o que faz. • Maior persistência e capacidade de lidar com desafios e dificuldades. • Maior capacidade de se expressar, através da música ou do diálogo. Impacto nos familiares ou adultos responsáveis pelos alunos da EMESP Tom Jobim Durante a coleta de dados junto a pais e responsáveis pelos alu- nos, verificou-se que o contato direto destes com a Escola é mais frequente quando os estudantes são mais jovens – por terem de acompanhá-los até as aulas e ensaios, eles acabam desenvolvendo uma conexão mais próxima com o ambiente da EMESP Tom Jobim e seus professores. Ainda assim, como será apresentado no item 6.2 deste relatório, os familiares de alunos maiores de 18 anos também percebem de forma muito positiva o impacto social da Escola. Não importando a idade dos estudantes, seus familiares e respon- sáveis desenvolvem respeito, admiração e orgulho pelo desenvol- vimento musical dos jovens e notam mudanças em outros aspectos que vão além da música: maior disciplina, senso de responsabilida- de, organização e sociabilidade foram alguns dos exemplos dados. A convivência com os alunos e as apresentações de grupos artísti- cos da EMESP Tom Jobim, bem como visitasà programação cultu- ral da cidade, contribuíram para a ampliação do repertório cultural dos familiares e responsáveis. Muitos passaram a se interessar por novos estilos musicais, estabeleceram uma relação mais próxima com a arte e trocaram conhecimento com os alunos. Além disso, as relações familiares são fortalecidas e a música, a arte e a cultura tornam-se um incentivo para encontros e reuniões e para a ampliação do diálogo e da interação entre os estudantes e seus familiares. IMPACTO NOS FAMILIARES E RESPONSÁVEIS MUDANÇAS ENVOLVIDAS Ampliação do repertório cultural e artístico • Aumento da frequência à programação cultural e artística da cidade: museus, exposições, cinema, dança, teatro, entre outros. • Maior interesse por arte e cultura. 27 IMPACTO NOS FAMILIARES E RESPONSÁVEIS MUDANÇAS ENVOLVIDAS Fortalecimento das relações sociais e familiares • Maior orgulho e admiração pela escolha do(a) jovem de estudar música. • Maior respeito e tolerância com as escolhas do(a) jovem pelo estudo da música e todas as atividades associadas ao mesmo (horas de dedicação, estudo em casa, ensaios, etc.). • Surgimento de novos momentos de interação em família (ir a concertos, ouvir, cantar ou tocar músicas juntos em casa, etc.). • Diálogo mais aberto com o(a) jovem sobre música e outros temas. Impacto nos professores de música da EMESP Tom Jobim O corpo docente da EMESP Tom Jobim nota que a Escola lhes propicia desenvolvimento profissional em três grandes frentes: por meio de um maior reconhecimento na área da música; da possibi- lidade de convívio com outros músicos e profissionais; e da liber- dade de se conduzir a carreira artística em paralelo às atividades docentes. Dar aulas na EMESP Tom Jobim confere visibilidade e prestígio, o que significa que os professores se sentem respeitados e valoriza- dos – tanto como educadores quanto como artistas. Além disso, eles relataram que a Escola os motiva a aprofundar seus estudos e pesquisas, o que resulta num aprimoramento de sua didática e de sua atuação artística. Trabalhar na Escola também representa a possibilidade de troca de experiências e conhecimentos com outros professores e artis- tas renomados, proporcionando momentos enriquecedores para a vida profissional e pessoal. IMPACTO NOS PROFESSORES MUDANÇAS ENVOLVIDAS Desenvolvimento profissional • Reconhecimento profissional no mercado. • Oportunidade de convívio e troca com importantes referências da cena nacional e internacional da música. • Liberdade para conduzir a carreira artística em paralelo às atividades docentes. 28 Impacto no público espectador das apresentações dos grupos artísticos da EMESP Tom Jobim As apresentações dos diversos grupos artísticos da EMESP Tom Jobim atraem um público diverso, que é diretamente beneficiado por meio da aproximação do universo da música e da arte e da oportunidade de exercitar a emoção e a sensibilidade. Tratam-se, portanto, de impactos de natureza extremamente subjetiva, que dialogam com sentimentos e experiências pessoais. Apesar de seu envolvimento com a Escola se dar de maneira mais pontual, dado que acontece apenas no tempo em que duram as apresentações musicais, os espectadores são impactados de ma- neira significativa. Por meio do contato com os grupos artísticos da EMESP Tom Jobim, o público amplia seu repertório, desenvolve seu interesse pela arte de maneira geral, se emociona durante os espetáculos e exercita sua sensibilidade. Eles acreditam no potencial da música de provocar diferentes sen- sações e despertar emoções profundas. De acordo com os depoi- mentos realizados pelo público frequentador das apresentações, os concertos ao vivo potencializam esses efeitos, uma vez que o público participa daquele momento junto dos artistas e pode per- ceber sutilezas, tais como a sintonia entre eles, trocas de olhares e a movimentação corporal da orquestra ao tocar os instrumen- tos. Os participantes dos grupos focais mencionaram que apre- ciam ver a expressão dos músicos e tentar identificar o que estão sentindo – isso permitiria uma ‘humanização’ dos mesmos e uma maior conexão entre eles e a plateia. O trabalho desenvolvido pelos alunos da Escola é reconhecido e valorizado: durante a coleta de dados, evidenciou-se que o público admira o trabalho dos músicos e percebe a qualidade e o profis- sionalismo da performance dos jovens artistas. Além disso, a des- contração e a alegria das apresentações dos grupos artísticos da EMESP Tom Jobim são reconhecidas como diferenciais em relação a outros espetáculos musicais. 29 O alcance de todos os impactos mencionadas nos quadros acima depende de uma série de atividades que compõem a EMESP Tom Jobim – trata-se, portanto, da parte mais tangível da Teoria de Mu- dança, pois retrata a dinâmica cotidiana do programa que contri- bui para a concretização do objetivo de longo prazo. As atividades são as seguintes: • Formação musical: aulas práticas individuais e coletivas, disci- plinas de apoio em aulas coletivas, estudo individual e coletivo, apresentações públicas e avaliações individuais de performance. • Experiências pedagógico-musicais extraclasse: apresentações musicais, workshops, palestras, encontros, masterclasses, inter- câmbios com professores nacionais e internacionais convidados. • Participação em grupos artísticos: ensaios e apresentações mu- sicais realizadas em diversos espaços da cidade por alunos sele- cionados para participarem de grupos artísticos a partir de pro- cessos seletivos anuais. IMPACTO NO PÚBLICO DAS APRESENTAÇÕES MUDANÇAS ENVOLVIDAS Aproximação do universo da música e da arte • Valorização e admiração do trabalho dos músicos. • Expansão do conhecimento sobre compositores e obras e ampliação do repertório musical. • Maior aproximação da música e do interesse pela arte. • Alegria e entusiasmo por ver jovens músicos tocando com profissionalismo e qualidade. Oportunidade de exercitar a emoção e a sensibilidade • Possibilidade de viver emoções e sensações únicas. • Desenvolvimento da sensibilidade e de um novo olhar sobre o mundo. • Capacidade de colocar os problemas em perspectiva e lidar melhor com os desafios da vida. 4.3 Testando a Teoria de Mudança para a avaliação SROI As hipóteses de impacto social geradas pela EMESP Tom Jobim sinalizadas na Teoria de Mudança foram validadas, detalhadas e mensuradas juntos aos beneficiários nas fases de coleta de dados qualitativa e quantitativa. Os relatos e informações coletados demostraram evidências de que todas as mudanças representadas na Teoria de Mudança fo- ram, de fato, percebidas pelos alunos, familiares ou responsáveis, professores, e pelo público das apresentações dos grupos artísti- cos da EMESP Tom Jobim no período entre 2016 e 2018. 30 4.4 Fatores externos à EMESP Tom Jobim que influenciam os resultados do programa (facilitadores e obstáculos) Para aumentar o entendimento de como a mudança se dá nos be- neficiários da EMESP Tom Jobim, é preciso levar em consideração fatores externos à Escola que podem afetar seus resultados no curto, médio ou longo prazo. Durante as consultas realizadas com stakeholders (entrevistas, grupos focais e questionários) buscou-se identificar quais fatores são capazes de influenciar positivamente ou negativamente o atin- gimento dos objetivos da EMESP Tom Jobim, atuando como faci- litadores ou como obstáculos para o sucesso das mudanças pre- tendidas. A inclusão desses fatores externos na análise de impacto contribui para o entendimento dos resultados obtidos e para o planejamento das atividades e iniciativas futuras. Facilitadores • Reputação e reconhecimento da qualidade do trabalho da Santa Marcelina Cultura e dos profissionais contratados para a EMESP Tom Jobim; • Parcerias da Santa Marcelina Cultura com escolas e conservató- rios nacionais e internacionais, que possibilitam tanto o intercâm- bio entre alunos, quanto a visita de profissionais renomadospara masterclasses, regências e interações com os alunos e professores da EMESP Tom Jobim; • Grupos artísticos para a difusão da música e, consequentemente, do trabalho desenvolvido pela Escola. Obstáculos • Revisão anual de orçamento governamental para o programa, fazendo com que a Santa Marcelina Cultura tenha que administrar eventuais cortes e flutuações no valor disponível para investimen- to na execução do programa; • Falta de reconhecimento oficial dos cursos da EMESP Tom Jobim como um curso superior ou profissionalizante por parte do Minis- tério da Educação; • Limitação do número de vagas disponíveis, que não supri toda a demanda de alunos interessados em ingressar na Escola. • Limitação do espaço físico onde a EMESP Tom Jobim desenvolve suas atividades. 31 5ENGAJAMENTO DE STAKEHOLDERS E COLETADE DADOSA etapa de coleta de dados define os resultados a serem medidos na avaliação SROI. Seu objetivo é, portanto, coletar junto aos sta-keholders selecionados as informações sobre o impacto social da EMESP Tom Jobim. É importante que os stakeholders consultados nesta etapa sejam aqueles que foram mais impactados pelo projeto ou programa em análise, pois são aqueles que mais terão informações a comparti- lhar sobre as mudanças ocorridas, tanto positivas como negativas. Neste caso, os alunos, os familiares ou adultos responsáveis por eles e os professores da Escola e o público frequentador das apre- sentações dos grupos artísticos geridos pelo programa foram os públicos-alvo priorizados. Para tanto, foram coletados dados qualitativos, por meio de gru- pos focais, e quantitativos, através da aplicação de um questioná- rio junto aos públicos-alvo incluídos no escopo da avaliação. Tais etapas são descritas nos itens a seguir. O objetivo principal desta etapa é envolver os principais benefi- ciários da iniciativa para compreender o que mudou em suas vi- das por meio do Programa. Afora isso, ela também permite checar com os stakeholders os seguintes pontos: • A existência de outros grupos ou subgrupos de stakeholders não identificados previamente, mas importantes para o projeto ou pro- grama em avaliação; • A lista de mudanças materiais a ser considerada na avaliação; • A existência de resultados negativos e/ou inesperados que te- nham ocorrido por meio do projeto ou programa em análise; • A influência de resultados no movimento de outros resultados (deslocamento); • As mudanças que teriam acontecido mesmo sem o projeto (con- trafactual), e; • As mudanças relatadas pelos stakeholders que são resultado da atuação de outros atores sociais (atribuição). Foram realizados grupos focais envolvendo os principais públicos- -alvo impactados pela iniciativa para entender as mudanças que aconteceram em suas vidas em decorrência da EMESP Tom Jobim. Isso permite verificar a materialidade das hipóteses de impacto levantadas na Teoria de Mudança para a definição das variáveis 5.1 Coleta de dados qualitativos 32 a serem consideradas na avaliação. Os objetivos específicos dos grupos focais são: • Entender as mudanças que ocorreram na vida dos beneficiários devido à sua participação na EMESP Tom Jobim; • Verificar a materialidade das hipóteses de impacto estabelecidas na Teoria de Mudança; • Definir os impactos que serão considerados na avaliação e, quan- do necessário, realizar ajustes na hipótese de Teoria de Mudança previamente construída; • Dar insumos para a definição de indicadores que serão quantifi- cados; • Levantar percepções dos beneficiários sobre a valoração finan- ceira dos impactos identificados. Na avaliação da EMESP Tom Jobim, os relatos dos grupos focais realizados na fase qualitativa de coleta de dados corroboraram para a validação da lista dos stakeholders materialmente impac- tados pelo Programa, bem como as mudanças materiais a serem mensuradas na avaliação. A repetição das informações coletadas entre os diversos grupos focais assegura que a avaliação SROI não excluiu mudanças materiais ou outros stakeholders que as tenham experimentado. Foram realizados dez grupos focais nos meses de outubro e no- vembro de 2018, com a composição e distribuição geográfica des- crita no quadro a seguir: 33 O roteiro contendo as atividades que foram aplicadas nos grupos focais, bem como o detalhamento dos resultados de cada um deles, encontram-se no Apêndice 4. Com as informações coletadas nos grupos focais, foi possível com- provar as hipóteses de impacto elaboradas na Teoria de Mudança da EMESP Tom Jobim: As considerações sobre os resultados obtidos nos grupos focais sobre as variáveis de deslocamento, contrafactual e atribuição são apresentadas no Capítulo 6. A partir dos grupos focais, foram delineados indicadores para as mudanças percebidas pelos beneficiários da EMESP Tom Jobim, que posteriormente compuseram o questionário quantitativo que permitiu a mensuração da intensidade da mudança para cada um dos indicadores. Essas variáveis também serão apresentadas no Capítulo 6. A coleta de dados quantitativos reúne informações de uma amos- tra dos beneficiários impactados para atender aos seguintes ob- jetivos: Objetivo 1 – Mensurar a magnitude das mudanças que acontece- ram nos beneficiários através de indicadores; Objetivo 2 – Excluir da mensuração da intensidade do impacto os seguintes aspectos*: • Mudanças que teriam acontecido de qualquer forma, mesmo sem a EMESP Tom Jobim (contrafactual); • Mudanças provocadas por outras organizações e projetos que não a EMESP Tom Jobim (atribuição). * Esta é uma etapa importante para garantir que não se reivindi- que para a EMESP Tom Jobim resultados que talvez não possam 5.2 Coleta de dados quantitativos Formação musical Ampliação do repertório cultural e artístico Desenvolvimento profissional Desenvolvimento de habilidades socioemocionais Fortalecimento das relações sociais e familiares Desenvolvimento de experiências voltadas à performance musical ALUNOS FAMÍLIAS PROFESSORES Aproximação do universo da música e da arte Oportunidade de exercitar a emoção e a sensibilidade PÚBLICO 34 ser integralmente atribuídos a ela, mas a outras circunstâncias do contexto. Ou seja, a finalidade dessa etapa é refinar a mensuração de impacto, de modo que corresponda exclusivamente ao efeito da Escola. Objetivo 3 – Mensurar a visão dos beneficiários sobre o tempo de permanência dos impactos percebidos em suas vidas e seu per- centual de redução anual (período de benefício e drop-off). O roteiro do questionário está disponível para leitura no Apêndice 5. A equipe da Santa Marcelina Cultura divulgou o link de compar- tilhamento do questionário para os beneficiários da EMESP Tom Jobim – alunos, responsáveis, professores e público frequentador das apresentações dos grupos artísticos – por meio de sua base de e-mails. Também foram realizadas aplicações de questionário em papel durante reuniões, encontros e apresentações artísticas relacionadas ao Programa, visando otimizar a coleta de dados e alcançar a amostra desejada. Para determinar o tamanho da amos- tra, trabalhamos com três cenários de margem de erro e intervalo de confiança, conforme apresentados na tabela abaixo: O detalhamento dos resultados do questionário encontra-se no Apêndice 5 deste relatório. 35 6 Etapa 1 - O primeiro passo consiste em medir a incidência dos resultados, ou seja, o quanto de mudança ocorreu. Quando construímos a Teoria de Mudança, identificamos os eixos de mudança a serem mensurados. A fase de coleta qualitativa aju- da a traduzir cada um dos eixos de mudança em indicadores mais concretos, que evidenciam comportamentos ou atitudes dos be- neficiários impactados por sua participação na EMESP Tom Jobim. Esses indicadores têm dupla finalidade: a) Medir a cobertura da população em foco (ou seja, quantos in- divíduos dentro de um grupo de interesse experimentaram a mu- dança); b) Medir a magnitude ou intensidade com que a mudança aconte- ceu para aqueles que aexperimentaram. Etapa 2 - O segundo passo consiste em ajustar a incidência do resultado que foi verificada no passo anterior tomando o cuida- do de excluir os fatores abaixo: a) A mudança que teria acontecido de qualquer forma, mesmo na ausência da EMESP Tom Jobim (contrafactual); b) A parcela da mudança que pode ter sido provocada por outros atores, projetos e organizações e não somente pela EMESP Tom Jobim (atribuição); c) Os efeitos advindos de outro local causados por impacto não in- tencional e que podem ter se instalado neste local (deslocamento). Na prática, esse cálculo é influenciado pelo contexto no qual a aná- lise é aplicada, assim como pelas informações disponíveis. O pro- pósito dessa etapa é evitar que se considere como impacto da intervenção resultados que não poderiam ser atribuídos a ela, ou que teriam acontecido de qualquer forma, mesmo sem intervenção. Esse cuidado reflete um dos sete princípios da metodologia SROI. 6.1 Processo de modelagem CONSTRUINDO O MODELO SROI A aplicação da metodologia SROI para medir o impacto social de um programa consiste em uma série de passos, detalhados abaixo: 36 O primeiro ajuste, referente ao item a), chama-se “Contrafactual” (ou seja, aquilo que vai “contra os fatos”), e pode ser definido como uma avaliação da quantidade de mudança que teria aconte- cido mesmo sem a intervenção da EMESP Tom Jobim. Exemplo: Um programa social cujo objetivo seja incluir jovens no mercado de trabalho. Depois de encerrado o Programa, mede-se a taxa de emprego entre jovens de 18 a 25 anos na região onde aconteceu a intervenção e verifica-se que ela cresceu 20% em re- lação à situação de emprego de jovens antes do Programa. En- tretanto, sabe-se que, na região (ou país), a empregabilidade de jovens nessa faixa etária subiu 10% no mesmo período. Ou seja, pela conjuntura e circunstâncias econômicas normais, o mercado de trabalho absorveu 10% a mais de jovens entre 18 e 25 anos, mes- mo sem nenhum Programa específico. Portanto, o “contrafactual”, isto é, “aquilo que poderia contestar o fato de que o Programa pro- vocou uma mudança significativa na empregabilidade dos jovens” é de 10%, porque é o que teria acontecido naturalmente, devido às condições normais do contexto, e não devido ao Programa. O segundo ajuste, referente ao item b), chama-se “Atribuição”, o qual envolve definir o percentual de toda a mudança que foi ala- vancado diretamente pela intervenção e/ou pela contribuição dos atores envolvidos no programa. Ou seja, o quanto da mudança pode ser, de fato, atribuída àquele Programa, àquela intervenção, excluindo-se o que pode ter mudado por efeito de outras interven- ções que tenham ocorrido simultaneamente e tenham sido capita- neadas por outras organizações. Exemplo: Em uma dada região, três ONGs trabalham simultanea- mente em projetos distintos, mas com foco nas famílias: uma ins- tituição trabalha com empoderamento da comunidade, outra com projeto de prevenção de doenças e outra com Educação Básica. Embora os projetos tenham objetivos distintos, é possível que cada intervenção possa acentuar ou catalisar o efeito da outra, portanto, ao medir o impacto, fica difícil saber se a mudança foi exclusivamente provocada por uma das intervenções ou se pode ter sido o efeito conjunto e sinérgico de todas elas. O último ajuste, referente ao item c), chama-se “Deslocamento” e consiste em avaliar o tamanho da mudança (já descontados os ajustes de Contrafactual e Atribuição) que pode ser considerado de fato como “benefício líquido”, ou seja, um novo benefício, ge- rado sem o deslocamento de benefícios suscitados por mudanças em outras regiões ou contextos fora do alcance do Programa. Exemplo: Um programa na cidade A trabalha na recuperação de pessoas com histórico de adicção a drogas. Depois de cinco anos, verifica-se uma redução significativa no número de pessoas que usam ou traficam drogas na cidade A. Entretanto, observa-se que algumas dessas pessoas mudaram-se para a cidade B, vizi- 37 nha, tentando evitar o contato com o programa de recuperação e continuar a viver como antes. Portanto, houve um efeito de “des- locamento” da cidade A para a cidade B. Neste exemplo, o deslo- camento trouxe um efeito negativo, mas também são observados deslocamentos de efeitos positivos em outros tipos de programa. Etapa 3 - Uma vez que a mudança efetiva (ou impacto) foi medi- da, o terceiro passo consiste em definir e atribuir valores proxy. Esse processo é geralmente chamado de “valoração social e/ou ambiental”, no qual estima-se um valor monetário a ser atribuído aos impactos social e ambiental. Tais impactos, embora plenos de valor para a sociedade, não possuem um preço de mercado. Em geral, os preços dos bens são ajustados pela dinâmica do mer- cado. Assim, eles indicam aproximadamente o valor que os bens representam para as pessoas. Ou seja, são “aproximações” (pro- xies) do valor que vendedor e comprador estabelecem consen- sualmente na transação. Esses valores podem ser diferentes con- forme as pessoas e situações. Alguns bens podem ter seu preço mais facilmente definido e de modo mais consensual do que outros. Por exemplo, o preço de um litro de leite é muito mais facilmente estabelecido pelo mercado do que o preço de uma casa. No caso da casa, haverá um leque maior de possibilidades de preço dependendo do valor que pes- soas diferentes possam atribuir. Assim, qualquer valor atribuído é subjetivo. O que o mercado faz, em última instância, é reunir pes- soas cujas atribuições de valor a um determinado bem coincidem. Se eu atribuo determinado valor a um bem e encontro alguém que concorda com esse valor, eu consigo efetivar a transação com essa pessoa. Se não houver acordo, a venda não acontece. Essa “coincidência” de atribuição de valor entre as pessoas no mercado é chamada de “definição de preço”. Chegar a uma definição de preço para o valor social seria um pro- cesso semelhante, porém a diferença é que tais valores não são comercializados no mercado, portanto, o processo de “definição de preço” que naturalmente emerge da dinâmica do mercado não acontece para valores sociais, o que não significa que eles não te- nham um valor real para as pessoas. Por outro lado, seria possível encontrar um valor que, embora não exato, seja suficientemente adequado para ajudar a avaliar a mu- dança social? A avaliação SROI usa proxies financeiras para estimar o valor so- cial de bens que não são comercializáveis para diferentes grupos de pessoas (stakeholders). Assim, como duas pessoas podem dis- cordar a respeito do preço de um bem que seja o objeto de uma transação, assim também diferentes stakeholders poderão ter per- 38 cepções diferentes a respeito do valor atribuído a alguns benefí- cios. Ou seja, o valor atribuído é subjetivo, e pode ser diferente conforme o grupo em questão. Ao estimar esse valor através de proxies financeiras e combinando essas valorações, chega-se à es- timativa do valor social total criado por uma intervenção. A criação de valor total que resulta de uma intervenção é calcula- da pela combinação da incidência dos resultados (o volume, o ta- manho da mudança) com os valores monetários atribuídos a estas mudanças, definidos através dessas proxies financeiras. Etapa 4 - O quarto passo é definir o período de benefício. A valoração de cada resultado provocado pela intervenção (Pro- grama) corresponde a um período de um ano, ou seja, o valor social que foi criado ao longo de um ano. Entretanto, impacto e mudança podem durar por mais tempo, não só durante a imple- mentação, mas também depois que a intervenção se encerra. Assim, a avaliação SROI estabelece um período de benefício, de- finido como a extensão de tempo pela qual os benefícios associa- dos à intervenção (Programa) irão durar. Esse período é influen- ciado pela duração das atividades ou por outros fatores externos. Os efeitos podem durar por longo tempo, mas vão se reduzindo gradualmente, ou seja, a cadaano, observam-se os efeitos, mas de modo menos intenso, até que desapareçam. Essa tendência de “esvaziamento” dos resultados, pela qual os efeitos vão de-saparecendo, chama-se “drop-off”. É uma medida aproximada, em geral sob a forma de percentual, pela qual os efei- tos vão se perdendo ao longo dos anos. Evidentemente, só faz sentido a aplicação dessa medida em resultados cujo período de benefício supera um ano. Etapa 5 - Finalmente, benefícios e custos são financeiramente “descontados” para que representem o valor presente. Todos os benefícios, assim como a carga de custos incorridos no horizonte futuro, devem ser ajustados para representar seu valor em termos presentes, isto é, seu valor na data atual. Isso é feito a partir da aplicação de uma taxa de desconto sobre todos os cus- tos e benefícios futuros. Esses passos ou etapas foram seguidos para medir o retorno do investimento social da EMESP Tom Jobim. As seções seguintes apresentam as etapas da análise, os critérios adotados e os resul- tados da avaliação SROI para a Escola. 39 Os indicadores Para medir a incidência dos resultados, em primeiro lugar é preci- so definir os indicadores que concretamente são capazes de mos- trar essa mudança. Cada um dos eixos de mudança da Teoria de Mudança foi decomposto em diversos indicadores. A principal fonte de informação para a definição dos indicadores foram os grupos focais, nos quais os próprios beneficiários des- creveram quais foram as mudanças percebidas na sua maneira de pensar e agir durante a participação no Programa. Esses relatos coletados nos grupos focais foram traduzidos em frases curtas e objetivas (sempre que possível utilizando a própria linguagem ex- pressa pelos beneficiários) que indicam essas mudanças. As tabelas a seguir descrevem quais foram os indicadores defini- dos para cada eixo de mudança da EMESP Tom Jobim. 6.2 Incidência dos resultados: o que mudou depois da EMESP Tom Jobim? Formação musical Ampliei meu conhecimento sobre o universo musical e conheci novos repertórios, linguagens, estilos e instrumentos. Desenvolvi habilidades técnicas relacionadas ao meu instrumento ou à voz e à prática da música. Aprimorei a minha escuta e passei a entender melhor as músicas que ouço. Passei a entender a música como uma linguagem e me desenvolvi na sua leitura, escrita e interpretação. Me sinto mais preparado para fazer apresentações individuais. Passei a ter uma visão mais crítica sobre música e a refletir sobre sua estética, forma, estilo e significado. Aumentei a consciência de que estudo e dedicação são essenciais para meu desenvolvimento. Passei a refletir mais sobre o papel da música e do artista. Desenvolvimento de experiências voltadas à performance musical Tive oportunidade de me apresentar em salas de concertos, teatros e outros espaços. Me sinto mais seguro e preparado para a atuação profissional. Desenvolvi habilidades relacionadas à prática coletiva da música: comprometimento com ensaios, tolerância com o erro do outro, saber lidar com imprevistos e negociar. INDICADORES APLICADOS AOS ALUNOS E EX-ALUNOS DA EMESP TOM JOBIM: Desenvolvimento das habilidades socioemocionais Passei a me expor mais e a ter mais facilidade para me aproximar das pessoas. Passei a acreditar mais em mim e me sinto mais confiante. Passei a ter mais concentração e foco. Aumentei meu senso de responsabilidade e comprometimento com aquilo que faço. Passei a ser mais persistente e a lidar melhor com os desafios e dificuldades. Consigo me expressar melhor, através da música ou do diálogo. 40 Ampliação do repertório cultural e artístico Passei a frequentar mais a programação cultural e artística da cidade (museus, exposições, cinema, dança, teatro, etc.). Aumentei meu interesse por arte e cultura. INDICADORES APLICADOS AOS FAMILIARES OU ADULTOS RESPONSÁVEIS PELOS ALUNOS E EX-ALUNOS DA EMESP TOM JOBIM: Fortalecimento das relações sociais e familiares Desenvolvi maior orgulho e admiração pela escolha do meu filhos(a) de estudar música. Desenvolvi maior respeito e tolerância com a escolha do meu filho(a) pelo estudo da música e tudo que isso envolve (horas de dedicação, estudo em casa, ensaios, etc.). Passei a ter novos momentos de interação em família envolvendo a música (ir a concertos, ouvir, cantar ou tocar músicas juntos em casa, etc.). Consegui criar um diálogo mais aberto com meu filho(a) sobre música e outros temas. INDICADORES APLICADOS AOS PROFESSORES DA EMESP TOM JOBIM: Desenvolvimento profissional Me sinto reconhecido profissionalmente. Tenho oportunidades de convívio e troca com importantes referências da cena nacional e internacional da música. Sinto que tenho liberdade para conduzir minha carreira artística em paralelo com minhas atividades na escola. Ganhei maior segurança e estabilidade profissional por trabalhar em regime CLT. Sinto que desenvolvo constantemente a capacidade de apoiar os alunos em outras questões de vida além da música. Sinto que a convivência com os alunos aumentou meu entusiasmo pela música e passei a me aprofundar ainda mais na minha arte. INDICADORES APLICADOS AO PÚBLICO FREQUENTADOR DAS APRESENTAÇÕES DOS GRUPOS ARTÍSTICOS DA EMESP TOM JOBIM: Aproximação do universo da música e da arte Conheci novos compositores e obras e ampliei meu repertório musical. Me aproximei mais da música e aumentei meu interesse por arte. Passei a valorizar e admirar mais o trabalho dos músicos. Me senti feliz e entusiasmado ao ver músicos jovens tocando com profissionalismo e qualidade. Oportunidade de exercitar a emoção e a sensibilidade Consigo colocar meus problemas em perspectiva e lidar melhor com os desafios da vida. Desenvolvo minha sensibilidade e tenho um novo olhar sobre o mundo. Me emociono e vivo sensações únicas. 41 A mensuração dos indicadores Por meio de uma escala de intensidade das mudanças a serem mensuradas, é possível medir de forma concreta e quantificável o quanto a realidade dos beneficiários da EMESP Tom Jobim mudou em cada um dos aspectos levantados devido a sua participação. Essa abordagem é conhecida como “Pré-Pós Design” (ou Retros- pective Pre Test). Neste tipo de abordagem a investigação ocorre ao final da intervenção (Programa), no qual se pergunta aos parti- cipantes como avaliam um assunto, comparando o antes (pré) com o agora (pós). Embora esse procedimento tenha vantagens sobre outras abor- dagens, ele implica algum viés de julgamento, porque os partici- pantes terão de responder sobre algo que aconteceu no passado, ou seja, lembrar-se de como eram antes e como se percebem hoje para fazerem sua avaliação (Rockwell & Kohn 1989; Davis 2003; Raidl 2004; Lamb 2005). Além disso, há uma tendência de os par- ticipantes superestimarem os benefícios para corresponder às ex- pectativas – social e pessoal - de melhora nos resultados por conta do projeto e do tempo dispendido. Esta solução é recomendável em um contexto no qual não foram coletados os dados de base (antes da intervenção) sobre os indicadores que se busca mensu- rar, como é o caso desta avaliação. O questionário aplicado junto aos públicos-alvo que fizeram parte da avaliação solicitava que eles expressassem sua percepção sobre a contribuição da EMESP Tom Jobim para uma eventual mudança em cada um dos indicadores em uma escala de 0 a 5, na qual: • 0 significa “nenhuma contribuição”; • 1 significa “contribuição muito baixa”; • 2 significa “contribuição baixa”; • 3 significa “contribuição média”; • 4 significa “contribuição alta”; • 5 significa “contribuição muito alta”. A partir das respostas de cada respondente dos questionários, cal- cula-se a média ponderada para cada um dos indicadores, aplican- do-se os pesos a seguir: ESCALA SEMÂNTICA nenhuma contribuição contribuição muito baixa contribuição baixa contribuição média contribuição alta contribuição muito alta PESO NUMÉRICO 0 1 2 3 4 5 Média ponderada: quanto maior a média, maior a mudança ou melhoria 42