Baixe o app para aproveitar ainda mais
Prévia do material em texto
GESTÃO E MARKETING NA EDUCAÇÃO FÍSICA Juliano Vieira da Silva Avaliação de programas e projetos de atividade física Objetivos de aprendizagem Ao final deste texto, você deve apresentar os seguintes aprendizados: � Identificar os métodos de avaliação de programas e projetos de ati- vidade física, esporte e lazer. � Descrever as diferentes ferramentas utilizadas para avaliação de pro- gramas e projetos esportivos. � Analisar o modelo lógico de estruturação de um programa esportivo. Introdução Construir um projeto envolvendo um programa de atividade física, esporte e lazer envolve muito mais que o puro conhecimento técnico dessas áreas. É necessário conhecer os conceitos relativos à organização e ao planejamento, como os objetivos, os recursos e a avaliação. A avaliação, muitas vezes esquecida na hora de um planejamento, é fundamental para o sucesso de um projeto. É dela a função de diag- nosticar e, muitas vezes, corrigir o rumo do que está errado ou reforçar aquilo que está certo. Para tanto, faz-se necessário conhecer os mais variados métodos e ferramentas avaliativas. Neste capítulo, você conhecerá os métodos de avaliação de progra- mas e projetos de atividade física, esporte e lazer, bem como as diferentes ferramentas utilizadas para avaliação de programas e projetos esportivos. Por fim, estudará sobre o modelo lógico de estruturação de um programa esportivo. Macbook Macbook Métodos de avaliação de projetos esportivos A construção de um planejamento exige conceitos básicos para sua elaboração e implementação. Todo projeto precisará de alguns elementos básicos para o sucesso, como objetivos, recursos, atividades propostas e, por fim, a avaliação, tema central deste capítulo. Os projetos esportivos que envolvem atividade física e lazer não fogem a essa regra. Mas, aqui, fica uma pergunta: quando você lê ou ouve a palavra avaliação, o que lhe vem à mente? Testes? Provas? Estes são apenas alguns dos segmentos desse conceito bastante amplo e complexo. Bradfield e Moredock (apud TURRA et al., 1986, p. 177) afirmam que “[...] avaliação significa atribuir um valor a uma dimensão mensurável do comportamento em relação a um padrão de natureza social ou científica [...]”. Já para Bloom, Hasting e Madaus (apud TURRA et al., 1986) é um processo para determinar em que medida as pessoas (nesse caso, os projetos) estão se desenvolvendo dos modos desejados; é um sistema de controle da qualidade. Conforme Marino (2003, p. 18), a avaliação “[...] ocorre como um processo integrado e contínuo na vida do projeto, esta, sim sempre apresenta efeitos; incorporada como um valor pelas pessoas, resulta em aprendizagem [...]”. No caso de um projeto ou programa, ela deve instigar um processo de reflexão, buscando a precisão a partir de medidas e critérios (MARINO, 2003). O autor apresenta, ainda, os sete passos da avaliação, apresentados por ordem: � decidir o foco da avaliação: pensar e decidir sobre o que avaliar; � formar a equipe: escolher pessoas para registrar e divulgar o processo; � identificar os interessados, as perguntas e os indicadores: identificar pessoas que possam fornecer as perguntas necessárias para a avaliação; � levantamento de informações: identificar fontes, escolher métodos e construir instrumentos; � análise dos fatos e das informações: sistematizar e analisar as infor- mações coletadas; � elaborar e divulgar um relatório: relatar e divulgar as conclusões e sugestões; � utilizar e disseminar: utilizar os relatórios para discussões e aplicações. Avaliação de programas e projetos de atividade física2 Macbook Dentre os principais projetos esportivos brasileiros, a maioria advém do campo das políticas públicas, como o Programa Esporte e Lazer da Cidade (Pelc), o Segundo Tempo e o Bolsa-Atleta. Cohen e Franco (2004, p. 77 apud VARELA, 2004, p. 141) descrevem que a avaliação desses projetos atua como uma “[...] atividade que tem como objetivo maximizar a eficácia dos programas na obtenção de seus fins e a eficiência na alocação de recursos para a conse- cução dos mesmos [...]”. Dessa forma, a avaliação orientará a necessidade de correções ou de continuidade de um projeto público. Tanto um programa esportivo público quanto um privado podem ser ava- liados a partir de metodologias e critérios diferentes. Os mesmos autores apontam, ainda, que os projetos podem ser avaliados antes (avaliação ex-ante), durante ou após (avaliação ex-post). A avaliação ex-ante busca dar suporte à realização da implementação ou não do programa, agindo, assim, como um diagnóstico, colaborando com o monitoramento do programa. Já a avaliação ex-post mede o impacto do programa, trazendo os resultados aferidos e sendo utilizada para realizar mudanças no programa ou a manutenção deste (RA- MOS; SCHABBACH, 2012; COHEN; FRANCO, 2007 apud COSTA, 2018). Embora a avaliação seja considerada por muitos autores como o processo final de um projeto, faz-se necessário que o proponente esteja sempre avaliando seu programa, de modo que a avaliação seja uma atividade permanente e contínua. Costa e Castanhar (2003 apud VIEIRA; SILVEIRA; ALMEIDA JÚNIOR, 2009) apontam que as metodologias mais utilizadas na avaliação são: avaliação de metas, de impacto e de processos. A avaliação de metas faz uma análise simples para saber se o projeto atingiu as metas previamente estabelecidas. Já a avaliação de impacto busca identificar os efeitos ocorridos sobre a população- -alvo de um programa. Ela pode ser medida de forma quantitativa ou qualitativa, analisando questões ambientais, sociais, econômicas e culturais. Correia (2008, p. 124) afirma que avaliar o impacto em projetos de educação física, esporte e lazer “[...] significa pensar sobre o legado social que este pode deixar para as comunidades envolvidas após o seu término. Portanto, sendo a educação física, o esporte e o lazer campos importantes de mediação social [...]”. 3Avaliação de programas e projetos de atividade física Macbook Macbook Por fim, a avaliação de processos ou formativa ocorre durante o desenvol- vimento do programa, buscando medir a cobertura do programa e o grau de alcance da população, acompanhando processos internos, possíveis defeitos, barreiras e obstáculos, a fim de melhorar um programa que está em andamento. Ela não analisa só os resultados, mas, sim, como ocorreram os processos em si (VIEIRA; SILVEIRA; ALMEIDA JÚNIOR, 2009). Outro modo de se avaliar programas esportivos é por meio da classifi- cação proposta por Aguilar e Ander-Egg (1995 apud VIEIRA; SILVEIRA; ALMEIDA JÚNIOR, p. 5): Avaliação do plano e conceitualização do programa (subdividida em ava- liação do estudo-pesquisa, avaliação do diagnóstico e avaliação do plano e concepção do programa); avaliação da instrumentalização e seguimento do programa (avaliação do processo, subdividida em avaliação da cobertura, avaliação da implementação, avaliação do ambiente e avaliação do rendimento pessoal); e avaliação da eficácia (impacto) e eficiência (rentabilidade ou rela- ção entre o custo e os resultados obtidos) do programa (avaliação de resultados). Ainda sobre métodos, Costa (2018) afirma que os projetos podem ser avaliados quantitativa ou qualitativamente. A avaliação quantitativa “[...] pos- sibilita a quantificação e o dimensionamento do universo pesquisado, sendo os dados coletados, analisados e apresentados estatisticamente [...]” (BOCCATO; FUJITA, 2006, p. 269 apud COSTA, 2018, p. 34). Já a avaliação qualitativa analisa o programa de forma mais conceitual, ou seja, analisa as representações que este traz aos participantes, os valores, as crenças, as questões políticas e as relações interpessoais. Segundo Costa (2018), ambas as avaliações são importantes e se complementam, pois, enquanto a quantitativa é mais objetiva, a qualitativa entra no campo da subjetividade, sendo importante ter as duas em mãos na hora de avaliar um projeto. A autora ainda coloca que é importante realizar a avaliaçãode projetos a partir da perspectiva normativa ou avaliativa. A avaliação normativa analisará os serviços, ou os bens produzidos, e os resultados obtidos com as normas e os critérios preexistentes. Já a avaliativa corresponde ao julgamento que é feito sobre as práticas sociais a partir da elaboração de uma pergunta não respondida na literatura, ou seja, por meio de indagações feitas aos participantes. Avaliação de programas e projetos de atividade física4 Vieira, Silveira e Almeida Júnior (2009, p. 4) sublinham que a avaliação não deve ser concebida isoladamente, pois “[...] constitui o processo de pla- nejamento da política social, gerando retroalimentação sobre as informações de diversos projetos quanto a sua eficácia e eficiência; além disso, analisa os resultados obtidos por esses projetos, possibilitando sua reorientação em direção ao fim postulado [...]”. Cabe ressaltar que, embora haja inúmeros métodos de avaliação para fazer a mensuração dos programas relacionados ao esporte e à saúde, foi apenas na década de 80 que eles começaram a ser utilizados pelos meios acadêmicos e pela administração pública de forma bastante incipiente (COSTA, 2018). Nesse sentido, Ribeiro et al. (2013) afirmam que, apesar de existirem inúme- ros projetos esportivos relacionados à atividade física e ao lazer na América Latina, poucos são avaliados e estão disponíveis em forma de publicação científica ou relatórios que permitam o acesso público. Sendo assim, essa é uma área que necessita de avanço para possibilitar a manutenção, a melhoria e o crescimento desses projetos. Nesta seção, você conheceu os métodos avaliativos que podem ser utilizados em programas de atividade física, esporte e lazer. A seguir, serão apresentadas as diferentes ferramentas de avaliação que podem ser utilizadas nesses projetos. Ferramentas de avaliação para programas esportivos Assim como os métodos vistos anteriormente neste capítulo, as ferramentas também são de grande variedade, não existindo uma que seja mais correta do que a outra. Observe, a seguir, algumas das ferramentas que podem ser utilizadas para avaliar os programas esportivos. Entre os principais exemplos de ferramentas de avaliação estão as metodologias multicritérios, a estrutura analítica do projeto (EAP), o 5WS2 e o modelo lógico. 5Avaliação de programas e projetos de atividade física Segundo Faria et al. (2012), uma boa ferramenta são as metodologias mul- ticritérios, que possuem duas escolas distintas: a escola americana (MCDM) e a escola europeia (MCDA). A primeira escola utiliza procedimentos mais racionais, com a utilização de métodos quantitativos pelo tomador de decisões. Já na escola europeia busca-se uma maior compreensão do problema por parte de quem avalia, a fim de participar de forma mais efetiva do processo de estruturação do problema. Vegini et al. (2012, p. 245 apud FARIA et al., 2012, p. 5) apontam que os modelos MCDA utilizam na sua aplicação o “[...] paradigma construtivista para caracterizar a sua prática científica, cujo principal diferencial está no desenvolvimento de modelos personalizados que levam em conta os objetivos e valores dos decisores, possibilitando ao mesmo participar ativamente em todas as fases de desenvolvimento do modelo, legitimando-o constantemente [...]”. O modelo construtivista de avaliação é baseado nas ideias do educador Jean Piaget. Para Piaget, todo conhecimento provém da relação entre o sujeito e o objeto de estudo. As ideias construtivistas da teoria da MCDA são baseadas em estruturação, avaliação e elaboração das recomendações: A primeira etapa (estruturação) consiste em determinar os fatores críticos de sucesso (FCS) que são os pontos chave que os decisores julgam necessários e suficientes para avaliar o contexto e os critérios com seus respectivos in- dicadores de avaliação de desempenho (IAD). A segunda etapa (avaliação), constituída de três fases: (a) consiste em determinar os pesos dos FCS, subFCS e critérios, segundo o juízo de valor dos gestores (decisores); (b) determinar as funções de valor dos IAD e (c) diagnosticar o desempenho das alternativas de avaliação. A terceira etapa (elaboração e recomendação) fornecem subsídios, aos decisores, para que estes tenham condições de selecionar a estratégia mais adequada a ser implementada ou para minimizar as fragilidades diagnostica- das. Em todas as três etapas a serem cumpridas para construção do modelo proposto utilizam-se os pressupostos construtivistas da metodologia MCDA. Agora passa a ser chamada de Metodologia Multicritério de Apoio à Decisão Construtivista (MCDA-C). (FARIA et al., 2012, p. 6). Avaliação de programas e projetos de atividade física6 Macbook Macbook Macbook Observe, na Figura 1, como essas fases são estruturadas. Em sua pesquisa, Faria et al. (2012) analisaram o Programa Segundo Tempo (programa do Governo Federal que atende crianças em idade escolar no contraturno e é dividido por núcleos) a partir dessa metodologia. Segundo os resultados, existem oito fatores críticos de sucesso: beneficiários, coor- denadores e monitores, infraestrutura, funcionamento do programa, reforço alimentar, material esportivo, divulgação do programa e fiscalização. Em seguida, os pesquisadores construíram os indicadores de avaliação de desempenho que permitem a mensuração e a avaliação dos núcleos do projeto, ou seja, cada um dos fatores críticos de sucesso recebeu uma pontuação dentro de sua localidade, sendo que, no final, pode-se avaliar se essa pontuação é excelente, ótima, neutra, crítica ou ruim. Com esses dados, é possível saber quão suficiente o projeto é ou quais pontos dentro de cada núcleo é preciso melhorar. Figura 1. MCDA. Fonte: Adaptada de Ensslin (2000 apud FARIA et al., 2012). Fase de estruturação Fase de avaliação Fase de recomendações Elaboração de recom endações Processo de recursividade Identi�cação dos fatores críticos de sucesso Construção da árvore de decisão Construção dos indicadores de avaliação de desempenho Determinação dos pesos dos fatores críticos de sucesso Determinação das funções de valor para os indicadores de avaliação de desempenho Diagnóstico de alternativas de avaliação Análises dos resultados Elaboração das recomendações 7Avaliação de programas e projetos de atividade física Outras duas ferramentas muito utilizadas no meio corporativo para ava- liação de projetos são a EAP e o 5W2H. A EAP é uma importante ferramenta que detalha todo o projeto a partir de suas etapas de execução. Por meio dela é possível desmembrar o todo do projeto em partes menores, tornando, assim, mais fácil o controle e, naturalmente, a avaliação deste. Em geral, a EAP é dividida por fases, mas também pode ser dividida por equipes ou tipos de entregas (NAGAGAWA, 2018). Por exemplo, um programa esportivo pode ser dividido em fases, como: concepção do projeto (público-alvo, local onde ocorreria, investidores, re- cursos), execução do projeto (estrutura necessária para colocá-lo em prática) e pós-evento (liberação do espaço, para onde iriam os materiais utilizados, etc.). Embora não tenha o detalhamento da avaliação, como na metodologia de multicritérios, a EAP permite um acompanhamento e uma avaliação por fases, visto que realizar bem cada uma das tarefas será fundamental para o sucesso do projeto. O 5W2H, por sua vez, é uma importante ferramenta que atua como plano de ação, sendo uma das mais populares da área. O seu nome provém das iniciais das palavras, em inglês, que são as diretrizes desse plano: cinco palavras começam com a letra W e duas com a letra H (Figura 2). Figura 2. Metodologia 5W2H. Fonte: Leite (2017, documento on-line). Avaliação de programas e projetos de atividade física8 Como visto na Figura 2, a avaliação não é citada textualmente nessa ferra- menta, mas ela apresenta elementos avaliativos, como a mensuração das fases do projeto, a avaliação sobre benefícios do projeto e os resultados esperados. Por ser uma ferramentamais simples, sugere-se que seja utilizada na fase inicial de um projeto, principalmente por requerer um maior cuidado com os processos avaliativos (NAKAGAWA, 2018). Além das ferramentas citadas, tem-se o modelo lógico, umas das fer- ramentas mais importantes e utilizados nos programas esportivos, foco da próxima seção. Modelo lógico Esse modelo começou a ser utilizado na década de 1960, porém só passou a ser consideravelmente utilizado a partir dos anos 2000, devido à ênfase na gestão de resultados e na medição de desempenho (COSTA, 2018). Pessoa e Noro (2015 apud COSTA, 2018, p. 39) afirmam que o modelo lógico “[...] permite melhor entendimento da estrutura dos componentes da avaliação, das questões envolvidas e das prováveis relações entre esses, au- xiliando a construção de uma proposta de critérios de avaliação [...]”. Além disso, ele é “[...] um pré-requisito essencial para a formação de propostas de avaliação, que devem ser formuladas a partir das relações entre os principais elementos do programa [...]” (MENESES, 2007 apud COSTA, 2018, p. 39). No Manual para Avaliação de Atividades Físicas proposto pelos Centros para o Controle e a Prevenção de Doenças dos Estados Unidos (CDC, 2002), o modelo lógico é definido como uma ferramenta que ajuda na avaliação, pois serve como um quadro de referência durante todo o planejamento, a implementação e a avaliação do programa, atuando de forma primordial no desenvolvimento de um programa e no planejamento da avaliação. Segundo o CDC (2002), um modelo lógico ajuda a: esclarecer a estratégia do programa; justificar por que o programa funcionará; avaliar a eficácia potencial de uma abordagem específica; definir objetivos adequados (e evitar fazer promessas irrealizáveis); estabelecer prioridades para a distribuição dos recursos; incorporar os resultados obtidos por pesquisas e projetos de demonstração; fazer ajustes e melhorias durante o andamento do programa; identificar as diferenças entre o programa ideal e seu funcionamento na prática; especificar o tipo de perguntas que devem ser feitas na avaliação; organizar as comprovações referentes ao programa; fazer que as partes interessadas prestem 9Avaliação de programas e projetos de atividade física Macbook Macbook Macbook contas com relação aos processos e resultados do programa; desenvolver um programa melhor. Além disso, o modelo lógico descreve os componentes essenciais do pro- grama, ilustra a conexão entre esses componentes e os resultados esperados e inclui informação pertinente ao contexto do programa (p. ex., fatores influen- ciadores). Os elementos de um modelo lógico são: insumos (investimentos ou recursos); atividades (eventos ou ações); fatores influenciadores (ambiente no qual é aplicado o programa); produtos (pessoas atendidas); resultados iniciais (curto prazo); resultados intermediários (médio prazo); resultados a longo prazo (impacto final); objetivo (missão). A Figura 3, a seguir, apresenta esses elementos em detalhes; as setas representam o vínculo entre as atividades. Figura 3. Elementos do modelo lógico. Fonte: Adaptada de CDC (2002). Avaliação de programas e projetos de atividade física10 Macbook Macbook Macbook Macbook Macbook Macbook Macbook Macbook Macbook Além de orientar a estratégia de execução do programa e a definição dos indicadores para sua avaliação, Costa (2018, p. 41) afirma que a construção do desenho do programa “[...] deverá contribuir para garantir as seguintes condições: definição explícita e plausível dos objetivos do programa; identi- ficação de indicadores importantes de desempenho que possam ser obtidos a um custo razoável; e comprometimento dos gestores do programa com o que está proposto no modelo lógico [...]”. De acordo com Medeiros et al. (2010 apud COSTA, 2018, p. 43): O processo de construção do modelo lógico deve seguir as seguintes etapas: coleta de informações sobre o programa; definição clara do problema objeto da intervenção; identificação dos componentes do modelo lógico; avaliação do modelo construído por informantes-chaves e, a partir dos subsídios gerados e com base nos dados coletados, deve-se submeter o modelo a um consenso para definir qual representa melhor a lógica do programa. Desse modo, a construção do modelo lógico do programa possibilita traçar o caminho percorrido pelo programa a fim de buscar uma solução para o problema inicial. Ainda sobre a construção do modelo lógico, o Manual do CDC (2002) aponta que não existe uma forma correta de criá-lo, no entanto, há duas abordagens mais comuns: da direita para a esquerda e da esquerda para a direita (Figura 4). A primeira é conhecida como lógica inversa, pois inicia- -se com os resultados que se deseja obter; a partir deles, são desenvolvidas as atividades e os insumos. É geralmente utilizada na fase de planejamento e utiliza a pergunta “como?”. Já a abordagem da esquerda para a direita é conhecida como lógica prospectiva, sendo mais utilizada na fase de avaliação de um programa que não tem modelo lógico. Inicia-se com a explicitação dos insumos e das atividades do programa e prossegue à direita, utilizando a pergunta “por quê? (CDC, 2002). 11Avaliação de programas e projetos de atividade física Figura 4. Modelo da direita para a esquerda e da esquerda para a direita. Fonte: Adaptada de CDC (2002). Avaliação de programas e projetos de atividade física12 Para melhor compreensão, imagine um modelo lógico a partir do seguinte problema: crianças em idade escolar que são sedentárias. O insumo, nesse caso, seria a comunidade escolar, em particular as crianças, as atividades seriam a realização de exercícios, como caminhadas ou eventos esportivos, e os resultados iniciais seriam o engajamento e a participação das crianças, sendo que o engajamento teria de ser maior nos resultados intermediários e a longo prazo, para se atingir o objetivo: ter crianças mais sadias e menos sedentários. Observe, na Figura 5, um modelo lógico do que foi proposto. Figura 5. Modelo lógico. Fonte: Adaptada de CDC (2002). Para saber mais sobre o modelo lógico, assista ao vídeo disponível no link a seguir. https://qrgo.page.link/rk5WD 13Avaliação de programas e projetos de atividade física CDC. Manual para avaliação de atividade física. 2002. Disponível em: https://biblioteca. unilasalle.edu.br/docs_online/livros/manual-para-avaliacao.pdf. Acesso em: 21 nov. 2019. CORREIA, M. M. Projetos sociais em educação física, esporte e lazer: reflexões e consi- derações para uma gestão socialmente comprometida. Arquivos em Movimento, Rio de Janeiro, v. 4, n. 1, p. 114–127, 2008. Disponível em: https://ufsj.edu.br/portal2-repositorio/ File/dcefs/Prof._Adalberto_Santos2/20-projetos_sociais_em_ef_esporte_e_lazer14. pdf. Acesso em: 21 nov. 2019. COSTA, F. G. S. N. Modelo lógico: instrumento de avaliação para a estratégia saúde da família no Distrito Federal. 2018. Dissertação (Mestrado em Gestão Pública) – Pro- grama de Pós-Graduação em Gestão Pública, Faculdade Planaltina, Universidade de Brasília, Brasília, 2018. Disponível em: http://www.gestaopublica.unb.br/images/Resu- mos2018/2018_FabianaGarciaShimabukuroNovadaCosta.pdf. Acesso em: 21 nov. 2019. FARIA, R. S. et al. Proposta de um modelo de avaliação para o Programa Segundo Tempo do Ministério do Esporte – ME sob a ótica da metodologia multicritério de apoio à decisão – construtivista. In: ENCONTRO DE ADMINISTRAÇÃO PÚBLICA E GOVERNO. 2012, Salvador. Anais [...]. Salvador: ANPAD, 2012. Disponível em: http://www.anpad. org.br/admin/pdf/2012_EnAPG399.pdf. Acesso em: 21 nov. 2019. LEITE, A. C. Gestão de projetos: 3 ferramentas para usar em seu Programa de Volunta- riado. 2017. Disponível em: http://voluntariadoempresarial.com.br/ferramentas-gestao- -projetos-sociais/. Acesso em: 21 nov. 2019. MARINO, E. Manual de avaliação de projetos sociais. 2. ed. São Paulo: Instituto Ayrton Senna, 2003. NAKAGAWA, M. Ferramenta: 5W2H: plano de ação para empreendedores.[2018]. Disponível em: https://m.sebrae.com.br/Sebrae/Portal%20Sebrae/Anexos/5W2H.pdf. Acesso em: 21 nov. 2019. RIBEIRO, I. et al. A utilização de modelos lógicos no planejamento e na avaliação de programas de promoção de atividade física em Curitiba. In: BRASIL. Ministério da Saúde. Secretaria de Vigilância em Saúde. Departamento de Análise de Situação em Saúde. Avaliação de efetividade de programas de atividade física no Brasil. Brasília: Ministério da Saúde, 2013. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/avaliacao_efe- tividade_programas_atividade_fisica.pdf. Acesso em: 21 nov. 2019. TURRA, C. Planejamento de ensino e avaliação. 11. ed. Porto Alegre: SAGRA, 1986. Avaliação de programas e projetos de atividade física14 Os links para sites da Web fornecidos neste livro foram todos testados, e seu funciona- mento foi comprovado no momento da publicação do material. No entanto, a rede é extremamente dinâmica; suas páginas estão constantemente mudando de local e conteúdo. Assim, os editores declaram não ter qualquer responsabilidade sobre qualidade, precisão ou integralidade das informações referidas em tais links. VARELA, P. S. Indicadores sociais no processo orçamentário do setor público municipal de saúde: um estudo de caso. Dissertação (Mestrado em Ciências Contábeis) — Programa de Pós-Graduação em Ciências Contábeis, Departamento de Contabilidade e Atuária, Faculdade de Economia, Administração e Contabilidade, Universidade de São Paulo, São Paulo, 2004. VIEIRA, L. H. S.; SILVEIRA, S. F. R.; ALMEIDA JÚNIOR, A. L. Processo de avaliação do pro- grama esporte e lazer da cidade em municípios de Minas Gerais. In: ENCONTRO DA ANPAD, 33., 2009, São Paulo. Anais [...]. São Paulo: ANPAD, 2009. Disponível em: http:// www.anpad.org.br/admin/pdf/APS2533.pdf. Acesso em: 21 nov. 2019. 15Avaliação de programas e projetos de atividade física
Compartilhar