Indicadores para avaliação de projetos desportivos

Prévia do material em texto

Indicadores para avaliação de projetos desportivos
Prof.ª Lynda Pavão
Descrição
Propósito e benefícios da avaliação de projetos culturais. Aspectos
fundamentais dos indicadores para avaliação de projetos. Metodologia
para avaliação de projetos desportivos.
Propósito
Compreender a importância e os métodos utilizados para a
implementação da avaliação de projetos desportivos, bem como
entender os fundamentos dos indicadores que proporcionam, durante a
avaliação, a identificação da direção tomada pelo projeto, é fundamental
a todos os profissionais que atuam ou atuarão no campo da gestão
desportiva.
Objetivos
Módulo 1
Avaliação de projetos culturais
Reconhecer os objetivos fundamentais da avaliação de um projeto
cultural.
Módulo 2
Indicadores de avaliação de projetos
Identificar a função dos indicadores para avaliar um projeto.
Módulo 3
Metodologia para avaliação de projetos
desportivos
Reconhecer a metodologia empregada na avaliação de projetos
desportivos.
Introdução
A avaliação de projetos é um processo pelo qual são obtidas
informações indispensáveis sobre os resultados (planejados ou
não) e sobre o desempenho do projeto. Esse procedimento é
realizado para observar o quão bem os objetivos são alcançados
e como a produção está se desenvolvendo, permitindo que
decisões adequadas sejam tomadas para redirecionar o projeto,
caso necessário. A avaliação pode ser realizada tanto pela equipe
diretamente relacionada ao projeto, ou seja, internamente, quanto
por profissionais externos que não estão envolvidos e cuja
função é avaliar o andamento desse projeto.

Para a avaliação, é necessário o uso de indicadores que ajudam o
avaliador a medir e observar, detalhadamente, a situação real do
projeto, comparar os resultados obtidos com os resultados
esperados e verificar como está a gestão das fases definidas
para o projeto. Os indicadores de avaliação podem ser usados
durante a implementação do projeto e após a conclusão e
auxiliam tanto nas melhorias a serem aplicadas no projeto já em
andamento quanto nas suas futuras edições.
Ao planejar e implementar um projeto desportivo, deseja-se
atingir alguns objetivos ligados diretamente à prática de esportes
ou a partir dos benefícios que o projeto pode proporcionar à
sociedade, como melhoria da saúde física e mental, além do
desenvolvimento pessoal, social, comunitário e econômico
induzidos pelo projeto. Quando usamos indicadores específicos,
podemos avaliar o impacto dos resultados alcançados por cada
uma dessas metas, verificando se foram alcançadas e o que deve
ser feito ou melhorado para que esses resultados possam ser
atingidos de maneira eficiente.
1 - Avaliação de projetos culturais
Ao �nal deste módulo, você será capaz de reconhecer os objetivos fundamentais da avaliação
de um projeto cultural.
A avaliação como um instrumento de
apoio à melhoria contínua
Objetivo da avaliação de projetos
Fundamentalmente, a decisão de realizar a avaliação de projetos
representa a necessidade de aperfeiçoar projetos culturais que já
estejam em andamento e/ou aqueles que ainda não tenham sido
propriamente iniciados. Essa prática é aplicável tanto a projetos já
finalizados que obtiveram sucesso quanto àqueles cujos resultados
apresentaram falhas.
No entanto, o objetivo da avaliação não é premiar ou punir as equipes de
profissionais envolvidas na implementação desses projetos, mas
introduzir um mecanismo que proporcione o alcance de melhorias
contínuas no presente e no futuro.
Vem aumentando o interesse sobre como conduzir corretamente uma
avaliação de projetos culturais. Por meio de estudos no campo das
ciências sociais e de resultados de experimentos, sabe-se que é
possível obter muitas respostas, tanto conceituais quanto instrumentais,
e que a combinação do uso de ambas é fundamental para uma boa
avaliação.
Exemplo
A contribuição conceitual à prática profissional pode ser aplicada à
gestão de políticas culturais.
A avaliação de projetos culturais é essencial para saber se o trabalho em
andamento está seguindo a direção correta ou se é necessário realizar
alguma modificação no projeto.
Segundo Carman (2007), existem dois pontos de vista
quanto à avaliação de projetos culturais: um deles diz
que não há como a cultura ser avaliada precisamente,
de maneira que qualquer tentativa de avaliação não
refletirá a realidade; o outro ponto de vista presume
que qualquer coisa pode ser mensurada por meio da
exatidão matemática.
É preciso um esforço para evitar escolher somente um dos pontos de
vista apresentados, encontrando um ponto de equilíbrio que propicie aos
projetos uma avaliação de maior credibilidade. Quanto maior a
complexidade da situação, maior a necessidade de proporcionar
evidências sobre o processo de avaliação.
De�nição de avaliação
Pode-se definir avaliação por meio de duas perspectivas:
O uso desse método de avaliação está frequentemente
associado a uma revisão do trabalho já realizado até aquela data,
isto é, uma avaliação que basicamente destaca as conquistas e
as falhas do projeto até então. Ao utilizar como referência
indicadores prefixados, analisa-se até que ponto os objetivos
planejados estão sendo ou já foram alcançados. Ou seja,
questionamos se o projeto alcançou ou não os resultados
desejados.
O uso desse método de avaliação objetiva efetuar uma análise e
levantamento dos pontos necessários que contribuirão para a
melhoria da continuidade de um projeto já iniciado, de próximas
edições dele ou até de futuras versões. A indagação a ser
realizada, tendo por base essa perspectiva de avaliação, é sobre
quais alterações devem ser feitas durante o processo de
implantação para que o projeto obtenha melhores resultados.
Tecnicamente, ambas as concepções de avaliação utilizam os mesmos
instrumentos e metodologia, mas o objetivo final pode variar,
dependendo da ótica escolhida.
Em muitos roteiros de planejamento, a avaliação é realizada ao término
do projeto como uma forma de encerramento, permitindo que se olhe
para trás, a fim de avaliar se os resultados alcançados se aproximaram
ou se igualaram às metas traçadas no início da concepção do projeto.
Olhando para trás 
Olhando para a frente 
Entretanto, é preferível que a avaliação seja inserida no roteiro de
planejamento, indicando como cada uma das fases do projeto podem e
devem ser avaliadas. Assim, propostas de melhorias poderiam ser
idealizadas com maior prontidão.
Responsáveis pela avaliação
Segundo Boulmetis e Dutwin (2014), a avaliação de um projeto pode ser
realizada tanto por equipes diretamente ligadas ao projeto, ou seja,
internamente, quanto por profissionais externos, sem qualquer
envolvimento com o projeto, com a função de avaliar o andamento do
processo com uma “visão de fora”. Veja a seguir os dois tipos de
avaliação!
Avaliação interna
É desenvolvida pela equipe “de dentro” do projeto, é efetuada
pelas pessoas responsáveis pelo planejamento e gestão do
projeto. A vantagem dessa avaliação é que os envolvidos
possuem grande conhecimento sobre tudo o que ocorreu ou vem
ocorrendo durante todo o processo. Uma desvantagem é que a
realização da avaliação pode não ser tão clara e objetiva, pelo
fato de a equipe estar profundamente envolvida com o projeto.
Avaliação externa
É desenvolvida “por fora” do projeto e, por isso, realizada por
agentes não envolvidos diretamente. Caso essa avaliação seja
realizada por indivíduos que não tenham qualquer relação
hierárquica com a equipe do projeto, pode ser concebida mais
como um suporte ou consultoria. Se feita por agentes
hierarquicamente superiores em relação ao time ligado ao
projeto, pode parecer um controle ou supervisão do projeto. Esse
tipo de análise tem como vantagem ser mais objetiva que a
avaliação interna, dado que a avaliação advém do ponto de vista
de pessoas que investiram menos no projeto e nos efeitos dos
seus possíveis resultados. Uma desvantagem é que o avaliador
não possui tanto conhecimento sobre o projetoquanto os
participantes da equipe que o idealizaram.
Razões e benefícios da avaliação de
projetos
Razões fundamentais para avaliar um projeto
Como já visto anteriormente, a principal razão pela qual é necessária a
avaliação de um projeto é a contribuição dos indicadores gerados
durante essa avaliação, e que auxiliam na implementação de melhorias,
tanto em possíveis progressos no presente quanto para o planejamento
de futuras edições do projeto. Durante a avaliação, diversos fatores
podem ser revistos e remodelados, por exemplo:
 A reorientação de objetivos.
 As mudanças quanto ao conteúdo,
estratégia ou atividades.
 O suprimento de mais recursos, caso
necessário.
 As alterações na gestão e no modelo de
planejamento.
Por meio da análise e das conclusões obtidas a partir da avaliação do
projeto, também é possível justificar a necessidade ou a adequação de
um novo impulsionamento das metas, a fim de amparar a continuidade
e complementação das propostas já existentes.
Recomendação
Os resultados de uma avaliação podem auxiliar na decisão de
cancelamento do projeto, caso seja identificado que não existem razões
para a sua continuidade ou os objetivos traçados já tenham sido
alcançados.
A avaliação também é válida como um apoio às decisões de natureza
interna das instituições, como reestruturação do time, reconhecimento
profissional, promoção, prêmio, aumento dos recursos, da mesma forma
que contribui para decisões relacionadas a punições, demissões e corte
de recursos.
Além dessas justificativas para que avaliações sejam implementadas,
os projetos podem ser avaliados simplesmente como uma atividade
rotineira, mediante instrumentos administrativos, não havendo a
necessidade de qualquer tipo de repercussão dos resultados obtidos.
Benefícios gerados pela avaliação
A avaliação do projeto durante seu processo de implantação apresenta
alguns benefícios, tais como:
 A mudança do público-alvo.
 Redirecionar o propósito e a execução do projeto,
otimizando os recursos em uso.
 Aperfeiçoar futuras edições do projeto.
 Estimular novas propostas para novos projetos ou
intervenções.
 Suscitar inovações para que os projetos não se
tornem repetitivos.
 Realizar comparações entre projetos ou
intervenções.
 Ter capacidade de demonstrar os pontos fortes do
projeto a terceiros.
 Apresentar um método de planejamento e de
avaliação para novas pessoas da equipe.
 Valorizar o trabalho da equipe responsável pelo
projeto e exibir os resultados obtidos, sendo eles
positivos ou negativos.
 Promover o debate entre os membros da equipe
sobre temas que vão além dos elementos em ação.
Métodos e etapas de avaliação
Métodos de avaliação
Geralmente, temos como referência quatro tipos de métodos de
avaliação de projetos. Observe a seguir:
Nesse método, a avaliação é feita a partir da comparação entre
uma situação em que nenhuma intervenção tenha sido realizada
e diferentes situações nas quais medidas e ações foram
efetivadas. Em outras palavras, compara-se um grupo de
controle a cenários nos quais os resultados podem ter sido
alterados por alguma ação.
É o método mais apropriado para a realização de experimentos
científicos, nos quais é possível controlar todas as variáveis
envolvidas no teste ou isolar uma única variável e analisar seus
possíveis resultados. Em projetos culturais, esse método tende a
não ter utilidade no curto prazo. Porém, a longo prazo, pode
 Mostrar ao público quais são os reais resultados
esperados pela equipe e publicar esses resultados.
 Retratar uma imagem de seriedade e
profissionalismo para terceiros.
 Analisar o projeto e seus relatórios no futuro, para
identificar as causas de seu sucesso ou fracasso.
Avaliação experimental 
auxiliar na execução de uma determinada tarefa que difere de
qualquer outro modelo implementado previamente, caso
característico de um projeto piloto. Episódios como esse
demandam que a equipe esteja ciente de todos os fatores
contextuais que podem afetar o modelo.
Nesse método, é realizada uma comparação entre o antes e o
depois de uma intervenção. É o método mais comumente
aplicado às políticas culturais e à sua respectiva gestão, dado
que a análise do contexto é efetuada utilizando o mesmo
método duas vezes. A avaliação do “antes” é feita para auxiliar
na organização dos objetivos do projeto e a avaliação do
“depois” é feita para checar se os objetivos foram alcançados.
Esse método permite o monitoramento da evolução do projeto
ao longo do tempo.
Nesse método, efetiva-se a comparação entre situações em que
foram empregadas intervenções similares. É aplicado para
comparar projetos distintos ou diferentes partes de um mesmo
projeto. O objetivo é analisar e comparar elementos a partir de
uma dimensão mais bem estruturada, mas ciente de que as
situações são diferentes umas das outras e possuem suas
respectivas particularidades. Esse é um sistema em que se
considera que tudo seja relativo.
Nesse método, a avaliação é baseada na opinião de
especialistas da área a ser analisada, sem que seja necessário
realizar a comparação de dados específicos. Entre os métodos, é
o menos exato, embora frequentemente seja o mais rápido, mais
fácil e menos custoso de ser implementado. Pode ser um ótimo
complemento aos outros, mas não pode ser o único à disposição
do avaliador. Ele auxilia ao proporcionar uma impressão inicial e
momentânea sobre como o projeto está caminhando ou sobre
os resultados encontrados, e se torna praticamente
Avaliação reflexiva 
Avaliação transversal 
Avaliação de opinião 
indispensável para a implementação de avaliações altamente
qualitativas ou subjetivas.
Entretanto, para o gerenciamento de projetos culturais, essencialmente
se faz mais uso dos dois primeiros métodos, embora os demais possam
ser de grande valia ao auxiliar em determinadas fases da avaliação em
que se pode deparar com situações muito específicas. Nenhum desses
métodos é exclusivo e, usualmente, o emprego de uma combinação
entre diferentes métodos é benéfico para a avaliação, já que um pode
enriquecer e complementar o outro.
Etapas da avaliação
A avaliação do processo, dos resultados e dos demais aspectos de um
projeto é composta por uma ordenação de fases que devem ser
seguidas até a sua conclusão. Veja a seguir:
É nessa fase que decisões quanto à adequação e ao tipo de
avaliação são tomadas como, por exemplo, a metodologia que
será empregada, os instrumentos que serão utilizados
(indicadores e outros), o cronograma e os indivíduos que estarão
envolvidos no projeto.
É a fase que envolve a coleta, a ordenação e a sistematização
das informações sobre os aspectos planejados e sobre possíveis
eventos não previstos. É realizada com o uso de instrumentos e
técnicas definidas na etapa anterior.
É a fase em que os responsáveis pela avaliação analisam e
comparam os resultados obtidos durante a fase descritiva e os
contrastam com os valores expressos durante a etapa de design
do processo. O objetivo é identificar em qual ponto os resultados
Design da avaliação 
Fase descritiva 
Comparação e avaliação 
esperados foram alcançados e focar outros aspectos
possivelmente avaliáveis.
É a fase do processo caracterizada por ser o momento em que,
após se ter encontrado e avaliado os resultados obtidos pelo
projeto, o objetivo passa a ser estudar as causas desses
resultados e qualquer mudança observada, podendo ter sido
falhas ou êxitos. É nessa fase que os avaliadores se questionam
o porquê e como esses resultados foram encontrados.
É a fase em que são divulgados os resultados, o que pode ser
realizado a partir de um relatório interno ou um artigo publicado.
Caso necessário, geralmente é aconselhável reportar os
resultados para a equipe, para os superiores, para outros agentes
ou para o público.
É a fase na qual os resultados da avaliação funcionam como um
propósito a ser seguido e auxiliam na introdução de mudanças
que alterarão a direção do projeto ou deseus mecanismos de
operação, sempre que necessário ou quando os projetos ainda
estão em andamento ou em algum tipo de edição sucessiva.
Avaliação de projetos culturais
Neste vídeo, falaremos sobre como avaliar um projeto da fase de
implementação até o término.
Estudo das causas 
Divulgação dos resultados 
Tomada de decisão 

Falta pouco para atingir seus objetivos.
Vamos praticar alguns conceitos?
Questão 1
Realizar a avaliação de um projeto cultural é de suma importância
uma vez que, por meio de seus resultados, os pontos fortes e os
pontos fracos do projeto são identificados, indicando quais devem
ser mantidos e quais melhorias devem ser implementadas para que
os objetivos traçados sejam alcançados. Quais são os principais
envolvidos na avaliação de um projeto?
Parabéns! A alternativa C está correta.
A avaliação de um projeto pode ser tanto interna, realizada pela
própria equipe diretamente envolvida no projeto, que possui grande
A O público-alvo do projeto.
B Os editores do relatório de resultados.
C
A equipe envolvida internamente no projeto ou
avaliadores externos.
D Apenas os investidores do projeto.
E
A área responsável pelo controle financeiro do
projeto.
conhecimento de todo o processo, ou pode ser externa, efetuada
por agentes de fora do projeto e que o analisam sob um outro ponto
de vista.
Questão 2
Podemos lançar mão de diversos métodos para a realização de
uma avaliação de projeto e o melhor método será definido na fase
de design da avaliação. Sabe-se que a combinação de métodos é
benéfica para a avaliação de projetos culturais, mas qual é o
método mais frequentemente utilizado para esse objetivo?
Parabéns! A alternativa B está correta.
A avaliação reflexiva é o método mais indicado e mais utilizado
para avaliar projetos culturais dado que, mediante essa avaliação,
são analisados os dados coletados antes e depois da efetivação de
alguma intervenção no projeto, e então são comparados os
resultados entre esses dados. Nessa comparação, avaliamos se a
intervenção contribuiu ou não para alcançar os objetivos traçados
durante o planejamento do projeto.
A Avaliação experimental
B Avaliação reflexiva
C Avaliação transversal
D Avaliação de opinião
E Avaliação de indicadores
2 - Indicadores de avaliação de projetos
Ao �nal deste módulo, você será capaz de identi�car a função dos indicadores para avaliar um
projeto.
De�nição dos indicadores de
avaliação
Indicadores como instrumentos de avaliação
Para realizar uma avaliação, é necessária a utilização de instrumentos
chamados de indicadores. Os indicadores auxiliam quem realiza a
avaliação a mensurar, a compreender a real situação do projeto,
comparando os resultados obtidos em relação aos esperados, e
entender como foi ou está sendo realizada a gestão das fases
determinadas para o projeto. O uso de indicadores para a avaliação
pode ocorrer tanto durante o processo de implementação do projeto
quanto após o seu término.
Não existe uma lista universal e definitiva de indicadores válidos para
avaliar todos os projetos. Se todo projeto possui seus próprios objetivos,
consequentemente cada um deve ter os seus próprios indicadores de
avaliação. Cada equipe responsável pela avaliação deve estabelecer
quais são os mais adequados para medir o êxito de seus projetos.
Embora alguns indicadores de resultados e de processos possam ser
utilizados em diversos projetos distintos, na maioria dos casos, a equipe
de avaliação deve criar novos indicadores que fornecerão informações
precisas sobre seu projeto em particular.
Um indicador de avaliação gera informações sobre a situação ou sobre
o resultado do projeto. Porém, se os resultados encontrados não forem
contrastados com um valor de referência, o indicador serve apenas
como um simples dado, sem qualquer propósito.
Exemplo
Comparar os indicadores com valores já conhecidos como de anos
anteriores, ou de outro projeto, fornecerá informações sobre o progresso
do projeto. Logo, a equipe deve analisar quais são as razões por trás das
mudanças observadas.
Os resultados alcançados a partir de um conjunto de indicadores vão
auxiliar a tomada de decisões, ao passo que o uso de apenas um
indicador raramente proporcionaria uma avaliação adequada do projeto.
Isso ocorre porque a associação de múltiplos indicadores possibilita
mensurar o alcance de todos os objetivos, o que pode confirmar em que
medida o projeto e suas respectivas metas obtiveram sucesso ou não.
Vejamos como exemplo a comercialização de livros. Por meio de um
diagnóstico, constatou-se que, no último ano, foram vendidos em média
450 livros por exposição. A meta atual é aumentar a média de livros
vendidos para 500 por divulgação. Nesse caso, o indicador a ser
desenvolvido e analisado será o número médio de livros vendidos em
cada exposição.
Os resultados obtidos vão indicar o quão próximo as vendas estão de
atingir as 500 cópias desejadas. Pode ser sugerida uma margem para
mais ou para menos no montante de 10%, de maneira que, caso sejam
vendidas entre 450 e 550 cópias, pode-se dizer que os objetivos foram
alcançados. Caso o número esteja abaixo do planejado, isso indicará
uma falha, ou seja, o objetivo não foi alcançado. Já na hipótese de as
vendas ultrapassarem consideravelmente a margem, isso pode ser visto
como um grande sucesso do projeto.
Por conta disso, porém, um questionamento deve ser feito:
como esse resultado maior que o esperado não foi
previsto?
Cada projeto possui suas particularidades e objetivos distintos e,
consequentemente, podem requerer indicadores de naturezas
diferentes. Os indicadores podem ser:

Quantitativos
Estão relacionados a mensurações, registros etc. Fornecem dados
precisos que podem ser usados para classificar, tabular, comparar, entre
outras funcionalidades. Eles são únicos, indiscutíveis e compartilhados
com todos.

Qualitativos
Estão relacionados a observações, opiniões de especialistas e do
público, por exemplo. Apresentam perspectivas pessoais que podem,
algumas vezes, ser contraditórias entre si, mas que ajudam o avaliador a
enxergar aspectos que nem sempre são observados apenas analisando
os dados.
Na maioria dos projetos, a combinação do uso de indicadores, tanto
qualitativos quanto quantitativos, contribui para a obtenção de
resultados mais sólidos, para que se tenha uma ideia mais completa
sobre o projeto.
Indicadores para diferentes áreas do
projeto
Aplicabilidade dos indicadores
Dependendo do conteúdo da avaliação, existem muitos indicadores que
podem ser aplicados em diferentes áreas, determinadas durante a
organização do projeto. Vejamos, a seguir, alguns exemplos de
indicadores que podem ser adotados, de acordo com a área de
interesse.
Área de contexto
Nessa área, mensuramos o cenário no qual o projeto está sendo
implantado e como a sua configuração está evoluindo. Nesse caso,
podemos considerar indicadores que auxiliarão nas escolhas quanto à
localidade, ao setor, às políticas, entre outros nos quais o projeto estará
envolvido. Os indicadores possibilitam a elaboração de um diagnóstico
sobre o caminho a ser percorrido pelo projeto.
Por exemplo, se avaliarmos o número de bibliotecas existentes em uma
cidade, com o objetivo de encorajar a leitura, a avaliação tem maiores
chances de evoluir se determinados pontos forem corretamente
levantados e respondidos. Do mesmo modo, o avaliador deve tomar
consciência de tais pontos, como:
a) Apresentar os objetivos, que devem ser adequadamente
justificados, debatidos e documentados.
b) Analisar cuidadosamente a localidade em que o projeto será
implantado.
c) Entender detalhadamente o setor cultural/social no qual o
projeto está inserido.
d) Identificar políticas já existentes que podem proporcionar
cobertura ao projeto.
e) Conhecer as referências que serão utilizadas como inspiração
ou suporte para o projeto.
f) Analisar os pontos fortes e fracos da equipe envolvida no
processo.
g) Conhecer profundamente o público-alvodo projeto, caso seja
considerado com parte do contexto.
Área de resultados ou objetivos
Nessa área, não se pode generalizar uma definição, já que esta
dependerá dos objetivos de cada projeto. Esses indicadores vão medir o
que deve ser estendido dentro do projeto ou se é pertinente ou não essa
extensão, tendo como parâmetro os objetivos propostos ou os
resultados já obtidos. Por exemplo, o número de cartões de
identificação de novos membros registrados em uma biblioteca local
durante o período em que o projeto de encorajamento à leitura está em
andamento (assumindo que o objetivo do projeto seja o aumento no
número de membros associados à biblioteca).
Área de de�nição
Nessa área, medimos até que ponto os elementos do projeto e além do
projeto foram bem definidos e se cumpriram completamente o seu
propósito em contribuir para o alcance das metas, por exemplo, o
público-alvo, o conteúdo, as estratégias, as ações e a gestão do modelo.
Podemos usar como situação prática a estratégia de envolver
associações de bairros no projeto para ajudar com o objetivo de
encorajamento à leitura. Sem essas associações, o objetivo poderia ser
praticamente impossível de ser alcançado. Os indicadores relacionados
à definição que são usualmente utilizados dependendo do elemento a
ser focado durante o projeto são:
O grupo escolhido foi o mais apropriado para atingir os
objetivos? Sabe-se o bastante sobre isso?
É possível agir de forma homogênea de acordo com o
grupo todo ou há aspectos muito heterogêneos envolvidos
(idade, nível de interesse etc.)?
Como o público-alvo responde às propostas?
Existe concordância entre o público-alvo e os objetivos?
As interações entre grupos funcionam bem?
O projeto funcionaria para grupos diferentes?
Qual outro público-alvo pode ser testado em um próximo
projeto?
O público-alvo é o mais apropriado para o tipo de
organização envolvida no projeto?
O público-alvo é o mais apropriado de acordo com os
recursos disponíveis?
O conteúdo escolhido é o mais adequado para alcançar os
objetivos do projeto? Caso não seja, quais outros
conteúdos poderiam ser estratégicos para auxiliar as
metas?
O conteúdo é apropriado para o público-alvo escolhido?
O conteúdo combina com a identidade e com o tipo de
organização responsável pelo projeto?
Indicadores de avaliação quanto à escolha do público-alvo 
Indicadores de avaliação do conteúdo do projeto 
As ações são as mais apropriadas para que os objetivos
sejam alcançados? Se a resposta for não, quais seriam as
outras ações ou tipos de ações adequados para atingir as
metas?
As ações são apropriadas para o público-alvo?
As ações combinam com a identidade da organização?
As ações se encaixam com os recursos?
As ações empregadas estão de acordo com os critérios
planejados?
Alguma característica das ações precisa de mudança? Se
sim, qual foi a reação correta?
A estratégia escolhida é a mais oportuna para alcançar os
objetivos do projeto? Caso não seja, quais outras
estratégias poderiam ajudar no alcance das metas?
A estratégia é apropriada para o público-alvo escolhido?
A estratégia combina com a identidade e com o tipo de
organização por trás do projeto?
As estratégias se encaixam com os recursos?
O modelo de gestão escolhido é o mais adequado para
alcançar os objetivos do projeto? Caso não seja, qual outro
modelo seria indicado para auxiliar nas metas?
Como cada agente envolvido no projeto trabalhou?
Eles cumpriram com os planos estabelecidos e acordos?
O modelo de gestão combina com a identidade da
organização?
Indicadores de avaliação das ações do projeto 
Indicadores de avaliação das estratégias e metodologias
do projeto 
Indicadores de avaliação da gestão do modelo do projeto 
O modelo de gestão está de acordo com os recursos?
Todos os agentes envolvidos se sentiram confortáveis com
suas responsabilidades nesse modelo de gestão?
Área de processo
Dentro dessa área, faremos a mensuração racional dos recursos que
foram utilizados para que se alcançasse os objetivos. Por exemplo, a
correta infraestrutura do funcionamento dos recursos empregados no
projeto. Essa é uma suposição de que se os recursos cumpriram com
suas funções desejadas, então o projeto progredirá com maior eficiência
e, consequentemente, os objetivos serão atingidos com maior
facilidade. Alguns indicadores são mais comumente usados para a
avaliação da área de processo, veja:
O trabalho foi realizado dentro do prazo? Se não foram,
qual o motivo?
As tarefas foram bem definidas?
As tarefas foram bem cronometradas e sequenciadas?
As tarefas foram bem atribuídas para pessoas e equipes?
A atribuição de tarefas poderia ter ocorrido de outra
maneira?
Tarefas imprevistas tiveram que ser solucionadas? Por
quê? Elas foram resolvidas por completo?
Os prazos foram bem monitorados?
A equipe tinha conhecimento de como lidar com possíveis
desvios no cronograma?
Quais seriam as melhorias propostas para futuras
ocasiões?
Indicadores de avaliação do planejamento de produção 
Indicadores de avaliação dos recursos humanos 
A equipe de trabalho foi bem definida (número de pessoas,
treinamentos, perfis, deveres etc.)?
A coordenação do trabalho foi bem realizada? O que de
melhor e de pior foi identificado durante a coordenação?
A obtenção, a circulação de informações e a tomada de
decisões foram corretas?
As relações e coordenações com outras instituições e
equipes foram boas?
Os conflitos e desentendimentos foram resolvidos?
Isso poderia ter sido resolvido de outra maneira?
Quais as melhorias propostas para futuras ocasiões?
A comunicação foi implementada de forma a contribuir
para o sucesso das atividades? Os objetivos foram
atingidos como consequência?
O público-alvo foi o mais adequado?
Os planos eram coerentes com os princípios da instituição?
As mensagens, canais, instrumentos, quantidades e locais
funcionaram bem?
O patrocínio (caso haja) deu certo?
Algum outro tipo de comunicação poderia ter sido utilizado
para obtenção de melhores resultados?
Quais as melhorias propostas para futuras ocasiões?
Os trabalhos foram realizados em prol das atividades? O
que ocorreu de melhor e de pior?
Os incidentes foram resolvidos corretamente?
Indicadores de avaliação dos planos de comunicação 
Indicadores de avaliação da infraestrutura, logística e
exigências administrativas 
Quais podem ser as melhorias para futuras ocasiões?
O orçamento seguiu as com as receitas e despesas
planejadas? Por quê? A equipe está bem preparada para
agir a desvios no orçamento?
O plano de financiamento teve êxito?
Quais podem ser as melhorias para futuras ocasiões?
Área de impacto
Nessa área, mensuramos os resultados de longo prazo. Essa avaliação
não deve ser realizada pela própria equipe, mas sim por um supervisor
com uma perspectiva mais ampla sobre tudo que está envolvido no
projeto.
Um exemplo de medição é do aumento gradual e anual dos níveis de
leitura na cidade. Essa análise é realizada por meio de pesquisas sobre
os hábitos culturais e de dados sobre o uso de bibliotecas, resultados
das vendas de livrarias etc.
Aspectos substanciais dos
indicadores
Os indicadores devem apresentar determinadas características para que
sejam válidos para auxiliar os avaliadores. Na maioria dos casos,
podemos lançar mão do uso de indicadores comumente utilizados em
diversos tipos de avaliações, entretanto, para alguns casos em
particular, os indicadores devem ser específicos para cada projeto.
Esses indicadores, sejam de utilização usual ou específicos a um
projeto, devem apresentar os seguintes aspectos:
Indicadores de avaliação da gestão econômica e
financeira 
 Devem estar conectados aos objetivos
especí�cos e ao conteúdo do projeto
Os indicadores dependem dos objetivos traçados
durante o planejamento, podendo ter uma relação
direta, isto é, cada objetivo possui um indicador de
avaliação correspondente, ou uma relação com o
todo, o que significa que um grupo de objetivos
possuemum conjunto de indicadores
correspondentes.
 Devem estar atualizados
Os indicadores devem ser regularmente atualizados
dadas às mudanças no contexto, objetivos, equipes,
instrumentos e possibilidades de avaliação.
 Devem ser corrigidos antes do início da
implementação do projeto
Os indicadores devem auxiliar na avaliação e não o
contrário, eles têm o intuito de serem objetivos e
honestos, isto é, não devem ser aplicados
indicadores baseados nos resultados observados,
pois isso dará uma falsa impressão do sucesso ao
término do projeto, e levará a crer que o projeto
obteve êxito durante a sua realização.
 Devem ser objetivos e neutros
Os pontos a serem mensurados precisam ser
compartilhados por toda a equipe envolvida no
projeto, assim como a forma que o processo deve
ser feito, sem interpretações subsequentes, que
não contribuem com nada além de justificar as
õ l i bj ti ã f
razões pelas quais os objetivos não foram
alcançados ou demonstrar qual aspecto da
produção foi fraco. Para isso, devemos questionar
se a equipe tem plena certeza acerca das
mensurações dos indicadores aplicados ao projeto
e se estão aptas para identificar se os objetivos
realmente foram atingidos.
 Devem ser facilmente mensuráveis
Os indicadores devem ser checados quanto à
aplicabilidade, devendo ser úteis para a equipe.
Determinados indicadores até podem ser
interessantes, mas por serem difíceis de ser
mensurados não são plenamente úteis.
 Devem ser acessíveis, de acordo com os
recursos disponibilizados
Os indicadores, algumas vezes, mesmo parecendo
muito simples, podem ser extremamente caros para
implementação por completo, dados os recursos
disponíveis para a equipe, o que torna impossível de
produzir qualquer resultado real.
 Devem ser con�áveis
Os indicadores devem apresentar os mesmos
resultados quando mensurados mais de uma vez
para um mesmo contexto ou projeto.
 Devem ser sensíveis a qualquer mudança
no contexto
O i di d d d id tifi
O sistema SMART
Existe uma versão simplificada de definição de critérios que podem ser
aplicados para a determinação dos objetivos e para a elaboração e
escolha dos indicadores de avaliação chamada de sistema SMART. Mas
Os indicadores devem ser capazes de identificar
qualquer mudança, mínima que seja. Quando
estamos falando sobre projetos culturais,
frequentemente são realizados investimentos para
o desenvolvimento de pequenos hábitos nas
pessoas de toda uma população.
 Devem ter uma longa duração
Os indicadores devem ser comparáveis ao longo do
tempo ao avaliar um mesmo projeto para que
possíveis evoluções sejam identificadas,
especialmente quando o projeto possui um
horizonte de longo prazo.
 Devem ser comparáveis com indicadores de
outros projetos
Os indicadores, dentro do possível, devem
demonstrar características de natureza universal, o
que permite que um projeto seja comparado com
outros.
 Devem ser aprovados por terceiros
Os indicadores devem ser aprovados por agentes
externos ao projeto que atestarão a sua
autenticidade a qualquer momento.
por que SMART? Trata-se da tradução do inglês, que diz que os objetivos
devem ser:
Indicadores de avaliação de projetos
Neste vídeo, explicaremos como utilizar os indicadores na avaliação de
um projeto.
Speci�c
Específicos: claros, concretos e
detalhados.
Measurable
Mensuráveis, quantificáveis.
Achievable
Alcançáveis, com consenso.
Realistic
Realísticos: possíveis e
atingíveis.
Time constrained
Limitados ao tempo.

Falta pouco para atingir seus objetivos.
Vamos praticar alguns conceitos?
Questão 1
Os indicadores de avaliação são ferramentas destinadas a auxiliar a
análise do andamento dos projetos e a identificar se os resultados
se aproximaram dos objetivos traçados durante a fase de
planejamento. Cada área do projeto demanda indicadores
específicos para mensurar seus resultados. Em qual área do projeto
são necessários indicadores que examinem a quem devem ser
direcionadas as metas de um projeto?
Parabéns! A alternativa D está correta.
A Área de resultados
B Área de contexto
C Área de processo
D Área de definição
E Área de impacto
Na área de definição são elaborados e analisados os indicadores de
avaliação quanto à escolha do público-alvo.
Questão 2
Os indicadores de avaliação de projeto precisam apresentar
determinadas características, uma delas é de que os indicadores
devem ter sua autenticidade garantida, ou seja, devem ser
Parabéns! A alternativa E está correta.
Um dos aspectos exigidos é de que os indicadores contem com a
aprovação por terceiros, isto é, agentes externos ao projeto atestam
a autenticidade de tais indicadores.
A confiáveis.
B acessíveis.
C objetivos e neutros.
D de longa duração.
E aprovados por terceiros.
3 - Metodologia para avaliação de projetos desportivos
Ao �nal deste módulo, você será capaz de reconhecer a metodologia empregada na avaliação
de projetos desportivos.
Modelo lógico para avaliação e
hierarquia de objetivos
O modelo lógico
O primeiro passo para iniciar a avaliação e mensuração de um projeto
desportivo é estruturar um modelo lógico que contenha todas as
informações disponíveis quanto aos insumos, as atividades, ao produto
final e aos resultados esperados/encontrados.
O modelo lógico é muito útil durante o processo de planejamento e de
avaliação, pois é uma ferramenta com a qual é possível ilustrar
visualmente e analisar as relações entre os insumos, atividades,
produção e resultados. Além disso, oferece ainda o suporte para deixar
mais claros todos os propósitos e a racionalidade do projeto.
Por meio da análise do modelo lógico, fica mais fácil selecionar as
atividades e intervenções mais relevantes para alcançar o público-alvo,
bem como definir os melhores indicadores de avaliação de resultados.
É aconselhável que se inicie a elaboração do modelo lógico com a
definição sobre qual o resultado que se está objetivando alcançar.
Dessa forma, preenche-se o esquema de trás para frente, identificando
os resultados desejáveis e os produtos, atividades e insumos
necessários e mais relevantes para que se possa atingir esses
resultados.
Elementos constituintes do modelo lógico
A seguir, podemos ver, em ordem de verificação, os quatro elementos
utilizados no modelo lógico:
Insumos
Constituído por recursos
financeiros, recursos humanos,
instalações e equipamentos,
conhecimentos e especialização.
Atividades
Constituído por workshops,
sessões de prática de
exercícios/esportes, marketing e
divulgação, cursos de
capacitação e intervenções.
Produto �nal
Constituído por participantes e
produtividade, sessões
entregues e número de pessoas
treinadas.
Hierarquia dos objetivos
Hierarquizar os objetivos auxilia a definição dos indicadores de
resultados mais relevantes para avaliação do projeto e que poderão ser
usados para mensurar o seu respectivo impacto. Por meio desses
indicadores poderemos avaliar se o projeto alcançou os seus objetivos.
Essa hierarquia dos objetivos obedece aos seguintes passos:
Resultados
Constituído pelo aumento nos
níveis de atividade física,
melhora na oferta de atividades
esportivas, mudança nas
atitudes e melhoria na saúde das
pessoas.
 Definir os objetivos dos resultados primários, nos
quais devemos descrever os objetivos primários do
projeto e os de longo prazo. Então, respondermos à
pergunta: o que demostraria o sucesso na obtenção
desses resultados?
 Determinar os objetivos dos resultados
secundários. Nesse momento, dividimos os
objetivos primários em diferentes partes, e então
descrevemos o que pode ser alterado no projeto
para que os objetivos primários sejam entregues.
Novamente, faz-se o questionamento: o que
demostraria o sucesso na obtenção desses
resultados?
 Estabelecer os indicadores de resultados. Para
definir os indicadores, os objetivos secundários do
projeto são divididos em uma série de indicadores,
h i t d t d
Espera-se atingir alguns resultados mediante projetosdesportivos
relacionados, por exemplo, a elevar o bem-estar físico e o bem-estar
mental, ao desenvolvimento individual, social e comunitário, e ao
desenvolvimento econômico causado pelo projeto. A partir de
indicadores específicos, mensuramos os impactos dos resultados
atingidos por cada um dos objetivos e observamos se a meta definida
foi alcançada.
Métodos de coleta de dados para a
avaliação
Segundo Levermore (2011), para implementar o processo de avaliação
dos resultados de projetos desportivos e os respectivos impactos,
devemos coletar dados e informações durante o andamento e após a
finalização do projeto. Sabe-se que, assim como os indicadores, esses
dados podem ser de natureza tanto quantitativa quanto qualitativa.
Podemos coletá-los por meio de diversos métodos, conforme veremos a
seguir.
Registros de participação e atividades
São registros de participantes, das atividades praticadas e da
produtividade, incluindo a quantidade e a natureza das atividades, bem
como a demografia dos participantes (idade, sexo etc.).
Os registros de participação e atividades formam a base para avaliação
do processo, ajudando a garantir que um projeto seja planejado. Os
dados coletados permitem que quaisquer problemas sejam
identificados, levantados e abordados em um estágio inicial.
Como implementar?
que possuem um horizonte de curto prazo e devem
ser quantificáveis. As intervenções quantificadas
devem demonstrar o impacto causado pelos
resultados atingidos com os objetivos secundários
e primários do projeto.
Crie formulários e sessões de registro, além de quaisquer outras
ferramentas que precisar para registrar informações quanto às
atividades e aos participantes no início do projeto. É importante coletar
o máximo de informações possível, incluindo: detalhes da inscrição do
participante, número de atividades realizadas e horas despendidas,
participação do indivíduo em cada sessão (produtividade), demografia
dos participantes.
Pesquisas e questionários
Essas estratégias permitem que coletemos os dados de forma
relativamente rápida e fácil, realizando uma série de perguntas para um
grupo de pessoas, como participantes do projeto. Pesquisas podem ser
usadas para identificar comportamentos, opiniões e atitudes ao longo
do tempo, o que pode ser realmente útil para avaliar o impacto de um
fluxo de financiamento ou projeto. Pesquisas podem ser realizadas on-
line, por correio, pessoalmente ou por telefone.
Como elaborar os questionários?
Seja claro sobre o que se está tentando medir e os dados que precisa
coletar. Desenvolva um conjunto de perguntas simples, concisas e
fáceis de entender, e que fornecerão as informações necessárias. Caso
o objetivo das pesquisas seja a avaliação de impacto, pode ser
necessário realizar o mesmo levantamento no início e novamente ao
final do projeto, para que se possa identificar quaisquer mudanças que
ocorreram.
Entrevistas
Envolvem realizar uma série de perguntas a uma pessoa (ou a um
pequeno grupo) para obter informações detalhadas sobre um tópico
escolhido. Entrevistas podem ser realizadas pessoalmente, por telefone
ou on-line. Essa prática permite, a partir das respostas dos
entrevistados, que dados mais ricos sejam coletados sobre atitudes,
comportamentos e experiências.
Como realizar entrevistas?
Desenvolva um guia de perguntas flexível, de forma que todos os
entrevistados sejam questionados, mas que a discussão progrida
naturalmente. Faça perguntas abertas, que incentivem os entrevistados
a discutir um tópico em detalhes e explorar seus pensamentos e
sentimentos. Crie um ambiente confortável para que os entrevistados
estejam mais dispostos a se abrir e serem honestos.
Reuniões e conversas
Trata-se de um método informal de obtenção de informações acerca de
como um projeto está progredindo. Isso é, muitas vezes, negligenciado,
mas reuniões regulares e conversas com a equipe e outras partes
interessadas podem levantar questões, resultados inesperados e
aprendizados que podem ser registrados e alimentar a avaliação do
processo. Falar com os participantes também pode fornecer uma visão
de como a entrega do projeto poderia ser melhorado.
Como fazer ?
Inicialmente, identifique quem são as pessoas mais importantes para
conversar, agende reuniões ou reserve tempo para falar com elas.
Especifique tópicos importantes e estruture reuniões ou conversas em
torno dessas áreas de discussão. Aproveite para documentar o que é
discutido para que as conclusões das reuniões e conversas possam
alimentar a avaliação do processo.
Grupo focal
São discussões em grupo, envolvendo 6 a 12 pessoas, que
compartilham atitudes semelhantes ou características
comportamentais. Executado por um facilitador, permite que as
discussões se desenvolvam, com todos sendo encorajados a dar suas
opiniões. Fornece dados ricos e qualitativos sobre as atitudes,
comportamentos de um grupo de pessoas e sobre ideias acerca de um
determinado tópico.
Como montar um grupo focal?
Identifique um facilitador e desenvolva um guia de discussão para
fornecer uma estrutura. Recrute participantes divididos em grupos entre
6 e 12 pessoas, com base em suas características atitudinais ou
comportamentais. Faça com que os grupos se sintam o mais
confortáveis e naturais possível. Grave a conversa do grupo ou tenha
alguém tomando notas (de preferência não o facilitador) sobre as
discussões que estão ocorrendo.
Diários
É uma forma de coletar dados qualitativos, pedindo aos indivíduos que
mantenham um registro de suas experiências e sentimentos ao longo de
um período de tempo. Os diários dos participantes podem ser
estruturados ou não estruturados, dependendo dos tipos de dados
necessários. A principal vantagem do uso de diários é que as
experiências são registradas à medida que acontecem, então há menos
dependência de relembrar os fatos.
Como criar os diários?
Encontre ou recrute participantes que se sintam confortáveis em manter
um diário sobre as atividades ou eventos que estão participando.
Desenvolva uma estrutura de diário, podendo usar perguntas específicas
ou um conjunto de tópicos que atendam a uma diretriz geral que se
deseja que os participantes escrevam sobre. Reserve tempo para
analisar os dados.
Dados e estatísticas o�ciais
Uma variedade de organizações coleta e publica dados e estatísticas
que podem ser utilizados na mensuração e avaliação. Organizações
públicas produzem dados sobre uma série de tópicos, incluindo
atividade física, saúde e bem-estar. Muitas estatísticas oficiais possuem
dados regionais ou de autoridade local, por isso fornecem informações
sobre tendências estatísticas locais.
Como escolher os dados?
Depois de identificar os objetivos do seu projeto, realize algumas
pesquisas para ver se algumas estatísticas oficiais podem ser usadas
como medidas relevantes para os resultados que você está tentando
alcançar. Use a versão de dados mais recente como uma linha de base.
Futuras versões podem ser então monitoradas para que se avalie as
tendências dentro da localidade onde o projeto está operando.
Análise �nanceira e econômica
Trata-se de um método de coleta de dados usados para medir e avaliar
o sucesso de resultados financeiros ou econômicos. Fornece dados que
permitem o uso de análises financeiras comumente utilizadas como
uma análise custo-benefício. Muitas vezes envolve uma variedade de
outros métodos de coleta de dados, como pesquisas e grupos focais,
em que devemos coletar dados que podem ser convertidos ou
expressos em termos monetários.
Como implementar essa análise?
Defina os resultados financeiros pretendidos no início do projeto. Seja
claro sobre como o sucesso será medido e se um modelo financeiro
(por exemplo, análise custo-benefício) será usado para essa
mensuração. Identifique os dados necessários para calcular o valor
financeiro do projeto e desenvolva as ferramentas necessárias para
coletar esses dados.
Metodologia para mensuração e
avaliação de projetos desportivosNeste vídeo, explicaremos como desenvolver um modelo lógico de
planejamento.

Falta pouco para atingir seus objetivos.
Vamos praticar alguns conceitos?
Questão 1
Um modelo lógico é elaborado para facilitar a visualização de todos
os componentes que fazem parte do planejamento de um projeto,
desde os insumos aos resultados. Recomenda-se iniciar o modelo
lógico de trás para frente, ou seja, primeiro devemos definir os
resultados e então estabelecer tudo o que for necessário para que
eles sejam alcançados. Qual das opções a seguir representa os
resultados esperados característicos de projetos desportivos e que
precisam ser avaliados?
Parabéns! A alternativa A está correta.
A prática de esportes gera inúmeros benefícios para a sociedade,
promovendo a educação e o respeito. O esporte também pode
oferecer novas oportunidades de carreira para seus praticantes que
podem gerar retornos profissionais e econômicos.
Questão 2
Para realizar a avaliação de projetos desportivos, é necessário ter à
disposição informações e dados relativos aos resultados obtidos
pelo projeto. Para isso, é realizada a coleta de dados, que pode
ocorrer de diversas maneiras. Qual o método que envolve
informações colhidas por organizações que têm como sua principal
função a coleta de dados?
A Desenvolvimento social, comunitário e econômico.
B
Elevação da acessibilidade a equipamentos
eletrônicos.
C Queda do consumo de drogas.
D Aumento da frequência escolar.
E Controle da obesidade.
A Análise financeira e econômica.
Parabéns! A alternativa C está correta.
Diversas organizações coletam e publicam dados e estatísticas que
podem ser utilizados na avaliação de um projeto desportivo. Elas
geram dados sobre uma série de tópicos, incluindo atividade física,
saúde e bem-estar.
Considerações �nais
Vimos durante o estudo a importância da avaliação de projetos, de
modo a obter informações claras sobre se o projeto foi bem planejado,
se os elementos planejados estão sendo bem executados e,
principalmente, se as metas traçadas foram alcançadas.
Os indicadores de avaliação são ferramentas que auxiliam os
avaliadores envolvidos no projeto a terem a clareza de que o projeto foi
bem encaminhado ou se é necessária alguma alteração, para que então
os resultados desejados sejam alcançados.
Podcast
B Diários.
C Dados e estatísticas oficiais.
D Reuniões e conversas.
E Entrevistas.

Ouça neste podcast uma revisão dos principais assuntos estudados
aqui.
Explore +
Confira as indicações que separamos para você!
Para maiores esclarecimentos sobre indicadores de avaliação de
projetos culturais, pesquise o artigo Indicadores culturais: para usar
sem medo, de José Carlos Durand publicado na Revista Observatório
Itaú Cultural, n. 4, p. 39–43, 2008.
Leia o artigo Indicadores de gestão de esporte e lazer da cidade de
Eldorado do Sul/RS, de Daiane dos Reis Gonçalves e Vera Maria da
Rocha, para obter informações mais detalhadas sobre como os
indicadores estudados são aplicados na prática de uma avaliação de um
projeto desportivo. O artigo foi publicado na Revista Arquivos em
Movimento, v. 6, n. 1, p.58–80, jan./jun. 2010.
Leia o artigo Evaluating sport projects which promote social inclusion
for young people: a case study, de Caterina Gozzoli e outros autores,
publicado na Revista Iberoamericana de Psicología del Ejercicio y del
Deporte, v. 8, n. 1, p. 145-163, 2013.
Referências
BOULMETIS, J; DUTWIN, P. The ABCs of evaluation: Timeless
techniques for program and project managers. [S. l.]: John Wiley & Sons,
2014.
CARMAN, J. G. Evaluation practice among community-based
organizations: Research into the reality. American Journal of Evaluation,
v. 28, n. 1, p. 60–75, 2007.
LEVERMORE, R. Evaluating sport-for-development: Approaches and
critical issues. Progress in Development Studies, v. 11, n. 4, p. 339–353,
2011.
Material para download
Clique no botão abaixo para fazer o download do
conteúdo completo em formato PDF.
Download material
O que você achou do conteúdo?
Relatar problema
javascript:CriaPDF()