Prévia do material em texto
MÉTODOS DE PESQUISA APLICADOS À GESTÃO PÚBLICA Professor Dr. Éder Rodrigo Gimenes GRADUAÇÃO Unicesumar Acesse o seu livro também disponível na versão digital. C397 CENTRO UNIVERSITÁRIO DE MARINGÁ. Núcleo de Educação a Distância; GIMENES, Éder Rodrigo. Métodos de Pesquisa Aplicados à Gestão Pública. Éder Rodrigo Gimenes. Maringá-Pr.: Unicesumar, 2019. Reimpressão 2020 224 p. “Graduação - EaD”. 1. Métodos. 2. Pesquisa Aplicada. 3. Gestão Pública 4. EaD. I. Título. ISBN 978-85-459-1776-2 CDD - 22 ed. 001.42 CIP - NBR 12899 - AACR/2 Ficha catalográica elaborada pelo bibliotecário João Vivaldo de Souza - CRB-8 - 6828 Impresso por: Reitor Wilson de Matos Silva Vice-Reitor Wilson de Matos Silva Filho Pró-Reitor Executivo de EAD William Victor Kendrick de Matos Silva Pró-Reitor de Ensino de EAD Janes Fidélis Tomelin Presidente da Mantenedora Cláudio Ferdinandi NEAD - Núcleo de Educação a Distância Diretoria Executiva Chrystiano Minco� James Prestes Tiago Stachon Diretoria de Graduação e Pós-graduação Kátia Coelho Diretoria de Permanência Leonardo Spaine Diretoria de Design Educacional Débora Leite Head de Produção de Conteúdos Celso Luiz Braga de Souza Filho Head de Curadoria e Inovação Tania Cristiane Yoshie Fukushima Gerência de Produção de Conteúdo Diogo Ribeiro Garcia Gerência de Projetos Especiais Daniel Fuverki Hey Gerência de Processos Acadêmicos Taessa Penha Shiraishi Vieira Gerência de Curadoria Carolina Abdalla Normann de Freitas Supervisão de Produção de Conteúdo Nádila Toledo Coordenador de Conteúdo Eder Rodrigo Gimenes Designer Educacional Patrícia Ramos Peteck Projeto Gráico Jaime de Marchi Junior José Jhonny Coelho Arte Capa Arthur Cantareli Silva Ilustração Capa Bruno Pardinho Editoração Arthur Murilo Heicheberg Qualidade Textual Jaqueline Mayumi Ikeda Loureiro Ilustração Bruno Pardinho Em um mundo global e dinâmico, nós trabalhamos com princípios éticos e proissionalismo, não so- mente para oferecer uma educação de qualidade, mas, acima de tudo, para gerar uma conversão in- tegral das pessoas ao conhecimento. Baseamo-nos em 4 pilares: intelectual, proissional, emocional e espiritual. Iniciamos a Unicesumar em 1990, com dois cursos de graduação e 180 alunos. Hoje, temos mais de 100 mil estudantes espalhados em todo o Brasil: nos quatro campi presenciais (Maringá, Curitiba, Ponta Grossa e Londrina) e em mais de 300 polos EAD no país, com dezenas de cursos de graduação e pós-graduação. Produzimos e revisamos 500 livros e distribuímos mais de 500 mil exemplares por ano. Somos reconhecidos pelo MEC como uma instituição de excelência, com IGC 4 em 7 anos consecutivos. Estamos entre os 10 maiores grupos educacionais do Brasil. A rapidez do mundo moderno exige dos educa- dores soluções inteligentes para as necessidades de todos. Para continuar relevante, a instituição de educação precisa ter pelo menos três virtudes: inovação, coragem e compromisso com a quali- dade. Por isso, desenvolvemos, para os cursos de Engenharia, metodologias ativas, as quais visam reunir o melhor do ensino presencial e a distância. Tudo isso para honrarmos a nossa missão que é promover a educação de qualidade nas diferentes áreas do conhecimento, formando proissionais cidadãos que contribuam para o desenvolvimento de uma sociedade justa e solidária. Vamos juntos! Seja bem-vindo(a), caro(a) acadêmico(a)! Você está iniciando um processo de transformação, pois quan- do investimos em nossa formação, seja ela pessoal ou proissional, nos transformamos e, consequente- mente, transformamos também a sociedade na qual estamos inseridos. De que forma o fazemos? Crian- do oportunidades e/ou estabelecendo mudanças capazes de alcançar um nível de desenvolvimento compatível com os desaios que surgem no mundo contemporâneo. O Centro Universitário Cesumar mediante o Núcleo de Educação a Distância, o(a) acompanhará durante todo este processo, pois conforme Freire (1996): “Os homens se educam juntos, na transformação do mundo”. Os materiais produzidos oferecem linguagem dialógi- ca e encontram-se integrados à proposta pedagógica, contribuindo no processo educacional, complemen- tando sua formação proissional, desenvolvendo com- petências e habilidades, e aplicando conceitos teóricos em situação de realidade, de maneira a inseri-lo no mercado de trabalho. Ou seja, estes materiais têm como principal objetivo “provocar uma aproximação entre você e o conteúdo”, desta forma possibilita o desenvolvimento da autonomia em busca dos conhe- cimentos necessários para a sua formação pessoal e proissional. Portanto, nossa distância nesse processo de cresci- mento e construção do conhecimento deve ser apenas geográica. Utilize os diversos recursos pedagógicos que o Centro Universitário Cesumar lhe possibilita. Ou seja, acesse regularmente o Studeo, que é o seu Ambiente Virtual de Aprendizagem, interaja nos fó- runs e enquetes, assista às aulas ao vivo e participe das discussões. Além disso, lembre-se que existe uma equipe de professores e tutores que se encontra dis- ponível para sanar suas dúvidas e auxiliá-lo(a) em seu processo de aprendizagem, possibilitando-lhe trilhar com tranquilidade e segurança sua trajetória acadêmica. A U T O R Professor Dr. Éder Rodrigo Gimenes Doutor em Sociologia Política pela Universidade Federal de Santa Catarina (UFSC), com Mestrado em Ciências Sociais pela Universidade Estadual de Maringá (UEM). Segundo Líder do grupo de pesquisa “Cultura Política, Comportamento e Democracia” (UEM/CNPq), pesquisador do “Núcleo de Pesquisas em Participação Política” (NUPPOL - UEM). Professor permanente do Programa de Pós-Graduação em Ciências Sociais e colaborador do Programa de Pós-Graduação em Políticas Públicas da UEM, docente dos cursos de Gestão Pública e de Gestão das Organizações do Terceiro Setor no Centro Universitário de Maringá (UniCesumar), com experiência no ensino presencial e à distancia para cursos de graduação e de pós-graduação e ministração de disciplinas sobre métodos e técnicas de pesquisa no curso de graduação em Gestão Pública e nos Programas de Pós-Graduação em Ciências Sociais e em Políticas Públicas. É autor de capítulos, de artigos publicados em periódicos nacionais e internacionais, do livro “Eleitores e partidos políticos na América Latina” e organizador das coletâneas “Participação política e democracia no Brasil contemporâneo”, “Comportamento político e opinião pública: estudos sobre Brasil e América Latina” e “Poder legislativo e cultura política: valores, atitudes, trajetória e comportamento político dos vereadores e vereadoras do Estado de Santa Catarina”. Atua também como parecerista junto a periódicos nacionais e internacionais, tem experiência na organização e análise de dados quantitativos e desenvolve pesquisas relacionadas a comportamento político e opinião pública, principalmente nos seguintes temas: atitudes e valores políticos, comportamento político, participação política e partidarismo. Desenvolve, ainda, cursos e atividades de extensão relacionados à metodologia quantitativa de análise de dados e atualmente cursa a Especialização em Docência no Ensino Superior: Tecnologias Educacionais e Inovação no UniCesumar. Currículo Lattes disponível em: <http://lattes.cnpq.br/1358973527170925>. SEJA BEM-VINDO(A)! O campo da Gestão Pública é caracterizado por normas, leis, processos, sistemas de ges- tão e um amplo conjunto de aspectos que remetem à burocracia. É também um campo que tem cada vez mais se pautado pela necessidade e pela recorrência de inovação. Nesse contexto, aos proissionais que atuam na área cabe mais do que o desempenho de funções e atividades relacionadas à gestão pública, mas também o desenvolvimento de habilidades e conhecimentos que lhes permitam se tornarem analistas e pesquisa- dores, uma vez que a realidade social se revela multifacetada, de modo que cabe aos gestorespúblicos o cuidado com recursos, demandas e políticas que atendam à popu- lação e ao bem público. Este material didático tem o objetivo de contribuir ao aprimoramento de tais habilida- des, competências e conhecimentos, por meio da exposição de temáticas relacionadas aos métodos de pesquisa que podem ser utilizados no campo da Gestão Pública. A obra em questão apresenta os diferentes métodos de pesquisa existentes, bem como técnicas que conformam aos métodos e, ainda, a perspectiva de estabelecimento de diálogos entre as diferentes maneiras de como as pesquisas podem ser estruturadas. Para tanto, a primeira unidade de estudos trata do campo de atuação e de pesquisa em gestão pública e reúne elementos referentes ao conceito e à estrutura de pesquisa e às deinições de população, de censo e de amostragem. As unidades seguintes se referem à apresentação de métodos e à discussão sobre téc- nicas de pesquisa distintas, sendo que a segunda unidade do livro trata de aspectos qualitativos e a terceira unidade reúne elementos quantitativos de pesquisa. Para cada tema, há análises de exemplos e são oferecidas possibilidades de pesquisa. A quarta unidade de estudo versa sobre a complexidade referente à realização de pesquisas, para que sejam apresentadas considerações a im de que futuros gestores públicos compreendam que métodos e técnicas de pesquisa podem ser utilizadas de maneira combinada ou conjunta. Nesse sentido, na referida unidade, são abordados as- pectos sobre estudos de casos e sobre a triangulação de métodos e técnicas aplicadas ao âmbito da gestão pública. Por im, a quinta unidade de estudos diz respeito a aspectos que tangenciam as pes- quisas em gestão pública de modo geral, independentemente de métodos ou técnicas utilizadas, individualmente ou em conjunto. Nesse sentido, os tópicos apresentados di- zem respeito a aspectos éticos gerais relacionados à gestão pública e especíicos com relação à realização de pesquisas e referentes à apresentação de resultados de pesquisa, com foco na construção de relatórios. De modo geral, a expectativa deste material de estudos não é de formar especialistas em métodos e técnicas de pesquisas, mas de contribuir para que os gestores públicos em formação se tornem proissionais com peril que possibilite a investigação, uma vez que o conhecimento acerca de métodos e técnicas pode contribuir para a melhor per- cepção dos proissionais quanto aos caminhos necessários e/ou adequados para a reso- lução de questões ou problemas. APRESENTAÇÃO MÉTODOS DE PESQUISA APLICADOS À GESTÃO PÚBLICA Assim, a própria disciplina é, se pensarmos no curso de Gestão Pública como um todo, parte de um caminho maior que conduzirá cada um à realidade social e prois- sional futura. Que seja um caminho de desaios, mas também de construção cons- tante de conhecimento! APRESENTAÇÃO SUMÁRIO 09 UNIDADE I A PESQUISA 14 Introdução 15 O Campo de Atuação e de Pesquisa em Gestão Pública 20 Conceito e Estrutura de Pesquisa 29 População, Censo e Amostragem 42 Considerações Finais 49 Referências 51 Gabarito UNIDADE II O MÉTODO DE PESQUISA QUALITATIVA 54 Introdução 55 Conceito de Pesquisa Qualitativa 64 Técnicas e Instrumentos de Coleta de Dados Qualitativos 78 Técnicas de Análise de Dados Qualitativos 85 Considerações Finais 92 Referências 95 Gabarito SUMÁRIO 10 UNIDADE III O MÉTODO DE PESQUISA QUANTITATIVA 98 Introdução 99 Conceito de Pesquisa Quantitativa 106 Técnicas e Instrumento de Coleta de Dados Quantitativos 124 Técnicas de Análise de Dados Quantitativos 151 Considerações Finais 158 Referências 161 Gabarito UNIDADE IV TRIANGULAÇÃO DE DADOS 164 Introdução 165 A Complexidade da Pesquisa 169 Estudo de Caso 174 Triangulação de Métodos na Gestão Pública 184 Considerações Finais 191 Referências 193 Gabarito SUMÁRIO 11 UNIDADE V TÓPICOS ESPECIAIS SOBRE A PESQUISA EM GESTÃO PÚBLICA 196 Introdução 197 Ética Proissional e na Pesquisa em Gestão Pública 202 Relatórios de Pesquisas em Gestão Pública: Contexto e Referencial 207 Relatórios de Pesquisas em Gestão Pública: Resultados e Conclusões 216 Considerações Finais 222 Referências 223 Gabarito 224 CONCLUSÃO U N ID A D E I Professor Dr. Éder Rodrigo Gimenes A PESQUISA Objetivos de Aprendizagem ■ Conhecer os campos em que os gestores públicos atuam e nos quais podem desenvolver pesquisas. ■ Compreender o que é e quais aspectos compõem uma pesquisa. ■ Desenvolver a percepção sobre tamanhos e potencialidades de investigação a partir da deinição dos objetos de análise. Plano de Estudo A seguir, apresentam-se os tópicos que você estudará nesta unidade: ■ O campo de atuação e de pesquisa em gestão pública ■ Conceito e estrutura de pesquisa ■ População, censo e amostragem INTRODUÇÃO Por que a pesquisa é importante na gestão pública? Como realizá-la? Tais perguntas são centrais à primeira unidade de estudos desta disciplina. Nossa expectativa é de que possamos percorrer juntos o caminho que nos levará ao conhecimento necessário para responder essas questões e outras que serão destacadas nas próximas unidades de estudos. Para tanto, nosso primeiro contato com a temática parte de uma aproxima- ção entre os métodos de pesquisa e o campo de formação em que dialogamos. Nesse sentido, iniciamos esta unidade de estudos com esboços de possibilida- des de campos em que os gestores públicos podem desenvolver pesquisas, com a inalidade de otimizar sua atuação proissional e de contribuir para a melhor uti- lização de recursos públicos de ordem inanceira, humana, material e de tempo. Na sequência, avançamos no sentido de dialogar de maneira mais efetiva sobre o universo da pesquisa, com vistas à compreensão do conceito, da estru- tura e dos aspectos mais relevantes à sua realização, tendo sempre como objetivo aliar a explanação teórica com exemplos que ilustrem o debate. Seguindo a mesma perspectiva, a terceira seção desta unidade de estudos se debruça sobre um dos aspectos mais relevantes à realização de pesquisas, de modo geral, que tem consequências relevantes quanto à sua observação no âmbito da gestão pública: o conjunto de casos que será considerado como objeto de análise da pesquisa. Tendo em vista que tal deinição inluencia não apenas a maneira como investigamos um problema ou situação, mas também o alcance e as possibilida- des de melhorias de processos e/ou de resultados de políticas públicas, o gestor público precisa ter clareza sobre o que compõe uma população e uma amostra, a im de deinir a abordagem mais adequada a cada pesquisa. Bons estudos! Introdução R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 15 A PESQUISA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IU N I D A D E16 O CAMPO DE ATUAÇÃO E DE PESQUISA EM GESTÃO PÚBLICA A gestão pública compõe o campo de atuação, de conhecimento e de produ- ção de pesquisas, cujos resultados têm capacidade de efetivação direta sobre a realidade social, uma vez que se trata do âmbito em que o Estado atua no desen- volvimento de ações que podem contribuir para alterações positivas nas vidas dos indivíduos e na coletividade. De acordo com Teixeira, Zamberlan e Rasia (2008), um bom gestor público precisa ter conhecimento sobre sua área de atuação, bem como habilidades e competências que lhe permitam tomar decisões de maneira rápida e precisa. Para tanto, conhecer o ambiente em que desenvolve suas atividades e os esco- pos e as temáticas a ele relacionados é essencial. A pesquisa em gestão pública encontra-se nesse contexto. A realização de pesquisas no âmbito da gestão pública pode contemplar dis- tintos objetivos e temas, assim como pode atender a diferentes públicos. Nesse sentido, faz-se importantedestacar as potencialidades da pesquisa na área antes de avançarmos, neste livro, na discussão acerca de métodos e técnicas de coleta e de análise de dados e informações. O Campo de Atuação e de Pesquisa em Gestão Pública R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 17 É relevante que os gestores públicos busquem o conhecimento daquilo que diz respeito ao seu campo de atuação. Para tanto, é preciso saber lidar com ques- tões econômicas, jurídicas e administrativas ou organizacionais. Sobre aspectos econômicos, a realização de análises de conjuntura e de prospecção são centrais aos gestores públicos, os quais precisam ter em mãos, para a melhor tomada de decisões, dados e informações de ordem macro e microeconômica, como taxas e indicadores de desemprego, desempenho da economia, dívida pública e vul- nerabilidade social, por exemplo. No que tange ao campo da legislação, os fundamentos constitucionais das políticas públicas, da administração pública, da responsabilidade civil dos entes estatais e das relações estabelecidas no âmbito intergovernamental são relevan- tes, assim como aspectos de ordem administrativa, organizacional e burocrática, como o conhecimento sobre debilidades e necessidades com relação ao conjunto de servidores, de serviços e de infraestrutura do ente público. Outro foco de preocupação dos gestores públicos deve ser a consecução de sua atuação para além dos aspectos burocráticos, para que o conhecimento sobre o planejamento de ações que busquem uma gestão social e o desenvolvimento local sejam prementes. Compreender o que são e quais são os métodos de pla- nejamento estratégico, seus instrumentos legais — Plano Plurianual (PPA), Lei de Diretrizes Orçamentárias (LDO), Lei do Orçamento Anual (LOA) e a Lei de Responsabilidade Fiscal — que permitem avançar na qualiicação do trabalho dos gestores e nas competências dos órgãos públicos em que exercem suas atividades. Todos os fatos, registros, estatísticas, fenômenos, processos ou percepções são considerados dados. As informações são dados organizados com vistas a responder especiicamente às questões de pesquisa. Ambos podem ser apurados em função da própria pesquisa (dados e informações primárias) ou ser coletados junto a publicações, dados oiciais ou outras fontes que coletaram-nos com outras inalidades (dados e informações secundárias) Fonte: Antonio Carlos Gil . A PESQUISA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IU N I D A D E18 Pesquisar sobre como realizar o planejamento e a execução das ações, con- tudo, supera o conhecimento acerca da legislação e deve ser construído sob a perspectiva do desenvolvimento territorial, uma vez que não são raros no Brasil os consórcios intermunicipais e entre esferas de governo para a consecução da gestão social. Em tal contexto, tem se destacado o debate sobre o empoderamento de comunidades e a expansão da visibilidade de pautas relacionadas a temas ambientais e de direitos de grupos especíicos, como mulheres, negros, indíge- nas, homossexuais, deicientes e idosos, por exemplo. As relações entre Estado e formas de ação coletiva — associativismo, movimentos sociais e organizações da sociedade civil — também competem às pesquisas pelos gestores públicos. Ademais, em sendo as políticas públicas os mecanismos por meio dos quais os direitos sociais previstos no texto constitucional se efetivam (GIMENES, 2018), a gestão pública deve atentar-se ao seu desenvolvimento e desempenho, uma vez que tais políticas contribuem para a realização do objeto do Estado em buscar o atendimento de coletividades no regime democrático. Assim, a avaliação das políticas públicas implementadas e a disseminação de informações são essen- ciais ao mesmo propósito democrático. O Campo de Atuação e de Pesquisa em Gestão Pública R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 19 Nesses termos, estudos sobre a formação da agenda pública, os processos de tomadas de decisões e suas consequentes implementações e monitoramento também são objetos de pesquisa ao gestor público. Em outras palavras, signiica airmar que acompanhar os ciclos de políticas públicas e investigar necessidades e debilidades nas áreas dessas políticas demandam atuação ativa dos gestores. Além da estrutura e das perspectivas de funcionamento do poder público, os gestores precisam, ainda, atentar-se aos desaios que se colocam ao seu tra- balho, para o que a realização de pesquisas também contribui, uma vez que o conjunto de envolvidos nos processos oscila, em alguma medida, por conta da circulação de indivíduos que não pertencem à carreira pública, mas são nomea- dos para cargos ou funções de acordo com o grupo político que ocupa os postos eletivos do Executivo e do Legislativo. Para além do luxo de indivíduos, é preciso considerar também a luidez com que informações, técnicas e legislações são alteradas ou reformuladas, bem como ter em mente que a população tem se revelado cada vez mais ativa em termos de engajamento social, tendo em vista a expansão das instituições participati- vas, como conselhos de políticas públicas, audiências públicas, conferências de políticas públicas, planos diretores e orçamentos participativos, por exemplo. A internet e a disseminação de valores democráticos, ao longo dos anos, têm reforçado a necessidade, à gestão pública, de atuação em redes com outros entes estatais, de estabelecimento de parcerias com empresas e com organiza- ções da sociedade social e de utilização do ciberespaço para uma gestão social responsável e transparente. Por im, uma última temática para a realização de pesquisas no âmbito da gestão pública tem relação com o campo do ensino superior. Estudar, pesqui- sar, discutir e apresentar propostas de otimização e adequação da gestão social à gestão pública é alvo de debates, para além do espaço burocrático tradicional em que se realiza a temática, de modo que muitos pesquisadores têm contribu- ído ao avanço do conhecimento sobre a gestão pública a partir de pesquisas nas universidades e centros universitários. Nesse sentido, destacam-se os cursos de graduação em gestão pública, admi- nistração pública e políticas públicas, bem como programas de pós-graduação nessas mesmas áreas, tanto em modalidades acadêmicas quanto proissionais. As A PESQUISA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IU N I D A D E20 pesquisas decorrentes de tais espaços investigam programas e políticas públicas, tanto com relação à sua composição quanto aos seus efeitos sobre a realidade social e seu papel e inluência na conformação da rede pública de atendimento às demandas da população. Um exemplo que ilustra as pesquisas acadêmicas que tratam de gestão pública é a relação entre a ampliação do número de vagas ao ensino superior e as políti- cas públicas que permitem o maior ingresso da população com condições sociais de menor privilégio. De um lado, tem-se programas e projetos, como o Exame Nacional do Ensino Médio (ENEM), o Sistema de Seleção Uniicada (SiSU) e as cotas sociais e raciais, que ampliam o acesso de estudantes à educação supe- rior, assim como o Fundo de Financiamento Estudantil (FIES) e o Programa Universidade para Todos (PROUNI) para que estudantes com baixa renda pos- sam inanciar ou mesmo cursar gratuitamente um curso de graduação. Por outro lado, há pesquisas realizadas no âmbito das instituições de ensino que recebem tais alunos, as quais investigam a qualidade da educação, os meca- nismos que constrangem ou contribuem para a permanência dos estudantes beneiciados pelas mencionadaspolíticas públicas na universidade e a necessi- dade de maior democratização da educação e de ampliação da capacitação da população (GIMENES, 2018). É nesse contexto que este curso de graduação em Gestão Pública se insere. Nas próximas seções e unidades de estudo deste material didático, trataremos de aspectos relacionados à consecução de pesquisas, coleta e análises de dados, com vistas a atender as necessidades e temáticas aqui destacadas. Que motivações os movem, enquanto gestor público em processo de for- mação, a pesquisar soluções para determinadas demandas ou problemas que se colocam a sua atuação no âmbito do Estado? Conceito e Estrutura de Pesquisa R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 21 CONCEITO E ESTRUTURA DE PESQUISA Tendo em vista a relevância e a diversidade de possibilidades e perspectivas à rea- lização de pesquisas no campo da gestão pública, é preciso compreender quais são os elementos que permeiam sua elaboração. Nesse sentido, a presente seção trata de tipos de conhecimento, da deinição de pesquisa, da relação estabele- cida entre problema e objetivo, da deinição de dados e de informações e dos elementos que nos permitem construir cenários para planejar e executar ações de gestão social e de políticas públicas. Em se tratando dos tipos de conhecimento, há duas classiicações recorren- tes. A primeira diz respeito ao conhecimento de modo geral, enquanto a segunda refere-se especiicamente à classiicação do conhecimento no âmbito da gestão. Com relação à primeira classiicação, Teixeira, Zamberlan e Rasia (2008, p. 19) airmam que as principais formas especíicas de conhecimento atualmente reconhe- cidas são relexos das várias fases da evolução da vida em sociedade e da própria humanidade, das formas de concepção da realidade e de entendimento na busca da verdade. Nesse sentido, os referidos autores se iliam a Lakatos e Marconi (1991) em sua classiicação de tipos de conhecimento, quais sejam: popular, religioso, ilosóico A PESQUISA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IU N I D A D E22 e cientíico. O tipo que podemos denominar como mais simples ou menos com- plexo seria o conhecimento popular, também denominado empírico, vulgar ou o senso comum, que consistiria no conjunto de crenças e informações que acu- mulamos ao longo da vida, sem preocupação direta com atos relexivos ou com investigações. O conhecimento religioso ou teológico tem como premissa a busca por ver- dades absolutas, que seriam aquelas que somente a fé seria capaz de explicar. Tal conhecimento não seria passível de veriicação, uma vez que a religião seria sua explicação, de modo que, levado ao limite, haveria o argumento de que os valo- res religiosos são incontestáveis. O conhecimento ilosóico tem como premissa a relação do homem com seu cotidiano, analisada sob a perspectiva crítica e relexiva, porém sem preocupação com a efetivação dessa relação, o que signiica que é um tipo de conhecimento que considera especulações da relação entre o homem e seu cotidiano, sem pre- ocupação com veriicar como essa relação, de fato, ocorre. Por im, o conhecimento cientíico destoa dos demais tipos por conta de sua caracterização como falível, real e veriicável. É um tipo de conhecimento que emerge a partir de dúvidas e que pode ser comprovado concretamente, já que é passível de investigação, veriicação e replicação por meio de métodos e técni- cas de coleta de dados, de análise e de interpretação de resultados. Na prática, esses tipos de conhecimento não necessariamente são veriicáveis de maneira completamente desconexa, o que signiica que em vários momentos podemos nos deparar com situações em que aspectos do senso comum, religio- sos ou ilosóicos e cientíicos são mobilizados para explicar algum fenômeno ou processo político, social ou cultural. A discussão, contudo, que propomos nesta disciplina, se insere no contexto da formação educacional de nível superior, a qual está circunscrita no campo de estudos cientíicos e nos conduz a discutir a gestão pública e as potencialidades de otimização da atuação de seus agentes sob a perspectiva cientíica. Para tanto, nosso foco recai sobre a pesquisa e sobre como sua realização pode contribuir para alterar a realidade social em que os gestores sociais desen- volvem sua atividade proissional, uma vez que autores como Demo (1993), Minayo (1994), Cervo e Bervian (2002) e Gil (2008) deinem pesquisa como Conceito e Estrutura de Pesquisa R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 23 atividade básica da ciência, que se desenvolve pela indagação e pela descoberta da realidade. De acordo com Demo (1993, p. 128), “pesquisa signiica o diálogo crítico e criativo com a realidade, culminando na elaboração própria e na capacidade de intervenção [...]”, ou seja, a pesquisa diz respeito às atividades que são realizadas com o objetivo de solucionar problemas, sejam de ordem teórica ou prática, com o emprego de métodos cientíicos. Para realizar tal intento, Teixeira, Zamberlan e Rasia (2008) airmam que são utilizados métodos de pesquisa — dedutivo, indutivo, hipotético-dedutivo, fenomenológico e dialético —, os quais descre- vem de maneira sucinta. Proposto por autores racionalistas, como René Descartes, Baruch Spinoza e Gottfried Wilhelm Leibniz, o método dedutivo parte do pressuposto de que somente a razão seria capaz de nos conduzir ao conhecimento verdadeiro e busca explicar o que constituiria a verdade a partir de raciocínios organizados em uma cadeia (ou seja, com relações) lógica e descendente, tendo como início um aspecto geral e avanços no sentido de aspectos mais especíicos ou particu- lares, até que seja atingida uma conclusão. Por sua vez, o método indutivo tem estrutura de composição inversa, pois parte- -se de elementos especíicos ou particulares para a interpretação daquilo que seria geral. Nesse sentido, autores empiristas como Francis Bacon, homas Hobbes, John Locke e David Hume defenderam que o conhecimento seria fundamentado nas experiências, sem considerar princípios pré-estabelecidos, o que signiica que, para tais pensadores, a generalização seria resultado de constatações parti- culares e derivaria da observação de casos da realidade concreta. O silogismo remete a uma construção lógica na qual, a partir de duas pre- missas com grau de generalidade ou especiicidade distinta, é possível che- gar a uma conclusão, por meio do estabelecimento de uma relação lógica entre as premissas anteriores. Fonte: o autor. A PESQUISA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IU N I D A D E24 O método hipotético-dedutivo, também conhecido como positivista, tem em Karl Popper seu principal autor, que defendia uma perspectiva de realiza- ção de pesquisas a partir de testes de hipóteses. Segundo tal método, diante de determinado problema ou questão, são formuladas hipóteses sobre como supe- rar a situação, a partir das quais testa-se suas eventuais consequências a im de conirmá-las ou refutá-las. Segundo Figueiredo Filho et al. (2013), o positivismo pode ser deinido por sua busca pela generalização ou pelo estabelecimento de explicações que res- pondam à complexidade da realidade social de maneira objetiva. Nesse sentido, Della Porta e Keating (2008, p. 23) expõem que, para o método positivista, “[...] o mundo existe de forma objetiva, de forma independente do pesquisador, sendo possível conhecer integralmente a realidade. O objetivo do pesquisador é des- crever e analisar essa realidade [...]”. Assim, o método hipotético-dedutivo busca, ao mesmo tempo, arefutação de hipóteses ou soluções possíveis para um problema e também a produção de explicações generalizáveis ou completas sobre os problemas, de modo que é pau- tado pela ideia de falseabilidade de hipóteses, ou seja, de testar se determinada consequência possível é falsa para os casos analisados e, a partir deles, tratar tal hipótese como falsa para os demais. Pautada por uma construção de raciocínio totalmente distinta dos demais métodos apresentados anteriormente, a fenomenologia — que tem em Edmund Husserl seu principal expoente — tem preocupação com a descrição da experiên- cia, situação ou fenômeno tal como se apresenta. A premissa do método é de que a realidade não é única, mas, ao contrário, tão múltipla ou multifacetada quanto forem as interpretações, as compreensões, as comunicações e as relações huma- nas, já que o conhecimento é conformado pelos indivíduos e suas interações. Por im, o último método destacado é o dialético, fundamentado na teoria de Georg Wilhelm Friedrich Hegel, que se apresenta como método de interpre- tação dinâmica da realidade, que consistiria em uma sequência de contradições (nas palavras de Hegel, mas que podemos pensar como situações-problema), que geram novos pensamentos e outras contradições, as quais passam a reque- rer soluções. Tendo em vista que tais contradições não ocorreriam em um vácuo, teriam que ser considerados sempre os aspectos que inluenciam uma situação, Conceito e Estrutura de Pesquisa R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 25 ou seja, aspectos que podem ser de natureza social, política, econômica, cultu- ral, ambiental, tecnológica etc. De acordo com Teixeira, Zamberlan e Rasia (2008, p. 29), na sua função de desvendar, os métodos não estão sozinhos, eles têm sido apoiados em seus principais passos por técnicas ou procedimen- tos cientíicos reconhecidos como instrumentos, ou seja, os meios ou táticas para assegurar que a investigação (descoberta, aprendizado, so- luções, invenção) seja bem realizada e seus resultados reconhecidos. Assim, conhecidos os distintos métodos que podem ser considerados para a reali- zação de uma pesquisa, é possível avançar ao entendimento de que, à medida que se desenvolvem o conhecimento e os problemas, faz-se necessário utilizar técnicas especíicas para superar as inquietações e promover melhorias na gestão pública. De acordo com Gil (2008), a consecução de uma pesquisa implica em atender a determinados aspectos. Neste material didático, optou-se tratar tal abordagem de maneira metafórica, considerando a pesquisa como um caminho a ser percorrido. O início do caminho seria a identiicação de um problema, de uma neces- sidade a ser atendida ou de um aspecto a ser melhor investigado. No campo da gestão pública, essa identiicação seria a constatação de que um procedimento ou técnica não tem gerado resultados adequados, que um setor tem sido alvo de reclamações recorrentes ou que uma política pública ou ação social é deici- tária em termos de atendimento à população, por exemplo. A partir da identiicação do problema, o passo seguinte é reletir sobre como superá-lo. Para tanto, cabe aos pesquisadores (os gestores públicos, neste caso) buscarem informações que permitam estabelecer hipóteses ou mesmo delinear com maior exatidão qual o objetivo a ser atingido. Em outras palavras, o segundo A dialética hegeliana parte da ideia de ciência como tríade tese — antítese — síntese, na qual a tese é uma posição inicial, a antítese diz respeito às con- tradições e a síntese seria a relexão acerca da relação entre tese e antítese. A PESQUISA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IU N I D A D E26 passo seria delimitar com maior clareza qual é o problema, o que se faz tendo em consideração que, a depender da especiicidade da questão e do conhecimento anteriormente produzido sobre o tema, há três diferentes níveis a estabelecer: a exploração, a descrição ou a causalidade (KOTLER, 2007). O primeiro nível para a projeção e realização de uma pesquisa é a exploração. Como o próprio termo indica, tal nível de pesquisa é permeado pela aproxima- ção mais básica de um pesquisador com relação ao objeto, o que signiica que a pesquisa exploratória é recomendada aos gestores públicos quando se encon- tram em face de uma questão ou problema sobre a qual nada sabem. É preciso que o gestor público, contudo tenha em mente que uma abordagem explorató- ria é básica no sentido de que se trata de uma busca inicial por caminhos para a ação, hipóteses a ser testadas ou mesmo pela identiicação de alternativas para solução de situações, mas é extremamente rica em termos de resultados, já que pode estabelecer prioridades para pesquisas posteriores. De acordo com Gil (2008), para a realização de pesquisas exploratórias são empregadas mais comumente técnicas, como levantamento bibliográico, entre- vistas e coleta de dados junto a órgãos oiciais (relatórios técnicos, legislação e outros documentos) ou especíicos e, ainda, a websites. Especialmente com rela- ção à última técnica, cabe destacar como exemplos as páginas de organizações da sociedade civil (OSCs), redes sociais (como Facebook e Twitter), blogs e pági- nas, nas quais usuários de serviços podem se manifestar com relação à qualidade do que lhes é oferecido. Um exemplo de pesquisa exploratória relacionada à gestão pública é a inves- tigação cientíica promovida pela socióloga Walquíria Leão Rêgo e pelo ilósofo Alessandro Pinzani em regiões consideradas bolsões de pobreza no Brasil, entre os anos de 2006 e 2011, quando entrevistaram e realizaram observação partici- pante entre populações beneiciárias do Programa Bolsa Família. Diferentemente de outras pesquisas que revelaram resultados mensurados por meio de dados oiciais, Rêgo e Pinzani (2013) constataram resultados que pesquisas desenvolvi- das apenas com base em dados e estatísticas não foram capazes de captar, como os rendimentos do referido programa, para além de contribuir inanceiramente com o desenvolvimento da família e dos efeitos positivos decorrentes da trans- versalidade do programa, revelaram também a construção do sentimento de Conceito e Estrutura de Pesquisa R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 27 cidadania e de autonomia pelas beneiciárias, ainda que de maneira frágil com relação ao conteúdo de tais conceitos. Assim, a pesquisa que originou a premiada obra “Vozes do Bolsa Família” foi exploratória por conta da inédita iniciativa de acompanhar o cotidiano de beneiciárias de um programa social ao longo do tempo e dos resultados que gerou. Quando se conhece ao menos minimamente uma situação, fenômeno ou problema é possível a consecução de uma pesquisa descritiva, que consiste na realização de uma análise sobre as características de determinada população, de um fenômeno e/ou de possíveis caminhos explicativos acerca de eventuais deli- neamentos ou relações entre aspectos. Segundo Teixeira, Zamberlan e Rasia (2008), a pesquisa descritiva pode ser realizada em diferentes situações, como: Descrever as características de grupos especí�cos, como benefíciários de políticas públicas ou programas sociais ou ainda de servidores de determinada área de atuação. Estimar a parcela de uma população que está sujeita a determinado problema ou em condição de vulnerabilidade com relação a certa especi�cidade de atuação do Estado. Conhecer as percepções da população, dos bene�ciários, dos servidores ou dos gestores públicos sobre a caracterização e os resultados de certa política ou programa social. Figura 1 - Aplicabilidade da pesquisa descritiva em diferentes situações Fonte:Teixeira, Zamberlan e Rasia (2008). A PESQUISA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IU N I D A D E28 Em se tratando de técnicas para coleta de dados, pesquisas descritivas permitem considerar diversas possibilidades, como a realização de entrevistas, observação participante, grupos focais, surveys e painéis. Uma análise descritiva que se apresenta como ilustrativa desse nível de pes- quisa é o artigo de Tavares e Alves (2015), que realizaram uma análise sobre indicadores de gastos públicos com a educação básica em municípios de uma região da Paraíba, para a qual se basearam em amplo conjunto de dados oiciais e de análise documental. Após detida a investigação sobre tais informações e a comparação com dados e documentos referentes ao restante do estado, os autores constataram que a região dos municípios do Cariri Ocidental tem desempenho mais elevado com relação aos gastos públicos destinados à educação básica do que as demais regiões paraibanas. O terceiro nível de pesquisa é a explicativa, também conhecida como causal. Tal tipo de investigação é pautada pela identiicação de fatores que condicionam, são determinantes ou contribuem para que determinada situação ou problema se mani- feste ou, em contrapartida, para que certo efeito positivo ou favorável seja estabelecido. Nesse sentido, conforme destacam Machado e Silva (2007), pesquisas explicativas permitem o aprofundamento do conhecimento a respeito da realidade social. De modo geral, esse nível de pesquisa é pautado pela busca de identiicação de causalidade a partir de três condições (FIGUEIREDO FILHO etal., 2013): 3 condições para a pesquisa explicativa 1ª Existência de relações entre variáveis, de modo que a ocorrência de um fenômeno não seja independente da ocorrência de outro, ou seja, é necessário que um determinado problema, situação ou questão tenha relação com outro aspecto, para que se possa investigar em que medida tal relação ocorre e como um aspecto in�uencia outro. 2ª Conceito e Estrutura de Pesquisa R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 29 2ª Precedência ou antecedência temporal, o que signi�ca que o fato/problema que explica outro deve ter ocorrência anterior – uma condição lógica e até mesmo intuitiva. 3ª Não espuriedade da relação, o que seria indicativo de que há relação entre as variáveis e esta possui explicação temporal, de modo que a terceira condição seria consequência da existência combinada das condições anteriores. Figura 2 - As três condições para a pesquisa explicativa Fonte: Figueiredo Filho et al. (2013). Pesquisas que buscam estabelecer relações causais são pautadas majoritariamente por análises quantitativas, mas também é possível buscá-la por meio de técnicas qualitativas de pesquisa, como será detalhado em unidades de estudos posterio- res. Como exemplo de análises de causalidade, destaco a tese de Nóbrega Junior (2010), que identiicou quais fatores são causas ou se encontram fatores associa- dos aos homicídios na região Nordeste e, ainda, o relevante papel das políticas públicas de segurança, sendo que, quando tais políticas são eicientes e eicazes há redução, ou ao menos o controle dos homicídios. A despeito da classiicação em três níveis de pesquisa, é preciso destacar que as investigações, tanto no âmbito cientíico quanto da gestão pública e demais áreas, não necessariamente se pautam por apenas um nível, sendo que ao longo do tempo e conforme são obtidos mais dados e informações, consequentemente, mais se conhece o problema, situação ou política que carece de análises, mais aprofundadas podem se tornar as investigações, análises, resultados e seus efei- tos sobre a realidade pública. O terceiro passo da pesquisa seria seu delineamento, o que perpassaria enten- dermos o que compõe o conjunto de variáveis a ser analisada. Nesse momento, os gestores públicos podem se deparar com múltiplas possibilidades de objetos a serem investigados, como relatórios e documentos, outros gestores e servidores, processos e procedimentos burocráticos ou de políticas públicas, a percepção da população ou ainda combinações entre esses distintos aspectos. Após conhecer, ainda que minimamente, um problema, reletir sobre o tipo de análise possível — se exploratória, descritiva ou causal — e delinear o objeto a ser analisado, é possível avançar para a deinição da população-objeto da investi- gação, elaborar os instrumentos para coleta de dados, realizar tal coleta, analisar e interpretar os resultados e produzir relatórios. A PESQUISA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IU N I D A D E30 Nesta unidade de estudos, nos deteremos ao passo de delimitação do objeto da análise, de modo que serão abordados tópicos acerca dos conceitos de popu- lação, censo e amostragem na próxima seção. A elaboração dos instrumentos por meio dos quais a coleta de dados pode ocorrer e as possibilidades de análise e interpretação dos resultados serão contemplados nas unidades de estudos 2, 3 e 4, de maneira detalhada e minuciosa, ao passo que a produção de relatórios é foco de nossa quinta e última unidade de estudos. POPULAÇÃO, CENSO E AMOSTRAGEM A realização de uma pesquisa tem, na dei- nição da população a ser analisada, um de seus mais decisivos passos, uma vez que a maneira como a coleta de dados será con- duzida, as análises serão realizadas, os resultados inais e as consequentes altera- ções que podem ser propostas a determinada realidade social, no caso da gestão pública, decorrem dessa escolha. Pensar a relevância de deinir como a população será abordada por meio de cri- térios de seleção implica, por outro lado, também em determinar o impacto inanceiro, a necessidade de treinamento e a disponibilidade de recursos humanos, o tempo disponível para a pesquisa e a clareza acerca dos resultados esperados e de como apresentá-los, especialmente no caso de políticas públicas. Isto posto, cabe esclarecer que o objeto de investigação de uma pesquisa diz respeito ao conjunto de casos a ser analisados. Casos são as unidades de men- suração daquilo que pretendemos analisar, o que signiica que a determinação da natureza dos casos dependerá, invariavelmente, da inalidade da pesquisa ou do problema que o gestor público busca responder. População, Censo e Amostragem R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 31 Alguns exemplos de situações-problemas que necessitam de distintas deter- minações de casos a ser investigados são apresentados a seguir: ■ A necessidade de avaliação dos usuários acerca de adequações em uma ação, programa ou política pública como etapa de monitoramento e/ou avaliação da política pública, precisa ser considerado como unidade de análise os indivíduos que são beneiciários daquilo que se procura inves- tigar, de modo que cada caso corresponderia a um cidadão entrevistado. ■ A elaboração de diretrizes para o funcionamento de uma política pública no âmbito municipal e as possibilidades de diálogo entre os Poderes Executivo e Legislativo com o conselho municipal de uma área especí- ica de intervenção pode ser perpassada pela análise das atas de reuniões dos conselhos e conferências em outras instâncias (estadual ou distrital e federal), a im de subsidiar a identiicação de parâmetros de ação a ser adotada de maneira semelhante também na esfera local, o que signiica que cada caso a ser analisado seria uma ata. ■ Diante de questionamento do Ministério Público sobre o atendimento das solicitações dos cidadãos, uma prefeitura pode ser instada a apresentar informações sobre aresolução de problemas, os quais comunicados por meio da Ouvidoria pública, uma possibilidade seria a solicitação a cada secretaria de governo que encaminhasse um relatório sobre as chamadas iniciadas via Ouvidoria e quais as providências tomadas, o que faria das secretarias municipais os casos a serem analisados. Considerando tais exemplos, percebemos situações-problemas em que os casos têm unidades de mensuração diferentes, ou seja, em que a constituição das popu- lações a serem consideradas é distinta, de modo que “população é o conjunto de elementos para os quais desejamos que as nossas conclusões sejam válidas — o universo de nosso estudo” (BARBETTA, 2011, p. 15). A população (também conhecida como universo) é, então, a totalidade do grupo de casos passíveis de investigação para que o gestor público possa solu- cionar uma questão, seja a identiicação de um problema ou sua correção. A depender, contudo, de aspectos como método adotado e o nível de conheci- mento para a realização da pesquisa — anteriormente abordados nesta unidade de estudos — e, ainda, de domínio técnico e de aspectos relacionados a recur- sos humanos, inanceiros, materiais e de tempo, faz-se necessário optar pela A PESQUISA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IU N I D A D E32 maneira como tal população será abordada. A abordagem da população tam- bém é tratada como “cobertura” e pode ser realizada de duas formas: por meio de pesquisas censitárias ou amostrais. A realização de uma pesquisa censitária implica na cobertura da totalidade da população a ser investigada, de modo que o censo diz respeito à investiga- ção de todos os elementos de uma população. Assim, os resultados de um censo dizem respeito àquilo que se pretendeu captar com a pesquisa (salvo erros na deinição dos objetivos de investigação, que serão abordados nas unidades pos- teriores deste livro), uma vez que a totalidade de resultados corresponderia à totalidade do universo sob investigação, ou seja, seriam resultados exatos, com margem de erro nula. O maior exemplo de pesquisa censitária no âmbito público brasileiro é a reali- zação do Censo pelo Instituto Brasileiro de Geograia e Estatística (IBGE), quando são coletados dados sobre a totalidade dos brasileiros por meio de coletas de dados nos domicílios. O Censo brasileiro foi realizado pela primeira vez em 1872, tem periodicidade decenal e teve sua última aplicação (até o momento) em 2010. Em termos de efeitos, os dados censitários permitem ao Governo Federal, a outros entes públicos estatais e não estatais (como as organizações da sociedade civil) e a agentes do mercado conhecer a realidade da população brasileira com relação a sua composição sociodemográica, utilização, necessidade e acesso a políticas públicas e perspectiva de consumo. Assim, os resultados do Censo podem contribuir para a elaboração ou adequação de políticas públicas, por exemplo. Enquanto a grande qualidade da pesquisa censitária é a possibilidade de conhecer um universo de maneira geral, o principal empecilho ou característica negativa deste tipo de pesquisa é o fato de que pode oferecer muitos custos em se tratando de recursos humanos, inanceiros, materiais e do tempo envolvido na pesquisa, cujas etapas são, no mínimo, de elaboração do instrumento de coleta de dados, treinamento de equipe, coleta de dados, monitoramento da coleta, tabulação e análise dos dados e produção de relatórios. Nesse sentido, o censo é mais recomendado entre universos pequenos ou em casos nos quais o desenho amostral se revela complexo e extenso, como discutido na sequência desta seção. Diante de universos grandes e complexos e/ou de diiculdades relaciona- das à estrutura ou tempo disponível, não raras vezes, as pesquisas são realizadas População, Censo e Amostragem R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 33 tendo como objeto apenas parcelas da população a ser investigada. Tais parcelas constituem recortes da população e são denominadas amostras, cuja composi- ção depende de critérios a ser considerados para tal seleção. De acordo com Barbetta (2011), uma amostra diz respeito à coleta de dados entre uma parte da população que compõe o objeto de pesquisa. O autor apre- senta de maneira didática tal conceito: A amostragem é naturalmente usada em nossa vida diária. Por exem- plo, para veriicar o tempero de um alimento em preparação, podemos provar (observar) uma pequena porção. Estamos fazendo uma amos- tragem, ou seja, extraindo do todo (população) uma parte (amostra), com o propósito de termos uma ideia (inferirmos) sobre a qualidade de tempero de todo o alimento (BARBETTA, 2011, p. 41). Nesse sentido, em comparação com o censo, uma pesquisa amostral tem como vantagens a economia e rapidez, enquanto apresenta como principal ponto nega- tivo a redução da precisão dos resultados, uma vez que assume-se a existência de uma margem de erro em pesquisas amostrais. Parâmetros são medidas que descrevem as características dos casos em um universo. Estimativas são valores calculados com base na amostra para ava- liar parâmetros. Além do Censo, o IBGE realiza coletas anuais de dados entre amostras da população nacional por meio da Pesquisa Nacional por Amostras de Domi- cílios (PNAD) desde 1967, com as inalidades de gerar informações entre os períodos censitários e aprofundar a investigação sobre temas investigados de maneira insuiciente ou não abordados pelo Censo. Fonte: IBGE ([2018], on-line)¹. A PESQUISA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IU N I D A D E34 Em se tratando de aspectos relacionados ao processo de planejamento amostral, Malhotra (2001) discorreu sobre os estágios pertinentes a este aspecto, dentre os quais são relevantes a esta exposição a escolha da técnica amostral e a deter- minação do tamanho da amostra. Com relação ao primeiro aspecto, Teixeira, Zamberlan e Rasia (2008, p. 93) airmam que “a decisão mais importante sobre esta escolha diz respeito a utilizar amostragem probabilística ou não-probabilística”. Nesta apresentação, iniciemos pelo segundo tópico. As amostras não-probabilísticas são pautadas pelo julgamento do pesquisa- dor, que seleciona os casos que comporão a análise a partir de critérios arbitrários ou inconscientes, sendo que tal amostragem pode gerar resultados mais expres- sivos, caso já sejam conhecidos, em alguma medida, a população e o problema a ser investigado. Dentre as técnicas de amostragem não-probabilística, três são destacadas neste estudo: AMOSTRAGEM POR CONVENIÊNCIA É o tipo de amostragem mais simples, uma vez que decorre das escolhas do pesquisador a partir da conveniência com que tem acesso a indivíduos, locais, documentos ou outro objeto de pesquisa. Nesse sentido, tem como pontos positi- vos o fato de consumir menos tempo e menos recursos por conta da seleção rápida. Por outro lado, Teixeira, Zamberlan e Rasia (2008, p. 94) atentam para a limi- tação da utilização de tal critério: “estão presentes muitas fontes potenciais de tendenciosidade da seleção, inclusive a auto-seleção dos entrevistados. As amos- tras por conveniência não são representativas de qualquer população”. Isto posto, é salutar reforçar que os resultados decorrentes de uma pesquisa realizada com amostragem por conveniência não podem ser generalizados para a população, especialmente por conta dessa possibilidade de enviesamento da composição amostral. População, Censo e Amostragem R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 35 AMOSTRAGEM POR COTAS Diferentemente da amostragem por conveniência, a amostragempor cotas parte de critérios especíicos para sua composição, de modo que o desenho amostral é construído em dois momentos: o primeiro momento é de identiicação de carac- terísticas relevantes a ser consideradas como critérios para seleção dos casos; o segundo momento diz respeito à seleção dos casos para análise, tendo em vista a observação dos critérios. São múltiplas as dimensões que podem constituir critérios para determina- ção desse tipo de amostra, sendo que a deinição de quais dimensões, categorias ou características que devem ser consideradas decorre dos passos anteriores da elaboração da pesquisa, os quais foram abordados nas seções preliminares a esta. Isso signiica que os “iltros”, pelos quais a população de casos será ava- liada para deinição da amostra, depende das informações que os pesquisadores (os gestores públicos, neste caso) foram capazes de reunir de maneira explora- tória, descritiva ou causal. De acordo com Teixeira, Zamberlan e Rasia (2008, p. 96), “sob certas condi- ções, a amostragem por cotas proporciona resultados próximos aos da amostragem probabilística convencional”, já que pode ser utilizada de modo a conferir maior semelhança entre os peris da população e da amostra com relação às categorias deinidas como centrais para a avaliação. AMOSTRAGEM TIPO BOLA-DE-NEVE Essa modalidade de amostragem é realizada em pesquisas nas quais há diicul- dade para encontrar a população que precisa ser investigada e se caracteriza pela solicitação, àqueles que forem identiicados, de que indiquem novos casos para a investigação. Isso signiica que o ponto inicial da pesquisa pode ser um único caso e as coletas de dados subsequentes dependem de indicações (seja de pes- soas ou por meio de documentos) sobre novos componentes do universo que possam ser entrevistados. A PESQUISA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IU N I D A D E36 Teixeira, Zamberlan e Rasia (2008, p. 96) airmam que este processo pode ser executado em ondas sucessivas, obtendo-se in- formações a partir de dados, o que nos leva a um efeito de ‘bola-de-ne- ve’. O objetivo principal da amostragem tipo bola-de-neve é estimar características raras na população. Nesse sentido, os autores apresentam um exemplo de situação e que tal técnica de amostragem pode ser aplicável na gestão pública, diante da perspectiva de ação pública para construção de um espaço especíico destinado à prática de espor- tes radicais por “motoqueiros” ou “jipeiros”, é importante a prefeitura conhecer a opinião desse grupo sobre local e condições adequadas, mas, por outro lado, é difícil identiicar tais indivíduos entre o conjunto dos cidadãos, de modo que a identiicação e indicação de um indivíduo por outro contribui em muito para a realização da pesquisa. Avançando de um exemplo relacionado aos cidadãos para uma ilustração sob a perspectiva institucional, podemos nos colocar diante da demanda, enquanto gestores públicos, de propor a criação de um órgão especíico para gestão dos conselhos municipais de políticas públicas. Em algumas cidades, há organismos conhecidos como “casa dos conselhos” ou “casa de conselhos”, responsáveis pelas atividades burocráticas relacionadas às referidas instituições participativas. As informações sobre os conselhos (como existência, documentos, composição etc.), contudo não são amplamente acessíveis no Brasil (LÜCHMANN; ALMEIDA; GIMENES, 2016), de modo que as “casas” possuem, ainda, menor visibilidade. Nesse contexto, uma estratégia para que o pesquisador/gestor público tome conhecimento sobre os procedimentos, legislação, estrutura e funcionamento das “casas de conselhos” seria, a partir do contato com a primeira, solicitar ajuda para estabelecer contato com outra ou outras. Apesar de conigurar uma interessante estratégia amostral, a bola-de-neve pode conduzir a resultados tendenciosos, uma vez que os investigados sabem quais os objetivos e o conteúdo da pesquisa antes de indicarem outros à parti- cipação, de modo que existe a possibilidade de informarem apenas indivíduos ou instituições que coadunem com suas opiniões ou com seu desenho estrutu- ral, nos casos dos exemplos anteriores. População, Censo e Amostragem R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 37 Cabe, nestes casos, ao pesquisador lançar seu olhar atento às indicações, sendo que, diante de ausência de dissonâncias, pode incitar o respondente a indicações de casos discrepantes ou mesmo conlitantes com relação às suas características ou reiniciar o processo de bola-de-neve com a busca de um novo caso que “dis- pare” outro conjunto de coleta de dados a ser investigados. As amostras probabilísticas decorrem de seleções ao acaso, com chance de que todos os elementos pertencentes ao universo possam compor a amostra e, ainda que seja possível, estabelecer inferências ou projeções à totalidade da popu- lação. Três técnicas de amostragem probabilística se destacam: AMOSTRAGEM ALEATÓRIA SIMPLES Técnica que considera a possibilidade igual e conhecida de que todos os elemen- tos que compõem um universo possam fazer parte da amostra a ser selecionada. Nesse sentido, é mais indicada para populações homogêneas, ou seja, com dis- tribuição de características em proporções semelhantes. Para tanto, a amostra aleatória simples é extraída por meio de um sorteio, de modo que antes da seleção do primeiro caso, todas as unidades que formam o universo têm a mesma chance de ser sorteadas. Após o sorteio do primeiro elemento que irá compor a amostra, todos os demais elementos concorrem ao novo sorteio com igual chance de serem selecionados, e assim sucessivamente. De acordo com Teixeira, Zamberlan e Rasia (2008, p. 97), “este método equi- vale a um sistema de loteria em que todos os nomes (população) são colocados em uma urna, a urna é agitada e os nomes dos ganhadores (amostra) são extra- ídos de maneira não tendenciosa”. AMOSTRAGEM ESTRATIFICADA Um estrato corresponde a um segmento no interior de uma população, de modo que uma amostra estratiicada é uma amostra cuja composição respeita deter- minada característica distintiva. A expectativa é de dividir uma população em A PESQUISA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IU N I D A D E38 subgrupos homogêneos sob determinado aspecto (estrato) de maneira que entre os estratos seja veriicada heterogeneidade (BARBETTA, 2011). A estratiicação, não raras vezes, é o primeiro momento de deinição de uma amostra, sendo acompanhada, em momento posterior, pela determinação dos casos a partir de seleção aleatória simples. Um exemplo desta combinação é o conjunto de dados de opinião pública produzido ao redor do mundo por insti- tutos de pesquisa, como o World Values Survey (WVS) e o Comparative Study of Electoral Systems (CSES), que realizam coletas de dados junto a amostras repre- sentativas de populações nacionais de maneira periódica, as quais permitem conhecermos o peril, as opiniões e percepções dos indivíduos acerca de questões relacionadas a aspectos sociodemográicos, de participação política, coniança em instituições como aquelas do poder público, fontes e frequência com que se informam, avaliação e demandas por políticas públicas etc. Majoritariamente, pesquisas com amostras representativas nacionais uti- lizam como critérios deinidores (estratos) os percentuais de distribuição dos indivíduos por sexo, faixa etária e área de residência — região geográica, área rural ou urbana e ainda capital, região metropolitana ou município do interior. Nesse sentido, os resultados de pesquisas que combinam amostragem estra- tiicada com amostragem aleatória simples permitem aos pesquisadores produzir inferênciascomplexas, como: ■ Como homens e mulheres percebem a importância do cuidado com a saúde, uma vez que há resultados de pesquisas que apontam que as mulhe- res são mais cuidadosas e atenciosas com sua saúde do que os homens. ■ Em que medida jovens de diferentes etnias e faixas de renda se relacio- nam com a educação formal e com o mercado de trabalho nas diferentes regiões, tentando entender se a relação entre necessidade de geração de renda combinada com evasão escolar atinge negros e brancos e de dife- rentes classes sociais da mesma maneira em todo o país. ■ Quais os efeitos da disseminação de notícias sobre o combate à corrupção entre segmentos da população que dispõem de distintos níveis cognitivos (capacidade de interpretar informações) e de acesso aos meios de comu- nicação, com vistas a investigar se tal percepção tem estimulado a maior coniança nas instituições políticas por conta das investigações ou tor- nado os cidadãos mais descrentes com relação à ética na política. População, Censo e Amostragem R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 39 AMOSTRAGEM POR CONGLOMERADOS A amostragem por conglomerados é utilizada especialmente em situações em que há informações que revelem a existência de grupos homogêneos entre si, mas heterogêneos em sua composição interna. Nesses casos, mais relevante do que investigar o conjunto dos grupos seria selecionar alguns desses grupos para analisá-lo internamente (TEIXEIRA; ZAMBERLAN; RASIA, 2008). Assim, a amostragem por conglomerados é uma técnica muito utilizada por ser econômica e prática, já que a deinição de grupos ou conglomerados especí- icos a ser investigados torna mais ágil o processo de coleta de dados. Deinido um conglomerado, o passo seguinte é determinar se a pesquisa será realizada em um ou dois estágios: caso haja um único estágio, todas as unidades do conglomerado devem ser investigadas; caso haja dois estágios, no interior do conglomerado, deve ser realizada nova amostragem, cuja técnica para determi- nação variará de acordo com os interesses do pesquisador/gestor público. No caso de amostragem por conglomerado em dois estágios, a seleção toma o con- junto dos casos alocados no grupo como universo para redeinição amostral. É importante perceber que são múltiplas as possibilidades de análises e de investigações, mas, mais do que ilustrar formas e combinações de técnicas amostrais, é preciso que os gestores públicos tenham em mente que qualquer fenômeno, problema, situação ou questão pode ser investigado. A deinição da investigação passa por dois critérios: a seleção de técnicas para coletas de dados — se quantitativas ou qualitativas — e a determinação do tamanho da amostra. As técnicas, conforme anteriormente mencionado, serão abordadas nas próximas unidades de estudos, enquanto o tamanho da amostra varia de acordo com o tipo de amostragem e a técnica a ser utilizada. Por exemplo, a amostragem tipo bola-de-neve combinada com a técnica de entrevistas semi-estruturadas ou não-estruturadas podem ser utilizadas até a exaustão das informações, ou seja, até que os resultados da coleta de dados não mais apresentem novos elementos para a análise e tenham em seu conteúdo ape- nas repetições ou reformulações das mesmas informações. À exceção de especiicidades que serão destacadas quando pertinentes, a exaustão é utilizada para pesquisas qualitativas e a deinição de tamanhos de A PESQUISA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IU N I D A D E40 amostras para pesquisas quantitativas, com destaque àquelas cujas amostras são probabilísticas. Uma questão que recorrentemente se coloca aos pesquisadores diz respeito ao número de casos necessários à composição amostral, ou seja, o tamanho da pesquisa. Teixeira, Zamberlan e Rasia (2008, p. 99) destacam alguns fatores que devem ser considerados pelos gestores públicos quanto a determinação do tama- nho da amostra: ■ A importância da decisão (quanto mais importante, menor deve ser a margem de erro). ■ A natureza da pesquisa. ■ Os tamanhos das amostras usadas em estudos semelhantes (o ideal é você procurar identiicar outras pesquisas feitas no mesmo setor para veriicar quantos, em média, foram pesquisados). ■ Taxas de preenchimento (muitas vezes, há pesquisas em que o grau de recusa é muito elevado). ■ Restrições de recursos (se há poucos recursos, a tendência é a amostra ser menor e a margem de erro maior). De acordo com Barbetta (2011), o tamanho da amostra varia também em con- formidade com o quanto o pesquisador admite que pode se equivocar em sua investigação, ou seja, o erro amostral tolerável. A menos que uma pesquisa seja censitária, sempre haverá possibilidade de existência de erro, uma vez que a infe- rência sobre resultados decorrentes de análises amostrais para um universo, não necessariamente (ou, para ser mais exato, provavelmente nunca), reletirá a tota- lidade do resultado que seria encontrado pelo censo. Com relação à intensidade do erro amostral tolerável, não há um parâmetro único estabelecido, uma vez que as especiicidades com relação aos problemas e objetos de pesquisas demandam distintos níveis de exatidão, por conta dos efei- tos que podem provocar. Por exemplo, pesquisas relacionadas à produção de vacinas devem conside- rar possibilidades ínimas de erros, pois o controle de doenças epidêmicas é uma das principais preocupações em saúde pública. Exames clínicos, por sua vez, não População, Censo e Amostragem R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 41 devem, em hipótese alguma, ser analisados de maneira amostral (independen- temente de tamanho de erro), pois se tratam de diagnósticos sobre a condição de saúde dos indivíduos. Em situação completamente distinta, mas com necessidade de erro amos- tral mínimo possível, temos também as obras públicas, cujas consequências de falhas estruturais podem culminar em desabamentos e prejuízos não apenas às inanças públicas, mas também resultar em perda de vidas. Por outro lado, a avaliação sobre o desempenho do serviço público ou de seus gestores não necessariamente carece de extremo rigor com relação ao erro amostral, uma vez que para sabermos qual a percepção da população com relação a determinado aspecto no âmbito do Estado podemos admitir que estimativas entre parcelas da população representem, em grande medida, a opinião geral. O exemplo mais recorrente sobre o tema nos remete às pesquisas de inten- ção de voto para eleições. É comum, ao apresentar os resultados de pesquisas que buscam estimar em quem os eleitores votariam nas próximas eleições, que o texto ou a fala do interlocutor contenham informações de que o percentual indicado pode variar “para mais ou para menos”. Essa indicação de variação, nas pesquisas de intenção de votos, costuma oscilar entre 2 a 3% correspon- dente ao erro amostral. Diante do exposto, o cálculo do tamanho da amostra depende, invariavel- mente, do estabelecimento do erro amostral tolerável. Neste livro, nos deteremos a informar como proceder o cálculo básico de tamanho de amostra tendo em vista um erro amostral determinado. É, contudo, imprescindível que o estabe- lecimento do tamanho e da técnica de amostragem sejam conduzidos por um proissional com conhecimento e competência especíica para tanto, no caso, um conhecimento estatístico. Quando não se conhece o tamanho de uma população ou quando ela é con- siderada pequena, o cálculo amostral pode ser realizado tendo em vista apenas o erro amostral tolerável, conforme expresso na fórmula a seguir (BARBETTA, 2011, p. 58): Considerações Finais R ep ro d u çã o p ro ib id a. A rt . 184 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 43 CONSIDERAÇÕES FINAIS As temáticas abordadas, nesta primeira unidade, buscaram possibilitar a vocês compreenderem as justiicativas, a relevância e as perspectivas a serem conside- radas na realização de pesquisas no âmbito da gestão pública. A proposta inicial de nossa discussão foi a apresentação dos itens que con- cernem à pesquisa. Tão importante quanto vislumbrarmos as áreas em que os gestores públicos podem se valer de investigações, é termos clareza sobre o que é uma pesquisa e como construí-la. Para tanto, nesta unidade, discorremos sobre os primeiros passos dessa trajetória. Partimos da tentativa de entender as distintas formas de conhecimento e a relevância do conhecimento cientíico ao debate na gestão pública e no processo de formação de gestores públicos. A partir dessa deinição, avançamos no sen- tido de compreender com maior detalhamento os diferentes métodos possíveis à realização de pesquisas, a necessidade de que o gestor público tenha clareza com relação à delimitação do problema que busca sanar com a investigação e os diferentes níveis de realização de uma pesquisa, os quais dependem de quanto conhecimento anterior está disponível aos pesquisadores/gestores públicos que se encontram diante de uma questão a resolver. Ademais, os conceitos de população (ou universo), de censo e amostra — bem como suas características — e, com relação ao segundo conjunto de perspectivas, as diversas possibilidades de técnicas amostrais probabilísticas e não-probabi- lísticas, foram expostos com o intuito de contribuir para que os futuros gestores públicos sejam capazes de vislumbrar opções para compor as amostras, o que se complementa com as informações em torno de como estabelecer seu tamanho. Finalizamos a unidade tendo, então, o embasamento inicial necessário à rea- lização de pesquisas no campo da gestão pública, de modo que esse conjunto de temas abordados nos fornece subsídio para seguirmos o caminho, conhecendo métodos e técnicas para coleta e análise de dados e informações. 44 1. A realização de pesquisas pode ser impactada por distintos aspectos. Conside- rando de maneira especíica o âmbito da gestão pública, abordado neste livro didático, analise as airmações a seguir, coloque V para airmativas verdadeiras e F para airmativas falsas : I. São determinados e imutáveis os campos em que as pesquisas podem ser realizadas no âmbito da gestão pública. II. Universo, população, censo, amostra e casos dizem respeito a um conjunto de itens a ser considerados. III. Os objetivos que tornam necessárias as investigações no âmbito da gestão pública são sempre coletivos. Tendo em vista sua análise acerca das airmações anteriores, as airmativas I, II e III são, respectivamente: a) V, V e F. b) V, F e F. c) F, V e F. d) V, F e V. e) F, F e V. 2. Aos gestores públicos é facultada a possibilidade de realização de pesquisas e investigações sobre muitos temas, com diferentes objetivos, objetos e técnicas amostrais, de coleta, de análise e de apresentação de resultados por meio de relatórios. No que tange especiicamente às políticas públicas, é possível o de- senvolvimento de pesquisas? Justiique. 3. A realização de uma pesquisa pode partir de distintas premissas, em se tratan- do de métodos para sua estruturação, uma vez que o método de pesquisa é anterior à composição da amostra e coleta de dados, dentre outras atividades. Nesse sentido, o método de pesquisa que se utiliza do silogismo é: a) Dedutivo. b) Indutivo. c) Hipotético-dedutivo. d) Fenomenológico. e) Dialético. 45 4. A delimitação de uma pesquisa é perpassada por diferentes etapas, as quais constituem um caminho, em analogia, à maneira como a trajetória de constru- ção da investigação foi deinida neste material de estudos. A primeira etapa ou o primeiro passo à delimitação de uma pesquisa é: a) Deinição da técnica de amostragem. b) Cálculo do tamanho da amostra. c) Estruturação do relatório. d) Identiicação do problema. e) Estabelecimento de cronograma. 5. No que diz respeito à realização de pesquisas no campo da gestão pública, é importante aos proissionais envolvidos no processo que tenham clareza sobre o público alvo a ser contemplado em decorrência dos resultados, bem como acerca da consecução da pesquisa. Nesse sentido, quando a opção dos pesqui- sadores é de coletar dados entre todos os indivíduos que podem estar relacio- nados ao problema de pesquisa em pauta, então, trata-se de coleta de dados: a) Censitária. b) Amostral por conveniência. c) Amostral por snow-ball. d) Amostral por cotas. e) Amostral aleatória simples. 46 TENDÊNCIAS E PERSPECTIVAS DA ADMINISTRAÇÃO PÚBLICA NO BRASIL O desaio de melhorar a gestão pública é imenso. O resultado que se busca é mudar as práticas gerenciais, transformar a gestão pública para gerar mais bem-estar e desenvol- vimento para os cidadãos e atores econômicos. A concretização do ideal de cidadania insculpido na Constituição de 1988 e o aproveitamento das oportunidades de desenvol- vimento sinalizadas nos atuais cenários externo e interno (pré-sal, megaeventos, prestí- gio internacional, solidez econômica, mobilidade social etc) requerem um novo conjun- to de esforços de melhoria da gestão pública, de modo a equacionar satisfatoriamente dois fatores críticos: tempo e escala. O Brasil passou os últimos 15 anos discutindo se a ‘reforma gerencial’ era boa ou se dava certo, aplicando-a em pequenas doses. Embora hoje haja mais clareza sobre a relevância do tema (gestão pública é crescentemente uma questão de política pública), direção a seguir e apesar de existirem casos de sucesso, no geral, os resultados concretos colhidos até o momento são largamente insuicientes para o salto de qualidade necessário. Os padrões emergentes de gestão de políticas públicas em rede em todos os setores de intervenção governamental requerem esforços integrados de melhoria da gestão, abrangentes e em múltiplos níveis – envolvendo diversos setores de forma coordenada; envolvendo as esferas federal, estadual, municipal; os três poderes; mecanismos partici- pativos e parceiros do poder público. Esta questão envolve mais de cinco mil governos municipais, 100 mil organizações públicas, 54 mil conselhos de políticas em cerca de 40 temas, 500 mil dirigentes públicos, oito milhões de servidores e um incontável número de parceiros. Virtualmente todas as políticas e programas de âmbito nacional perpas- sam esse universo – em alguns casos, destacadamente saúde e educação, perpassam todo este universo. Iniciativas focadas, fragmentárias, incrementalistas e episódicas têm sua importância e necessidade, mas, no todo, geram efeitos residuais, insigniicantes ou sem a devida sustentabilidade. O Estado brasileiro, com esse imenso e complexo conjunto organizacional, segue sendo uma predominante combinação de burocracia ortodoxa patrimonialista de baixo de- sempenho, limitando a cidadania, impondo uma altíssima carga tributária (relativamen- te ao retorno) e emperrando o desenvolvimento. Apesar de avanços, a gestão pública, ainda é excessivamente insulada, rígida, procedimental e desalinhada do beneiciário. Embora haja ilhas de excelência, as organizações públicas apresentam, em sua maioria, signiicativos déicits estruturais de capacidade e desempenho. A complexidade do pro- blema da governança pública no Brasil requer uma atuação integrada, imediata e em larga escala; uma mobilização ou esforço nacional de melhoria da gestão pública. Alguns signiicativos passos já foram dados nesta direção. No caso, são iniciativas de melhoria da gestão pública que podem e devem se integrar e potencializar seus efeitos. Dentre outras, três categorias merecem destaque. O Ministério do Planejamento possui programas e instrumentos voltados para o tema, como o Programa GesPública, que tem como mérito engendrar uma extensa rede mobi-47 lizadora, ramiicada nas três esferas de governo, formada por praticantes de um grande conjunto de organizações públicas, oferecendo instrumentos elaborados de avaliação da gestão e melhoria do atendimento, dentre outros. Desde 2009, a lógica do programa vem se deslocando de uma visão essencialmente vinculada a abordagens da gestão da qualidade para uma ótica de resultados. Outro programa, o PNAGE, tem como mérito mobilizar os estados para o tema, despertando consciências e interesses e buscando aprimorar seus requisitos em relação ao tempo, à escala e ao custo de transação. Sua concepção é voltada para os estados, o diagnóstico de partida carece de atualização e devem ser introduzidas melhorias nos processos de contratação, manutenção de equi- pes e disponibilidade de recursos. Da mesma forma, a agenda federativa conduzida pelo Ministério do Planejamento possui programas – como o Brasil Municípios – e iniciativas voltadas para o uso de soluções automatizadas e gratuitas de gestão pública pelos mu- nicípios, tais como os aplicativos existentes no Portal do Software Público Brasileiro / e-Cidade. O Movimento Brasil Competitivo notabilizou-se como organização nucleadora de um expressivo conjunto de esforços de melhoria da gestão pública em âmbito nacional, abrangendo todas as esferas, mediante um modelo de intervenção inanciado pela ini- ciativa privada, rápido e eicaz. Teve um começo excessivamente focado em questões iscais (redução de despesas e aumento de receitas) e agora busca expandir-se para intervenções mais abrangentes. Um terceiro modelo de melhoria gerencial tem sido a atuação direta de governos e organizações públicas, pautados pela diversidade de abrangência (governos como um todo ou setores ou organizações) e objetos das inter- venções. A experiência brasileira recente revela, enim, atividade e aprendizado. Todas estas ini- ciativas são positivas e têm gerado bons resultados, mas resultados ainda muito aquém do necessário e que podem e devem se potencializar. É preciso não apenas explorar e ampliar as complementaridades e melhorar a eiciência destas iniciativas, mas é preciso, sobretudo, integrá-las e expandi-las, adensando, aumentando e revigorando a massa crítica que geraram para promover uma reação em cadeia numa escala maior para cau- sar uma transformação relevante. O processo como um todo de melhoria gerencial (e em perspectiva mais geral, de construção do Estado) carece de uma revisão crítica de modo a superar um paradigma fragmentário e localizado e operar segundo uma lógi- ca mais holística. É preciso um salto quântico. E existem algumas condições básicas já estabelecidas, tais como recursos e reconhecimento da relevância do tema pela classe política, pela mídia e, em ainda pequena extensão, pelo cidadão. Mas, é preciso modelar soluções adequadas à complexidade e escala do problema. Um novo ciclo de inovação da Gestão Pública representa, sobretudo, uma nova postu- ra. Primeiramente, de recusa à postura renunciadora, alimentada pela impotência, pelo desconforto e aversão à complexidade, pela adesão às teorias conspiratórias (das forças políticas contrárias e dos fatores obstrutores), pelo complexo de inferioridade (o fata- lismo cultural, a cultura política, etc). A sensação de satisfação plena com os pequenos 48 avanços que não mudam a realidade, que apenas confortam paliativamente a omissão e a incapacidade. É preciso romper o ciclo de mediocridade e atuar com mais ousadia e coragem, saindo do varejo para atuar no atacado. Jamais haverá condições ideais – é preciso criá-las, construindo, com bons resultados, uma arquitetura estratégica cada vez mais favorável. Mas nunca antes na história deste país as condições para tal proposta foram tão favoráveis. Fonte: Gomes e Martins (2013). REFERÊNCIAS BARBETTA, P. A. Estatística aplicada às Ciências Sociais. 7. ed. Florianópolis: Uni- versidade Federal de Santa Catarina, 2011. CERVO, A. L.; BERVIAN, P. A. Metodologia cientíica. 5. ed. São Paulo: Pearson Pren- tice Hall, 2002. DELLA PORTA, D.; KEATING, M. (Ed.). Aprroaches and methodologies in the social sciences: a pluralist perspective. Cambridge: Cambridge University, 2008. DEMO, P. Desaios modernos da educação. 13. ed. Petrópolis: Vozes, 1993. FIGUEIREDO FILHO, D. B.; ROCHA, E. C.; SILVA JUNIOR, J. A.; PARANHOS, R. Causalida- de e mecanismos em Ciência Política. Mediações, v. 18, n. 2, jul./dez. 2013. p. 10-27. GOMES, R. C.; MARTINS, H. F. Tendências e perspectivas da Administração Pública no Brasil. Revista de Pesquisa em Políticas Públicas, n. 1, jul. 2013. p. 30-62. GIL, A. C. Métodos e técnicas de pesquisa social. São Paulo: Atlas, 2008. GIMENES, E. R. Estado, governo e políticas públicas. Maringá: Unicesumar, 2018. HEGEL, G. W. F. Princípios da Filosoia do Direito. São Paulo: Martins Fontes, 2000. KOTLER, P. Princípios de Marketing. São Paulo: Pearson Prentice Hall, 2007. LAKATOS, E. M.; MARCONI, M. A. Fundamentos de metodologia cientíica. São Paulo: Atlas, 1991. LÜCHMANN, L. H. H.; ALMEIDA, C. C. R.; GIMENES, E. R. Gênero e representação polí- tica nos conselhos gestores no Brasil. Dados, Rio de Janeiro, v. 59, n. 3, set. 2016. p. 789-822. MACHADO, L.; SILVA, L. V. A pesquisa acadêmica no contexto internacional - uma análise exploratória dos trabalhos de conclusão de curso desenvolvidos na gradua- ção em Administração com habilitação em Comércio Exterior, em uma universidade do Sul do país. In: ENCONTRO ANUAL DA ASSOCIAÇÃO NACIONAL DE PÓS-GRA- DUAÇÃO E PESQUISA EM ADMINISTRAÇÃO - ANPAD, 31, 2007, Rio de Janeiro. Anais ... Rio de Janeiro: ANPAD, 2007. MALHOTRA, N. K. Pesquisa de marketing: uma orientação aplicada. 3. ed. Porto Alegre: Bookman, 2001. MINAYO, M. C. S. (Org.). Pesquisa social: teoria, método e criatividade. Petrópolis: Vozes, 1994. NÓBREGA JUNIOR, J. M. P. Os homicídios no Brasil, no Nordeste e em Pernambu- co: dinâmica, relações de causalidade e políticas públicas. 270 f. Tese (Doutorado em Ciência Política), Universidade Federal de Pernambuco, Recife, 2010. RÊGO, W. D. L.; PINZANI, A. Vozes do Bolsa Família: autonomia, dinheiro e cidada- nia. São Paulo: Universidade Estadual Paulista Júlio de Mesquita Filho, 2013. REFERÊNCIAS 51 TAVARES, V. B.; ALVES, J. F. B. Políticas públicas: uma análise dos indicadores de de- sempenho dos gastos públicos em educação básica nos municípios do Cariri Oci- dental da Paraíba. Revista de Administração, Contabilidade e Sustentabilidade, v. 5, n. 3, 2015. p. 76-92. TEIXEIRA, E. B.; ZAMBERLAN, L.; RASIA, P. C. Pesquisa em gestão pública. Ijuí: Uni- versidade Regional do Noroeste do Estado do Rio Grande do Sul, 2008. REFERÊNCIA ON-LINE 1 Em: <https://www.ibge.gov.br/institucional/o-ibge.html>. Acesso em: 04 out. 2018. GABARITO 1. Opção correta é a C. 2. São múltiplas as possibilidades de realização de pesquisas que tratem de políticas públicas. Nesta unidade de estudos, por exemplo, em muitos pontos do texto foram ilustradas discussões com casos de pesquisas realizadas ou de simulações de temas relacionados às políticas públicas, como investigações sobre o funcionamento e desempenho de ações e os documentos referentes aos conselhos e demais institui- ções participativas. [Expectativa de resposta] 3. Opção correta é a A. 4. Opção correta é a D. 5. Opção correta é a A. U N ID A D E II Professor Dr. Éder Rodrigo Gimenes O MÉTODO DE PESQUISA QUALITATIVA Objetivos de Aprendizagem ■ Apresentar o conceito de pesquisa qualitativa, bem como de seus principais componentes. ■ Discorrer sobre as diferentes técnicas para coleta de dados qualitativos e sobre o planejamento e elaboração de questionários. ■ Oferecer subsídios à realização de análise de dados qualitativos. Plano de Estudo A seguir, apresentam-se os tópicos que você estudará nesta unidade: ■ Conceito de pesquisa qualitativa ■ Técnicas e instrumentos de coleta de dados qualitativos ■ Técnicas de análise de dados qualitativos Introdução R ep ro d u ção p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 55 INTRODUÇÃO O olhar do observador é deinidor da maneira como um determinado objeto será percebido. Assim, o gestor público precisa “calibrar” seu olhar, a im de vis- lumbrar um problema ou questão da maneira mais adequadas às necessidades de pesquisa. Tendo em vista o exposto, esta unidade de estudos se debruça sobre um método de pesquisa que busca lançar o olhar aprofundado aos objetos, a im de reali- zar análises detalhadas das questões a serem investigadas: o método qualitativo. Para tanto, a primeira seção desta unidade trata da deinição conceitual do que conforma o referido método, bem como apresenta suas principais carac- terísticas, a im de promover uma aproximação geral dos gestores públicos em formação com a pesquisa qualitativa. Na sequência, a segunda seção aborda técnicas e instrumentos para a coleta de dados qualitativos, de modo a localizar os pesquisadores acerca das possibi- lidades instrumentais de abordagem dos objetos. Por im, a última seção é dedicada a modalidades de análises de dados, com enfoque no conteúdo daquilo que foi observado da coleta. Destaco, contudo, desde esta introdução que, em se tratando de pesquisa qualitativa, a separação entre técnicas e instrumentos de coleta e a análise existem apenas no plano explica- tivo, uma vez que a pesquisa qualitativa ocorre no campo, de modo que a análise dos dados se inicia ainda ao longo da coleta, já que o pesquisador bem prepa- rado é capaz de construir ao menos pequenos “lampejos” de análises enquanto desenvolve a coleta dos dados, que permanecerão sob investigação após a ina- lização da etapa de coleta. Fazer pesquisa qualitativa é um desaio que demanda a depuração do pes- quisador, que, assim como no âmbito da gestão pública, tende a desenvolver cada vez melhor suas atividades com a prática e a experiência. Apresento-lhes, então, este desaio. Bons estudos! O MÉTODO DE PESQUISA QUALITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIU N I D A D E56 CONCEITO DE PESQUISA QUALITATIVA O método qualitativo é caracterizado pela investigação aprofundada a respeito de um determinado fenômeno, podendo esse fenômeno ser uma tradição, um valor compartilhado entre um grupo, uma percepção com relação a determinada política pública ou a maneira como um grupo especíico lida com os espaços públicos, por exemplo. Tais pesquisas têm como preocupação compreender os processos por meio dos quais os valores, a cultura, as instituições e as relações sociais se conformam. Para tanto, utilizam-se de amostras não probabilísticas e não representativas, com- postas por pequenos contingentes de casos a ser investigados, uma vez que quanto maior o número de casos, maior a diiculdade em realizar análises detalhadas. Por conta de tal característica, as pesquisas de natureza qualitativa não bus- cam e nem permitem que seus resultados sejam generalizados, o que signiica que a análise de um determinado fenômeno entre um certo grupo não pode ser utilizada para explicar um fenômeno, ainda que semelhante, entre outro grupo (KOTLER; ARMSTRONG, 2007). De acordo com Alonso (2016), as pesquisas qualitativas consideram que é impossível isolar um fenômeno social do meio em que está inserido, de modo que a melhor maneira de investigá-lo seria conhecer tanto a ele quanto aos aspec- tos que o tangenciam, ou seja, aquilo que o circula e com o que está relacionado. Conceito de Pesquisa Qualitativa R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 57 Nesse sentido, ainda segundo a mesma autora: os métodos qualitativos têm que se haver com essa problemática. Acei- tam os limites das técnicas que utilizam e a impossibilidade do conhe- cimento certo ou verdadeiro. Supõem que todo conhecimento é par- cial, porque conhecimento de uma parte (não do todo) e porque, ao se adotar um ponto de vista, toma-se partido (ALONSO, 2016, p. 9). De modo geral, as pesquisas qualitativas são utilizadas para compreendermos a ordem social e os processos que promoveram ou promovem suas alterações, de modo que a opção por uma determinada técnica de pesquisa implica necessaria- mente em focar menos esforços em outro aspecto. Enquanto as análises sobre os processos sociais buscam estudar os objetos e questões em perspectiva tempo- ral, as investigações sobre instituições ou estruturas fundamentam suas análises no espaço, com vistas a compreender os arranjos sociais em um dado momento. A escolha entre as técnicas depende, pois, da pergunta que o pesquisa- dor formula. E, a depender do que se investiga, o melhor caminho será a combinação entre elas. Não há uma superioridade intrínseca de um tipo sobre outro, trata-se mais de achar a adequação, o encaixe entre o que se quer saber e a técnica que permite responder à questão de pes- quisa (ALONSO, 2016, p. 20). De acordo com Roberto de Oliveira (2000), a Antropologia seria a área das Ciências Sociais que tem a pretensão de compreender o outro, aquele diferente ou o observado pelo pesquisador. Para tanto, os antropólogos produziriam lei- turas do mundo social, atividades artesanais de pesquisas que dialogam com o trabalho do gestor público e deve, dentro das limitações de sua formação, ser potencializada ao máximo. Nesse sentido, a realização da pesquisa qualitativa seria perpassada por três atos, atividades ou etapas de apreensão dos fenômenos sociais: olhar, ouvir e escrever. De acordo com o referido autor, tais etapas seriam permeadas pela percepção do pesquisador, de modo que a combinação entre tais percepções e o conhecimento anterior sobre o problema ou questão e a relexão sobre os dados coletados conduziria a resultados com qualidade. O olhar do pesquisador deve sempre ser domesticado, ou seja, treinado e dis- ciplinado para que seja capaz de perceber desde grandes aspectos até pequenos detalhes. De acordo com Oliveira (2000), o olhar que lançamos sobre um objeto, uma população, um espaço, um documento ou qualquer outro aspecto que pretendemos O MÉTODO DE PESQUISA QUALITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIU N I D A D E58 analisar não deve ser um olhar “nu”, mas um olhar “carregado” por conhecimento sobre aquilo que pretendemos investigar. Assim, antes de iniciarmos uma pesquisa e/ou uma coleta de dados, pre- cisamos nos perguntar o que já sabemos sobre o tema que enfrentaremos. As respostas que encontrarmos nos ajudarão a deinir as melhores ou as possíveis técnicas para a abordagem, as categorias analíticas que inicialmente poderemos identiicar na realização da pesquisa e, estando em campo e para além dele, a dis- posição dos dados e informações, os arranjos, as peculiaridades e repetições que nos permitirão elaborar um relatório que atenda às necessidades demandadas. Se para as pesquisas em geral o olhar do pesquisador é importante, no campo da gestão pública esse olhar pode ser o fator de distinção entre uma abordagem burocrática e uma abordagem humanística ou entre observar apenas a lei ou lan- çar um olhar para aspectos sociais. Sabemos que, salvo raras exceções, um problema tem mais de uma pers- pectiva para ser interpretado, de modo que espera-se dos gestores públicos a abordagem que considere tanto os aspectos burocráticos e legais no âmbito jurí- dico quanto a função social do Estado e a garantia de direitos sociais previstos pela Constituição Federal de 1988. Salienta, porém, Oliveira (2000), em sua discussão sobre o trabalho do antro- pólogo, que o olhar, por si só, não é suiciente. Estendo, aqui, tal observação ao papel dos gestores públicos imbuídos da atividade depesquisa. Tão importante quanto olhar é saber ouvir! Olhar e ouvir são faculdades que devem caminhar juntas no exercício da investigação, ou seja, são recur- sos de que os investigadores devem dispor constante e ininterruptamente, de maneira complementar. Oliveira (2000) destaca que ouvir é mais importante do falar, mas é preciso cui- dado para não tratar os interlocutores (os entrevistados e/ou objeto da pesquisa) como informantes. Assim, o ambiente ideal seria aquele em que o entrevistado se sinta à vontade para falar por meio de um diálogo, não de uma inquisição. Para tanto, o autor destaca que o diálogo entre pesquisador e pesquisado deve ser um encontro etnográico, ou seja, uma relação dialógica estabelecida com parti- lhamento de termos, símbolos e códigos, em se tratando do campo da gestão pública. Em outras palavras, trata-se do esforço, por parte dos gestores públicos, para Conceito de Pesquisa Qualitativa R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 59 se aproximarem de seu público, a im de estabelecerem o diálogo e tornarem pos- sível a consecução de ações, programas, projetos, serviços e políticas públicas. A im de exempliicar um relato de como os gestores públicos nem sempre esta- belecem a comunicação com seus interlocutores, destaco, a seguir, um trecho de minhas anotações de pesquisa de campo, das quais omiti informações que possibilitassem a identiicação do município, período ou conselho sobre o qual trata o relato. Cheguei por volta de 15 minutos antes do horário previsto para o início da reunião e assisti à chegada, à movimentação e à organização dos membros e dos demais ouvintes. Conforme chegavam, os conselheiros me cumprimentavam sem questionamentos sobre a minha presença, o que me parecer um indício de que há rotatividade entre os ouvintes, pois não estranharam o fato de eu estar na sala onde ocorreria a reu- nião e não me abordaram em momento algum. Ainda com relação à maneira como adentravam a sala, percebi que os membros do conselho que representavam o governo chegaram com mais antecedência que os representantes da sociedade civil e que mui- tos chegaram em pares ou trios. Ao ocuparem suas cadeiras, demar- cadas por placas identiicadas nas mesas com nomes e segmento re- presentado, pude perceber também que os representantes do governo ocupavam as cadeiras mais próximas à da presidência do conselho. Não me pareceu uma coincidência, principalmente por considerar o fato de que uma servidora do próprio órgão executivo municipal era respon- sável pela disposição dos assentos. Já os representantes da sociedade civil chegaram praticamente todos sozinhos, sentaram-se em suas cadeiras após cumprimentos corriquei- ros e pouco se falavam, o que me pareceu um indício expressivo de sua desarticulação enquanto segmento, ainda que eu estivesse observando, naquele momento, uma prática informal de sua convivência. Considerando suas experiências como cidadão, já se percebeu sem enten- der algo que lhe era explicado por um servidor público, que utilizava lingua- gem técnica, termos complexos e siglas em sua fala? O MÉTODO DE PESQUISA QUALITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIU N I D A D E60 [...] Iniciada a reunião pela presidência do conselho, o primeiro item de pauta foi a leitura da ata, de cujo conteúdo chamou-me a atenção ime- diatamente um trecho com o relato de que, na reunião anterior, que um conselheiro solicitou que os membros mais antigos do conselho utilizassem uma linguagem menos técnica ao se manifestar nas reuni- ões, a im de possibilitar que os novos membros entendessem de que se tratava suas falas. Ali percebi os apontamentos teóricos sobre os quais discorro como li- mitações de espaços de participação institucional materializados, uma vez que um ponto negativo dos conselhos (e demais mecanismos de participação institucional) é a linguagem técnica que faz do espaço, que deveria ser dialógico, um lócus de concentração de poder e de infor- mações. Tal solicitação representou a mim também uma clara estratégia dos membros mais antigos do conselho para concentrar o poder sobre as discussões e deliberações, uma vez que aqueles que não entendiam o que estava em pauta pouco poderiam opinar, argumentar ou contribuir para a tomada de decisões. Ademais, considerando a disparidade entre os fatores que permeiam a permanência de representantes do governo e da sociedade civil nos conselhos – os primeiros podem ocupar diferentes cadeiras do seg- mento ao longo dos anos e participam das reuniões sem afetar sua con- dição salarial, já que majoritariamente o fazem em horário de trabalho e a serviço de seu empregador; os segundos abrem mão da realização de outras atividades, inclusive com restrições aos seus ganhos inancei- ros em alguns casos e têm sua participação circunscrita ao nicho a que pertencem no interior do segmento da sociedade civil – é de se esperar que aqueles que mais dominem a oratória e a terminologia técnica se- jam os representantes do governo. Assim, mais articulados, dotados de domínio dos mecanismos buro- cráticos e com maior traquejo linguístico no ambiente dos conselhos, seria muito difícil que os representantes da sociedade civil conseguis- sem encaminhar pautas que não fossem de interesse do governo (GI- MENES, 2018, [Mimeo]). Esse trecho do relato de campo de minha pesquisa evidencia a relação entre os dois aspectos destacados por Oliveira (2000) que foram abordados até aqui: olhar e ouvir. A partir de leituras e incursões anteriores ao campo de pesquisa, cons- truí categorias analíticas e “treinei” meus olhos e ouvidos para captar até mesmo Conceito de Pesquisa Qualitativa R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 61 alguns detalhes que poderiam passar despercebidos por outros indivíduos. Para além da ilustração sobre a importância de olhar e ouvir ao trabalho do pesquisador, meu relato também deve ser considerado como alerta aos gesto- res públicos, uma vez que a solicitação do membro do conselho que pediu para que as reuniões fossem conduzidas com menor utilização de termos técnicos, de modo a permitir o entendimento de todos, revela uma nuance ainda débil no serviço público: a preocupação em aproximar-se dos cidadãos. A terceira ação destacada por Oliveira (2000) é o escrever. A escrita trata da tex- tualização das observações do pesquisador. Assim, é preciso ter clareza de que os dados analisados nunca são “puros”, pois desde os seus registros, há uma des- crição e interpretação daquele que olhou e ouviu. Tomando o relato de meu caderno de campo como exemplo, minha escrita não foi uma descrição “pura” do que aconteceu na reunião, mas uma descrição permeada por uma série de categorias analíticas que pude identiicar, como os vínculos (ou sua falta) entre os representantes de cada segmento, a disposição dos assentos e a quem cabia a responsabilidade por sua organização e o destaque, que mencionei a um trecho curto da ata lida, mas que remeteu a diversos outros aspectos e mecanismos sobre os quais havia lido, ouvido ou visto anteriormente. A forma como o relato foi apresentado nesta unidade de estudos, contudo, não é a mesma que consta em meu caderno de campo. De acordo com Oliveira (2000), a escrita do pesquisador é uma etapa posterior à coleta dos dados, um Olhar e ouvir são importantes e constitutivos pontos do trabalho de cam- po, no qual deve-se tomar extremo cuidado com pré-conceitos que possam diicultar a capacidade interpretativa do pesquisador sobre os fenômenos analisados. Assim, essa observação é válida tanto para discutirmos o método qualitativo de pesquisa quanto para a relexão sobre o Estado, a organização dopoder público e o papel dos gestores públicos. O MÉTODO DE PESQUISA QUALITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIU N I D A D E62 “trabalho de gabinete”, no qual os dados coletados são minuciosamente confron- tados com o conhecimento acumulado pelo pesquisador e a análise, preliminar na coleta de dados, assume caráter crítico. Na etapa da escrita, Oliveira (2000) aponta um aspecto importante, ainda que seja pouco observado pela maioria de nós, a menção de pessoalidade ao texto analítico, sem que o autor “se esconda” por meio da impessoalidade e utilize o termo “eu” ao narrar fatos, explicar teorias e construir a análise. Ao gestor público, ainda que nem sempre seja possível tal pessoalidade por conta de aspectos formais ou burocráticos, é salutar considerar que um relató- rio, uma pesquisa, um resultado ou uma política pública são construídos por indivíduos, com seus olhares, suas escutas, suas argumentações e suas escritas. Em se tratando de exemplos de pesquisa qualitativa no âmbito da gestão pública, são muitas as possibilidades, como: ■ Conhecer as motivações que levam idosos a frequentar as academias da terceira idade ou as universidades da terceira idade, espaços nos quais podem ter contato com outros indivíduos de mesma faixa etária, mas também circular entre outros grupos sociais. ■ Compreender as justiicativas para a resistência de mães e pais que não utilizam determinado serviço de saúde pública, como a vacinação, para a proteção e o cuidado de seus ilhos. ■ Entender quais são as percepções sobre saúde e sobre doença entre homens adultos, os quais representam as maiores vítimas de diversas doenças e que procuram atendimento médico e odontológico em menor medida do que as mulheres. ■ Abordar a população em situação de rua para identiicar as trajetórias que os levaram a tal condição e constatar as possibilidades para alterar seu status e lhes proporcionar alguma qualidade de vida. ■ Investigar a maneira que cidadãos participam de conselhos ou conferências de políticas públicas, de audiências públicas ou que buscam atendimentos nas praças de serviços dos órgãos executivos ou por meio das ouvidorias, entendendo que suas demandas são atendidas ou ao menos considera- das pelo Estado. Conceito de Pesquisa Qualitativa R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 63 ■ Veriicar os argumentos mais recorrentes dentre um conjunto especíico de cidadãos com relação à determinada atitude, como os fatores que levaram indivíduos a buscar cursos de graduação a distância, a im de conhecer o público alvo desse mercado e reletir sobre políticas públicas na área. Ao longo deste capítulo, iremos nos remeter, algumas vezes, ao premiado livro “Vozes do Bolsa Família”, porém o faremos por intermédio de um capítulo escrito pelos mesmos autores da obra para compor uma coletânea de estudos acerca dos impactos e resultados do referido programa após completada a primeira década de sua implantação no Brasil. As considerações iniciais expostas pelos autores, no capítulo, constituem exemplo para reletirmos sobre a apresentação de uma pesquisa qualitativa. Nos três parágrafos, os autores expõem o objetivo da investigação, o objeto de pes- quisa e o contexto social no qual tal temática está inserida. O presente capítulo relata brevemente os resultados de uma investiga- ção realizada durante cinco anos, de 2006 a 2011 (Leão Rego e Pinzani, 2013[a]), e que teve como escopo a apreensão de certos sentidos de mudanças morais e políticas observadas em mulheres pobres como re- sultado do recebimento do benefício do Programa Bolsa Família (PBF). Procuramos ouvir pessoas que, de certa forma, estão nas piores situ- ações sociais: vivem na pobreza extrema e habitam as regiões mais tradicionalmente desassistidas pelo Estado em todos os sentidos. São cidadãos destituídos, muitas vezes, de serviços públicos mínimos, já que faltam escolas, estradas, hospitais, centros de cultura, espaços de encontro. Isto facilita seu atomismo social e sua desagregação política, fazendo deles pessoas excluídas de um ambiente estimulante ao de- senvolvimento humano. Suas vozes devem ser ouvidas, de preferência, mais de uma vez, para que se possa capturar uma dimensão não tan- gível às outras modalidades de pesquisa sobre o tema. Neste sentido, o horizonte da pesquisa foi amplo, pois pretendíamos avaliar o impacto do Bolsa Família na “subjetividade” das pessoas, para tentar apreender os graus de autonomização alcançados e os meramente potencializados pela percepção de renda monetária, por menor que esta seja, como é o caso do PBF. A tradicional ausência do Estado para lhes conceder e garantir direi- tos as colocou por muito tempo na situação de pessoas sem direito a ter direitos. Com isto, o próprio Estado brasileiro decretou por muitos anos sua “morte civil”. Elas foram emudecidas porque seu direito de voz pública não existe, pois não possuem condições e canais institucionais O MÉTODO DE PESQUISA QUALITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIU N I D A D E64 de expressão. São milhões de brasileiros com praticamente nenhuma escolaridade, destituídos de qualiicações e habilitações para qualquer tipo de emprego que exija, por exemplo, escrita e leitura e capacidade de obedecer a certos comandos mais qualiicados. Isto, per se, coloca em questão a natureza do crescimento econômico desprovido de proje- to democrático substantivo. Neste caso, a permanência da pobreza em níveis tão altos evidencia, ou melhor, aponta sua insuiciência profunda como modo de inclusão dos habitantes de um país no mundo dos direi- tos e da herança civilizatória da humanidade. Com intenção polêmica gostaríamos de dizer que esta problemática inevitavelmente repõe o tema iniludível da necessidade da política, como único modo de trans- formar o sentido dos processos econômicos e não deixá-los cativos das forças cegas dos interesses privados (REGO; PINZANI, 2013b, p. 359). O tom de relato dos pesquisadores se aproxima da literatura, ao que Alonso (2016) deine como proximidade possível, uma vez que as pesquisas qualitati- vas buscam reconstituir fenômenos ou expressar os mecanismos envolvidos em processos, de modo que ao realizar pesquisas que se utilizam de tais técnicas, construímos narrativas. Cada um dos exemplos expostos nesta primeira seção implica em considerar um recorte analítico, temporal ou espacial, bem como em estabelecer técnicas para coleta e para análise dos dados. Tais assuntos são abordados nas próximas seções desta unidade de estudos. Técnicas e Instrumentos de Coleta de Dados Qualitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 65 TÉCNICAS E INSTRUMENTOS DE COLETA DE DADOS QUALITATIVOS Em se tratando de técnicas de pesquisa qualitativa, são múltiplas as maneiras de abordar os problemas ou questões e também os casos selecionados para a amos- tragem. Nesta unidade de estudos, não há intenção de esgotar tais abordagens, mas o intuito de apresentar aos gestores públicos, em processo de formação, um rol de instrumentos que permitam a realização de pesquisas qualitativas. Nesse sentido, apresentamos, nesta seção, uma análise sobre as seguintes técnicas qualitativas de coleta de dados: observação participante, entrevistas, grupos focais e pesquisa documental. OBSERVAÇÃO PARTICIPANTE A análise realizada com o objetivo de compreender como as normas, os hábi- tos e os padrões sociais são vivenciados pelos indivíduos em sociedade compõe a técnica de observação participante. De acordo com Alonso (2016, p. 10), tal O MÉTODO DE PESQUISA QUALITATIVAR ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIU N I D A D E66 técnica “é um estudo das rotinas sociais, do que parece trivial e óbvio, mas que, por ser muito disseminado, estrutura as relações sociais”. Quando o gestor público opta pela realização de pesquisa por meio de obser- vação participante, assume a necessidade de acompanhar sistematicamente as atividades dos indivíduos ou da instituição que investiga. Para tanto, é preciso se inserir na rotina interna do grupo de cidadãos ou o órgão/entidade, participar das ati- vidades como se fosse um membro pertencente àquele contexto que está sob análise. Em outras palavras, o pesquisador precisa que aqueles, os quais estão sendo analisados, visualizem o ente externo como um membro do grupo, a im de que hajam naturalmente e desempenhem as normas, hábitos e padrões sociais da mesma maneira que usualmente desempenham quando não há observação exterior. Quando o pesquisador passa incólume ou deixa de ser visto como estranho ao grupo, é possível investigar seus comportamentos com maior detalhamento e acessar atitudes que por ventura não seriam manifestadas em situação de ava- liação ou observação rigorosamente perceptível. O excerto do relato da participação do professor autor deste material didá- tico em uma reunião de conselho, relete, dentre outros aspectos, a maneira como não fui tratado como um ente externo ao adentrar o local em que seria reali- zada a reunião, o que me permitiu presenciar discussões cujas argumentações não constam no excerto exposto nesta unidade de estudos, mas são de extrema relevância para entender as maneiras como membros do governo e da sociedade civil se comportam na instituição participativa destacada. A inserção e a interação com o grupo devem ser as mais naturais possíveis, de modo que o campo e espaço onde são coletados os dados da pesquisa, é o espaço destinado a olhar e ouvir, ainda que seja indicado ao pesquisador que realize algumas anotações em seu caderno ou diário de campo. O caderno ou diário é o local no qual devem ser realizadas anotações siste- máticas de todas as informações que o pesquisador for capaz de coletar, ou seja, é o instrumento para registro de atividades, falas e discursos, comportamentos, interações e das próprias impressões do pesquisador. A observação participante pode ocorrer de duas maneiras. Na primeira, o observador atua como outsider, ou seja, observa os indivíduos e conversa com os mesmos acerca do fenômeno que está pesquisando, colhe relatos e toma notas Técnicas e Instrumentos de Coleta de Dados Qualitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 67 daquilo que ouve e vê, sendo conhecida sua posição de pesquisador. Nessas situ- ações, desvelar os processos sociais depende do estabelecimento de relações de empatia para com os membros do grupo. Na segunda maneira, o observador atua como insider e opera incognitamente no interior de um grupo, de modo a partilhar suas normas, hábitos e padrões sociais sem revelar-se um pesquisador. Se, por um lado, tal maneira permite a maior participação do pesquisador nos processos que estuda, por outro lado, apresenta um problema sob o ponto de vista ético, pois o pesquisador oculta do grupo sua condição com relação aos demais. Como principal ponto positivo da observação participante, Alonso (2016) destaca a possibilidade de acompanhar a consecução de hábitos e práticas, ao invés de apenas colher relatos sobre como ocorrem, o que pode diminuir a dis- torção da pesquisa com relação à realidade vivenciada pelo grupo. Em contrapartida, são negativos os fatos de que a observação participante tem mais qualidade conforme o tempo que o pesquisador permanece no campo, mas, em conlito com tal necessidade, é necessário cuidado para não desenvolver sim- patia pelos observados, a ponto de contaminar o olhar e análise empreendidos. Um exemplo de pesquisa que promoveu a prática da observação participante foi empreendida por Dourado e Anacleto (2017), que investigaram a prática de ati- vidades físicas por grupos geracionais especíicos, quais sejam: jovens e idosos. A despeito das distintas formulações de ambos os grupos acerca do corpo e de saúde, as pesquisadoras identiicaram um elemento comum em suas falas: o aspecto da sociabilidade, ou seja, a busca pelo contato e a interação com outros indivíduos. Como você se sentiria se soubesse que estava sendo observado por um pesquisador? Agiria com naturalidade, desconiança ou buscaria manifestar ideias que espera que o observador julgasse adequadas? O MÉTODO DE PESQUISA QUALITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIU N I D A D E68 ENTREVISTAS As entrevistas correspondem à técnica de coleta de dados cujo nome traz mais familiaridade aos leitores. Quem nunca assistiu a um programa ou leu uma repor- tagem cujo conteúdo era uma entrevista? De modo geral, as entrevistas buscam captar as percepções dos indivíduos com relação a um determinado tema: o problema ou questão que suscitou a necessidade de realização da pesquisa. Segundo Alonso (2016), as entrevistas visam recolher dados sobre valores, opiniões, sentimentos, experiências e mecanismos por meios dos quais os indi- víduos interpretam e agem em determinado contexto social. São muitas as modalidades de entrevistas, sendo que as mais recorrentes são aber- tas — pautadas em histórias de vida — e aquelas semiestruturadas ou estruturadas. As entrevistas abertas ou não estruturadas dizem respeito ao estabeleci- mento de conversas especíicas nas quais o pesquisador informa ao entrevistado sobre o tema da pesquisa e lhe permite discorrer sobre o assunto (LIMA, 2016). As entrevistas pautadas por histórias de vida permitem aos entrevistados expor relatos que retomem suas vivências de maneira retrospectiva (BONI; QUARESMA, 2005). Na prática, não haveriam questões prévias, apenas um tema, de modo que as questões emergiriam conforme o entrevistado construísse seu depoimento. Segundo Debert (1986), a história de vida tem vantagens, as quais se apre- sentam como instrumentos de pesquisa praticamente insubstituíveis, dentre elas, o estabelecimento de diálogo entre pesquisador e pesquisado sem a imposição de categorias analíticas, o que permite ao entrevistado expor as dimensões do fenômeno sob sua perspectiva. Destaca o mesmo autor que é preciso, porém, reconhecer os limites do uso desta técnica, uma vez que não devemos esperar [...] que a história de vida nos forneça um quadro real e verdadeiro de um passado próximo ou distante. O que se espera é que a partir dela, da experiência concreta de uma vivência especíica, possamos reformular nossos pressupostos e nossas hipóteses sobre um determinado assunto (DEBERT, 1986, p. 142). Técnicas e Instrumentos de Coleta de Dados Qualitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 69 Com relação às entrevistas abertas, menciono instruções de Bourdieu et al. (1999) para sua realização, quais sejam: interferir o mínimo possível ao longo da fala do entrevistado, a im de não prejudicá-lo na articulação e exposição de seus argu- mentos e estabelecer diálogo na mesma linguagem do entrevistado, aspecto já destacado na seção inicial desta unidade de estudos. Por sua vez, as entrevistas semiestruturadas são aquelas em que o pesqui- sador dispõe de um roteiro com questões a ser aplicadas, mas não se restringe a elas enquanto em trabalho de campo. A maneira como Rego e Pinzani (2013b, p. 360) explicam a opção por tal técnica é ilustrativa de suas potencialidades: Usamos em nosso trabalho de coleta de dados atécnica da entrevista aberta, e não a do questionário fechado, pois julgamos ser a única pos- sível neste tipo de investigação, exatamente porque se pretende alcan- çar alguns níveis da estrutura subjetiva dos entrevistados. Seu método principal, como é bastante conhecido, consiste na entrevista longa mu- nida apenas de um roteiro de questões e na audição atenta da fala mais livre possível dos entrevistados. Quando da realização de entrevistas abertas ou semiestruturadas, é possível ao pesquisador analisar o conteúdo coletado e realizar novas incursões ao campo, a im de esclarecer aspectos que não foram detalhados de maneira adequada na realização da entrevista. É possível que, assim como destacado quando expusemos os aspectos carac- terísticos da observação participante, os entrevistados necessitem desenvolver empatia com relação ao pesquisador para que venham, de fato, revelar aquilo que se espera apreender com a investigação. Para que as mudanças morais e políticas sejam apreendidas, impõem- -se conversas repetidas, que signiicam frequentemente a volta ao cam- po mais de uma vez, assim como o estabelecimento de uma relação mais próxima [...]Por esta razão, necessariamente, a investigação exi- ge tempos longos, tanto na coleta dos depoimentos, como na relexão sobre o material recolhido. A duração da entrevista é muito variável, pois as pessoas são muito diversas, sobretudo quando têm de falar de si mesmas, expor-se ao diálogo, contar suas histórias e dizer quais fo- ram as mudanças que as novas situações trouxeram às suas vidas. A experiência do PBF, que fornece um rendimento regular para a grande maioria das mulheres, ainda é muito nova. Certamente impactou-lhes O MÉTODO DE PESQUISA QUALITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIU N I D A D E70 a vida, apesar de não lhes assegurar o acesso completo a outros direi- tos sociais, já que continuam pobres e carentes de inúmeros direitos. Demora certo tempo para que revelem as alterações mais complexas, em especial, as referentes a decisões de ordem moral, como separações conjugais ou o desejo de fazê-las. Um dos temas que lhes permitem falar com mais desenvoltura se liga à vivência, às vezes pela primeira vez, de mais liberdade pessoal, como ainda ao ganho de um sentimento precioso: a aquisição de mais respeitabilidade na vida local. Grandes são os limites da apreensão das questões na modalidade de investigação que empreendemos (REGO; PINZANI, 2013b, p. 360). Ademais, os autores destacaram um dos aspectos mais positivos da utilização da técnica de entrevista semiestruturada, que é a possibilidade de adaptar ou adequar a maneira de abordar as temáticas e conteúdos a ser investigados com maleabilidade, a depender da relação de empatia e dos códigos linguísticos esta- belecidos entre pesquisador e entrevistado. As questões colocadas eram divididas em vários grupos. O primeiro dizia respeito à composição do núcleo familiar (número e idade dos membros da família, escolaridade etc.). O segundo abordava a maneira como o dinheiro do Bolsa Família era usado, em particular em relação à compra de alimentos, vestuários e material escolar. Um dos objetivos era averiguar como e em que medida a nova renda e sua regularidade incidiam sobre a vida cotidiana das famílias e, em particular, das mu- lheres que, em sua maioria, airmaram se sentir mais livres (o termo mais usado foi “à vontade”) e menos angustiadas no que diz respeito à capacidade de adquirir bens primários para suas famílias. Um terceiro grupo de questões tinha a inalidade de fazer que as entrevistadas expri- missem sua opinião sobre o programa e seus efeitos em sua vida (dessa vez de forma mais direta). Entre outras coisas, visava-se averiguar o que as mulheres achavam de o cartão estar no seu nome e não no do marido e estabelecer se consideravam o programa um favor do governo ou um direito delas (naturalmente, a pergunta não podia ser formulada diretamente nesses termos, pois o conceito de “direitos” é praticamente ausente do seu vocabulário). Finalmente, o quarto grupo de perguntas se referia à atitude das entrevistadas perante a política e o exercício do direito de voto. A formulação concreta das questões variava de lugar a lugar e de pessoa a pessoa (REGO; PINZANI, 2013b, p. 361). Por im, o último tipo é a entrevista estruturada, realizada quando o pesquisa- dor tem clareza sobre os assuntos que deseja interpretar e é caracterizada pela existência de um questionário com perguntas deinidas, sem possibilidade de lexibilização ou inserção de novos questionamentos. Técnicas e Instrumentos de Coleta de Dados Qualitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 71 Por conta desta limitação, as entrevistas estruturadas são menos recorren- tes dentre as pesquisas qualitativas do que aquelas abertas ou semiestruturadas. A análise de seus dados, porém, é mais rápida, pois o volume de dados é menor e a existência de temáticas repetidas permite a categorização mais ágil dos con- teúdos coletados. Nas situações de realização de entrevistas semi-estruturadas ou estrutura- das, a preparação do roteiro e a condução da entrevista são essenciais à coleta de dado com maior qualidade possível (LIMA, 2016). Com relação ao primeiro aspecto, o roteiro deve ser iniciado com questões simples ou amenas, de modo que temas polêmicos ou que gerem desconforto aos respondentes devem ser dispostos apenas no im da entrevista. “Como todo roteiro, deve ser de consulta fácil e rápida: detalhado, preciso, mas com notações breves e claras (palavras-chave, frases nominais...)” (COMBESSIE, 2004, p. 41). Por sua vez, com relação à condução da entrevista, sempre que possível deve ser utilizado algum meio adicional de coleta de dados para além das anotações do pesquisador, como gravações de som e imagens. Por um lado, tais recursos facilitam a análise posterior dos dados, pois permitem sua transcrição ou ainda a visualização das expressões faciais e corporais do entrevistado ao longo da entre- vista. Por outro lado, gravadores podem constranger a livre manifestação dos respondentes, de modo que sempre deve ser acordado, entre as partes, a utiliza- ção de mecanismos adicionais para coleta de dados (LIMA, 2016). Ainda com relação às entrevistas, outro aspecto merece destaque: a sele- ção dos indivíduos a ser entrevistados. De acordo com Alonso (2016), esta é a etapa de uma pesquisa qualitativa na qual há maior intervenção do pesquisador. As possibilidades de identiicação de casos são perpassadas pelas técnicas de deinição de amostras descritas na unidade de estudos anterior, sendo rele- vante, a título de exemplo, a descrição de Rego e Pinzani (2013b, p. 360-361) sobre os casos que analisaram: ao longo do nosso trabalho, utilizamo-nos de contatos locais. Em al- gumas ocasiões encontramos pessoas diretamente responsáveis pela implementação do programa, como assistentes sociais, gestores, pre- feitos etc. Em outras, nos valemos da ajuda de pessoas envolvidas em movimentos sociais e de intelectuais locais: todas elas nos forneceram informações preciosas sobre as situações in loco, mas na maioria das O MÉTODO DE PESQUISA QUALITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIU N I D A D E72 vezes procuramos livremente as beneiciárias, a im de evitar direcio- namentos de qualquer tipo. Escolhemos entrevistar beneiciárias que moram em áreas rurais ou em pequenas cidades do interior, por entender que sua situação se diferen- cia muito da dos pobres urbanos, objeto já de inúmeros estudos. Os pobres rurais se deparam com problemas diferentes, começando pelo isolamento geográico que resulta, quase sempre, na impossibilidade de ter acesso a serviçospúblicos básicos. As regiões selecionadas foram: partes do Alto Sertão de Alagoas, bem como a Zona Litorânea deste estado; o Vale do Jequitinhonha (MG); algumas localidades do interior do Piauí e do interior do Maranhão; bairros muito pobres da periferia de São Luís (MA) e do Recife (PE). Em alguns casos, não conseguimos acessar beneiciárias, habitantes de zonas isoladas e sem estradas (no Vale do Jequitinhonha), pois seríamos obrigados a usar cavalos. Este isolamento faz com que suas carências sejam mais profundas e difíceis de satisfazer. Deinidos os casos a ser investigados e realizadas as entrevistas, o pesquisador deve observar com atenção os relatos, a im de identiicar a existência de ele- mentos complicadores ou mesmo dissonantes com relação à realidade social, como a manifestação de respostas que o investigado esperava que satisizesse ao pesquisador, o anacronismo na narrativa de fatos que ocorreram em ordem ou períodos distintos daqueles apontados como cronológicos pelo entrevistado e a própria memória dos entrevistados, sujeita a esquecimentos, omissões e confu- sões (ALONSO, 2016; LIMA, 2016). GRUPOS FOCAIS Os grupos focais correspondem a entrevistas coletivas, nas quais os indivíduos selecionados ocupam um mesmo espaço e discorrem sobre suas opiniões, hábi- tos, valores e percepções sobre padrões sociais não apenas ao pesquisador, mas ao conjunto dos presentes, de modo que não se trata de simples coleta de dados a partir da fala do respondente, mas também da interação entre os respondentes com o grupo e, em alguma medida, com o mediador (GONDIM, 2003; WELLER, 2006; TEIXEIRA; ZAMBERLAN; RASIA, 2008). Técnicas e Instrumentos de Coleta de Dados Qualitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 73 De acordo com Veiga e Gondim (2001), os grupos focais constituem um recurso para a compreensão dos processos de conformação de representações sociais, em que podem, a depender de sua condução, contribuir para que os indi- víduos revelem aspectos que não abordariam em uma entrevista, por exemplo, pois a interação com os demais pode estimulá-los a manifestar-se ou reduzir a sensação de sentir avaliado pelo pesquisador. De acordo com Kind (2004, p. 125), a interação grupal é o principal trunfo dos grupos focais para a produção de dados e insights que diicilmente seriam coletados em abordagens individuais, já que “os dados obtidos, então, levam em conta o processo do grupo, tomados como maior do que a soma das opiniões, sentimentos e pontos de vista individuais em jogo”. O passo inicial para a realização de um grupo focal é a clareza por parte dos pesquisadores acerca do objetivo que mobiliza a pesquisa, ou seja, da questão que precisa ser respondida, uma vez que esse aspecto é deinidor de um conjunto amplo de decisões, como exempliica Gondim (2003, p. 153): as decisões metodológicas dependem dos objetivos traçados. Isto irá inluenciar na composição dos grupos, no número de elementos, na ho- mogeneidade ou heterogeneidade dos participantes (cultura, idade, gê- nero, status social etc), no recurso tecnológico empregado (face-a-face ou mediados por tecnologias de informação), na decisão dos locais de realização (naturais, contexto onde ocorre, ou artiiciais, realizados em laboratórios), nas características que o moderador venha a assumir (di- retividade ou não-diretividade) e no tipo de análise dos resultados (de processos e de conteúdo: oposições, convergências, temas centrais de argumentação intra e intergrupal, análises de discurso, linguísticas etc). Além desses aspectos, é essencial que os pesquisadores, especialmente em se tra- tando de acadêmicos ou de gestores públicos, observem o caráter ético envolvido na pesquisa com técnica de grupos focais, uma vez que, na maioria das vezes, sua realização ocorre com gravação de áudio e/ou vídeo e é preciso garantir a privacidade dos participantes, até mesmo para que se sintam mais confortáveis e seguros em se manifestar diante dos temas propostos pelo mediador e deba- tidos coletivamente. Em se tratando da consecução dos grupos focais, autores como Gondim (2003), Kind (2004), Teixeira, Zamberlan e Rasia (2008) e Almeida (2016) dis- correm sobre conjuntos de aspectos que devem ser observados, sobre os quais discorro por meio de tópicos, a seguir. O MÉTODO DE PESQUISA QUALITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIU N I D A D E74 ■ A composição dos elementos do grupo é relevante, uma vez que a simples reunião de indivíduos não garante a qualidade de conteúdo de suas mani- festações e interações. Assim, é preciso reletir sobre características que potencializariam a participação e optar entre escolher pessoas com muitas similaridades e algo diferente ou entre indivíduos muito diferentes, mas com alguma similaridade. Tal opção está relacionada ao objetivo da pesquisa. ■ O roteiro para estruturação do funcionamento do grupo deve ser le- xível, a partir de um conjunto de temas e questões a serem oferecidas à discussão, mas sem limitar o debate ao roteiro. Essa lexibilidade permite a emergência de opiniões divergentes sobre determinado assunto, bem como contribui para reduzir a inibição dos participantes. ■ Com relação ao tamanho do grupo, a quantidade de participantes varia, sendo que a maioria dos autores mencionados anteriormente aponta que o ideal seria reunir entre quatro e dez indivíduos. Tal decisão deve considerar, contudo, o nível de envolvimento ou de conhecimento dos participantes com relação ao tema pesquisado ou se o assunto abordado é polêmico, já que, em ambas as situações, os participantes podem ter muito a manifes- tar e duas consequências negativas podem advir de tal situação: a perda de controle do funcionamento do grupo pelo moderador e a polarização da discussão entre participantes de modo a gerar conlitos. ■ Em se tratando do número de grupos a ser realizados, é preciso conside- rar o quanto cada grupo contribui para a compreensão de uma questão a partir dos peris selecionados para participação. Há autores, os quais mencionam que, no mínimo, dois grupos focais seriam necessários para produzir dados, enquanto que há consenso de que o limite máximo de grupos decorreria da saturação das alternativas de respostas, ou seja, da A deinição do peril de participantes deve considerar o conhecimento do máximo possível de características pertinentes ao tema a ser debatido, para o que Almeida (2016) exempliica como um modelo de questionário-iltro. Fonte: o autor. Técnicas e Instrumentos de Coleta de Dados Qualitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 75 veriicação de que as interações nos grupos não são capazes de produzir novos argumentos. ■ O moderador tem papel central na condução dos grupos, pois deve, ao mesmo tempo, conduzir a discussão por meio da introdução de assuntos de maneira pertinente e limitar suas intervenções ao mínimo possível, de modo a permitir a luidez do debate. Uma das principais habilidades espe- radas de um moderador é de que seja capaz de perceber o conteúdo da discussão a im de, ainda durante o processo de coleta, estabelecer algu- mas análises preliminares, que direcionem sua interpretação posterior: A única forma de evitar uma interpretação equivocada é perguntar di- retamente ao grupo, razão porque o papel do moderador é importante, pois ao acompanhar o aprofundamento da discussão, ele formula in- terpretações e averigua se elas fazem sentido para o grupo. É com base nisto que se airma que há uma construção no processo de pesquisa, pois o pesquisador como moderador tem chance de avaliar a pertinên- cia de suas explicações e concepções teóricas junto ao próprio grupo.Isto o levará a reorientar ou conirmar sua interpretação, abordagem congruente em uma perspectiva metacientíica qualitativa, em que ele está implicado no processo de pesquisa (GONDIM, 2003, p. 155). ■ Há tempo pré-estabelecido para a duração do grupo focal, tanto porque o recrutamento de participantes implica em informar qual a duração da atividade quanto para que o mediador tenha condições de organizar a exposição ou inserção de temáticas com cuidado. Nesse sentido, autores como Almeida (2016) apontam o período entre 60 e 150 minutos como ideal, ao passo que Kind (2004) estabelece entre 90 e 120 minutos. Cabe ao pesquisador reletir sobre o tempo de duração tendo em vista que perí- odos curtos podem não ser suicientes para que os participantes percam a inibição e se manifestem ou para que todos os assuntos deinidos sejam abordados, ao passo que grupos com maior duração podem implicar em dispersão com relação ao tema, redução do estímulo à interação e mesmo a diiculdade em recrutar participantes. ■ O local para a realização do grupo focal deve possuir uma mesa grande ou possibilitar a disposição dos indivíduos de modo que todos possam sen- tar-se de frente com os demais. É interessante que cada um tenha exposta uma identiicação (como seu primeiro nome) para facilitar as menções e interações e, dentro das possibilidades, que seja realizado com auxílio de recursos audiovisuais, como gravadores de voz e câmeras, desde que consentidos por todos os participantes do grupo. O MÉTODO DE PESQUISA QUALITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIU N I D A D E76 Um exemplo de pesquisa realizada com grupos focais é o trabalho de Freitas (2011), que aplicou a técnica com o objetivo de analisar a compreensão e a relevância de um instrumento relacionado à Organização Mundial de Saúde, especiicamente, entre surdos. Para tanto, a pesquisadora realizou grupos focais com pessoas surdas usuárias da linguagem de Libras, com familiares de surdos e com intérpretes de Libras. Cada grupo era composto de seis a nove participantes e se reuniu por duas vezes, sendo que a conclusão geral da pesquisa foi de que, ao tratar da saúde da população surda, faz-se necessária a realização de abordagens especíicas do referido grupo, consideradas suas diferenças com relação às necessidades de políticas públicas de saúde. PESQUISA DOCUMENTAL Diferentemente das três técnicas de pesquisa qualitativa apresentadas anteriormente nesta seção, a pesquisa documental não tem como foco analítico os dados coletados junto aos indivíduos, ou seja, os casos a ser analisados não decorrem de cidadãos ou grupos com determinadas características sociais, mas de fontes documentais. De acordo com Kripka, Scheller e Bonotto (2015), tal técnica de pesquisa consiste em amplo e intenso exame de documentos, com a inalidade de produ- zir novos conhecimentos, de estabelecer novas maneiras para compreendermos os fenômenos e de conhecer como se desenvolvem ao longo do tempo. Nesse sentido, os dados são coletados junto a quaisquer fontes escritas de informações, como leis, regulamentos, cartas, memorandos, diários pessoais, autobiograias, reportagens de jornais e revistas, discursos, livros etc. “O recrutamento deve reduzir as barreiras oferecendo transporte, um lanche durante a realização do grupo e um brinde ao inal, de acordo com as caracte- rísticas socioculturais dos participantes”. Fonte: Almeida (2016, p. 50). Atenção! Técnicas e Instrumentos de Coleta de Dados Qualitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 77 De acordo com Marconi e Lakatos (2007), as fontes de documentos podem ser arquivos públicos, particulares ou de dados estatísticos. São exemplos de arquivos públicos os documentos oiciais, as publicações parlamentares e os documentos jurídicos. Por sua vez, os arquivos particulares remetem àqueles escritos para ins privados, sem pretensão de exposição ao público. Por im, fontes estatísticas são aquelas que permitem ao pesquisador identiicar aspectos relacionados à caracteri- zação geral da população, como sua distribuição no território, taxa de crescimento, peril sociodemográico, condições de moradia e utilização de serviços públicos. Um passo importante à pesquisa documental é a escolha dos documentos que serão analisados, os quais comporão o universo ou a amostra da pesquisa. Tal escolha deve decorrer dos objetivos e hipóteses construídos com aporte teó- rico, de modo que as questões formuladas pelo pesquisador são tão importantes quanto os documentos que analisará, pois são os questionamentos que direcionam a maneira como olhamos para o objeto da investigação (MAY, 2004; CELLARD, 2008; KRIPKA; SCHELLER; BONOTTO, 2015). Como principais vantagens da utilização de tal técnica, Kripka, Scheller e Bonotto (2015) destacam, primeiramente, o fato de constituírem uma fonte está- vel de informações, não reativa, ou seja, que não sofre interferências de eventos ou fenômenos externos, por se tratar de registros escritos, majoritariamente de períodos anteriores ao da coleta de dados. Como aspectos diicultadores da utilização de tal técnica, destacam-se o longo tempo necessário à leitura e interpretação dos documentos, em muitos casos, dii- cultada por conta da linguagem, graia, efeito danoso do tempo sobre os papéis ou mesmo pelo volume de dados a analisar. Ademais, a pesquisa documental pode não remeter a informações reais, mas a elaborações decorrentes de necessidades, obri- gações ou intenções dos formuladores dos documentos à época de sua produção. Em se tratando de pesquisas documentais realizadas no âmbito da gestão pública, Beltrão e Nogueira (2011) analisaram a produção acadêmica no campo da Administração Pública e Social e identiicaram que, dentre os 673 artigos publi- cados sobre o tema nos anais do Encontro Nacional da Associação Nacional de Pós-Graduação em Pesquisa em Administração entre 2005 e 2009, 28,5% decla- raram utilizar-se de pesquisa documental, dentre os quais os autores procederam a leitura integral de uma amostra aleatória dos artigos a im de veriicar como foi tratada a técnica que estamos discutindo nesta seção da unidade de estudos. O MÉTODO DE PESQUISA QUALITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIU N I D A D E78 De acordo com os autores, havia até aquele momento pouca preocupação, dentre aqueles que utilizavam a técnica de pesquisa documental, em expor de maneira deta- lhada como selecionaram os documentos analisados e como procederam a análise. Para além deste exemplo, a maneira como Lüchmann, Almeida e Gimenes (2016) realizaram a análise acerca dos desenhos institucionais de conselhos de políticas públicas das áreas de Assistência Social, Saúde e Meio Ambiente nas esferas municipal, estadual e federal é outro exemplo de utilização de pesquisa documental para a construção do conhecimento que pode ser útil à gestão pública. Ainda que os autores do artigo mais recente tenham incorrido no ponto negativo anteriormente destacado por Beltrão e Nogueira (2011), é importante vislumbrarmos a maneira como analisaram documentos constitutivos das refe- ridas instituições participativas. Grosso modo, o desenho institucional diz respeito ao formato orga- nizativo dos mesmos, como o conjunto de regras, critérios, espaços, normas, leis, que operacionalizam a participação e respondem, em boa medida, pela sua maior ou menor capacidade inclusiva e deliberativa. Para efeito deste artigo, os indicadores do desenho institucional ma- peados foram: a composição do conselho (se paritário, se tem mais representantes do governo ou mais representantes da sociedade civil); o método de escolha dos conselheiros da sociedadecivil; e a sua com- petência (se é consultivo ou deliberativo) (LÜCHMANN; ALMEIDA; GIMENES, 2016, p. 793). A consulta a tais informações se deu por meio de visitas às páginas oiciais dos poderes executivos e legislativos de 140 entes — dentre municípios, unidades da federação e a União — e por telefone. Foram coletadas leis ordinárias e com- plementares, decretos, editais e outros documentos que contivessem os dados apontados anteriormente. Para além do desenho institucional, analisamos ainda a distribuição da ocu- pação das cadeiras de representantes do governo e da sociedade civil por gênero e, dentre aqueles do segundo grupo, de acordo com o segmento que representam. Para tanto, foram consultados documentos como portarias e atas, que expõem a composição de cada gestão dos conselhos e o vínculo que cada membro representa. Os resultados identiicados por Lüchmann, Almeida e Gimenes (2016) foram relevantes ao entendimento da maneira como os conselhos de diferentes áreas de políticas públicas se estruturam nas distintas esferas de governo, da mesma Técnicas de Análise de Dados Qualitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 79 maneira como homens e mulheres e os segmentos associativos se distribuem nesses espaços participativos. Assim, por meio de uma análise documental foi possível estabelecer con- clusões que nos ajudam a visualizar a dimensão empírica do funcionamento dos conselhos, bem como nos permite problematizar a forma como tais espaços são ocupados e quem representa a sociedade civil nessas instituições participativas. TÉCNICAS DE ANÁLISE DE DADOS QUALITATIVOS A análise de dados qualitativos é reali- zada desde o momento em que sua coleta ocorre, conforme destacado na seção inicial desta unidade de estudos. Nesse sentido, ao longo da pesquisa de campo, é possível construir insights ou pequenas interpretações, a ser melhor exploradas na etapa da escrita, no “gabinete”, como menciona Oliveira (2000). As pesquisas de natureza qualitativa geram um extenso volume de da- dos que precisam ser organizados e compreendidos, requerendo assim um processo continuado em que se procura identiicar dimensões, ca- tegorias, tendências, padrões, relações, desvendando-lhes o signiicado (TEIXEIRA; ZAMBERLAN; RASIA, 2008, p. 110). Portanto, é preciso considerar diversos aspectos na realização da análise dos dados coletados, de modo a produzir resultados claros, objetivos e estruturados, de forma que as modalidades mais recorrentes são as análises documentais, de conteúdo e de discurso. Sobre as análises documentais, a maneira como o gestor público deve conduzir esta etapa gira em torno de sistematizar os dados coletados, sendo que tal técnica O MÉTODO DE PESQUISA QUALITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIU N I D A D E80 consiste em uma “operação ou um conjunto de operações visando representar o conteúdo de um documento sob uma forma diferente da original, a im de facili- tar, num estado ulterior, a sua consulta e referenciação” (BARDIN, 2008, p. 47). A análise de conteúdo trata da interpretação pelos pesquisadores daquilo que foi descrito ou apresentado na realização da observação participante ou de entrevista (BARDIN, 2008). A análise de discurso remete à interpretação dos sentidos daquilo que foi dito ou observado, com foco na construção da argumentação, da subjetivação e da maneira como os indivíduos interpretam e constroem suas interpretações da realidade (ORLANDI, 2003). Sobre a interpretação dos dados, Gondim (2003) destaca a necessidade de tomarmos cuidado com o “peso” que cada aspecto recolhido do campo assu- mirá em nossa análise. Conforme a autora, em discussão sobre grupos focais cujo conteúdo também pode ser estendido às observações e entrevistas, é necessário que, enquanto pesquisadores, saibamos diferenciar o que é importante e o que é interessante, uma vez que nossos entrevistados podem achar algo muito interes- sante, mas esse aspecto não ser relevante à pesquisa ou, ao contrário, pouco nos informarem sobre algo que é importante para a pesquisa, mas desperta, limita- damente, o interesse de nosso objeto. Lima (2016) airma haver uma questão crucial na análise de entrevistas, que também considero relevantes às observações e aos grupos focais: é importante que os pesquisadores não cedam à tentação de buscar a quantiicação e a gene- ralização dos resultados. Muitas análises de entrevistas erroneamente quantiicam respostas e peris para um conjunto de entrevistados onde não cabe a generali- zação estatística nem do seu peril nem, muito menos, das respostas dadas (LIMA, 2016, p. 38). De modo geral, diferentemente da pesquisa quantitativa, que será abordada na próxima unidade de estudos, a pesquisa qualitativa alia método e técnicas de coleta e análise de dados, de modo que a consecução das interpretações sobre o que foi coletado foi apresentado e explorado nas seções anteriores desta unidade, ao tratarmos de aspectos gerais do método qualitativo, das diferentes técnicas para realização de coletas de dados dessa natureza e, especialmente, por meio Técnicas de Análise de Dados Qualitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 81 dos exemplos apresentados, com destaque àqueles que remetem ao texto analí- tico qualitativo, o qual, conforme anteriormente destacado, assume, por vezes, caráter em alguma medida semelhante à literatura. Para além da deinição da maneira como os dados serão interpretados, se por meio de análises de discursos ou de conteúdo, se buscando veriicar as recorrên- cias ou as peculiaridades, a produção da interpretação dos dados qualitativos tem em sotwares de análises de dados de tal natureza um apoio relevante (NUNES et al., 2017), ainda que a visão positiva sobre a utilização de programas para análises qualitativas não seja unânime no campo cientíico (MOREIRA, 2007). Em se tratando da utilização de sotwares para a análise de dados qualitati- vos, Nunes et al., (2017) se apoiaram em aspectos deinidos por Moreira (2007) como positivos e negativos, os quais seguem dispostos a seguir: Figura 1 - Argumentos sobre o uso de sotwares Fonte: adaptada de Moreira (2007). Com relação aos sotwares, algumas ferramentas de apoio à realização das aná- lises de dados qualitativos são Atlas.ti 6, MAXQDA 2007, NVivo 8, QDA Miner 3.2 e Iramuteq. O MÉTODO DE PESQUISA QUALITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIU N I D A D E82 Em geral, os passos para a análise passam pela transcrição daquilo que foi observado, das entrevistas, dos grupos focais ou dos documentos, para, na sequência, ser iniciado o processo de codiicação do material, tendo em vista o referencial teórico e o objetivo da pesquisa. Essa codiicação diz respeito à iden- tiicação de termos, categorias, atores ou aspectos que se destaquem dentre o material analisado. O passo seguinte é a classiicação desses aspectos, a im de determinar a maneira como tais itens se relacionam. Por exemplo, é possível, a partir da repe- tição de aspectos frequentes nas falas dos entrevistados ou nos documentos, veriicar em quais contextos determinados os termos são mencionados. Esses dois passos podem ser realizados também sem a utilização de sof- twares, mas o terceiro passo decorre do manuseio da tecnologia em favor da pesquisa, pois as codiicações e as classiicações permitem aos pesquisadores criar agrupamentos de palavras, termos, ideias ou conceitos e gerar representa- ções esquemáticas a partir desses aspectos. Um exemplo de tal representação esquemática é oferecidoem Nunes et al. (2017, p. 240), no qual as autoras demonstram as relações decorrentes de análi- ses pautadas por codiicações e classiicações. Técnicas de Análise de Dados Qualitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 83 Figura 2 - Mapeamento dos temas e assuntos identiicados nas transcrições das discussões em grupo - Primeiro ciclo de prática de pesquisa Fonte: Nunes et al. (2017, p. 240). Cabe destacar, no entanto, que uma possibilidade de representação visual do mate- rial coletado é sua exposição por meio de uma nuvem de palavras, que pode ser gerada online, em sotwares de análise qualitativa ou mesmo em alguns editores de texto e corresponde à apresentação dos termos mais recorrentes dos registros, sendo útil em pesquisas de diversos campos do conhecimento, com aplicação, inclusive, em estudos sobre gestão pública e políticas públicas. A disposição dos termos com relação ao tamanho da fonte e ao local que ocupam na imagem são indicativos de sua recorrência no interior do material coletado, de modo que uma nuvem de palavras não tem o intuito de ilustrar a rele- vância dos termos ou temas, mas apenas sua repetição dentre os dados coletados. Vejamos, a seguir, dois exemplos de nuvens de palavras, recolhidos de pes- quisas qualitativas voltadas às discussões sobre velhice e envelhecimento, no primeiro caso, e sobre educação de jovens e adultos, no segundo caso. O MÉTODO DE PESQUISA QUALITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIU N I D A D E84 Figura 3 - Nuvens de palavras gerada pelo NVivo com base nas narrativas dos idosos longevos Fonte: Marinho et al. (2017, p. 164). Figura 4 - Nuvem de palavras destacando os assuntos mais recentes com relação à gestão escolar Fonte: Freitas et al. (2018, p. 16). Com relação à primeira nuvem, os destaques relacionam a velhice com a espi- ritualidade (Deus), a noção de velhice como privilégio (graças, sabedoria e experiência) e à própria condição de estar vivo (vida). Em sua análise sobre tal nuvem, Marinho et al. (2017) ilustram os argumentos atrelados aos aspectos em Técnicas de Análise de Dados Qualitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 85 destaque com trechos de narrativas coletadas, uma estratégia válida aos gestores públicos quando buscarem não apenas identiicar temas mais recorrentes, mas também o contexto em que tais temas emergem entre a população, por exemplo. Diante de seu conjunto de constatações, a conclusão dos autores, apontou, dentre outros aspectos, para a necessidade do poder público olhar com maior atenção para os idosos: Assim, sugere-se que novos estudos envolvendo idosos longevos sejam realizados, para que haja uma melhor compreensão da velhice, uma vez que estudar essa faixa etária, que é a que mais cresce no Brasil, pode aprimorar as políticas públicas de saúde e valorizar a espiritualidade, de modo a alcançar um cuidado mais humanizado, que promova a saúde e a qualidade de vida dos idosos (MARINHO et al., 2017, p. 166). A segunda nuvem foi extraída da pesquisa de Freitas et al. (2018), que teve o objetivo de compreender a gestão na educação de jovens e adultos (EJA) ofe- recida pelo Serviço Social da Indústria (SESI), no estado da Bahia, a partir das percepções dos sujeitos que trabalhavam em tal espaço. A pesquisa identiicou diferentes perspectivas nos olhares daqueles que ocupavam cargos de gestão e dos que não os ocupavam. Ao serem inda- gados sobre questões gestoras, aqueles que não estavam como gestores destacaram os seguintes aspectos: a) “Liderança propositiva, colabo- rativa, participativa e democrática - a liderança levanta propostas que dão apoio para operacionalização, além de deixar espaço aberto para opiniões e sugestões”; b) “Entendimento das particularidades da EJA”; e c) “Ações efetivas e contextualizadas que favorecem a aprendizagem do trabalhador da indústria”. Em contrapartida, os que eram gestores apre- sentaram como aspectos positivos a valorização do trabalho em equipe, a capacitação continuada, a gestão das competências, foco no resultado e nos aspectos humanos e inanceiros (FREITAS et al., 2018, p. 16). Diante do conjunto de argumentos e das principais recorrências entre gestores e trabalhadores que não possuíam cargos, foi possível aos autores elaborar consi- derações pertinentes à adequação e otimização da gestão na educação de jovens e adultos naquela unidade da federação, em que a pesquisa contribui de maneira expressiva à política pública de educação. O MÉTODO DE PESQUISA QUALITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIU N I D A D E86 CONSIDERAÇÕES FINAIS A realização de pesquisas com utilização do método qualitativo foi abordada nesta unidade de estudos. Ainda que não houvesse a preocupação em esgotar a temática, o entendimento é de que esta unidade fornece subsídios aos gestores públicos para que relitam sobre estratégias para desenvolver suas investigações. A im de contribuir com tal intuito, discorremos sobre as especiicidades do método e sua preocupação com o aprofundamento da pesquisa e com a interpretação detalhada sobre a conformação de processos sociais, tendo como perspectivas possíveis os recortes temporal e espacial. Para tanto, lançamos mão dos ensinamentos de Oliveira (2000) acerca da necessidade de sabermos olhar, ouvir e escrever e, com relação ao último aspecto, destacamos — com argumentação cientíica e por meio de exemplos — a pro- ximidade entre a escrita qualitativa e a literatura. Para além das características gerais do método qualitativo, exploramos, na segunda seção desta unidade, algumas técnicas e instrumentos utilizados para coleta de dados, evidenciamos que, em se tratando desse tipo de pesquisas, técnica e instrumento não se diferenciam, por exemplo, quando tratamos de entrevis- tas. Tratamos também de outras formas de abordar indivíduos, quais sejam: a observação participante e os grupos focais. Outra técnica apresentada foi a pesquisa documental, cuja descrição tratou, de modo simultâneo, sobre a técnica, os objetos e a maneira de coletar e anali- sar dados. Não por acaso se deu tal situação, uma vez que, como mencionado ao longo da unidade, na pesquisa qualitativa não há etapas claramente delimitadas, mas ocorrem, por vezes, em paralelo ou complementarmente. Ainda em se tratando da análise dos dados, inalizamos a unidade desta- cando as possibilidades de realização de análises de conteúdo e de discurso, bem como o uso de ferramentas tecnológicas como sotwares e recursos computacio- nais para representações visuais dos resultados. Sigamos nosso caminho abordando o método quantitativo. 87 1. A percepção dos objetos de pesquisa pelo gestor público carece de atenção e cuidado em sua abordagem, de modo que cabe aos proissionais destacados a “calibragem” de uma ação essencial, qual seja: a) A fala. b) A escrita. c) O olhar. d) O ouvir. e) O sentir. 2. Uma das características principais da pesquisa qualitativa é sua preocupação com a profundidade da investigação, mais do que com o objeto a ser anali- sado. Nesse sentido, com relação às amostras que compõem tais pesquisas, analise as características a seguir como verdadeiras (V) ou falsas (F): I. Representativas. II. Não probabilísticas. III. Pequenas. Assinale a alternativa que apresenta as airmativas corretas: a) Somente a airmativa I está correta. b) Somente a airmativa II está correta. c) Somente a airmativa III está correta. d) Somente as airmativas I e II estão corretas. e) Somente as airmativas II e III estão corretas. 3. Ao longo da primeira seção destaunidade de estudos, foi apresentada a dei- nição e a caracterização do método de pesquisa qualitativa, sendo que houve destaque a uma área no interior das Ciências Sociais, cuja forma de interpretar a realidade e os fenômenos sociais remete ao referido método. A área descrita é: a) Sociologia. b) Ciência Política. c) Antropologia. d) Filosoia. e) Serviço Social. 88 4. Em se tratando de técnicas e instrumentos para coleta de dados na pesqui- sa qualitativa, esta unidade de estudos apresentou diferentes possibilidades, dentre as quais uma se destaca pela coleta de dados, por meio do acompanha- mento do cotidiano dos indivíduos. A referida técnica é denominada: a) Observação participante. b) Entrevista aberta. c) Entrevista. d) Grupo focal. e) Pesquisa documental. 5. Com relação às técnicas para interpretação de dados qualitativos, a análise de conteúdo foi apresentada como uma das possibilidades e pode ser aplicada à: a) Observação participante. b) Entrevistas. c) Grupos focais. d) Pesquisa documental. e) Todas as técnicas mencionadas. 89 O LUGAR DA PESQUISA QUALITATIVA NA AVALIAÇÃO DE POLÍTICAS E PROGRA- MAS SOCIAIS Ao longo da década de 1990, na pesquisa qualitativa, a visão do pesquisador como ob- servador passivo vai sendo gradativamente substituída por uma visão mais participativa e o método misto ou combinado de abordagem (quali-quantitativo) passa a ser utiliza- do por pesquisadores das ciências sociais, quebrando a ideia da incompatibilidade entre métodos quantitativos e métodos qualitativos. Em síntese, a avaliação de programas surgiu, de forma sistemática, a partir da aplicação de métodos de pesquisa cientíica aos problemas sociais. Ao longo do tempo, alguns fa- tores contribuíram para aumentar a demanda de avaliação e modiicar essa visão inicial. Dentre eles, a necessidade de estabelecer prioridades e de contemplar programas mais importantes. Para que determinados programas fossem mantidos, era preciso julgar sua eicácia e eiciência. Além do mais, a crescente participação da sociedade civil nas dis- cussões sobre a destinação de recursos públicos aumentou a pressão por resultados e transparência (CALMON, 1999). Chega-se, assim, à moderna teoria de avaliação de programas sociais, que articula teoria e questões essenciais ligadas aos próprios programas que estão sendo avaliados, consi- derando múltiplos olhares dos envolvidos (BAUER; NOVAES, 2012) [...]. Segundo Shadish, Cook e Levinton (1995), as teorias de avaliação de políticas e progra- mas sociais evoluíram em três estágios ou gerações distintas. Segundo Lincoln (2005), a quarta geração é sucessora dos três modelos anteriores, mas considera premissas e operações distintas, principalmente a intensa participação dos envolvidos, tanto no pro- grama avaliado quanto na organização da avaliação (FALSARELLA; LOMBARDI, 2012) [...]. O primeiro estágio surge ao longo da década de 60 e apresenta duas características fun- damentais: a preocupação com a resolução dos principais problemas sociais e a aplica- ção rigorosa de métodos cientíicos. [...] Uma característica fundamental desse primeiro estágio de evolução da teoria da avaliação social é a preocupação com a validade dos instrumentos de pesquisa e com a evitação de vieses ou ambiguidades na interpretação dos experimentos. Acreditava-se que a avaliação, se adequadamente conduzida, consti- tuiria importante instrumento de feedback, e que os seus resultados seriam automatica- mente utilizados pelos formuladores de políticas, decisores e administradores. [...] O segundo estágio inicia-se na década de 1970 e seu aspecto mais relevante é a preocupação com as questões do pragmatismo e do incremento do uso da avaliação nas tomadas de decisão sobre a concepção, alteração ou continuidade de programas sociais. [...] Os estudos desses autores surgem da percepção de que, na prática, as infor- mações geradas pelas avaliações nem sempre eram utilizadas adequadamente pelos formuladores de políticas e não conduziam necessariamente ao aperfeiçoamento dos programas. 90 [...] Assim, o foco dos trabalhos do segundo estágio converge para a questão do au- mento da utilização das informações e recomendações provenientes dos estudos de avaliação na melhoria dos resultados dos programas. [...] Foi no segundo estágio que surgiu o debate sobre a utilização de técnicas quantitativas versus técnicas qualitativas na avaliação de programas. Tal debate decorria do pluralismo de métodos, conceitos e tipos de avaliação, bem como da ausência de consenso entre os teóricos sobre as me- lhores práticas a serem utilizadas neste universo de diversidade metodológica. O terceiro estágio consiste basicamente na síntese dos trabalhos dos dois estágios an- teriores. [...] Há consenso, no terceiro estágio, de que os programas são afetados politi- camente, caracterizam-se por diversidade epistemológica e metodológica, e possuem prioridades múltiplas, o que impossibilita a existência de uma prática universal e ideal de avaliação de programas sociais. [...] No texto Fourth-Generation Evaluation, Yvonna Lincoln (2005) explora o que ela própria e Egon Guba (GUBA; LINCOLN, 1989) chamam de quarta geração das teorias de avalia- ção de programas e políticas sociais, que parte de pressupostos diferentes das três ver- tentes anteriores e conduz a distintos modos de operação na situação a ser avaliada. A premissa inicial é que os diversos agentes envolvidos na avaliação reagem não somente à realidade física ou tangível, mas também às suas próprias construções sócio-psicoló- gicas sobre determinada situação. Apoia-se, assim, em um paradigma interpretativo [...]. Para os propositores da quarta geração, um programa social só tem sentido quando desenvolvido e analisado em estreita relação com o contexto e com possíveis mudanças sociais que pode provocar. Além disso, como a atribuição de valores é inerente ao ser humano, é fundamental que os valores dos envolvidos sejam considerados. Por outro lado, entende-se que o conhecimento coletivamente construído na ação grupal leva à mudança social. [...] Quanto ao papel do investigador, entende-se que é impossível estabelecer uma separa- ção nítida entre ele e o objeto de estudo, pois toda a investigação apresenta marcas de quem a realiza. Portanto, é impossível ao observador posicionar-se apenas externamen- te à realidade do contexto. Em vista disso, a intersubjetividade, resultante da interação e da colaboração entre o investigador e os stakeholders passa a ser reconhecida como fator interveniente na pesquisa. O investigador vai construindo, por meio de análises sucessivas, uma teoria que explique o fenômeno que está estudando na medida em que desenvolve seu estudo, começando por um conjunto empírico de dados. Uma vez que o investigador tem uma relação muito próxima com os participantes, deve-se dar muita atenção a questões de ordem ética, que dizem respeito à responsabilidade na relação estabelecida com os sujeitos do estudo. Assim, alguns princípios éticos devem ser seguidos pelo pesquisador: a) Garantir o consentimento informado dos participantes, resultante de uma informação clara por parte do investigador quanto aos objetivos e aos procedimentos que pensa utilizar, ou seja, as regras do jogo devem ser claras e negociadas; dados que não sejam 91 do conhecimento dos participantes e não tenham seu consentimento prévio não de- vem ser coletados; b) Pensar nas possíveis implicações e situações embaraçosas, decorrentes da publicação do estudo, a que estão sujeitos os participantes; os limites de acesso aos dados devem ser discutidos e negociados [com especial cuidado com questões de foro íntimo e de privacidade dos participantes], podendo o investigador recorrer ao anonimato e a pseu- dônimos; c) Evitar juízos sobre o objeto de estudo com base nos próprios valores, sendo que o risco de que isso aconteça é grande porque todo pesquisador tem suas próprias concep- ções; embora ao investigador não seja possível assumiruma postura avaliativa exterior totalmente isenta, ele deve procurar interpretar e compreender os signiicados das in- formações para os participantes”. Fonte: Falsarella (2015). REFERÊNCIAS 93 ALONSO, A. Métodos qualitativos de pesquisa: uma introdução. In: ABDAL, A.; OLI- VEIRA, M. C. V.; GHEZZI, D. R.; SANTOS JÚNIOR, J. (Orgs.). Métodos de pesquisa em Ciências Sociais: bloco qualitativo. São Paulo: Serviço Social do Comércio/Centro Brasileiro de Análise e Planejamento, 2016. p. 8-23. ALMEIDA, R. Roteiro para o emprego de grupos focais. In: ABDAL, A.; OLIVEIRA, M. C. V.; GHEZZI, D. R.; SANTOS JÚNIOR, J. (Orgs.). Métodos de pesquisa em Ciências Sociais: bloco qualitativo. São Paulo: Serviço Social do Comércio/Centro Brasileiro de Análise e Planejamento, 2016. p. 42-59. Bardin, L. Análise de conteúdo. Lisboa: Edições 70, 2008. BELTRÃO, R. E. V.; NOGUEIRA, F. A. A pesquisa documental nos estudos recentes em administração pública e gestão social no Brasil. In: ENCONTRO NACIONAL DA ASSO- CIAÇÃO DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO – ANPAD, 35., 2011, Rio de Janeiro. Anais ... Rio de Janeiro: ANPAD, 2011. BONI, V.; QUARESMA, S. J. Aprendendo a entrevistar: como fazer entrevistas em Ci- ências Sociais. Em Tese, v. 2, n. 1, jan./jul. 2005. p. 68-80. BOURDIEU, P. et al. A miséria do mundo. 3. ed. Petrópolis: Vozes, 1999. CELLARD, A. A análise documental. In: POUPART, J. A pesquisa qualitativa: enfo- ques epistemológicos e metodológicos. NASSER, A. C. (Trad.). Petrópolis: Vozes, 2008. p. 295-316. COMBESSIE, J. C. O método em Sociologia. São Paulo: Edições Loyola, 2004. DEBERT, G. G. Problemas relativos à utilização da história de vida e história oral. In: CARDOSO, R. A aventura antropológica: teoria e pesquisa. São Paulo: Paz e Terra, 1986. p. 141-156. DOURADO, S. P. C.; ANACLETO, M. A prática da ginástica entre jovens e idosos: corpo, saúde e sociabilidade. In: CONGRESSO BRASILEIRO DE SOCIOLOGIA, 18., 2017, Brasí- lia. Anais... Brasília: Congresso Brasileiro de Sociologia, 2017. FALSARELLA, A. M. O lugar da pesquisa qualitativa na avaliação de políticas e pro- gramas sociais. Avaliação, v. 20, n. 3, nov. 2015. p. 703-715. FREITAS, A. R. Análise por grupos focais do instrumento para avaliação da quali- dade de vida de pessoas com deiciências intelectuais e físicas (WHOQOL-DIS) traduzido para língua brasileira de sinais. 2011. 138 f. Dissertação (Mestrado em Ciências da Saúde - Medicina), Universidade Federal de Goiás, Goiânia, 2011. FREITAS, G. M. O.; CAVALCANTE, T. R.; AMORIM, A.; FREITAS, K. S. A prática da gestão da educação de jovens e adultos no Serviço Social da Indústria no estado da Bahia. Educação em Revista, v. 34, jun. 2018. p. 1-26. GIMENES, E. R.; SOUZA, M.; SANTIAGO, A. B. S. Gestão social e empreendedorismo social no campo das organizações da sociedade civil: desaios à conformação do campo de pesquisa e das práticas proissionais. 2018 [Mimeo]. REFERÊNCIAS GONDIM, S. M. G. Grupos focais como técnica de investigação qualitativa: desaios metodológicos. Paidéia, v. 12, n. 24, 2003. p. 149-161. KIND, L. Notas para o trabalho com a técnica de grupos focais. Psicologia em Revis- ta, Belo Horizonte, v. 10, n. 15, jun. 2004. p. 124-136. KOTLER, P.; ARMSTRONG, G. Princípios de Marketing. São Paulo: Pearson Prentice Hall, 2007. KRIPKA, R. M. L.; SCHELLER, M.; BONOTTO, D. L. Pesquisa documental: considerações sobre conceitos e características na pesquisa qualitativa. Investigação Qualitativa em Educação, v. 2, 2015. p. 243-247. LIMA, M. O uso da entrevista na pesquisa empírica. In: ABDAL, A.; OLIVEIRA, M. C. V.; GHEZZI, D. R.; SANTOS JÚNIOR, J. (Orgs.). Métodos de pesquisa em Ciências So- ciais: bloco qualitativo. São Paulo: Serviço Social do Comércio/Centro Brasileiro de Análise e Planejamento, 2016. p. 24-41. LÜCHMANN, L. H. H.; ALMEIDA, C.; GIMENES, E. R. Gênero e representação política nos conselhos gestores no Brasil. Santa Dados, Santa Catarina, v. 59, n. 3, set. 2016. p.789-822. MARCONI, M. A.; LAKATOS, E. M. Fundamentos da Metodologia Cientíica. 6. ed. São Paulo: Atlas, 2007. MARINHO, M. S.; CHAVES, R. N.; GOMES, J. B.; REIS, L. A. Longevidade e espirituali- dade: o envelhecer como uma dádiva de Deus. Revista Brasileira de Ciências do Envelhecimento Humano, Passo Fundo, v 14, n. 2, maio/ago. 2017. p. 159-168. MAY, T. Pesquisa social: questões, métodos e processos. Porto Alegre, Artmed, 2004. MOREIRA, D. A. O uso de programas de computador na análise qualitativa: opor- tunidades, vantagens e desvantagens. Revista de Negócios, Blumenau, v. 12, n. 2, 2007. p. 56-68. NUNES, J. V.; WOLOSZYN, M.; GONÇALVES, B. S.; PINTO, M. D. S. A pesquisa qualitativa apoiada por softwares de análise de dados: uma investigação a partir de exemplos. Revista Fronteiras: estudos midiáticos, v. 19, n. 2, maio/ago. 2017. p. 233-244. OLIVEIRA, R. C. O trabalho do antropólogo. 2. ed. Brasília: Paralelo 15, 2000. ORLANDI, E. P. Análise de discurso: princípios e procedimentos. 5. ed. Campinas: Pontes, 2003. REGO, W. D. L.; PINZANI, A. Liberdade, dinheiro e autonomia: o caso do Programa Bolsa Família. In: CAMPELLO, T.; NERI, M. C. Programa Bolsa Família: uma década de inclusão e cidadania. Brasília: Instituto de Pesquisa Econômica Aplicada, 2013. p. 359-366. TEIXEIRA, E. B.; ZAMBERLAN, L.; RASIA, P. C. Pesquisa em gestão pública. Ijuí: Uni- versidade Regional do Noroeste do Estado do Rio Grande do Sul, 2008. REFERÊNCIAS 95 VEIGA, L. F.; GONDIM, S. M. G. A utilização de métodos qualitativos na ciência política e no marketing político. Opinião Pública, v. 2, n. 1, 2001. p. 1-15. WELLER, W. Grupos de discussão na pesquisa com adolescentes e jovens: aportes teórico-metodológicos e análise de uma experiência com o método. Educação e Pesquisa, v. 32, n. 2, maio/ago. 2006. p. 241-260. GABARITO 1. A resposta correta é C. 2. A resposta correta é E. 3. A resposta correta é C. 4. A resposta correta é A. 5. A resposta correta é E. U N ID A D E III Prof. Dr. Éder Rodrigo Gimenes O MÉTODO DE PESQUISA QUANTITATIVA Objetivos de Aprendizagem ■ Apresentar o conceito de pesquisa quantitativa, bem como de seus principais componentes. ■ Discorrer sobre as diferentes técnicas para coleta de dados quantitativos e sobre o planejamento e a elaboração de questionários. ■ Oferecer subsídios à realização de análise de dados quantitativos. Plano de Estudo A seguir, apresentam-se os tópicos que você estudará nesta unidade: ■ Conceito de pesquisa quantitativa ■ Técnicas e instrumento de coleta de dados quantitativos ■ Técnicas de análise de dados quantitativos INTRODUÇÃO A maneira como o gestor público aborda um problema pode ser deinidora das condições de atendimento à questão, sendo que uma abordagem inadequada, ao contrário, pode conduzir a situações graves e/ou com efeitos negativos à coletividade. Na unidade de estudos anterior, discutimos acerca de abordagens qualitati- vas e como são capazes de contribuir para o conhecimento aprofundado acerca de determinados aspectos da realidade social e nos permitam atuar de maneira detalhada em casos especíicos. Existem questões que assumem perspectivas maiores do que casos ou gru- pos, de modo que ao gestor público também é relevante conhecer técnicas para abordar problemas com tal coniguração. Nesse sentido, esta unidade de estudos discorre sobre técnicas quantitati- vas para coleta e análise de dados. Assim como estruturei a unidade de estudos anterior, esta tem como primeira seção aquela em que exponho o conceito sobre tal método de pesquisa, bem como apresento informações e deinições relevan- tes às pesquisas de tal natureza. A segunda seção aborda informações e técnicas relevantes à construção do instrumento de pesquisa quantitativa, que é o questionário. Para tanto, é ofere- cido, ao acadêmico de gestão pública, um conjunto de “veículos” para condução dos questionários e de exemplos sobre “como” formular as questões, bem como uma discussão aprofundadasobre aspectos essenciais e pontuais que contribuem para que um instrumento de pesquisa atenda ao objetivo para o qual foi planejado. Por im, a terceira seção desta unidade de estudos destaca técnicas para aná- lise e interpretação de dados, com enfoque em conceitos de estatística descritiva, bivariada, multivariada e hierárquica e de geoprocessamento, acompanhados de exemplos e de indicações de sotwares que contribuem à sua realização. Bons estudos! Introdução R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 99 CONCEITO DE PESQUISA QUANTITATIVA As pesquisas quantitativas têm como principal característica a preocupação com a quantiicação de fenômenos, de modo que as técnicas de coleta e de aná- lise de dados são baseadas em dois aspectos: a perspectiva de comparação e a possibilidade de tratamento estatístico. Nesse sentido, o método quantitativo implica em amostras representativas com grande número de casos e coleta de dados estruturada. De acordo com Lima (2016, p. 16), em geral, as unidades de mensuração (os casos, como exposto nas unidades de estudos anterior), são indivíduos, mas podem também ser instituições, empresas, municípios etc., sendo que “o que é crucial para a pesquisa quantitativa é que tais unidades sejam comparáveis”. Com relação à possibilidade de tratamento estatístico, autores como Barbetta (2011) e Kellstedt e Whitten (2015) destacam que, a depender do desenho amostral O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E100 Conceito de Pesquisa Quantitativa R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 101 da pesquisa (também abordado em nossa unidade anterior de estudo), é possível realizar testes que indiquem a capacidade de predição de determinada relação, ou seja, a chance de que algo que foi identiicado na amostra seja replicado em escala populacional, conforme o erro tolerável envolvido na investigação. A abordagem sobre a realização de análises descritivas, bivariadas, multivariadas, hierárquicas e de georreferenciamento serão destacadas apenas na terceira seção desta uni- dade, sendo necessário estabelecermos noções sobre formas de mensuração de atributos antes de discutirmos técnicas de coleta e de análise. A coleta de dados estruturada implica em construir ferramentas que deinam com a maior exatidão possível quais dados e informações serão captados pelo pesquisador, indicando que antes de iniciar a etapa de coleta é necessário que haja clareza sobre o problema, a maneira como o gestor público pretende abor- dá-lo e quais informações pretende reunir para solucionar o problema. Nesse sentido, Lima (2016, p. 20) airma que são de grande relevância a deinição da unidade de análise (caso) e dos atributos que se pretende mensu- rar (variáveis). Sobre o primeiro aspecto, a autora ilustra: A unidade de análise corresponde ao que o pesquisador quer obser- var. Por exemplo, no questionário da Pesquisa Nacional de Amostra por Domicílio (PNAD), o Instituto Brasileiro de Geograia e Estatística (IBGE) coleta dados sobre os domicílios e sobre as pessoas que neles residem. São, portanto, duas unidades de análise distintas: característi- cas da unidade do domicílio (características do domicílio, acesso a ser- viços de saneamento básico) e características dos moradores (condição na família, cor/raça etc.). Os questionários do Censo e da PNAD, realizados pelo IBGE, encontram-se disponíveis na página do instituto, assim como os bancos de dados e relató- rios com os resultados de cada pesquisa. Para saber mais, acesse: <https:// www.ibge.gov.br/>. Fonte: o autor. O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E102 Com relação às variáveis, “[...] são as características que podem ser observa- das (ou medidas) em cada elemento da população, sob as mesmas condições” (BARBETTA, 2011, p. 29). Nesse sentido, tratam-se de atributos que procuramos identiicar em um questionário ou levantamento de dados, de modo que cada resposta corresponde a manifestação de um caso com relação a uma variável. Em se tratando da natureza das variáveis quantitativas, Barbetta (2011) des- taca que podem ser considerados dois tipos: discretas e contínuas, sendo que o primeiro tipo possui ramiicações ou subdivisões entre dicotômicas e multica- tegóricas e entre ordenadas e não ordenadas. Isto posto, esta seção de deinição do que é pesquisa quantitativa se dedica à explanação sobre tais tipos de variá- veis, tarefa imprescindível à organização, além da interpretação, análise de dados e leitura de pesquisas de natureza quantitativa. Variáveis discretas são aquelas utilizadas com a inalidade de classiicar pes- soas, objetos, instituições, documentos ou eventos de acordo com determinada qualidade de seus atributos. Nesse sentido, de modo geral, as variáveis discre- tas dizem respeito àquelas cuja inalidade é de mensurar (quantiicar, de certa maneira) as qualidades dos casos. Essa mensuração pode assumir diferentes for- mas, uma vez que as qualidades dos casos variam em função das especiicidades de cada atributo que se deseja quantiicar. A primeira subdivisão das variáveis discretas diz respeito às possibilidades de respostas ou ao número de possibilidades que cada atributo reúne, de modo que variáveis discretas podem ser dicotômicas ou multicategóricas. Variáveis discretas dicotômicas (também denominadas binárias ou dummy) per- mitem apenas duas possibilidades de respostas (categorias) e, via de regra, permitem a identiicação da presença ou da ausência de um atributo para cada caso analisado. São muitos os exemplos de variáveis discretas dicotômicas, como: ■ Na área da saúde, a identiicação do recém-nascido como vivo ou morto é uma representação da presença ou ausência do atributo “nascer vivo”, de modo que quantitativamente a dicotomia seria “vivo” ou “não vivo”. ■ No caso da assistência social, poderíamos pensar em classiicar indivíduos ou famílias em locais com concentração da população em condição de vul- nerabilidade social como “assistidos” e “não assistidos”, a im de delimitar em que intensidade é preciso que os gestores públicos e sociais atuem no local. Conceito de Pesquisa Quantitativa R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 103 ■ Em municípios ou unidades federativas, a veriicação da existência de conselhos de políticas de determinadas áreas é mensurada de maneira discreta e dicotômica por meio de respostas “sim” ou “não”. ■ Ainda em se tratando de instituições participativas, a variável que per- mite identiicarmos quem ocupa a presidência de um conselho em cada gestão também é binária, já que as opções de respostas podem ser “mem- bro da sociedade civil” e “membro do governo”, cabendo ao pesquisador deinir qual atributo pretende mensurar e, em oposição, estabelecendo a outra categoria como indicação de ausência do atributo. ■ Com relação às análises de documentos, também é possível utilizar “sim” e não” como categorias para checagem da existência de editais de convoca- ção, atas, resoluções e outros registros que possibilitem ao gestor público compreender o que foi deliberado e como tal deliberação ocorreu. ■ Em situações especíicas nas quais há conhecimento de que conjuntos de casos com características distintas estão sujeitos aos mesmos efeitos de um dado problema, é possível a simpliicação de características, como ao tratarmos da condição de imigrantes no Brasil, quando o critério mais rele- vanteà gestão pública é determinar as condições, necessidades e maneira de abordar os contingentes populacionais de nacionalidades diferen- tes da brasileira, uma vez que, independentemente de serem haitianos, venezuelanos ou decorrentes de outros países, são indivíduos que majo- ritariamente se encontram em situações precárias de subsistência e sem acesso a serviços, espaços ou direitos mínimos quando chegam ao Brasil. Já as variáveis discretas multicategóricas são aquelas referentes aos atributos que possuem mais de duas possibilidades de respostas e, portanto, não permitem a determinação de presença ou ausência de atributo. São exemplos de variáveis discretas multicategóricas: ■ A religião para qual cada indivíduo declara participar, professar ou per- tencer e também as manifestações de descrença com relação a Deus e/ ou à religiosidade. ■ A etnia dos indivíduos. ■ A nacionalidade de indivíduos, produtos e processos. O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E104 ■ O tipo de vínculo estabelecido por cada indivíduo que atua no poder público, se servidor estatutário, celetista, nomeado especiicamente para cargo ou função eleita etc. ■ O setor da gestão pública no qual cada servidor atua. Para além do número de categorias de resposta, as variáveis discretas podem tam- bém ser consideradas a partir da possibilidade de ordenamento dessas categorias de respostas, ou seja, da existência de qualidades que possam ser mensuradas como crescentes ou decrescentes. Nesses termos, é importante destacar que tal perspectiva de classiicação quanto à ordenação não exclui a subdivisão em dico- tômica ou multicategórica. Nesse sentido, variáveis discretas ordenadas (também denominadas ordinais) são aquelas para as quais as categorias de respostas permitem o estabelecimento de ordem, como: ■ Em se tratando dos gestores públicos, seu nível de escolaridade (se pos- sui ensino fundamental, médio, técnico ou superior completo). ■ Quanto à população, os indicadores de interesse por política (se nenhum, pouco, razoável ou muito) e de frequência a utilização de determinado ser- viço ou política pública, como o transporte coletivo ou os equipamentos de saúde (se diário, algumas vezes por semana, semanalmente, quinze- nalmente, mensalmente ou com menor frequência). ■ Com relação às instituições públicas, qual o nível de transparência na divulgação de legislação e demais informações à população (se inexis- tente, baixo, intermediário, alto ou total). Para as variáveis discretas ordenadas, há diversas possibilidades de determinação de categorias, desde a utilização de critérios formais ou oiciais (como os níveis de escolarização) até a opção por escalas de intensidade (de interesse por política ou de frequência de utilização de determinado serviço ou política pública, nos exemplos vistos anteriormente) ou mesmo por analogia a números. Tais alterna- tivas serão abordadas na próxima seção desta unidade de estudos, ao tratarmos da construção do questionário para a coleta dos dados da pesquisa. Conceito de Pesquisa Quantitativa R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 105 Há, por outro lado, as variáveis discretas não ordenadas (ou não ordinais), cujas categorias de respostas se equivalem ou não permitem que seja estruturado qual- quer critério de hierarquização. Um exemplo de variável discreta não ordenada dicotômica é a questão sobre o sexo dos indivíduos, se masculino ou feminino. Esta variável apresenta apenas duas respostas possíveis (a despeito do debate sobre gênero, o qual não se coloca no contexto desta ilustração) e são respostas que, salvo exceções, não devem ser analisadas como ordenadas. A exceção se justiicaria apenas para situações nas quais houvessem problemas de pesquisa especíicos, como nos casos das cam- panhas de conscientização aos cuidados com saúde entre homens e mulheres, para as quais haveria um público alvo com um atributo especíico, de modo que, pertencer ao sexo para o qual não é destinada a campanha, signiicaria não pos- suir o atributo adequado. Outro exemplo de variável discreta não ordenada, porém multicategórica, é o questionamento aos cidadãos sobre qual área de política pública que consideram a mais deicitária ou aquela que mais carece de atenção pelo gestor público. Uma pergunta com tal conteúdo permitiria diversas alternativas de respostas (como saúde, educação, meio ambiente, coleta de lixo, saneamento básico, segurança, cultura, lazer, transporte público, assistência social etc.) e entre essas opções não haveria a possibilidade de estabelecimento de importância anteriormente à pesquisa, mas somente depois, a partir dos resultados encontrados junto à popu- lação é que os gestores públicos deveriam hierarquizar as respostas para deinir em quais áreas investir ou atentar-se. Tal postura, portanto, seria adequada por parte da gestão pública com relação à sua ação. Na área da saúde, a avaliação dos efeitos de procedimentos estéticos pode ocorrer por meio de atribuição de notas ou de atribuição de avaliações cate- góricas frente a fotos de “antes” e “depois”, como em Paulo e Oliveira (2018). Fonte: o autor. O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E106 Findada a conceituação sobre as variáveis discretas, podemos abordar as variáveis contínuas ou escalares, que dizem respeito àquelas que mensuram a quantidade de determinado atributo, de modo que as categorias de respostas assumem notação numérica. Por conta de tal caracterização e também por não serem compostas por subdivisões, as variáveis contínuas são mais facilmente identiicáveis. Seguem alguns exemplos de variáveis contínuas, a título de ilustração do conceito e de sua aplicação no âmbito da gestão pública: ■ Entre a população em geral, podemos coletar dados referentes à idade dos indivíduos, a sua quantidade de anos de estudo e ao valor da renda familiar, a im de subsidiar discussões sobre necessidades em termos de políticas públicas de educação. ■ No âmbito do Estado, podemos coletar e analisar dados referentes ao número de domicílios e de equipamentos públicos em cada região dos municípios, com vistas a reletir sobre a otimização dos serviços ofere- cidos à população. ■ No caso de eleições, ou mais especiicamente no caso de eleições para a composição do Conselho Tutelar, é relevante considerar o número de eleitores por área; ■ Para a melhor estruturação da política de capacitação dos servidores públicos, é necessário conhecer a realidade do órgão quanto ao número de funcionários, dentre outros aspectos, para que seja possível dimensio- nar a quantidade de vagas, abertura de turmas e necessidade de espaço físico para a realização dos treinamentos. Sobre as variáveis contínuas, é relevante destacar ainda que, em alguns casos, uma informação ou atributo pode ser captado de maneira numérica ou discreta, como nos seguintes casos: ■ Idade ou faixa etária. ■ Renda em reais, renda em salários mínimos ou faixa de renda. ■ Anos de estudo ou nível de escolarização. ■ Número de unidades residenciais, ou comerciais, ou lote (se contagem por terreno/espaço físico ou por quantidade de casas, apartamentos ou comércios estabelecidos no espaço). Técnicas e Instrumento de Coleta de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 107 Ambas as maneiras de mensuração são válidas, mas é preciso destacar que, sem- pre que possível, é desejável que seja coletada a informação mais detalhada, a im de evitar necessidadede retornar à etapa de coleta de dados. Assim, ao pes- quisador e ao gestor público é importante a clareza sobre os distintos tipos de variáveis expostos anteriormente na elaboração de um questionário de pesquisa, o qual será abordado na próxima seção desta unidade de estudos. TÉCNICAS E INSTRUMENTO DE COLETA DE DADOS QUANTITATIVOS A realização de uma pesquisa quantita- tiva é perpassada pela deinição de como os dados serão coletados. Esse “como” diz respeito à escolha do veículo para realiza- ção da coleta, se presencial, por telefone ou por intermédio de meios virtuais. Autores como Teixeira, Zamberlan e Rasia (2008), Barbetta (2011), Kellstedt e Whitten (2015), Lima (2016) e Torini (2016) destacam que a realização de cole- tas de dados quantitativos podem ocorrer com a utilização de questionários autoaplicáveis de maneira presencial ou virtual ou aplicados por pesquisadores presencialmente ou por telefone. Com relação aos meios virtuais, os veículos para solicitação da participação podem ser e-mails (com direcionamento especíico), notícias ou mensagens com ampla divulgação (e, portanto, sem direcionamento ou com capacidade de especiicidade limitada). Diante do exposto, nas próximas páginas, abordaremos, primeiramente, as maneiras mencionadas, no parágrafo anterior, referentes a “como” os ques- tionários podem ser conduzidos. Somente após tais deinições trataremos da conceituação, das características e das etapas à elaboração de um questionário. O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E108 Tal escolha para apresentação dos temas se justiica em virtude de que, ainda que a aplicação seja etapa posterior à elaboração do questionário, a etapa de cons- trução depende da deinição de como se pretende aplicar o instrumento para coleta de dados, pois diferentes veículos ou modalidades implicam em desenhos também distintos de questões. Nesse sentido, os próximos itens serão direcionados, majoritariamente, à construção de questionários para coleta de dados junto a indivíduos. Na próxima unidade de estudos, contudo, abordaremos a construção de um banco de dados com informações coletadas junto a instituições, para que possamos discorrer sobre como informações qualitativas já existentes (portanto, dados secundários) podem compor uma base de dados nova, direcionada aos interesses do gestor público (e, assim, constituir-se em dados primários). QUESTIONÁRIOS AUTOAPLICÁVEIS São instrumentos de coleta de dados por meio dos quais os próprios respon- dentes preenchem os questionários. Podem ser realizados de maneira presencial (física) ou virtual (online) e exigem sensibilidade e conhecimento do pesqui- sador/gestor público com relação ao seu público-alvo, uma vez que as questões precisam ser claras e permitir ao respondente que as interprete e tenha condi- ções de respondê-las. Assim, os enunciados de comandos das questões devem permitir a leitura luída e que remeta o respondente à sua autonomia na aplicação do questioná- rio. Para tanto, podem ser utilizadas expressões, como: “Diante das modalidades de associativismo abaixo, assinale aquela(s) da(s) qual(is) o/a sr./sra. participa:” ou “Tendo em vista as airmações abaixo, gostaríamos que o/a sr./sra. lesse com atenção e indicasse com qual delas mais se identiica:”. Quando a abordagem é realizada de maneira física, a chance de que um mesmo respondente participe por duas vezes da pesquisa é reduzida, mas, na internet, tal controle pode ser menor, uma vez que o pesquisador “não vê” seu interlocutor e o questionário permanece disponível para ser respondido por algum tempo. Técnicas e Instrumento de Coleta de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 109 É relevante, em ambos os casos, mas principalmente em questionários online, que seja incluída alguma questão sobre o respondente ter participado de alguma pesquisa sobre o tema (especiicar a temática) nos últimos dias e, se possível, solicitar alguma informação mínima para identiicação no caso de duplicidade de respostas, como nome completo ou endereço de e-mail. Cabe ao pesquisa- dor evidenciar ao respondente que tal identiicação será utilizada apenas para controle e não será divulgada. Os questionários autoaplicáveis podem ser úteis para abordar temas polê- micos, sobre os quais os indivíduos podem se sentir constrangidos ou mesmo julgados pelos pesquisadores ao responder as perguntas. Questões relacionadas ao consumo de substâncias ilícitas (drogas) e ao respeito ou intolerância aos direi- tos de minorias (mulheres, negros, indígenas e população LGBT, por exemplo) se enquadram em tal situação. O mesmo podemos dizer de questões ou questionários que abordam temas como preferência partidária, avaliação do chefe do Executivo ou do desempenho de setores e do governo em geral no âmbito da gestão pública. Não raras vezes, até mesmo pelo receio de represálias por conta de uma possível identiicação, os servidores públicos se negariam a participar de uma pesquisa que contemplasse tais conteúdos. Nesse caso, questões que permitam a identiicação dos respon- dentes, por mais simples que sejam (como primeiro nome, número de matrícula ou endereço de e-mail, por exemplo) deveriam ser abolidas. Com relação aos custos, os questionários online envolvem menos recur- sos do que aqueles aplicados pessoalmente e os questionários autoaplicáveis de maneira física são também menos custosos do que aqueles aplicados. Por um lado, os questionários online têm custos relacionados a tempo, pes- soal e recursos inanceiros especialmente em sua elaboração, pois depois basta disparar os e-mails ou outros materiais para divulgação e aguardar as respostas, para as quais há, atualmente, muitas ferramentas também online que tabulam os dados e oferecem até mesmo representações gráicas dos resultados. O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E110 Em se tratando de meios físicos, um questionário autoaplicável é entregue ao respondente e este tem autonomia para preenchê-lo, enquanto o aplicador pode entregar outros formulários, de modo que a pesquisa pode até mesmo ser realizada com centenas de pessoas ao mesmo tempo, em locais como salas ou auditórios, que permitam aplicar o controle para recebimento dos questionários respondi- dos antes que os respondentes se dispersem do local. Há pontos negativos, entretanto, a serem considerados em ambos os casos. Teixeira, Zamberlan e Rasia (2008, p. 77) destacam que, na aplicação de ques- tionários presencialmente, o ambiente pode inluenciar o processo de coleta de dados, por meio de fatores, como “estado de espírito do respondente e do entre- vistador, lugar e ocasião da entrevista etc.”. Em se tratando de questionários eletrônicos, os mesmos autores destacam o baixo índice de retorno. A tal ponto negativo, Torini (2016, p. 65) acrescenta que “em muitas situações, não é possível sequer comprovar se realmente o ques- tionário foi respondido pela pessoa a quem era direcionado”. Por im, destaco outros dois pontos a serem observados na aplicação de questionários online, os quais decorrem da possibilidade de viés do conjunto de respostas. A primeira situação diz respeito à população que tem acesso aos meios digitais no Brasil, a qual, de acordo com dados oiciais da Pesquisa Brasileira de Mídia, aponta que uma parcela minoritária dos brasileiros acessa a internet com regularidade e, portanto, a população com condições mais frágeis de sobrevi- vência, que mais depende e tem contato com o setor público, seria a que menos teria condições de responder aos questionários.Há dezenas de páginas e plataformas para construção de surveys (enque- tes) online, desde ferramentas gratuitas e universais até outras utilizáveis mediante pagamento ou assinatura, como Lime Survey, Survey Monkey, Qualtrics, Sphinx Online, Survio e Google Formulários, que é a mais popular dentre as plataformas. Fonte: Torini (2016). Técnicas e Instrumento de Coleta de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 111 A segunda situação, em alguma medida relacionada à primeira, remete ao fato de que, em face dos interesses de grupos envolvidos com a temática do questionário, pode haver sub-representação ou sobrerrepresentação de resulta- dos com relação à população, pois grupos vulneráveis ou desarticulados podem participar de maneira pouco expressiva de coletas de dados, ao passo que gru- pos organizados e indivíduos com melhor condições de recursos econômicos e cognitivos têm maior possibilidade de participação. QUESTIONÁRIOS APLICADOS Quanto à aplicação de questionários, esta pode ocorrer de maneira física (pre- sencial), por telefone e pela internet, mas são ainda pouco usuais as coletas de dados quantitativos realizadas ao vivo por meio virtual. Os questionários apli- cados dependem da disponibilidade do respondente em participar da pesquisa, mas têm menor exigência de ação por parte de quem responde, já que há um interlocutor que se responsabiliza por realizar as perguntas. O questionário preparado para aplicação pode conter enunciados que reme- tem ao diálogo e estimulem o envolvimento do respondente. É possível, por exemplo, considerar enunciados, como “Agora, lerei para o/a sr./sra. algumas modalidades de associativismo e gostaria que me dissesse de qual(is) o/a sr./sra. participa:” ou “Sobre o tema que estamos tratando, lerei para o/a sr./sra algumas airmações e gostaria que o/a sr./sra me indicasse com qual delas mais se identiica”. Questionários aplicados têm maior chance de sucesso em sua conclusão do que aqueles autoaplicados, muito por conta do contato direto entre entrevistador e entrevistado. Seus rendimentos e limitações são, contudo, diferenciados entre si. De acordo com Teixeira, Zamberlan e Rasia (2008, p. 77), questionários aplicados presencialmente correspondem à forma mais onerosa e demorada de coletar dados, mas representam, por outro lado, “possibilidade de coletar grande quantidade de dados”. Os questionários aplicados por telefone, nos quais existe apenas contato ver- bal, apresentam custo menor do que aqueles aplicados isicamente e têm dados coletados em ambiente com menor inluência de fatores ambientais e externos, O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E112 mas, por outro lado, são diicultosos no sentido de recrutar respondentes dis- poníveis à participação e, por conta disso, correspondem geralmente, à baixa quantidade de dados coletados. A ELABORAÇÃO DO QUESTIONÁRIO Um questionário é um conjunto de questões organizado para atender a determina- do(s) objetivo(s) de pesquisa. De acordo com autores como Babbie (1999), Manzato e Santos (2012) e Melo e Bianchi (2015), não há metodologia padrão ou maneira única de construir um questionário, mas há recomendações sobre sua elaboração. É preciso que o gestor público tenha absoluta clareza de que um questio- nário nunca é a etapa inicial de uma pesquisa, pois demanda conhecimentos anteriores a sua formulação, de modo que os mencionados autores e outros, como Wooldridge (2017), discorrem sobre aspectos que permeiam tal processo, os quais elenco como quatro etapas. A primeira etapa diz respeito aos aspectos preliminares à construção do ques- tionário. Conforme mencionado anteriormente, é necessário ao pesquisador/ gestor público o conhecimento prévio sobre o tema da pesquisa, o qual decorre, em grande medida, de leitura e sistematização do conhecimento teórico, meto- dológico e empírico existente sobre o assunto. Ademais, conforme destacado na unidade de estudos anterior, a deinição do objeto e da amostra a ser investigada deve ocorrer antes da elaboração das ques- tões, a im de permitir a escolha, por exemplo, de “como” realizar a coleta de dados. Por im, e em atenção a uma das características essenciais da pesquisa quan- titativa, os responsáveis pela pesquisa devem buscar por questões que permitam comparações, caso o problema revele ser pertinente algum tipo de comparação. Pensemos, como exercício ilustrativo, que uma Ouvidoria municipal recebe muitas críticas e reclamações acerca do atendimento prestado por determinado tipo de equipamento público (hipoteticamente, imagine uma escola, um posto de saúde, um centro comunitário, um centro de referência ao atendimento sócio- -assistencial etc.) localizado em algumas áreas e, por outro lado, registra elogios e sugestões positivas para equipamentos semelhantes em outras áreas. Deinir um Técnicas e Instrumento de Coleta de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 113 roteiro de questões que permitam comparar o funcionamento dos equipamen- tos, nos diferentes locais, pode ajudar o gestor público a melhorar a qualidade do atendimento e a reduzir o número de reclamações. A segunda etapa corresponde ao planejamento do conteúdo a ser abordado e diz respeito à estruturação inicial do problema de pesquisa e do conhecimento acumulado sobre o tema (passo anterior) em um esboço de questionário. Nesse sentido, o planejamento do questionário implica que o gestor público, tendo clareza sobre o(s) objetivo(s) da pesquisa e o referencial mobilizado para sua consecução, seja capaz de deinir os temas ou pontos a serem abordados por meio das questões. De acordo com Lima (2016, p. 21): resta-nos entender como passar das deinições teóricas às deinições operacionais procurando assegurar que as perguntas formuladas ou as variáveis escolhidas meçam o conceito que necessitamos traduzir ope- racionalmente. É uma tarefa que permeia todo o desenvolvimento do projeto de pesquisa, pois partimos de decisões teóricas até chegarmos a decisões operacionais que vão resultar na elaboração do questionário e/ou na escolha de variáveis que correspondam adequadamente ao pro- blema de pesquisa. A deinição dos temas é pressuposto para a estipulação do formato e da redação de cada questão, considerando as distintas maneiras como pode se dar a men- suração de um atributo, sobre o que tratamos na seção anterior desta unidade de estudos. Nesse sentido, de acordo com Jannuzzi (2002, p. 9), a maneira como transformamos uma necessidade ou demanda de investigação em variável ou questão corresponde à operacionalização de nossos conceitos para a constru- ção de indicadores. Um indicador social é uma medida em geral quantitativa dotada de signiicado social substantivo, usado para substituir, quantiicar ou operacionalizar um conceito social abstrato, de interesse teórico (para pesquisa acadêmica) ou programático (para formulação de políticas). É um recurso metodológico, empiricamente referido, que informa algo sobre um aspecto da realidade social ou sobre mudanças que estão se processando na mesma (JANNUZZI, 2002, p. 9). Por im, ainda com relação ao planejamento do questionário, é importante deinir quais questões comporão cada bloco temático e organizar tanto o questionário quanto cada um de seus blocos com questões que partam do âmbito mais geral O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E114 para o mais especíico ou que iniciem com temas mais amenos e depoisavan- cem para questões mais delicadas. Nesse sentido, é interessante iniciar uma abordagem com questões sócio- demográicas, uma vez que a abordagem gera expectativas tanto por parte do entrevistador quanto do entrevistado e a interação por meio de questões simples e que permitem respostas fáceis revela-se uma boa estratégia. Assim, perguntar sobre a idade, local onde a pessoa estuda ou trabalha e como se deine com rela- ção à raça ou grupo étnico são bons exemplos de abordagem inicial. No sentido oposto, temas delicados, como aqueles anteriormente desta- cados nesta unidade de estudos — relacionados a consumo de drogas, valores morais e direitos e liberdades individuais — devem ser incluídos na parte inal do questionário, uma vez que a eventual resistência do entrevistado em respon- der a tais questões pode limitar ou mesmo inalizar a aplicação do instrumento de coleta de dados. Sobre a ordenação das perguntas no interior de um bloco temático, exem- pliiquemos a partir da avaliação sobre a qualidade dos serviços de uma política pública. Considerando que as questões iniciais do questionário tenham sido aque- las com conteúdo sociodemográico, a abordagem sobre o tema mais relevante à investigação do gestor público deve, primeiramente, questionar se o respon- dente é usuário da política pública que estamos avaliando. Caso a resposta seja airmativa, podemos avançar com questões sobre a frequência de utilização, os locais e serviços dos quais se beneicia (se houver necessidade de especiicação, como nos casos de saúde e assistência social) e sua avaliação sobre a estrutura do local e, por im, sobre a qualidade do atendimento que recebe. A terceira etapa é de formulação efetiva de questões. Nesta etapa, é neces- sário atentar-se ao fato de que as questões podem assumir distintos formatos, quais sejam: abertas, que permitem uma única resposta, que permitem respos- tas múltiplas e mensuradas por meio de escalas. Questões abertas se referem àquelas em que os respondentes têm total liber- dade para manifestar suas respostas com suas próprias palavras, sem que haja estímulo por meio de possibilidades de respostas prévias. São questões que esti- mulam, por um lado, a cooperação e não exercem inluência sobre respostas, mas que, por outro lado, exigem tempo e apresentam diiculdade para codiica- ção e interpretação posterior de seu conteúdo. Técnicas e Instrumento de Coleta de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 115 Não há impedimentos, entretanto, quanto a um questionário que contenha questões deste tipo, cuja análise também pode ser realizada de maneira qualita- tiva. O Estudo Eleitoral Brasileiro, projeto de coleta de dados quantitativos junto a uma amostra representativa da população brasileira após as eleições à presidên- cia, incluiu, por exemplo, na pesquisa realizada em 2006, a questão aberta “Para você, o que é democracia?”, a qual teve seus resultados analisados e codiicados de modo a serem considerados sob a perspectiva quantitativa por Moisés (2013). Sobre tais questões, é importante ter-se em mente que o nível de detalha- mento ou de especiicidade do que se pergunta é inversamente proporcional à quantidade de respostas adequadas que serão recebidas. Em outras palavras, quanto mais genérica ou ampla for a questão, maior o número de respostas váli- das e, em contrapartida, quanto mais especíica a pergunta, menor a quantidade de respostas. A título de exemplo, pensemos sobre questões abertas. Se um gestor público pergunta à população sua opinião acerca do desempenho do governo deve receber um grande percentual de respostas, ainal, espera-se que a maioria dos cidadãos tenha algo a dizer sobre como o governo funciona. Por outro lado, se a ques- tão tratar de um cargo, área ou tema mais especíico (como um vereador ou o conjunto de legisladores, os equipamentos públicos para prática desportiva ou o conselho municipal de cultura), é possível que haja respostas deinidas e bem fundamentadas, porém em pequena quantidade. Assim, a opção pelo nível de especiicação ou generalidade da questão aberta cabe ao gestor público deinir de acordo com suas necessidades de pesquisa: conhe- cer muito sobre temas gerais ou conhecer pouco sobre um aspecto em especial. As questões objetivas que permitem respostas únicas são aqueles para as quais é possível ao entrevistado a escolha de apenas uma alternativa, sendo que as opções de respostas podem ser dicotômicas ou multicategóricas. São questões de rápida e fácil aplicação, mas que possibilitam a simpliicação de perspectivas ou nuances de respostas. Enquanto dicotômicas, podem ser questões simples, como “O/A sr./sra. já visitou o prédio onde funciona a Prefeitura Municipal de Maringá?”, que permite apenas as respostas “sim” e “não”, no entanto, caso seja percebida a necessidade de detalhamento maior sobre o tipo de resposta que se espera, é possível criar questões multicategóricas em substituição ou complementação às dicotômicas. O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E116 Seguindo o mesmo exemplo, não basta saber apenas se os cidadãos já visita- ram o paço municipal, mas a pesquisa busca evidenciar o quanto essas pessoas frequentam o espaço ocupado pelo Poder Executivo municipal, a questão poderia ser reformulada ou poderia haver uma questão decorrente da resposta anterior. No primeiro caso, a reformulação da questão implicaria em um enunciado como “O/A sr./sra. já visitou o prédio onde funciona a Prefeitura Municipal de Maringá? Caso a resposta seja airmativa, poderia indicar a frequência de sua(s) visita(s)?”. As opções de respostas, neste caso, seriam: a. “Não, nunca visitei”. b. “Sim, apenas uma vez”. c. “Sim, poucas vezes”. d. “Sim, algumas vezes”. e. “Sim, visito com alguma frequência”. f. “Sim, visito sempre”. A outra possibilidade de questionamento demandaria estruturação do questio- nário de modo que, caso a resposta à questão inicial — “O/A sr./sra. já visitou o prédio onde funciona a Prefeitura Municipal de Maringá?” — fosse negativa, o entrevistador seguisse para a questão que trata do próximo assunto ou tema; ao contrário, caso a resposta fosse positiva, deveria ser realizada a pergunta especí- ica: “O/A sr./sra. poderia indicar a frequência de sua(s) visita(s)?”, tendo como categorias de respostas as opções anteriormente elencadas. As questões objetivas que permitem ao respondente indicar múltiplas res- postas são as que possibilitam escolher uma ou mais alternativas dentre um rol de ofertas. São fáceis de aplicar, mas exigem cuidado por parte dos pesquisa- dores na sua elaboração, de modo a contemplar as possibilidades de respostas. Ademais, é preciso cuidado também na coleta de dados, a im de evitar erros nas anotações das respostas. Um exemplo de questão desta natureza é o questionamento acerca de existên- cia de vínculos associativos por parte dos respondentes. Diante de um enunciado, como: “Na sequência, apresentarei uma relação de organizações ou associações Técnicas e Instrumento de Coleta de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 117 e gostaria que o/a sr./sra. Informasse se participa ou não de cada uma. O/A sr./ sra. participa de:”. O complemento das perguntas seriam as perspectivas de respostas a ser assinaladas: “Igreja ou grupo religioso”, “Sindicato”, “Associação comunitária”, “Partido político”, “Organização artística ou cultural”, “Organização esportiva”, “organização não governamental ou da sociedade civil”, “movimentos sociais” etc. Cabe destacar que questões com possibilidadesde respostas múltiplas são, em realidade, um aglomerado de questões discretas dicotômicas, já que ao invés de elaborar mais de uma dezena de questões do tipo “O/A sr./sr.a participa de Igreja ou grupo religioso?” e anotar as respostas “sim” ou “não”, o entrevistador assinala apenas as respostas airmativas. Por im, a quarta possibilidade é de elaboração de questões com escalas intervalares, quando se busca mensurar níveis de aceitação, posicionamento ou avaliação, sendo mais comuns as escalas de Likert e numéricas ou de analo- gia visual. Questões com escalas permitem ao pesquisador captar nuances das opiniões ou posições, em contrapartida, podem diicultar a interpretação de fenômenos ou temas para os quais espera-se objetividade nos resultados. De acordo com Teixeira, Zamberlan e Rasia (2008, p. 85): em uma escala intervalar, distâncias numericamente iguais na escala representam valores iguais na característica que está sendo avaliada. Uma escala intervalar não só contém toda a informação de uma escala ordinal, como também permite comparar diferenças entre objetos. A diferença entre dois valores quaisquer de escala é idêntica à diferença entre dois outros valores adjacentes quaisquer de uma escala intervalar. A escala de Likert diz respeito à classiicação a partir de graus de concordância ou discordância com relação a airmações, posições ou políticas, por exemplo. Tal escala partiria sempre de um ponto extremo negativo, seguido de um ponto negativo moderado, um ponto neutro, um ponto pouco positivo e, por im, um ponto extremo positivo. Assim, são exemplos de categorias para utilização da escala de Likert: ■ “Discordo totalmente”, “discordo”, “não discordo nem concordo”, “con- cordo” e “concordo totalmente” com a política pública de cotas sociais para acesso ao ensino superior. O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E118 ■ “Muito insatisfeito”, “insatisfeito”, “nem insatisfeito nem satisfeito”, “satis- feito” e “muito satisfeito” com relação ao atendimento na unidade básica de saúde de seu bairro. ■ “Sem importância”, “pouca importância”, “razoável importância”, “impor- tante” ou “muito importante” à promoção de audiências públicas para discutir o destino correto do lixo reciclável no município. As questões com escalas numéricas permitem a localização dos indivíduos em faixas, nas quais o enunciado indica os pontos extremos e cabe a cada respon- dente reletir e indicar em que ponto se situaria. Um exemplo comum deste tipo de questão, em pesquisas de opinião pública com amostras representativas das populações nacionais, busca veriicar como os cidadãos se posicionam no espectro ideológico. Para efeito de ilustração, neste material didático, os exemplos tratam de questões relacionadas a aspec- tos sócio-econômicos: ■ O enunciado “Considerando uma escala de 10 pontos, em que 1 signi- ica ‘nada satisfeito’ e 10 signiica ‘totalmente satisfeito’, o quanto o/a sr./ sra. diria que se encontra satisfeito com sua condição econômica atual- mente?” poderia ter como alternativas de respostas os números “1”, “2”, “3” e sucessivamente até “10”. ■ A questão “Considerando uma escala de 10 pontos, em que 1 signiica ‘nada preocupante’ e 10 signiica ‘extremamente preocupante’, o quanto o/a sr./sra. diria que as condições de segurança pública são preocupan- tes no Brasil atualmente?” teria como alternativas de respostas o termo “nada preocupante” em substituição ao número que representaria “1”, os Rensis Likert foi o criador da escala que leva seu nome e tem sido ampla- mente empregada em pesquisas ao longo dos anos, com destaque às pes- quisas de mercado. Fonte: Teixeira, Zamberlan e Rasia (2008). Técnicas e Instrumento de Coleta de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 119 números “2”, “3” e sucessivamente os demais até “9” e, por im, o termo “extremamente preocupante” em substituição ao número “10”. Os exemplos apontados anteriormente demonstram que a utilização de escalas numéricas pode fazer uso dos termos destacados no enunciado como ilustrativos à faixa numérica utilizada para posicionamento pelos respondentes. Ademais, destaco que não há unanimidade no tamanho das escalas, sendo que há ques- tionários que realizam a mensuração com o intervalo aqui exempliicado (1 a 10) e outras que utilizam as faixas de 0 a 10, de 1 a 7 e de 0 a 7, por exemplo. A quarta e última etapa da elaboração de um questionário diz respeito à realização de pré-testes para validação do instrumento de coleta de dados. De acordo com Torini (2016, p. 61): [...] é extremamente recomendado que haja a realização de um pré-tes- te, isto é, a aplicação de um “piloto” do questionário com um número reduzido de respondentes a im de veriicar possíveis erros de constru- ção, luxo e diiculdades de compreensão do questionário. Babbie (1999), Hoss e Caten (2010) e Manzato e Santos (2012) deinem esta etapa como aquela na qual é realizada a veriicação da viabilidade na realização da pesquisa por meio do instrumento proposto, quando se faz necessário avaliar o tempo de aplicação, a clareza dos enunciados e das alternativas de respostas, a necessidade e a condição da manuseio de cartões de respostas, a complexidade das questões e as percepções de incômodo e reclamações entre entrevistados. Cartões de respostas são materiais de apoio à aplicação dos questionários, amplamente utilizados em pesquisas quantitativas, cujo conteúdo são informa- ções que permitem ao entrevistado visualizar as alternativas de respostas. Tal apoio pode ser utilizado pelos pesquisadores em distintas situações, como: ■ Situações complexas nas quais há alternativas longas de respostas, que exigem atenção dos entrevistados. ■ Diante de temas polêmicos, quando pode ser oferecido um conjunto de respostas acompanhado de números ou letras que permitam ao entrevis- tado oferecer como resposta “2” ou “b”, ao invés de ter que mencionar o conteúdo de sua opinião. O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E120 ■ Por conta de especiicidades do público alvo da pesquisa, no qual o acom- panhamento visual daquilo que é questionado de maneira verbal se faz imprescindível. Os cartões de respostas podem ser elaborados de maneira simples e devem con- ter a transcrição iel das alternativas de respostas constantes nos questionários. A seguir, exponho exemplos de cartões de respostas que compuseram a aplica- ção dos questionários de coleta de dados junto a dirigentes de organizações da sociedade civil do município de Maringá entre os anos de 2010 e 2011, desen- volvidos diante da pluralidade do peril dos respondentes (GIMENES, 2011). O primeiro exemplo, a Figura 1, trata-se de uma questão sobre avaliação dos chefes dos Poderes Executivo municipal, estadual e federal e foi constru- ído com utilização de uma escala numérica com indicação de pontos extremos: (MOSTRE O CARTÃO A) Em que medida o(a) sr.(a) está satisfeito com os atuais gestores municipal, esta- dual e federal? V14 Prefeito 1 2 3 4 5 6 7 8 9 10 V15. Governador 1 2 3 4 5 6 7 8 9 10 V16. Presidente 1 2 3 4 5 6 7 8 9 10 Figura 1 - Questão sobre avaliação dos chefes dos Poderes Executivo municipal, estadual e federal Fonte: Gimenes (2011). Na leitura da questão, há a indicação, em negrito, ao entrevistador para que mostre, ao entrevistado, o cartão com as opções de respostas, o que deve ser evi- denciado na realização do treinamento anterior à coleta de dados. O cartão apresentado aos respondentes foi o seguinte (Figura 2): CARTÃO A Completamente Insatisfeito Completamente Satisfeito 1 2 3 4 5 67 8 9 10 (V14 A V16) Figura 2 –Exemplo de cartão Fonte: Gimenes (2011). Técnicas e Instrumento de Coleta de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 121 É importante que os cartões de respostas tenham o mínimo de elementos pos- síveis, de modo que o entrevistado possa delimitar seu foco às alternativas de respostas. Neste e nos demais exemplos, constam nos cartões, para além das alter- nativas respostas, apenas a identiicação do cartão (parte superior) e a indicação de quais questões estão relacionadas ao cartão (parte inferior). O segundo exemplo apresenta enunciado (Figura 3) e alternativas de res- postas (Figura 4) que exigem maior atenção por parte do pesquisador e do entrevistado, uma vez que o comando solicita duas respostas e as possibilidades de resposta são mais complexas e menos intuitivas do que escalas numéricas. (MOSTRE O CARTÃO D) V21. Fala-se muito sobre os quais objetivos o Brasil deve procurar atingir nos próximos dez anos. Neste cartão estão alguns objetivos que as pessoas dariam prioridade. Qual deles o(a) Sr(a). acha mais importante? (assinale uma resposta na coluna “primeiro mais importante”). V22. E em segundo lugar? (assinale uma resposta na coluna “segundo mais importante”). PRIMEIRO MAIS IMPORTANTE SEGUNDO MAIS IMPORTANTE Alto nível de crescimento econômico 1 1 Garantir um forte sistema de defesa militar para o país 2 2 Aumentar a participação das pessoas nas decisões que são tomadas em seus trabalhos e em suas comunidades 3 3 Tentar fazer com que as nossas cidades e o interior do pais iquem mais bonitos 4 4 Figura 3 - Modelo de questões com uso de cartão Fonte: Gimenes (2011). O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E122 CARTÃO D Alto nível de crescimento econômico Garantir um forte sistema de defesa militar para o país Aumentar a participação das pessoas nas decisões que são tomadas em seus trabalhos e em suas comunidades Tentar fazer com que as nossas cidades e o interior do país iquem mais bonitos (V21 A V22) Figura 4 - Exemplo de cartão Fonte: Gimenes (2011). Neste caso, o entrevistador deveria mostrar o cartão ao entrevistado e, somente depois, realizar a primeira pergunta (V21), na qual assinalaria a resposta na coluna correspondente. Em seguida, realizaria o segundo questionamento (V22) e anotaria a resposta no campo especíico. Independentemente da complexidade da questão e/ou das alternativas de respostas, é importante reforçar que o tempo de relexão do respondente deve ser respeitado. A depender das instruções especíicas, bem como do público alvo e dos locais onde os questionários forem aplicados, existe a possibilidade de que os cartões sejam oferecidos aos entrevistados para que os segurem enquanto o entrevistador procede a leitura das questões. Ainda que pareça um detalhe, oferecer aos entrevistados a possibilidade de segurar os cartões em mãos foi importante para que alguns entrevistados redu- zissem a resistência com relação à participação na pesquisa da qual extraí os exemplos apresentados anteriormente, que resultou na dissertação de mestrado do autor deste livro (GIMENES, 2011). Realizada a primeira rodada de pré-teste do questionário, é possível reali- zar as correções e adequações na redação de questões e alternativas; bem como avaliar a necessidade de utilização dos cartões de respostas propostas e a inser- ção de novos cartões. Ademais, a revisão, após a rodada de pré-teste, é também o momento para realizar inclusões e/ou exclusões de questões, alternativas, ter- mos ou temas, a im de que o questionário relita as necessidades de pesquisa com a maior exatidão possível. Técnicas e Instrumento de Coleta de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 123 Não há limite numérico de rodadas de pré-testes a ser realizadas para uma pesquisa, sendo que os autores apontam que devem ocorrer aplicações dos ques- tionários “piloto”, avaliação do feedback da aplicação, ajustes do questionário e novas rodadas de aplicação até que as questões sejam adequadas. Nesse sentido, a expectativa é de que a versão inal do questionário: ■ Apresente uma linguagem acessível ao público alvo. ■ Disponha questões por blocos temáticos, a im de estimular o raciocínio e agilizar a aplicação. ■ Seja cuidadoso com a redação e a forma de abordagem de temas delicados. ■ Contemple questões que não induzam respostas tendenciosas ou julgamentos. Caso a exaustão das possibilidades de respostas seja inviável, por conta do número de alternativas existentes ou da impossibilidade de prevê-las integralmente, pode ser incluída a opção de resposta “outro(s)”, para que o respondente informe alguma resposta não contemplada nas alternativas oferecidas. V180. Em sua opinião, qual a melhor denominação dentre os seguintes para o grupo de entidades a qual esta que o(a) sr.(a) preside pertence? 1 Terceiro setor 2 Sociedade civil organizada 3 Fundações privadas e associação sem ins lucrativos 4 Organizações não governamentais (ONGs) 5 Outro: _________________________________ (Anote) Figura 5 - Modelo de questão com alternativa de resposta “outro(s)” Fonte: Gimenes (2011). Ademais, deve-se deixar claro aos respondentes que não há obrigatoriedade de responder a todas as questões, bem como de que haverá garantia de anonimato com relação às respostas oferecidas, salvo em situações em que não seja possí- vel a manutenção de conidencialidade. Técnicas de Análise de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 125 TÉCNICAS DE ANÁLISE DE DADOS QUANTITATIVOS A análise de dados quantitativos implica a utilização de técnicas estatísticas e/ ou de sotwares que permitam a avaliação coletiva de conjuntos de dados agre- gados. Nesse sentido, esta seção trata de maneiras como os dados podem ser interpretados, bem como de ferramentas tecnológicas que permitem tais análises. Nos tópicos a seguir, tomaremos contato com conceitos e exemplos de análi- ses que se utilizam de estatística descritiva, bivariada, multivariada e hierárquica e de geoprocessamento. Diante desse conjunto de técnicas, contudo, é salutar destacar que as possibilidades analíticas são amplas e que essas distintas técni- cas podem ser utilizadas de maneira combinada ou comparativa. Tendo em vista que esta seção de estudos tem a inalidade de apresentar conceitos e aplicações sobre tais técnicas, as abordagens serão unitárias e para ins didáticos. A im de tornar mais luida a leitura, registro que os tópicos sobre esta- tística descritiva, bivariada e multivariada são baseados em obras de Babbie (1999), Barbetta (2011) e Wooldridge (2017), referenciados ao im da unidade de estudos e que não são citados de maneira recorrente para evitar repetições. As referências sobre análise hierárquica e geoprocessamento são destacadas nos respectivos tópicos. O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E126 Assim, como destacado quando tratamos da elaboração de questionários, novamente, nesta seção, abordaremos as técnicas quantitativas com a utiliza- ção de exemplos decorrentes de análises de dados individuais. Tal abordagem, no entanto, tem inalidade didática, uma vez que nem todos os acadêmicos têm contato com ambientes e situações que permitam a mensuração e análise de dados referentes a instituições, órgãos ou entes públicos, mas é comuma todos o conhecimento acerca de características sociodemográicas e formação de valo- res e opiniões. ESTATÍSTICA DESCRITIVA A estatística descritiva diz respeito às análises mais simples que podem ser reali- zadas a partir de conjuntos de dados. A despeito de sua simplicidade, porém, são análises de grande relevância e, por vezes, até mesmo suicientes para lidar com determinados problemas, uma vez que consistem em descrições das característi- cas de um conjunto de observações (casos), em termos numéricos ou percentuais. Nesse sentido, podemos interpretar a estatística descritiva como a primeira tarefa de um pesquisador, o qual deve, diante de uma coleção de dados, determi- nar quantas respostas ocorreram em cada categoria constante no questionário. De acordo com Bohrnsteadt e Knoke (1988), dentre as técnicas estatísticas des- critivas, destacam-se as distribuições percentuais e as medidas de tendência central e de variabilidade. Tomando como exemplo os dados da pesquisa de Gimenes (2011), a Tabela 1 apresenta a contagem de homens e mulheres entrevistados, os quais com- puseram uma amostra aleatória de dirigentes sorteada a partir da relação de organizações da sociedade civil, que atendiam a critérios especíicos, descritos na referida pesquisa. Tabela 1 - Sexo dos entrevistados SEXO N Masculino 48 Feminino 34 Total 82 Fonte: adaptada de Gimenes (2011). Técnicas de Análise de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 127 A interpretação dos resultados da Tabela 1 é simples e até mesmo intuitiva, no sentido de que a amostra de dirigentes de organizações da sociedade civil maringaense entrevistada era composta por 48 homens e 34 mulheres, totali- zando uma amostra de 82 respondentes. Para além da apresentação das contagens de casos, é possível a utilização de valores percentuais, os quais podem facilitar a leitura, interpretação e análise dos resultados. Nesse sentido, a tabela 2 apresenta dados referentes à mesma variá- vel para o mesmo banco de dados, porém com resultados expressos em valores percentuais. Tabela 2 - Sexo dos entrevistados SEXO % Masculino 58,5 Feminino 41,5 Total 100 Fonte: adaptada de Gimenes (2011). Seguindo o modelo de interpretação acerca da tabela anterior, podemos air- mar que a amostra de dirigentes de organizações da sociedade civil maringaense entrevistada era composta por 58,5% de homens e 41,5% de mulheres, totali- zando uma amostra de 82 respondentes. A exposição de valores percentuais é também relevante para a comparação entre diferentes populações ou entre uma mesma população em distintos pontos do tempo. Por exemplo, no período da coleta de dados da pesquisa em desta- que (GIMENES, 2011), a população maringaense era composta por 51,9% de mulheres e 48,1% de homens. A apresentação de tal informação em números diicultaria a comparação, mas sua expressão em percentuais rapidamente nos permite constatar que, apesar das mulheres representarem a maioria dos cida- dãos do município, os homens ocupavam mais cargos de dirigentes de entidades sociais do que as mulheres. Tal comparação de frequências relativas é um ganho analítico que deve ser utilizado, sempre que possível, pelo gestor público para constatar, por exemplo, os níveis de desenvolvimento social do município ao longo do tempo e com rela- ção às cidades do entorno ou de mesmo porte. O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E128 Não raras vezes, ao invés de apresentar apenas uma das informações (quan- tidade ou percentual), as tabelas descritivas contemplam ambos os valores, o que facilita a visualização dos dados por parte dos gestores públicos e demais leito- res daquele relatório. Tabela 3 - Sexo dos entrevistados SEXO N % Masculino 48 58,5 Feminino 34 41,5 Total 82 100 Fonte: adaptada de Gimenes (2011). Quando a tabela apresenta dados expostos em duas unidades de mensuração, sua interpretação pode expor apenas um dos valores (já que ambos estão apre- sentados) ou mencionar valores e percentuais, com maior destaque a um. A interpretação da Tabela 3, por exemplo, poderia ser a seguinte: a amostra de diri- gentes de organizações da sociedade civil maringaense entrevistada era composta por 58,5% de homens (48 casos) e 41,5% de mulheres (34 casos), totalizando uma amostra de 82 respondentes. Para além deste exemplo de apresentação de dados de uma variável dicotô- mica não-ordenada, as tabelas de frequências também podem ser utilizadas para análises de valores agregados, especialmente, em se tratando de percentuais. A Tabela 4 trata da variável renda, mensurada em salários mínimos e apresenta duas colunas com resultados: a primeira com os percentuais de respostas por catego- ria (faixa) e a segunda com percentuais cumulativos de respostas (agregados). Tabela 4 - Renda dos entrevistados FAIXA % % ACUM. Sem renda 6,1 6,1 Até 2 salários mínimos 4,9 11 Acima de 2 até 5 salários mínimos 13,4 24,4 Acima de 5 até 10 salários mínimos 32,9 57,3 Acima de 10 salários mínimos 42,7 100 Total 100 100 Fonte: adaptada de Gimenes (2011). Técnicas de Análise de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 129 Os dados da Tabela 4 permitem algumas constatações. Primeiramente, cabe- ria ao gestor público expor seus dados conforme exempliicado após a Tabela 2, mencionando os percentuais referentes a cada faixa de renda, com a informa- ção de qual era o valor do salário mínimo na época de realização da pesquisa. Tal informação é relevante pelo fato de que coletas de dados são datadas e, por- tanto, se referem a contextos e períodos especíicos. Após a descrição dos percentuais desagregados da distribuição dos diri- gentes, conforme a faixa de renda em que se localizam, seria possível analisar os percentuais cumulativos, que dizem respeito ao acúmulo de casos conforme avançamos nas categorias de respostas. Tal interpretação só pode ser utilizada para análises de variáveis ordenadas, como renda (neste caso), escolaridade e frequência de utilização de serviços públicos. Para os dados constantes na Tabela 4, veriicamos, na última coluna, que apenas 11% dos respondentes declararam receber até 2 salários mínimos (para a época, no valor de R$ 510,00), ao passo que 24,4% (portanto, menos de ¼ da amostra) declarou rendimentos máximos de 5 salários mínimos. Se observarmos esse último dado de maneira reversa (extraindo tal percentual da totalidade), temos que 75,6% dos dirigentes de organizações da sociedade civil maringaense detinham alta renda mensal, uma vez que declararam receber valores superio- res a 5 salários mínimos. Os dados de estatística descritiva podem ser apresentados por meio de repre- sentações gráicas, sendo mais comuns as iguras conhecidas como “pizzas” e as barras. A título de ilustração, exponho, a seguir, gráicos dos dois tipos, sendo que há exemplos de barras verticais e horizontais. O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E130 Figura 7 – Exemplo de gráico “Pizza” Fonte: Gimenes (2018, on-line). Os três gráicos apresentam resultados de um exercício de pesquisa realizado junto a alunos de graduação da Unicesumar no ano de 2018. A representação em pizza permite veriicar a disposição das respostas, sendo ideal para casos em que as respostas sejam únicas às questões, ou seja, quando totalizarem 100% dos casos. Por sua vez, os gráicos de barras permitem a comparação entre resultados e também são úteis quando buscamos apresentar os resultadosde questões com respostas possíveis em multiplicidade. Figura 8 - Exemplo de gráico com barras horizontais Fonte: Gimenes (2018, on-line). Técnicas de Análise de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 131 As barras horizontais expostas na Figura 8 dizem respeito aos resultados de uma bateria de questões para as quais os respondentes deveriam indicar quais polí- ticas deveriam ser desenvolvidas no âmbito da gestão pública. O ordenamento crescente ou decrescente das respostas é facultativo ao pesquisador, mas reco- menda-se apresentar os dados seguindo uma ordem determinada. Figura 9 - Exemplo de gráico com barras verticais Fonte: Gimenes (2018, on-line). Por im, o terceiro exemplo é de questões que permitem múltiplas respostas apresentadas por meio de barras verticais. Assim como no gráico anterior, é perceptível a ordenação das categorias de respostas, desta vez de maneira decres- cente. Tanto esses modelos como outros gráicos são passíveis de geração em sotwares estatísticos e naqueles compostos por planilhas para digitação de dados. Para além da descrição das variáveis, é comum, nas pesquisas e na elabora- ção de relatórios, buscarmos a simpliicação dos dados a partir de medidas de sumarização, as quais são estatisticamente deinidas como medidas de tendên- cia central e possibilitam a descrição dos dados por meio de informações que remetam a aspectos centrais do conjunto de dados analisados. As medidas mais comuns de tendência central são moda e média, sendo que para a última se rela- ciona uma medida relevante de dispersão, o desvio padrão. A moda é a medida mais simples de tendência central e corresponde à cate- goria de resposta que reúne o maior número de casos, ou seja, a moda representa o atributo mais recorrente entre determinada população ou amostra. O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E132 Sua utilização é adequada para análises de variáveis discretas, independente- mente de serem dicotômicas ou multicategóricas, ordenadas ou não-ordenadas. Nesse sentido, se retornarmos às Tabelas 3 e 4, poderemos veriicar que a moda de sexo entre os dirigentes é masculina e que a moda de renda mensal é de rece- bimento superior a 10 salários mínimos. A média é utilizada para variáveis contínuas ou escalares (numéricas) e permite identiicar a tendência central com relação à distribuição dos casos, tomando por base de cálculo a soma das respostas dos indivíduos e sua divisão pelo número de respondentes. O desvio-padrão é uma medida que indica o quão dispersos são os dados que compõem uma amostra. Nesse sentido, tal medida deve ser calculada e inter- pretada em conjunto com a média, pois seu resultado permite identiicarmos o quanto os casos se aproximam ou se afastam do valor da média. Vejamos um exemplo extraído de Gimenes (2011), referente a uma tabela que apresenta dados descritivos relativos à medida que os respondentes declara- ram que as características elencadas eram fundamentais ao regime democrático. As variáveis consideraram uma escala de mensuração de 10 pontos, em que 1 indicava total discordância com a airmação remeter a uma característica fun- damental à democracia e 10 representava a completa concordância. Tabela 5 - Modelo de tabela com dados descritivos TABELA 18. CARACTERÍSTICAS FUNDAMENTAIS DA DEMOCRACIA CARACTERÍSTICA MÉDIA DESVIO PADRÃO N O povo escolhe seus líderes em eleições livres 8,84 1,69 80 A mediana é uma medida de tendência central pouco utilizada, que tem por inalidade a identiicação do valor que ocupa a posição central em uma distribuição dos casos entre variáveis contínuas. Fonte: Barbetta (2011). Técnicas de Análise de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 133 As mulheres têm o mesmo direito que os homens 8,59 2,37 79 Direitos do cidadão protegem a liberdade do povo contra a opressão 8,39 1,78 80 O povo pode mudar as leis pelo voto 8,35 2,37 80 Os criminosos são severamente punidos 6,39 3,05 80 As Forças Armadas assumem o governo quando ele foi incompotente 4,24 3,00 80 O governo cobra impostos dos riscos e dá dinheiro aos pobres 4,13 2,51 80 Fonte: Gimenes (2011, p. 89). Os dados anteriores demonstram, primeiramente, que a possibilidade da popu- lação escolher seus líderes por meio de eleições livres foi considerada, dentre as sete características apresentadas, como a condição mais relevante à existência de um regime democrático, sendo que outras quatro características também obti- veram médias superiores a 6 e as duas últimas características atingiram médias em torno de 4. Sobre essas airmações pior ranqueadas, os dados permitem inferirmos que os dirigentes de organizações da sociedade civil entendam, majo- ritariamente, que não se trata de condições fundamentais à democracia, já que a média das respostas está mais próxima da total discordância do que da con- cordância com tal situação. Com relação aos desvios-padrão, estes indicam o quanto as respostas foram dispersas dentre as possibilidades existentes (neste caso, os pontos entre 1 e 10 na escala de respostas). Quanto menor o desvio-padrão, mais homogêneo o conjunto de respostas e menores as diferenças entre os pontos apontados pelos respondentes. No caso da primeira airmação, indivíduos localizados a um desvio-padrão da média estariam posicionados próximos àqueles da média, uma vez que a dife- rença entre a média e um desvio-padrão, para menos e para mais, representaria uma margem de posicionamentos entre 7,15 e 10 (valor limite na escala de res- postas). É perceptível, portanto, que a amplitude de respostas a um desvio-padrão da média é baixo. Ademais, se considerarmos que todas as respostas acima de 5 indicariam tendência a concordar que a realização de eleições livres é funda- mental à democracia, mesmo indivíduos a dois desvios-padrão negativos com relação à média ainda concordariam com a airmação. O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E134 Por outro lado, quanto maior o desvio-padrão, menos homogêneo (ou mais heterogêneo) é o conjunto de respostas coletadas, o que signiica maior disper- são ou diferenciação entre as percepções e opiniões captadas e, em consequência, maior cuidado com relação à sua interpretação, que não permite generalizações. Nesse sentido, observemos a penúltima característica apresentada na tabela retirada de Gimenes (2011). Para além da média de 4,24, veriicamos que o des- vio-padrão de 3,00 é elevado em comparação com os demais (próximo do limite atingido de 3,05 e quase o dobro do menor de 1,69) e também quando analisado em conjunto com a média, o que é indicativo de expressiva dispersão dos dados. Tal dispersão se conirma ao calcularmos a distância que indivíduos se posicionaram a um desvio-padrão da média e se localizariam: 1,24 e 7,24. São valores não apenas muito distantes na escala, mas que também revelam o quão heterogêneas foram as respostas, pois enquanto a média indica leve tendência à discordância de que as Forças Armadas poderiam assumir o governo caso ele fosse incompetente, dentre os respondentes há aqueles que refutam radicalmente tal possibilidade e outros que entendem, em medida expressiva (superior a 7), que tal possibilidade é democrática. ESTATÍSTICA BIVARIADA A estatística bivariada diz respeito às análises que são realizadas considerando as relações estabelecidas entre duas variáveis, ou seja, são testes cujos resultados apontam a maneira como dois atributos estãorelacionados. Inicialmente, tal relação pode ser vislumbrada por meio de uma tabela de contingência, que seria uma tabela descritiva com dados dos cruzamentos entre duas variáveis, na qual há exposição sobre a distribuição dos casos a partir da combinação entre os atributos. Vejamos um exemplo retirado da mesma base de dados anteriormente utilizada. Técnicas de Análise de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 135 Tabela 6 - Sexo e participação em conselhos gestores FEMININO MASCULINO TOTAL Não participa 14 29 43 Participa 20 19 39 Total 34 48 82 Fonte: adaptada de Gimenes (2011). A Tabela 6 apresenta a distribuição combinada de dirigentes dos sexos mascu- lino e feminino com relação à sua participação em conselhos gestores, de modo que os resultados podem ser interpretados de diversas maneiras. A mais elemen- tar é considerar a distribuição dos casos entre os peris. Como neste exemplo temos duas variáveis (sexo e participação em conselhos) que possuem apenas duas possibilidades de respostas (masculino/feminino e não/sim), trata-se de uma situação em que haveria quatro peris possíveis: homens que não participam de conselhos, homens que participam de conselhos, mulheres que não participam de conselhos e mulheres que participam de conselhos. Os dados apontam que, dentre os 82 entrevistados, 14 mulheres e 29 homens não participavam de conselhos municipais, totalizando 43 casos (primeira linha da coluna “total”), ao passo que 20 mulheres e 19 homens participavam de conselhos, somando 39 casos (segunda linha da coluna “total”). As informações constantes na última linha — de que foram entrevistados 34 mulheres e 48 homens, com total de 82 casos — já foi descrita anteriormente (Tabela 1). É importante pensarmos, no entanto, que a interpretação de uma tabela de contingência também pode ser realizada por meio de percentuais, sendo pos- sível, ainda, mais duas formas de apresentar os dados, além da exposição dos dados em números de casos (Tabela 6), quais sejam: por meio de distribuições percentuais totalizadas por coluna ou por linha. No caso dos dados constantes na Tabela 6, isso signiicaria considerar que a distribuição dos casos por sexo ou por participação e conselhos determinaria a análise. Cabe destacar, porém, que a análise de tabelas de contingência não é suiciente para que seja determinada a existência de relacionamento entre as variáveis, de modo que, para tanto, são realizados testes bivariados, os quais são múltiplos e variam de acordo com a natureza das variáveis a ser testadas. Nesse sentido, os testes destacados neste livro, com relação a variáveis discretas, são qui-quadrado, Lambda, Gamma, Tau b, Tau c e ETA. O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E136 O qui-quadrado (chi-square) é o teste de signiicância mais simples para vari- áveis nominais ou dicotômicas sem ordenação, que indica apenas a existência de relacionamento entre duas variáveis. Sem grandes exigências, requer amostras com ao menos 30 casos e também que a divisão dos sujeitos entre as variáveis seja relativamente igual, sem combinações ou peris sem nenhum caso (zero). A grande limitação do teste é a falta de informação sobre força do relaciona- mento identiicado como signiicativo, pois o qui-quadrado indica apenas se a associação ocorre em termos populacionais, ao passo que um teste ideal seria aquele que indicasse a existência e também a força dessa associação em termos populacionais. O teste Lambda é um teste de dependência para variáveis discretas não orde- nadas que apresenta cenários de previsão em que não existe qualquer informação sobre uma variável independente, de modo que a existência de associação indica a capacidade de redução do erro de previsão sobre a relação entre variáveis, tomando por base uma escala em que 0 indica a ausência de relação (associação nula ou inexistente) e 1 corresponderia à associação perfeita. O teste Gamma corresponde ao coeiciente mais utilizado para variáveis discretas ordenadas e apresenta medida simétrica (sem indicação determinada de sentido de dependência), mas aponta a direção da associação, sendo que quanto mais próximo de -1 mais perfeito e negativo o relacionamento entre as variáveis e mais próximo de +1 mais positivo e perfeito tal relacionamento, com valores tendentes a 0 indicando a ausência de relacionamento. Seu cálculo é complexo por considerar a discordância ou concordância entre os pares de dados utilizados na determina- ção da associação, o que exclui muitos casos e, em certa medida, limita a amostra. Variáveis dependentes são aquelas cuja manifestação depende do efeito exercido por outras. Variáveis independentes são aquelas que exercem efei- to sobre outras. Fonte: Barbetta (2011). Técnicas de Análise de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 137 Os testes “Tau” também são utilizados para veriicar a existência de associa- ções entre variáveis discretas ordenadas e possuem escala igual à do teste Gamma, mas se diferenciam por conta de exigências no que tange à natureza dos cálcu- los estatísticos envolvidos, quando são considerados todos os pares na análise tanto discordantes quanto concordantes. Tais testes se diferenciam entre si pela categorização das variáveis ordenadas testadas, sendo que para matrizes quadradas (tabelas de contingência decorrentes de cruzamentos entre variáveis com o mesmo número de categorias de respos- tas, como 2x2 ou 3x3) é adequado o teste Tau b, enquanto para cruzamentos não quadrados (entre variáveis que possuem quantidades diferentes de categorias de respostas) deve utilizado o teste Tau c. O ETA é uma medida de associação empregada quando temos uma variável nominal e outra escalar e também tem variação entre -1e 1, de modo que quando mais distante de 0, maior é a intensidade do relacionamento entre as variáveis. É um teste, contudo, assimétrico, pois revela a associação considerando as dife- rentes variáveis que são dependentes. Sua principal limitação é o fato de não apresentar signiicância, mas apenas o valor do teste. Para além de testes de associação, há, ainda, testes de correlação, cuja lógica de análise é a mesma, mas se aplicam a variáveis contínuas, numéricas ou esca- lares — aquelas quantiicáveis. Dentre tais testes, destacam-se as correlações de Pearson e de Spearman. Ambas variam entre -1 e 1, com interpretação seme- lhante àquela descrita para Gamma. Os resultados de tais testes podem ser apresentados junto às tabelas de con- tingência ou em separado. Caso apresentados em conjunto, devem constar abaixo da tabela. Podem ser expostos de maneira isolada, como na tabela a seguir, reti- rada de artigo publicado por Gimenes e Ribeiro (2013), que testaram, a partir da base de dados utilizada nos exemplos desta unidade de estudos, diferentes rela- ções entre variáveis, para as quais se valeram de diferentes testes. O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E138 Tabela 7 - Associações e Correlações com Democratismo TABELA 5 - ASSOCIAÇÕES E CORRELAÇÕES COM DEMOCRATISMO VARIÁVEL TESTE SIG VALOR N Tempo de participação na entidade Pearson 0,715 -.041 81 Participação em conselhos gestores Tau c 0,909 -0,012 82 Participação em outras entidades Tau c 0,031 -0,254 81 Vínculo empregatício Tau c 0,033 0,252 77 Interesse por política Tau c 0,926 0,008 82 Eicácia política subjetiva Pearson 0,02 0,258 81 Autoidentiicação ideológica Pearson 0 -0,42180 Satisfação com a situação inanceira Pearson 0,499 0,076 81 Participação política não convencional Pearson 0,009 0,287 82 Fonte: Gimenes e Ribeiro (2012, p. 142). Com relação à tabela anterior, destaca-se, inicialmente, que o título indica a variável com a qual todas as demais foram testadas: o Democratismo, medida de análise do apoio manifestado pelos dirigentes de organizações da sociedade civil maringaense ao regime democrático. Na primeira coluna, são expostas as variáveis com as quais buscou-se identiicar a relação do democratismo. Isso sig- niica, por exemplo, que o primeiro resultado buscou evidenciar a existência de relacionamento entre o tempo que um dirigente atuava na entidade da qual era gestor e o quanto apoiava a democracia. É perceptível que algumas relações foram analisadas como possíveis associa- ções por testes de Tau c e outras por correlações de Pearson (segunda coluna). Ainda em se tratando da disposição dos dados, a terceira coluna apresenta o nível de signiicância dos testes (sig ou p), que diz respeito à probabilidade de que o efeito veriicado não se reproduza entre a população analisada. Ainda que não haja valor exato, em Ciências Sociais e nos estudos de cultura política (que tra- balham com dados de opinião pública e, portanto, opiniões até mesmo sujeitas à volatilidade ou idiossincrasias por parte dos indivíduos) utiliza-se, como parâ- metro, o p=0,05, que corresponde a 5% de efeito não veriicável entre a população como aceitável. Em outras palavras, o sig representa o quanto o resultado de um teste pode não se repetir entre a população. Técnicas de Análise de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 139 A quarta coluna apresenta o valor do resultado do teste (Tau c ou Pearson) e a quinta coluna apresenta o número de casos analisados. Destaque-se que, apesar da base de dados analisada ser composta por 82 respondentes, quando um indivíduo deixa de responder a uma das questões para as quais buscamos investigar a existên- cia de relação, deixa também de ser considerado no teste. Isso signiica, por exemplo, que um caso foi descartado no teste de correlação de Pearson entre o tempo que um dirigente atuava na entidade da qual era gestor e o quanto apoiava a democracia. Com relação ao valor do resultado, este só deve ser interpretado se for consi- derado satisfatório o nível de signiicância encontrado. No primeiro cruzamento, o valor de 0,715 indica que erraríamos em 71,5% dos casos ao tentarmos relacio- nar o tempo que um dirigente atuava na entidade da qual era gestor e o quanto apoiava a democracia. No último cruzamento apresentado, veriicamos que o sig de 0,009 indica probabilidade de erro de 0,9% ao estimar a relação entre adesão à democracia e a participação em atividades políticas não convencionais, as quais abrangeram abaixo-assinados, boicotes, manifestações, passeatas e greves. Quando identiicamos a existência de relação, avançamos ao resultado do teste (coluna “valor”), o qual identiicamos (para os casos pertinentes, conforme apresentado anteriormente nesta seção) se há sinal de indicação de sentido da relação e seu valor, de fato. Com relação ao sinal, quando houver sinal negativo, a interpretação deve ser de que a manifestação de um atributo está relacionada à ausência de outro ou que conforme o indivíduo desenvolve uma característica, a outra se retrai. A ausência de sinal indica relacionamento positivo, o que signiica que ambas as variáveis testadas oscilam no mesmo sentido: os efeitos sofrem elevações ou reduções de maneira combinada. No caso da relação entre democratismo e participação não convencional, a ausência de sinal indica relacionamento positivo, de modo que aqueles dirigentes que mais se envolviam em atividades contestatórias eram também os que mais apoiavam a democracia. O valor dos testes indica a medida desse apoio: 0,287 na escala até +1 permite inferirmos que há relação fraca, ainda que importante entre as variáveis ( ou entre os atributos testados). O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E140 ESTATÍSTICA MULTIVARIADA As análises estatísticas multivariadas são aquelas realizadas com o intuito de iden- tiicar a existência de efeitos entre conjuntos de três ou mais variáveis. Os testes multivariados mais comuns são as análises fatoriais e os modelos de regressão. De acordo com Carreirão et al. (2018, p. 90), “a análise fatorial é a técnica estatística que possibilita a identiicação de padrões de correlação entre variáveis, de modo a permitir a criação do que chamamos de ‘fatores’ ou ‘dimensões’ [...]”. Para tanto, consiste em testes com a inalidade de veriicar como, dentre conjun- tos de atributos, estes se relacionam de modo a constituir subgrupos, os fatores. Extraída do capítulo que sistematizou dados de pesquisa, a tabela a seguir apresenta o resultado de uma análise fatorial acerca das modalidades de partici- pação que os brasileiros exerciam até o momento daquela coleta de dados (2012), de modo que podemos visualizar quatro distintos fatores ou grupos de formas de ação política, com destaques em cinza. Tabela 8 - análise fatorial das modalidades de participação política entre os brasileiros VARIÁVEIS FATOR 1 FATOR 2 FATOR 3 FATOR 4 Participou de reuniões de associações de pais e mestres ,631 -,068 ,223 -,034 Participou de reuniões de associação de bairro ,563 ,038 ,038 ,161 Participou de reuniões de associações Proissional ,598 ,075 -,129 -,030 Não há consenso sobre a deinição de intensidade de relacionamento para associações ou correlações, mas usualmente em Ciências Sociais e em Ci- ências Sociais Aplicadas — onde localiza-se a Gestão Pública — é possível considerar valores entre 0 e 0,299 (negativos ou positivos) como indícios de relação fraca, entre 0,300 e 0,599 como moderada e acima de 0,600 como associação ou correlação forte. Fonte: o autor. Técnicas de Análise de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 141 Pediu ajuda a algum deputado ou senador -,036 -,651 -,020 -,021 Pediu ajuda a alguma autoridade local, como prefeito ou governador -,070 -,799 ,004 ,112 Pediu ajuda ao ministério/secretária ou instituição pública (federal) ,048 -,632 -,072 -,204 Pediu ajuda a vereador -,010 -,761 ,011 ,111 Participou de manifestação -,066 ,015 -,658 ,115 Assinou petição ,001 -,022 -,591 ,081 Compartilhou conteúdo político na internet ,066 -,020 -,634 -,058 Trabalhou na campanha de candidato ou partido ,108 -,135 -,035 ,572 Tentou convencer alguém a votar em um candidato ou partido ,014 ,028 -,171 659 Votou nas últimas eleições -,070 ,061 ,199 ,558 Assistiu audiência pública na Câmara dos Vereadores ,162 -,228 -,292 ,138 Contribuiu para a sociedade ,468 -,059 -,168 ,129 Participou de reuniões de associação religiosa ,361 -,139 ,146 -,062 Participou de reuniões de movimento ou partido político ,335 -,147 -,166 ,311 Participou de reuniões de associação esportiva ,483 ,151 -,185 -,068 Participação de boicote -,009 -,047 -,474 -,154 Fonte: Carreirão et al. (2018, p. 91). Sobre as cargas fatoriais, cabe destacar que não há consenso entre os autores sobre qual o valor mínimo a ser considerado, sendo que Figueiredo Filho e Silvia (2010) e Borba, Gimenes e Ribeiro (2015) consideram 0,4 uma medida relevante, ao passo que modelo utilizado como exemplo, Carreirão et al. (2018, p. 91) con- sideraram 0,5 como valor mínimo. Em se tratando da interpretação dos resultados, a intensidade das cargas fato- riais indica como os atributos se encontram relacionados, de modo que, segundoO MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E142 o exemplo da pesquisa destacada, poderíamos inferir que dentre a população brasileira (tendo em vista se tratar de uma amostra representativa), os indiví- duos que participam de reuniões de pais e mestres tendem também a participar de reuniões de associações de bairro e de associações proissionais, conforme evidenciado pelo “Fator 1”. Ainda sobre os resultados, é importante destacar que não há obrigatoriedade de que todos os atributos incluídos no teste sejam agregados a outros, de modo que a tabela evidenciada anteriormente destaca seis modalidades de participa- ção política cuja atuação dos brasileiros não permite alinhamento com nenhum dos fatores identiicados. Em decorrência da análise fatorial, uma possibilidade é de reduzir um con- junto de medidas a um único indicador. Tal ação deve ser acompanhada por testes estatísticos especíicos, como o Alpha de Cronbach, que identiica se dife- rentes variáveis podem ser analisadas de maneira conjunta. O Alpha varia de 0 a 1 e medidas a partir de 0,5 são consideradas satisfatórias, ou seja, permitem a criação de um índice estatisticamente relevante. Com o resultado de testes para agregação das variáveis, conforme a análise fatorial ou o Alpha, conjuntos de variáveis podem ser reduzidas a uma mesma medida, que seria um índice, o qual corresponde a uma combinação de variáveis agregadas no intuito de, em conjunto, possibilitarem uma melhor explicação ou indicar de maneira mais completa e complexa um fenômeno. Para além das possibilidades de agregação de atributos, há, ainda, testes esta- tísticos multivariados que permitem a identiicação de características que são capazes de explicar determinados fenômenos. Para tanto, são utilizados mode- los de regressão, os quais possibilitam o estabelecimento de análises por meio das quais busca-se estimar os determinantes ou preditores (variáveis indepen- dentes) de outro aspecto, percepção, evento etc. (variável dependente). Assim, um modelo de regressão sempre deve ser interpretado como um conjunto de variáveis cujo efeito se manifesta sobre um fenômeno tendo em con- sideração todos os demais aspectos constantes no modelo, ou seja, uma regressão estima o quanto um atributo, controlado ou balanceado por todos os demais atri- butos incluídos como variáveis independentes, inluencia a ocorrência de dado evento (variável dependente). Técnicas de Análise de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 143 São muitas as situações em que, no âmbito público, é preciso identiicar, den- tro do possível, mas com a maior exatidão atingível, os fatores que causam ou explicam determinado aspecto, por exemplo: ■ A necessidade de identiicar os sintomas mais relatados pelos pacientes da rede pública de saúde frente ao diagnóstico de determinada doença, a im de otimizar a deinição da medicação a ser empregada no tratamento. ■ As motivações da população para utilizar, ou não, os equipamentos públi- cos disponíveis nas diversas áreas do município, visando destinar verbas para reformas, ampliações ou construções de novos espaços. ■ As características dos alunos com relação a sua vida familiar, saúde e aspectos psicológicos, tendo em vista entender como tais atributos podem inluenciar seu desempenho no ambiente escolar. As regressões têm seus modelos alterados conforme a variável dependente e a maneira como o gestor espera discutir os resultados, sendo que, de maneira geral, os modelos mais usuais são: a regressão logística binária, multinomial e linear. A regressão logística binária é utilizada quando o atributo que procuramos explicar possui apenas duas categorias de respostas, por exemplo, quando o pro- blema de pesquisa a ser solucionado pelo gestor público é identiicar os fatores que favorecem ou constrangem os homens a procurar os equipamentos de saúde para prevenção e tratamentos de doenças, foco de campanhas de conscientização, como a “Novembro azul”, em decorrência dos índices de mortalidade e adoeci- mento entre os homens no Brasil. Nesse caso, a variável dependente (a ser explicada) seria se o entrevistado (caso) se submete a avaliações e/ou a consultas médicas (sim ou não). Fatores, como escolaridade, renda, se mora sozinho ou com família, se é casado, se tem ilhos, se trabalha e sua idade podem explicar a maneira como os homens se relacionam com sua saúde. A regressão multinomial é adequada quando o atributo a ser analisado possui natureza discreta multicategórica, ou seja, quando o gestor público trata de uma questão mensurada por meio de três ou mais possibilidades de respostas pelos entrevistados (categorias). Um exemplo seria a necessidade de identiicação da qua- lidade do funcionamento dos conselhos de determinada área de política pública. O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E144 Digamos que os gestores necessitam identiicar quais fatores são determi- nantes para que os conselhos de todo o Brasil funcionem de maneira satisfatória, regular ou insatisfatória. Por meio de uma regressão multinomial seria possível inferir se e em que medida aspectos como o tempo de existência do conselho, o tipo de legislação por meio do qual foi instituído, seu caráter deliberativo ou consultivo, a paridade entre representantes do governo e da sociedade civil, a periodicidade das reuniões e a transparência na divulgação de informações sobre seu funcionamento, por exemplo, podem inluenciar para que seja constatada a qualidade satisfatória, regular ou insatisfatória em seu funcionamento. Por im, a regressão linear é aplicada quando nossa variável a ser explicada é contínua ou escalar. Em tais situações, portanto, os efeitos que podemos veri- icar se manifestam cumulativos em relação ao avanço da escala, por exemplo, ao buscarmos mensurar que aspectos individuais são explicativos ao nível de satisfação dos indivíduos com a gestão do governo estadual. Nesse caso, a avaliação do governo estadual pelos cidadãos poderia ser men- surada por uma escala de 10 pontos (variável dependente), como testada em Gimenes (2011). Como possíveis fatores explicativos, os gestores públicos pode- riam testar o sexo dos indivíduos — já que homens e mulheres se relacionam em distintas dimensões com os espaços, serviços e equipamentos públicos — e sua quantidade de ilhos — imaginando que quanto mais ilhos, maior a proba- bilidade de que tenham contato ou façam uso de ao menos um serviço público. Para exempliicar a maneira como os resultados de modelos de regressão podem ser expostos e sua interpretação, ainda que haja distinções entre os três tipos descritos anteriormente, segue um resultado referente ao último exemplo mencionado, desenvolvido a partir da base de dados que deu origem à disserta- ção destacada ao longo desta unidade de estudos (GIMENES, 2011). Técnicas de Análise de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 145 Tabela 9 - Determinantes da satisfação com o governo estadual PREDITOR BETA SIG Sexo ,109 ,320 Número de ilhos -,247 ,026 R2 ajustado ,045 100 Fonte: adaptada de Gimenes (2011). A tabela anterior expõe os resultados, sendo que em cada linha apresenta-se o efeito de uma variável independente, controlada pelo “peso” do efeito da outra, sobre a variável dependente. Caso houvesse mais variáveis independentes, cada uma teria seu efeito balanceado, em alguma medida, por todos os demais. Neste caso em especíico, veriicamosinicialmente que a variável sexo não inluencia a avaliação dos indivíduos sobre o governo estadual, pois o nível de signiicância está acima daquele aceitável (0,05), de modo que podemos inferir que, independentemente de homens e mulheres tomarem contatos distintos com equipamentos, serviços e espaços públicos, não faz diferença o sexo dos cida- dãos (neste caso, dirigentes de entidades sociais maringaenses) para a maneira como avaliam o governo do estado, sendo tal efeito controlado pelo número de ilhos desses respondentes. Por outro lado, o sig indica que a quantidade de ilhos tem algum efeito sobre a avaliação, sendo tal efeito fraco ou baixo (0,247) e com sentido negativo, o que quer dizer que quanto maior o número de ilhos, pior a medida em que os res- pondentes avaliaram o governo estadual, controlado pelo sexo dos indivíduos. No caso desse modelo, os gestores públicos poderiam inferir que dentre sexo e número e ilhos, o que realmente importa para deinir a maneira como os cidadãos avaliam o governo é a quantidade de ilhos, e não se o respondente é homem ou mulher. Um ponto importante a ser analisado também é a capacidade explicativa do modelo, nesse caso em especíico, mensurada por meio da medida de adequação denominada R2 ajustado, que indicaria o quanto o conjunto de atributos testa- dos explicaria o fenômeno mensurado. No modelo apresentado anteriormente, o valor de 0,045 é sinal de que as variáveis independentes sexo e quantidade de ilhos explicam somente 4,5% (em analogia à extensão da medida de 0 a 1) dos fatores que impactam a maneira como os cidadãos estabelecem suas avaliações do governo estadual. O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E146 Tal resultado indicaria aos gestores públicos a necessidade de incluir novos atributos ao modelo, uma vez que faltaria identiicar 95,5% dos determinantes da avaliação, o que demandaria novos modelos com a inclusão de variáveis indepen- dentes como frequência de acesso a informações e interesse por política, com as hipóteses de que aqueles que são mais informados e que mais se interessam por política poderiam ser mais críticos em suas avaliações do governo, por exemplo. ESTATÍSTICA HIERÁRQUICA A análise hierárquica consiste na realização de modelos de regressão cuja inali- dade é analisar dados referentes a dois ou mais espectros populacionais distintos, os quais podem incluir indivíduos, bairros, municípios, unidades da federação ou mesmo países, por exemplo. Esses espectros distintos são denominados níveis, de modo que os modelos de regressão hierárquicos também são denominados modelos de regressão multiníveis (CARVALHO; MINGOTI, 2005). Considerando que sua utilização envolve a combinação entre atributos de naturezas populacionais diferentes, o primeiro passo para a realização de tais modelos é identiicar sua pertinência, ou seja, se e em que medida um determi- nado fenômeno (variável dependente) é inluenciado por atributos (variáveis independentes) de mais de uma ordem (nível). Para tanto, deve-se estimar um modelo incondicional, sem preditores de nenhum nível, a im de identiicar a variância daquilo que se pretende explicar (RAUDENBUSH; BRYK, 2002). O resultado desse teste, denominado modelo nulo por não incluir variáveis explicativas, é subsídio para o estabelecimento do coeiciente de correlação intraclasse, indicador que permite constatarmos, em termos percentuais, o quanto um fenômeno é inluenciado por aspectos que decorrem de um nível analítico distinto daquele em que ocorre. É o percentual encontrado nesta análise que determina se é, ou não, pertinente a realização de modelagem hierárquica para a investigação de determinada questão. Ribeiro, Borba e Silva (2015) e Gimenes (2017), por exemplo, realizaram testes com modelagem hierárquica para identiicar o quanto o comparecimento Técnicas de Análise de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 147 eleitoral e o estabelecimento de laços partidários pelos cidadãos, respectivamente, seriam inluenciados por características individuais e nacionais dentre os elei- tores latino-americanos. Para tanto, o primeiro nível considerado foi o nível relacionado à variável dependente (comparecimento eleitoral ou simpatia partidária), portanto, os dados de opinião pública que tinham os indivíduos como unidade de análise. O segundo nível foi composto pelos países da América Latina, referentes aos quais autores selecionaram variáveis que poderiam explicar aquilo que buscavam responder. Em se tratando da gestão pública, é possível realizar análises hierárquicas, por exemplo, considerando dados de opinião pública coletados para todo o Brasil (um nível) e estatísticas oiciais referentes a aspectos sociodemográicos, de desenvolvimento econômico e social (outro nível), a im de veriicar a rela- ção entre a satisfação com o serviço público, as condições de vida dos cidadãos e os investimentos realizados pelo Estado. Com relação à análise dos modelos hierárquicos, estes seguem a mesma lógica dos modelos de regressão anteriormente expostos, sendo necessário considerar, contudo, que os efeitos veriicados não são apenas relacionados às variáveis de mesmo nível, mas incluem também aqueles do nível distinto. GEOPROCESSAMENTO DE DADOS O geoprocessamento diz respeito às técnicas que permitem a análise de dados de diferentes naturezas, tendo como um ponto especíico ao processamento dos resultados a perspectiva de construção de resultados visualizáveis por meio da coniguração do espaço físico. Tendo em vista a evolução da informática, com o conseqüente aumento da capacidade de processamento e soisticação dos sistemas e progra- mas, a tecnologia de Geoprocessamento cada vez mais amplia o seu espaço de utilização, particularmente nas prefeituras, onde sua aplica- ção pode atingir as áreas mais diversas, como ordenamento e gestão do território, otimização de arrecadação, localização de equipamentos e serviços públicos, identiicação de público-alvo de políticas públicas, gestão ambiental, gerenciamento do sistema de transportes e gestão da frota municipal (SILVA, 2005, p. 1). O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E148 Dentre os estudos produzidos por órgãos oiciais, como o IBGE e o IPEA, são recorrentes as análises espaciais e a investigação de questões e problemas rela- cionados à gestão pública e às políticas públicas por meio ou com o auxílio do georreferenciamento. Um exemplo de pesquisa de tal natureza é a investigação de Orair et al (2013), que se utilizaram do georreferenciamento para expor, em sua análise, a distri- buição dos municípios brasileiros com relação ao volume de recursos públicos disponíveis em termos de receita per capita no ano de 2010, conforme exposto na igura a seguir. Figura 10 - Receita disponível per capita dos municípios brasileiros (2010) Fonte: Orair et al. (2013, p. 254). Tal análise contribuiu à investigação dos autores acerca da avaliação dos impac- tos da redistribuição promovida pelo sistema de transferências da União aos municípios brasileiros. Técnicas de Análise de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 149 SOFTWARES PARA ANÁLISES ESTATÍSTICAS Considerando que aos gestores públicos não é exigido o domínio da complexi- dade da estatística, há muitos sotwares que permitem a realização das análises, anteriormente descritas nesta seção, sem que aquele que manuseia o programa tenha domínio sobrecálculos e fórmulas. O que se espera, e é imprescindível, é que o gestor público ou outro usuário do sotware tenha noções básicas sobre a natureza das variáveis e dos testes, de modo a evitar, por exemplo, a inclusão de variáveis discretas em testes de correlação, que, conforme descritos anteriormente, são utilizados para variáveis mensuradas de maneira numérica ou contínua. Em se tratando de análises descritivas, bivariadas e multivariadas, são mui- tas as opções, de modo que há, no mercado, dezenas de sotwares, desde aqueles com poucos recursos até outros mais completos, bem como programas gratui- tos e outros pagos. Dentre tais sotwares, o mais “amigável”, por ter uma interface semelhante a de planilhas é o Statistical Package for the Social Sciences (SPSS), que tem mais de 20 versões com atualizações, inclusive algumas já em português, mas é um pro- grama cuja licença tem que ser adquirida, com renovação anual ou valor pago para acesso vitalício. O SPSS é utilizado apenas em ambiente Windows, assim como Stata e SAS, por exemplo. O PSPP é uma versão gratuita para o sistema operacional Linux, cuja sigla é uma inversão e em menção ao SPSS, uma vez que o PSPP tem interface e recur- sos semelhantes. Um sotware livre que permite a utilização tanto em ambiente Windows como Linux é o R, cujo funcionamento se dá majoritariamente por linhas de comando, o que seria um complicador por um lado, mas também é um sotware O geoprocessamento de dados pode ser utilizado para ins de reforma agrá- ria, como na tentativa de otimização das análises acerca de regularização fundiária. O que você pensa sobre isso? Técnicas de Análise de Dados Quantitativos R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 151 na página do Ministério do Meio Ambiente (BRASIL, [2018]), em são elencados mais de uma dezena de sotwares, bem como expostas informações sobre sua des- crição, pontos positivos e restrições e ainda o link para download do conteúdo. É importante destacar que a exposição dos sotwares, nesta seção, não tem a preocupação e nem o objetivo de propagar sua utilização ou de determinar que os demais programas não sejam adequados ou úteis. Ao contrário, esta expo- sição teve o intuito de oferecer algumas ferramentas à realização de análises de dados quantitativos, tendo clareza de que, a depender do conhecimento e das necessidades de cada gestor público e também das competências de habilidades tanto suas quanto de sua equipe, um ou outro sotware pode se revelar como mais indicado para cada problema ou questão de pesquisa. O MÉTODO DE PESQUISA QUANTITATIVA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IIIU N I D A D E152 CONSIDERAÇÕES FINAIS A utilização de dados passíveis de sistematização para a realização de análises agregadas foi o foco de discussão desta unidade de estudos. Tendo em vista a preocupação do método quantitativo com a possibilidade de generalização e a perspectiva de comparação entre dados, nosso caminho iniciou com a explana- ção sobre os conceitos centrais deste método de pesquisa. Assim, a primeira seção desta unidade destinou-se à conceituação do que são unidades de análises (os casos) e variáveis, distribuídas entre aquelas discre- tas — com suas subdivisões em dicotômicas ou multicategóricas e em ordenadas ou não ordenadas — e as contínuas ou escalares. Tais conceitos foram relevantes à discussão sobre o instrumento, por excelên- cia, para a coleta de dados quantitativos: o questionário. Sobre tal instrumento, aprendemos com relação às distinções dentre aqueles autoaplicáveis e os aplica- dos, bem como foram apresentados pontos positivos e negativos sobre ambos e também acerca da aplicação de questionários on-line. Ademais, abordamos as etapas concernentes à sua elaboração, desde aspec- tos preliminares e relacionados à deinição do problema ou questão de pesquisa até o planejamento e construção das questões (consideradas as possibilidades de estruturá-las como abertas, objetivas de resposta única ou múltiplas e intervala- res — com escalas numéricas ou de Likert) e, por im, a realização de pré-testes e a necessidade de cartões de respostas. A terceira e última seção desta unidade de estudos abordou técnicas para análises de dados quantitativos, bem como tratou de sotwares estatísticos que podem subsidiar tais investigações. Isto posto, tomamos conhecimento, então, sobre os métodos qualitativos e quantitativos, de modo que podemos avançar em nosso caminho, rumo a conhecermos maneiras de combinar tais perspectivas com a inalidade de obter melhores resultados para as pesquisas em gestão pública. 153 1. Em se tratando de métodos de pesquisa, a terceira unidade de estudos do livro abordou a pesquisa quantitativa, as quais têm como principal característica: a) A construção de questionários. b) A quantiicação de fenômenos. c) A utilização da estatística. d) A preocupação com a sociedade. e) O foco na gestão pública. 2. A realização de uma pesquisa quantitativa implica na atenção a diversos as- pectos, dentre os quais, a coleta de dados, que necessita do conhecimento do gestor público acerca da unidade de análise para a qual formulará questões. O que é uma unidade de análise? a) Uma questão. b) Um objetivo. c) Um caso. d) Uma variável. e) Um teste. 3. De acordo com o conteúdo apresentado nesta unidade de estudos, são múl- tiplas as possibilidades relacionadas à realização de uma pesquisa, sendo que tal diversidade também se aplica à etapa de coleta de dados. Nesse sentido, analise os aspectos a seguir: I) Questionários autoaplicáveis. II) Questionários online. III) Questionários aplicados. IV) Questionários não estruturados. Diante do exposto, são considerados instrumentos para coleta de dados quan- titativos: a) Somente as airmativas I e II. b) Somente as airmativas II, III e IV. c) Somente as airmativas I, III e IV. d) Somente as airmativas II e III. e) Somente as airmativas I, II e III. 154 4. Tendo em vista a abordagem acerca das distinções entre variáveis, analise os atributos individuais apresentados a seguir e assinale a alternativa que corres- ponde a uma variável discreta ordenada multicategórica: a) Sexo. b) Idade (em anos). c) Nível de escolaridade. d) Raça ou etnia. e) Religião. 5. Ao longo da terceira seção desta unidade de estudos, abordamos diferentes técnicas de análises de dados quantitativos, cuja utilização deve decorrer de clareza, por parte do pesquisador ou gestor público, a respeito de sua adequa- ção ao objeto e ao problema de pesquisa. A técnica caracterizada por análises que considera o espaço físico como variável independente é: a) Análise descritiva. b) Análise bivariada. c) Análise multivariada. d) Análise hierárquica. e) Geoprocessamento. 155 COMO PESQUISA ELEITORAL COM 2 MIL PESSOAS INDICA O VOTO DE 146 MILHÕES [...] Os levantamentos dos institutos de pesquisas [...] são usados também para conhecer tendências de opinião das pessoas sobre determinados temas e para planejar estraté- gias de marketing das empresas. [...] Mesmo assim, é possível que você nunca tenha respondido a uma pesquisa eleitoral e talvez não conheça ninguém que tivesse participado desses levantamentos. Então, como coniar que os resultados são verdadeiros? No im das contas, pesquisas eleitorais tentam “prever” o que vai acontecer quando che- gar o dia da votação. E a evidência existente até agora é de que, na maioria das vezes, os levantamentos são bem sucedidos nesta tarefa, principalmente quando são realizados mais perto da data do escrutínio. Em fevereiro do ano passado [2017], por exemplo, cientistas políticos da Universidade de Houston (EUA) veriicaram que pesquisas feitas duas semanas antes da votação con- seguiram acertar o resultado de 10 entre 11 eleiçõesem países latino-americanos, entre 2013 e 2014 (uma eicácia de 90,9%). Um resultado similar aparece em um levantamento do site de notícias jurídicas Jota, que considerou 3.924 pesquisas eleitorais brasileiras nas eleições nacionais de 1998 a 2014. Por im, é possível que durante a campanha surjam textos nas redes sociais mencionan- do “pesquisas” que não existem, para favorecer este ou aquele candidato. Para saber se uma pesquisa foi realmente feita ou não, basta consultar o TSE. Todas as pesquisas coniáveis feitas no país estão registradas neste banco de dados da Justiça Eleitoral.[...] Como é feita uma pesquisa? Primeiro, os pesquisadores deinem uma amostra que seja representativa do grupo a ser pesquisado, usando dados públicos. O objetivo é escolher um número limitado de pessoas, cujas características sejam parecidas com a do grupo maior que se queira pes- quisar (que os estatísticos chamam de universo). Para que a pesquisa esteja correta, a amostra precisa corresponder ao universo dentro de alguns critérios (escolaridade, idade, gênero, etc). Esses critérios são chamados de variáveis. Por exemplo: os últimos dados do TSE mostram que 52,4% dos 146,4 milhões de eleitores brasileiros são mulheres. Portanto, uma amostra de 2.000 eleitores deverá ter 52,4% de mulheres (1.048 eleitoras). “A amostra deve ser uma reprodução do universo a ser representado, com as mesmas proporções de segmentos sócio-econômicos”, diz o diretor do Datafolha, Mauro Paulino. E como escolher exatamente os locais do país em que serão aplicados os questionários? “São sorteadas cidades de pequeno, médio e grande porte nas mesorregiões (recortes dentro de cada Estado) deinidas pelo IBGE”, explica Paulino. É que a proporção de mo- radores de capitais ou de cidades do interior também é considerada na formação da amostra. https://www.jota.info/eleicoes-2018/institutos-de-pesquisas-erros-ou-acertos-30012018 http://www.tse.jus.br/eleitor-e-eleicoes/eleicoes/eleicoes-suplementares/consulta-as-pesquisas-registradas http://www.tse.jus.br/eleitor-e-eleicoes/estatisticas/estatisticas-de-eleitorado/estatistica-do-eleitorado-por-sexo-e-faixa-etaria 156 As variáveis levadas em conta mudam de instituto para instituto e de acordo com o objetivo do levantamento. “Quanto mais as variáveis escolhidas estiverem relacionadas com o objeto do levantamento, melhor será a amostra”, diz a diretora do Ibope Márcia Cavallari. No caso do Ibope, as variáveis consideradas geralmente são as de gênero, faixa etária, escolaridade e ramo no qual a pessoa trabalha (ou se é desempregada). Depois de calculada a amostra, é preciso fazer as entrevistas com as pessoas que preen- cham aqueles critérios. Cada instituto de pesquisa tem a própria forma de fazer isto: o Ibope determina a área em que o entrevistador fará a pesquisa usando os chamados “setores censitários” deini- dos pelo IBGE (isto é, a mesma divisão do território usada no Censo brasileiro). A vanta- gem disto, diz Cavallari, é poder saber exatamente onde cada entrevista ocorrerá - o pes- quisador é enviado a uma área contínua, situada em um único quadro urbano ou rural. “A partir daí, o entrevistador vai percorrer esse território (o do setor censitário) até pre- encher todas as entrevistas que estavam designadas para ele”, diz Cavallari. Já o Datafolha usa outra metodologia, baseada nos chamados “pontos de luxo”: os pes- quisadores são mandados a locais ixos, e entrevistam os passantes. Segundo Mauro Paulino, o Instituto têm mapeados mais de 60 mil pontos deste tipo, que são atualizados constantemente. “Todos os questionários são aplicados com o uso de tablets, que permitem a geolocalização on-line do entrevistador, gravação das entre- vistas e checagem instantânea das respostas, que são enviadas para a central de dados no mesmo instante em que são colhidas”, escreveu ele à BBC Brasil. Por último, os dados são reunidos e tratados estatisticamente pelos institutos. Você nunca foi entrevistado? No caso de uma pesquisa de intenção de voto, por exemplo, o universo a ser estudado corresponde ao número de eleitores do Brasil - 146,4 milhões de pessoas, segundo o último número do TSE (março de 2018). Como as pesquisas eleitorais geralmente ouvem cerca de 2 mil pessoas, a chance de você estar entre os “escolhidos” é realmente pequena - o que não torna o levantamento menos válido. “As pesquisas de opinião são realizadas por meio de técnicas de amostragem reconhe- cidas internacionalmente, de modo que a abordagem de apenas uma pequena parcela da população já é suiciente para retratar o todo”, escreve Cersosimo, do Ipsos, em e-mail à BBC. [...] E por que os institutos não conseguem eliminar a “margem de erro” que existe nas pes- quisas? Basicamente, porque seria preciso entrevistar todos os 146 milhões de eleitores, diz Márcia Cavallari, do Ibope. “Quanto mais entrevistas você faz, mais cai a margem de erro”, diz Cavallari. 157 “Mas, a partir de um certo ponto, você pode aumentar o quanto quiser a sua amostra (o número de entrevistas) que a margem de erro varia pouco”, conta a CEO do Ibope. No Brasil, as pesquisas eleitorais costumam variar entre 2% e 4% de margem, para mais ou para menos. Fonte: Shalders ( 2018). REFERÊNCIAS 159 AQUINO, J. A. R para cientistas sociais. Ilhéus: Universidade Estadual de Santa Cruz, 2014. BABBIE, E. Métodos de pesquisa de survey. Belo Horizonte: Universidade Federal de Minas Gerais, 1999. BARBETTA, P. A. Estatística aplicada às Ciências Sociais. 7. ed. Florianópolis: Uni- versidade Federal de Santa Catarina, 2011. BOHRNSTEDT, G. W., KNOKE, D. Statistics for social data analysis. 2. ed. Itasca: Pe- acock, 1988. BORBA, J.; GIMENES, E. R.; RIBEIRO, E. A. Participação e repertórios políticos: uma análise dos engajamentos múltiplos dos brasileiros na política. In: SCHERER-WAR- REN, I.; LÜCHMANN, L. H. H. Movimentos sociais e engajamento político: trajetó- rias e tendências analíticas. Florianópolis: Universidade Federal de Santa Catarina, 2015. p. 101-132. BRASIL. Ministério do Meio Ambiente. Software livre para geoprocessamento. Brasília, 2005. Disponível em: <http://www.mma.gov.br/informma/item/893-sof- tware-livre-para-geoprocessamento>. Acesso em: 05 out. 2018. CARREIRÃO, Y. S.; TRINDADE, T. T. C.; RIBEIRO, E. A.; GIMENES, E. R.; BORBA, J. Simpa- tia partidária e repertórios de participação política no Brasil. In: MARTELLI, C. G. G.; JARDIM, M. C.; GIMENES, E. R. Participação política e democracia no Brasil con- temporâneo. Araraquara: Universidade Estadual Paulista Júlio de Mesquita Filho, 2018. p. 73-109. CARVALHO, G. S.; MINGOTI, S. A. Manual do usuário: programas para a realização da análise hierárquica. Departamento de Estatística. Belo Horizonte: Universidade Fe- deral de Minas Gerais, 2005. Disponível em: <http://www.est.ufmg.br/estatistica_in- dustrial/manual%20do%20usu%E1rio_an%E1lise_hier%E1rquica.pdf>. Acesso em: 08 out. 2018. CONCEIÇÃO, E. S. F.; SOUZA, A. Geoprocessamento aplicado à área de regularização fundiária: um estudo de caso baseado em modelagem e banco de dados geográi- cos. Agenda Política, Santa Catarina, v. 6, n. 1, 2018. p. 33-57. FIGUEIREDO FILHO, D. B.; SILVA JUNIOR, J. A. Visão além do alcance: uma introdução à análise fatorial. Opinião Pública, Campinas, v. 16, n. 1, jun. 2010. p. 160-185. GIMENES, E. R. Cultura política e democracia: apoio difuso e especíico entre um segmento da elite não estatal do município de Maringá (PR). 2011. 178 f. Dissertação (Mestrado) - Programa de Pós-Graduação em Ciências Sociais, Universidade Estadu- al de Maringá, Maringá, 2011. ______. Eleitores e partidos políticos na América Latina. Curitiba: Appris, 2017. REFERÊNCIAS ______. Direitos sociais e proissionalização. 2018. Disponível em: <https://docs. google.com/forms/d/1tRbZW5QRcFCNC9EqH7eZJ7vjw15tMTDblBf8RbsDvd4/ edit>. Acesso em: 09 dez. 2018. ______ ; RIBEIRO, E. A. Democratismo entre atores políticos não estatais. Debates, Porto Alegre, v. 7, n. 3, set./dez. 2013. p. 127-148.______ ; SOUZA, M.; SANTIAGO, A. B. S. Gestão social e empreendedorismo social no campo das organizações da sociedade civil: desaios à conformação do cam- po de pesquisa e das práticas proissionais. In: MEIRELLES, D. C.; PICANÇO, F. C. A.; PERIOTTO, T. R. C. Empreendedorismo, Inovação & Startup. Maringá: Unicesumar, 2018 (no prelo). HOSS, M.; CATEN, S. T. C. Processo de validação interna de um questionário em uma survey research sobre ISO 9001:2000. Produto & Produção, Rio Grande do Sul, v. 11, n. 2, jun. 2010. p. 104-119. JANNUZZI, P. M. Indicadores sociais na formulação e avaliação de políticas públicas. Aula. 9 p. Universidade de Minas Gerais. Núcleo de Educação em Saúde Coletiva. Belo Horizonte: 2012. Disponível: <https://www.nescon.medicina.ufmg.br/bibliote- ca/imagem/2012.pdf>. Acesso em: 08 out. 2018. KELLSTEDT, P. M.; WHITTEN, G. D. Fundamentos da pesquisa em Ciência Política. 2. ed. São Paulo: Blucher, 2015. LANDEIRO, V. L. Introdução ao uso do programa R. Manaus: Instituto Nacional de Pesquisas da Amazônia - INPA, 2011. Disponível em: <https://cran.rproject.org/doc/ contrib/Landeiro-Introducao.pdf>. Acesso em: 05 out. 2018. LIMA, M. Introdução aos métodos quantitativos em Ciências Sociais. In: ABDAL, A.; OLIVEIRA, M. C. V.; GHEZZI, D. R.; SANTOS JÚNIOR, J. (Orgs.). Métodos de pesqui- sa em Ciências Sociais: bloco quantitativo. São Paulo: Serviço Social do Comércio/ Centro Brasileiro de Análise e Planejamento, 2016. p. 10-31. LÜCHMANN, L. H. H.; ALMEIDA, C. C. R.; GIMENES, E. R. Gênero e representação polí- tica nos conselhos gestores no Brasil. Dados, Rio de Janeiro, v. 59, n. 3, set. 2016. p. 789-822. MANZATO, A. J.; SANTOS, A. B. A elaboração de questionários na pesquisa quantita- tiva. Aula. 17 p. Departamento de Ciência da Computação e Estatística. Florianópo- lis: Universidade Federal de Santa Catarina, 2012. Disponível em: <http://www.inf. ufsc.br/~vera.carmo/Ensino_2012_1/ELABORACAO_QUESTIONARIOS_PESQUISA_ QUANTITATIVA.pdf>. Acesso em: 05 out. 2018. MELO, W. V.; BIANCHI, C. S. Discutindo estratégias para a construção de questioná- rios como ferramenta de pesquisa. Revista Brasileira de Ensino de Ciência e Tec- nologia, Curitiba v. 8, n. 3, maio/ago. 2015. p. 43-59. MOISÉS, J. A. Os signiicados da democracia segundo os brasileiros. In: MOISÉS, J. A.; MENEGUELLO, R. (Orgs.). A desconiança política e os seus impactos na qualida- de da democracia. São Paulo: Universidade de São Paulo, 2013. p. 51-91. REFERÊNCIAS 161 ORAIR, R. O.; LIMA, L. S.; TEIXEIRA, T. H. F. Sistema de transferências para os municí- pios brasileiros: avaliação dos impactos redistributivos. In: BOUERI, R.; COSTA, M. A. (Orgs.). Brasil em desenvolvimento 2013: estado, planejamento e políticas públi- cas. Brasília: Instituto de Pesquisa Econômica Aplicada, 2013. p. 235-258. PAULO, E. V.; OLIVEIRA, R. C. G. Avaliação e sugestão de protocolo estético para apli- cação de toxina botulínica do tipo A em pacientes adultos. Revista Uningá, Marin- gá, 2018 (no prelo). RAUDENBUSH, S. W.; BRYK, A. S. Hierarchical linear models: applications and data analysis methods. New York: Sage, 2002. AS RIBEIRO, E. A.; BORBA, J.; SILVA R. Comparecimento eleitoral na América Latina: uma análise multinível comparada. Revista de Sociologia e Política, v. 23, n. 54, jun. 2015. p. 91-108. SHALDERS, A. Como pesquisa eleitoral com 2 mil pessoas indica o voto de 146 mi- lhões. BBC Brasil, São Paulo, 23 abr. 2018. Disponível em: <https://www.bbc.com/ portuguese/brasil-43845326>. Acesso em: 05 out. 2018. SILVA, F. B. Importância do geoprocessamento na fundamentação de políticas pú- blicas. In: JORNADA INTERNACIONAL DE POLÍTICAS PÚBLICAS, 2., 2005, São Luís. Anais… São Luís: Universidade Federal do Maranhão, 2005. Disponível em: <http:// www.joinpp.ufma.br/jornadas/joinppII/pagina_PGPP/Trabalhos/EixoTematico- G/285Brito%20silva_juliane%20andrade.pdf>. Acesso em: 05 out.2018. TEIXEIRA, E. B.; ZAMBERLAN, L.; RASIA, P. C. Pesquisa em gestão pública. Ijuí: Uni- versidade Regional do Noroeste do Estado do Rio Grande do Sul, 2008. TORINI, D. Questionários online. In: ABDAL, A.; OLIVEIRA, M. C. V.; GHEZZI, D. R.; SAN- TOS JÚNIOR, J. (Orgs.). Métodos de pesquisa em Ciências Sociais: bloco quantita- tivo. São Paulo: Serviço Social do Comércio/Centro Brasileiro de Análise e Planeja- mento, 2016. p. 52-75. WOOLDRIGDE, J. M. Introdução à econometria: uma abordagem moderna. 6. ed. São Paulo: Moderna, 2017. GABARITO 1. Opção correta é a B. 2. Opção correta é a C. 3. Opção correta é a E. 4. Opção correta é a C. 5. Opção correta é a E. U N ID A D E IV Professor Dr. Éder Rodrigo Gimenes TRIANGULAÇÃO DE DADOS Objetivos de Aprendizagem ■ Expor elementos que permitam a relexão acerca da necessidade de pensar a pesquisa em sua complexidade. ■ Apresentar a técnica de pesquisa por meio de estudos de caso. ■ Analisar pesquisas que realizaram triangulação de métodos no âmbito da gestão pública. Plano de Estudo A seguir, apresentam-se os tópicos que você estudará nesta unidade: ■ A complexidade da pesquisa ■ Estudo de caso ■ Triangulação de métodos na gestão pública INTRODUÇÃO Nas unidades anteriores deste material didático, dialogamos sobre diferentes conjuntos de possibilidades para construção de projetos de pesquisa, a par- tir de métodos e técnicas que podem ser categorizados como quantitativos ou qualitativos. Nesta quarta unidade, discutiremos sobre a lógica de que os caminhos de uma pesquisa não precisam, obrigatoriamente, ser perpassados pela escolha por um tipo de método e, em consequência, por técnicas pertinentes à metodologia dei- nida. Para tanto, apresento a triangulação como caminho possível às pesquisas. Nesse sentido, a primeira seção desta unidade aborda o contexto em que a realização das pesquisas é tomada como ação complexa e a maneira como os pesquisadores têm alterado sua percepção de que o desenho de uma pesquisa deve reletir as melhores estratégias para a resolução de problemas, independen- temente de técnicas a ser utilizadas para tanto. As estratégias para tal intento constituem o que a literatura sobre metodolo- gias de pesquisa deine como triangulação de métodos, sobre o que discutiremos com relação à deinição, aos pressupostos e às habilidades exigidas dos gestores públicos e de suas equipes para sua realização. A segunda seção trata do estudo de caso, um conjunto de técnicas que podem ser tanto quantitativas quanto qualitativas, cujo desenho deriva do objeto a ser investigado. Além de sua deinição e de estratégias à sua implementação, expo- nho também as vantagens e desvantagens dos estudos de caso. Por im, a terceira seção desta unidade focaliza a relevância da triangula- ção de métodos ao campo da gestão pública, com apresentação de argumentos e exemplos de pesquisas, objetos e problemas relacionados a análises de conjun- tura e de prospecção, bem como de gestão e de avaliação de políticas públicas. Em nosso caminho, este é o penúltimo passo para a construção de uma pes- quisa com qualidade! Boa leitura! Introdução R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 165 TRIANGULAÇÃO DE DADOS R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IVU N I D A D E166 A COMPLEXIDADE DA PESQUISA Em seu artigo “O calcanhar metodológico da Ciência Política no Brasil” (2005, p. 27), Glaucio Soares iniciou airmando que “a Ciência Política no Brasil enfrenta um período difícil, no qual a produção de proissionais e de pesquisas anda na contramão da história”. Naquele momento, o autor tratava da preocupação com a rejeição entre pesquisadores aos métodos qualitativos, por um lado, e aos quan- titativos, por outro. Retomando de maneira breve o que discutimos nas unidades anteriores de estudos, as pesquisas quantitativas são passíveis de produzir conhecimentosobre grandes populações, não raras vezes se utilizando de amostras representativas que nos permitem extrapolar seus achados para grupos maiores, até mesmo para uma dada população como um todo. Com métodos quantitativos é possível, por exemplo, identiicar as características ou os valores que são determinantes do comportamento eleitoral, tema clássico de estudos no Brasil. A relação entre tais variáveis expli- cativas e como operam para cada indivíduo, no entanto, diicilmente poderia ser mensurada em surveys, de modo que esses resultados podem ser pistas para obser- vações qualitativas, por meio de grupos focais ou entrevistas abertas, por exemplo. A Complexidade da Pesquisa R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 167 Por sua vez, as pesquisas qualitativas não se caracterizam por grande abran- gência ou representatividade, mas permitem, por meio de análises de pequenos grupos ou indivíduos separadamente, identiicar indícios da motivação de determinados comportamentos. Adotando o mesmo exemplo que mencionei anteriormente, análises em profundidade podem nos ajudar a entender o quanto determinadas características inluenciam o comparecimento eleitoral, como essas distintas características que inluenciam a decisão sobre votar ou não votar se relacionam entre si, ou seja, como operam na formação da opinião e na decisão dos indivíduos. Se não são generalizáveis ou representativos, os resultados de pesquisas qualitativas podem, no mínimo, fornecer importantes indícios para as pesquisas quantitativas. Assim, o desenho da pesquisa não deve reletir uma predileção do pesqui- sador, mas escolhas que contribuam para uma maior qualidade do trabalho produzido, ou seja, o desenho deve ser elaborado a im de gerar novos conheci- mentos sobre o objeto estudado e, para tanto, cabe ao pesquisador lançar mão de opções metodológicas diversas no sentido de atingir tal objetivo. É preciso pensar nas distintas abordagens metodológicas como complementares, não como excludentes. Cabe destacar ainda que pensar no desenho da pesquisa e deinir as melho- res opções metodológicas partem de um conhecimento prévio, não apenas de métodos e técnicas de pesquisa, mas também do referencial teórico relacionado à temática, isto é, daquilo que já foi produzido sobre o objeto que pretendemos analisar. É diante desse somatório de conhecimentos que um gestor público deve optar por desenhos exclusivamente quantitativos ou qualitativos de pesquisa ou por combiná-los em sua investigação. No caso da opção do gestor pela utilização de métodos e técnicas para coleta de dados que estejam relacionados a uma forma especíica de consecução da pes- quisa, quantitativa ou qualitativa, o entendimento é de que as unidades anteriores deste estudo forneceram subsídios à construção de ferramentas que permitam tanto a delimitação do projeto quanto sua realização e análise. Nesse sentido, a dedicação desta unidade de estudos remete à possibilidade de que os gestores públicos realizem pesquisas que combinem distintos métodos e/ou técnicas, por conta de necessidades especíicas a serem investigadas. TRIANGULAÇÃO DE DADOS R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IVU N I D A D E168 É importante, inicialmente, termos em mente que tal combinação é positiva à realização das pesquisas e remete àquilo que diversos pesquisadores deinem como triangulação de métodos (MORSE, 1991; RITCHIE, 2003; MINAYO, 2005). De acordo com Minayo (2005, p. 12): pode-se compreender avaliação por triangulação de métodos como ex- pressão de uma dinâmica de investigação e de trabalho que integra a análise das estruturas, dos processos e dos resultados, a compreensão das relações envolvidas na implementação das ações e a visão que os atores diferenciados constroem sobre todo o projeto: seu desenvolvi- mento, as relações hierárquicas e técnicas, fazendo dele um construto especíico. Diante de tal conceito, cabe destacar, reairmando aspectos mencionados nas três unidades de estudos anteriores deste material de estudos, que os métodos e as técnicas quantitativas e qualitativas não devem ser consideradas como antagôni- cas, mas como maneiras complementares de alcance dos objetivos dos gestores públicos, que são, geralmente, relacionados à solução de problemas sociais. Santos Filho (1995), por exemplo, defende que diferentes abordagens devem ser consideradas como igualmente legítimas e que pensá-las como incompatí- veis seria um erro. A relação entre quantitativo e qualitativo, entre objetividade e subjeti- vidade não se reduz a um continuum, ela não pode ser pensada como oposição contraditória. Pelo contrário, é de se desejar que as relações sociais possam ser analisadas em seus aspectos mais “ecológicos” e “concretos” e aprofundadas em seus signiicados mais essenciais. As- sim, o estudo quantitativo pode gerar questões para serem aprofunda- das qualitativamente, e vice-versa (MINAYO; SANCHES, 1993, p. 247). No que tange à triangulação de métodos, Samaja (1992) ressaltou um impor- tante ponto a ser considerado: a combinação não necessita ocorrer de maneira igualitária entre técnicas e análises quantitativas e qualitativas, de modo a deter- minação de qual método e técnica serão preponderantes e qual a importância de cada análise depende, invariavelmente, do problema de pesquisa. Em decorrência desta observação, é salutar que os gestores públicos tenham clareza de que cada pesquisa implica em novas determinações de combinações e de deinições sobre a utilização dos métodos e técnicas anteriormente expos- tos neste material de estudos. Antes de avançarmos para as próximas seções desta unidade de estudos, é A Complexidade da Pesquisa R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 169 importante apontar uma característica que os gestores públicos devem desenvol- ver para que seja possível a realização de pesquisas em geral, mas especialmente daquelas que combinam diferentes técnicas: a capacidade de coordenar ou de delegar a coordenação da equipe envolvida em uma pesquisa a quem tenha habi- lidade para trabalhar coletivamente, de modo que Minayo, Assis e Souza (2005) deine o trabalho cooperativo como um desaio. Diante da ausência de um contingente expressivo de materiais (como pes- quisas acadêmicas, relatos de casos e materiais didáticos ou instrucionais, por exemplo), diversos autores têm destacado a necessidade de maior sistematização para a circulação de informações relacionadas à triangulação de métodos, como pontuaram, por exemplo, Gamboa (2007) e Souza e Kerbauy (2017). Diante do exposto, esta unidade de estudos busca, por um lado, contribuir para o aumento do número de escritos que se dedicam a tratar da triangulação de métodos e, por outro lado, de proporcionar melhores condições aos futuros proissionais de Gestão Pública para que se encontrem municiados de conheci- mento acerca de métodos e técnicas para coleta, sistematização e análise de dados. Para tanto, além desta seção conceitual, a continuidade desta unidade apresenta o estudo de caso e discute sua interpretação como técnica de pesquisa que trata-se de triangulação de métodos. Na sequência, exemplos de pesquisas e análises, sob a perspectiva discutida nesta unidade, são expostas. Henkel (2017) discorre sobre aspectos metodológicos relacionados à análi- se de questões discursivas (portanto, de maneira qualitativa) presentes em questionários predominantemente objetivos (quantitativos). Fonte: o autor. TRIANGULAÇÃO DE DADOS R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IVU N I D A D E170 ESTUDO DE CASOOs procedimentos envolvidos na pesquisa cientíica referem-se à forma pela qual se conduz o estudo e, consequentemente, à maneira como se obtém os dados a serem analisados. Dentre as técnicas existentes, o estudo de caso é utilizado de maneira recorrente, ainda que muitos não tenham clareza do que seja condu- zir pesquisas, analisar objetos e produzir avaliações a partir de estudos de casos (YIN, 2001). A técnica de pesquisa de estudo de caso caracteriza-se pela investigação aprofundada de um objeto, de modo a permitir um maior conhecimento acerca do assunto. A pesquisa do tipo estudo de caso caracteriza-se principalmente pelo estudo concentrado de um único caso. Esse estudo é preferido pelos pesquisadores que desejam aprofundar seus conhecimentos a respeito de determinado caso especíico (BEUREN, 2003, p. 84). Se pensarmos, então, a aplicação da técnica à gestão pública, podemos concluir que os estudos de caso podem ser de grande valia àqueles que tomarão as deci- sões, por exemplo: Estudo de Caso R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 171 ■ Diante da necessidade de escolha do local para a construção de um equi- pamento público, a realização de estudos de casos em determinadas áreas do município pode ser decisiva para que o gestor público tenha maior cla- reza sobre qual região carece mais daquele investimento. ■ Em se tratando de obras públicas que promovam a segregação em um território, como a construção de pontilhões ou rodovias que dividem cidades ou a desapropriação de terras para a construção de estradas ou de barragens, é importante investigar as condições de vida das famílias antes de sofrerem os impactos das obras, a im de pensar quais as medi- das pertinentes para que os efeitos sejam menos danosos. ■ O conhecimento acerca das condições de vida de determinada população pode contribuir para que os gestores públicos conheçam suas debilida- des, necessidades e anseios e optem por concentrar esforços e recursos na melhoria de uma política pública em especíico ou que organizem uma listagem (como um ranking) de prioridades a ser atendidas. Nesse sentido, quanto à sua utilidade, Gil (1996) diz que o estudo de caso é mais comum em pesquisas exploratórias, sendo recomendável em fases iniciais de pesquisas complexas por sua lexibilidade e também aplicado em situações em que o objeto de estudo já é suicientemente conhecido. Yin (2001, p. 23), no entanto, garante que o estudo de caso pode ser desenvolvido não apenas sob a ótica exploratória, mas também com os propósitos descritivo e causal. De acordo com Almeida (2016, p. 60): o pressuposto é que o estudo intenso de um fenômeno complexo, se- gundo diferentes perspectivas, é capaz de revelar planos estruturais que também podem ser encontrados em outros casos. Mais do que uma ferramenta especíica de produção de dados, trata-se de uma estratégia que mobiliza diferentes metodologias, sobretudo as de caráter quali- tativo (como observação participante, entrevistas em profundidade, histórias de vida etc.), mas também quantitativo (surveys, dados quan- titativos secundários, mapeamentos etc.). A explicação anterior evidencia a razão pela qual o estudo de caso não compôs as unidades de estudo anteriores, mas está relacionado à perspectiva de triangu- lação de métodos e técnicas: a maior preocupação do pesquisador ou do gestor público ao realizar um estudo de caso não é fazer uso de determinado mecanismo TRIANGULAÇÃO DE DADOS R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IVU N I D A D E172 ou instrumento de pesquisa, mas descrever e analisar fenômenos, fatos, agentes e situações que são permeados por diferentes dimensões, motivações e compo- sições em termos de tempo e espaço. Ainda de acordo com Almeida (2016), cinco observações são relevantes para a deinição de um estudo de caso, quais sejam: Figura 1 - Observações relevantes para estudos de caso Fonte: adaptada de Almeida (2016). Estudo de Caso R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 173 Assim como os demais métodos de pesquisa, o estudo de caso apresenta vantagens e limitações. Dentre as vantagens, Gil (1996) destaca o estímulo a novas descobertas, pois, conforme destacado anteriormente, o estudo de caso permite uma lexibilização na abordagem do objeto pesquisado. Além disso, “o estudo pode ser de caso único ou múltiplo, a depender dos objetivos da pesquisa” (ALMEIDA, 2016, p. 65). Outro ponto positivo do estudo de caso é sua caracterização pela simplici- dade de seus procedimentos: os procedimentos de coleta e análise de dados adotados no estudo de caso, quando comparados com os exigidos por outros tipos de deline- amento, são bastante simples. Da mesma forma, os relatórios dos es- tudos de caso caracterizam-se pela utilização de uma linguagem e de uma forma mais acessível do que outros relatórios de pesquisa (GIL, 1996, p. 59). Uma preocupação acerca da aplicação do estudo de caso como metodologia de pesquisa é o fato dessa técnica fornecer pouco embasamento para uma generali- zação cientíica sobre o assunto pesquisado. Essa limitação, aliás, é apontada por Gil (1996, p. 60) como a mais grave no desenvolvimento de um estudo de caso. Sobre tal limitação, contudo, não necessariamente relete uma grande questão às pesquisas realizadas no âmbito da gestão pública, uma vez que, diferente- mente do campo cientíico, a preocupação com comparações ou generalizações para além dos objetos investigados pode não ser relevante por conta dos obje- tivos do ente público. Gil (1996) e Beuren (2003) atentam ainda para o fato de que, em decorrên- cia do aspecto positivo que destaca o estudo de caso como técnica simples de pesquisa, é preciso atenção por parte do pesquisador, de quem se exige maior nível de capacitação do que aquele exigido em outros tipos de delineamento, em parte por conta da possibilidade de combinação de instrumentos para coleta de dados (ALMEIDA, 2016). Tal aspecto é responsável pelo tempo despendido com a realização de estudos de caso, mais demorados do que a aplicação de outras técnicas por sua complexidade. Além disso, a realização de uma pesquisa adotando a metodologia de estudo de caso exige, necessariamente, a utilização de algumas fontes para coleta de dados. Para Bruyne, Herman e Schoutheete (1982), o estudo de caso, visando TRIANGULAÇÃO DE DADOS R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IVU N I D A D E174 reunir informações tão numerosas e detalhadas quanto seja possível, recorre às mais diversas técnicas de coleta de informações, que são igualmente variadas. De modo geral, todo o arcabouço apontado nas unidades de estudos anteriores pode compor um estudo de caso, pois o mesmo utiliza dados primários e secun- dários, pode se constituir como pesquisa exploratória, descritiva ou com vistas a identiicar alguma causalidade e se utilizar de técnicas para coleta e análises de dados que remetam tanto ao método quantitativo quanto ao método qualitativo. Diante desse conjunto de informações, denota-se a diiculdade, especial- mente àqueles que têm pouco contato com a realização de pesquisas e com a aplicação de distintos métodos e técnicas para coleta e análise de dados, em rea- lizar estudos de caso. Sua execução, no entanto, depende do desenvolvimento de experiências, mas nunca se dá por completo, uma vez que, ainda que o pes- quisador tenha clareza sobre métodos e técnicas e inicie um estudo de caso com desenho determinado de pesquisa, [...] podem ocorrer mudanças nos casos selecionados ou mesmo nas técnicas utilizadas conforme o andamento da pesquisa. Não há pro-priamente uma receita para seleção dos casos nem das técnicas de pes- quisas a ser aplicadas. O importante é o pesquisador dominar diversas técnicas e saber escolher as mais apropriadas, além da sequência de sua utilização. Evidentemente isso depende dos objetivos da pesquisa e dos recursos disponíveis para a sua efetivação (ALMEIDA, 2016, p. 66). Diante do exposto, o estudo de caso se revela, ao mesmo tempo, como técnica aparentemente mais simples e mais complexa dentre todas as alternativas apre- sentadas neste material didático. Seus resultados podem contribuir sobremaneira para a solução de questões ou problemas conforme aqueles hipotéticos que apre- sentei como exemplos no início desta seção. Tendo conhecimento sobre o que é triangulação de métodos e sobre o con- ceito e as características do estudo de caso, podemos, então, avançar a exemplos de pesquisas que construíram análises e resultados a partir da combinação entre os procedimentos de pesquisa abordados até aqui. Triangulação de Métodos na Gestão Pública R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 175 TRIANGULAÇÃO DE MÉTODOS NA GESTÃO PÚBLICA O estabelecimento de uma síntese do conteúdo nas seções anteriores desta uni- dade de estudos aponta para a seguinte constatação: não é necessariamente a quantidade de observações ou o detalhamento das informações que nos permite compreender de maneira mais aprofundada os fenômenos sociais e políticos, mas o conhecimento teórico e empírico acerca das metodologias e técnicas de análises a ser empreendidas em uma investigação. Nesse sentido, esta seção tem a inalidade de discutir, ainda que de maneira breve, a relevância da combinação entre métodos e técnicas de pesquisas no âmbito da gestão pública, bem como de apresentar pesquisas relacionadas à área que utilizaram distintas estratégias de investigação. ANÁLISES DE CONJUNTURA E PROSPECÇÃO A utilização de dados pelos gestores públi- cos pode se dar em função de tomadas de decisões gerais, relacionadas ao processo de administração como um todo, o que signiica que, apesar da maioria dos exem- plos deste material didático pautarem-se por ilustrações de casos, pesquisas ou situ- ações hipotéticas relacionadas às políticas públicas, a pesquisa também pode ser útil a outras atividades. TRIANGULAÇÃO DE DADOS R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IVU N I D A D E176 A otimização da distribuição de recursos de fundos especíicos entre as pas- tas, a alocação ou realocação de servidores nas diferentes secretarias e unidades administrativas, o conhecimento acerca das articulações do mercado (entidades privadas) e das organizações da sociedade civil, as possibilidades de estabeleci- mento de parcerias relacionadas à responsabilidade social ou gestão social para consecução dos direitos sociais, o planejamento com vistas a ter em mãos dados e relatórios estruturados para eventuais consultas ou disponibilização de recur- sos por outros órgãos nacionais e internacionais, estatais, paraestatais, privados ou sociais sem ins lucrativos também são de suma importância à gestão pública. Diante de tais exemplos, destaco a discussão teórica empreendida por Chirnev (2018) a respeito da realização de análises de conjuntura e de prospecção. Ainda que a autora tenha voltado seu olhar ao campo de gestão das organizações do Terceiro Setor, os conceitos explorados também podem ser apropriados pelos gestores públicos. O conceito de conjuntura diz respeito ao conjunto de elementos veriicáveis em um mesmo tempo e espaço sob diversas perspectivas, como social, econô- mica, política, cultural, religiosa, ambiental e tecnológica, por exemplo. Uma análise de conjuntura, portanto, diz respeito à maneira como, base- ados nos elementos e perspectivas possíveis, conseguimos compreender uma realidade e pensar eventos ou fenômenos futuros. Para tanto, o gestor (público, no nosso caso) deve se valer das mais diversas técnicas e métodos de pesquisa, a im de elaborar uma análise de conjuntura abrangente e eiciente. “A análise de conjuntura é um instrumento metodológico da Ciência Política que serve para interpretar os eventos, os quais surgem da ação de atores em con- textos especíicos” (OLIVEIRA, 2014, p. 25). Tal análise é realizada a partir de dados retrospectivos e visa o conhecimento sobre a maneira como um conjunto de fenômenos ou eventos ocorreu, a im de identiicar a direção dos acontecimentos. Nesse sentido, a realização de análises de conjuntura se revela complexa, pois “[...] exige também um tipo de capacidade de perceber, compreender, descobrir senti- dos, relações, tendências a partir dos dados e das informações” (SOUZA, 2005, p. 8). Em se tratando de tal complexidade, Chirnev (2018) destaca que um fato que diiculta a realização de análises de conjuntura é sua persistência constante, ou seja, a ausência de estagnação dos eventos e fenômenos. Triangulação de Métodos na Gestão Pública R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 177 Por outro lado, o domínio de métodos e técnicas para coleta e análise de dados permitiria aos gestores públicos melhores condições de realizar também prospecções mais adequadas. Considerando que, desde o im do século passado, o princípio da eiciência tem sido referenciado como balizador da prestação de serviços públicos, cabe aos gestores manterem-se e aos seus funcionários habi- litados e com recursos materiais atualizados para o desenvolvimento de análises de conjuntura que forneçam subsídios, a partir da interpretação de fatos, eventos e fenômenos passados, projetarmos as próximas necessidades e ações públicas a serem tomadas. Essa projeção diz respeito ao processo denominado prospecção. A prospecção é uma ferramenta de pesquisa e planejamento que auxilia o gestor nas decisões de médio e longo prazo. A prospecção é a ação de prospectar, pesquisar, ou mesmo pode ser deinido como um conjunto de técnicas relativas a pesquisa, oferecendo subsídios mais consistentes para decisões mais assertivas (CHIRNEV, 2018, p. 69). As análises de prospecção são consideradas como mecanismos relevantes de suporte à Administração Pública para a tomada de decisões de curto, médio e longo prazo, o que signiica que se tratam de importantes intervenções na ges- tão de municípios, estados e da União. Quando consideradas de maneira conjunta, análises de conjuntura e de prospecção, ou seja, de aspectos passados e de projeções para o futuro, podem contribuir para que os gestores públicos deliberem de maneira eicaz a respeito da destinação de recursos públicos, a im de otimizar mudanças de ordem social, cultural, política e econômica, por exemplo. Na prospecção, podem ser combinados nos estudos prospectivos tanto técnicas quantitativas como qualitativas, ou ambas. [...] De acordo com especialistas, o ideal para a realização de estudos prospectivos é recor- rer a mais de um método, ferramenta ou técnica, em razão de nenhum desses artifícios atender sozinho a todas as demandas de uma mesma pesquisa (CHIRNEV, 2018, p. 72 e 77). A combinação de técnicas pode se valer daquelas expostas nas unidades de estudos anteriores deste livro didático, bem como de estudos de caso, que são, combinações de outras técnicas para coleta e análise de dados, tema que abor- damos na seção anterior desta unidade de estudos. TRIANGULAÇÃO DE DADOS R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IVU N I D A D E178 GESTÃO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS A primeira maneira, como destaco a relação estabelecida entre as metodo- logias é a utilização de resultados de umainvestigação como possibilidade para a realização de novas pesquisas com método distinto. Em Gimenes (2011), utilizei discussões de autores clássicos do eli- tismo e das considerações de Robert Dahl em Poliarquia (1997) sobre a importância da crença de ativistas políticos para pesquisar valores e comportamentos de um segmento de elite não estatal do município de Maringá (PR) com relação à democracia. O argumento teórico gira em torno da preponderância de indivíduos que ocupam a condição de elite sobre a população em geral, uma vez que a conformação dos valores sociais e das percepções sobre os espaços, políticas e necessidades públicas é, em alguma medida, inluenciada pelo grupo seleto que detêm maiores recursos inanceiros, cognitivos e de direcionar os processos públicos (GIMENES, 2014). Naquela pesquisa, dentre outros achados, identiiquei a existência de uma diferenciação entre as manifestações de apoio difuso (uma medida abstrata de adesão aos princípios democráticos) e especíico (a avaliação que os indivíduos realizam sobre o regime), mas também outros pontos sobre os quais não pude me deter por conta da temática e do prazo para a confecção da dissertação. Um desses pontos se destacou na bateria de questões sobre o entendimento dos entrevistados quanto às características fundamentais da democracia. Dado que o segmento era composto por dirigentes de organizações da sociedade civil, me causou estranheza a airmação relacionada à distribuição de renda rece- ber menor média entre as características analisadas, nota esta que foi inferior, inclusive, à possibilidade das Forças Armadas tomarem o poder diante de um governo incompetente. Essas médias, em especíico, suscitaram indagações por conta do público que compôs o objeto da análise, ainal, se tratava de gestores sociais que atuavam em Triangulação de Métodos na Gestão Pública R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 179 parceria ou em substituição ao Estado na promoção de ações com inalidades relacionadas ao atendimento dos direitos sociais e das políticas públicas previs- tas na legislação brasileira. Imaginei que o problema pudesse consistir na formulação da airmação, a qual repliquei de um questionário internacional de pesquisas realizado ao longo do mundo pelo World Values Survey, com vistas à possibilidade de compara- ção da minha amostra com a população nacional em um momento posterior. A airmação “o governo cobra impostos dos ricos e dá dinheiro aos pobres” era apresentada para que os respondentes indicassem em que medida, em uma escala crescente de 10 pontos, entendiam se tratar de uma característica funda- mental da democracia. Na dissertação, não pude me deter a essa investigação, mas apontei tal possibi- lidade e a necessidade de analisá-la posteriormente. A leitura do texto despertou, em outra pesquisadora, o interesse pela questão, de modo que Ripari (2013) desenvolveu uma pesquisa com integrantes daquele mesmo segmento de elite não estatal por meio de grupos focais com alguns dirigentes que compuseram a amostra analisada em Gimenes (2011). A segunda pesquisa se debruçou sobre o entendimento das concepções sobre desigualdade, pobreza e a relação dessas temáticas com o Estado, de modo que constatou que os gestores de organizações da sociedade civil entendiam sua atu- ação como relevante e que o Estado deveria ser garantidor do cumprimento dos direitos sociais, mas sem, necessariamente, que tal atuação implicasse na redis- tribuição de renda. A segunda maneira, como destaco, a relação estabelecida entre as meto- dologias é o tratamento de dados decorrentes de pesquisas realizadas com metodologias distintas de maneira simultânea. Destaco, nesse sentido, um projeto inanciado pelo Conselho Nacional de Desenvolvimento Cientíico e Tecnológico (CNPq) junto à Universidade Estadual de Maringá que versou sobre a cultura política dos eleitores do município e o papel do gênero na política, nas eleições de 2010, destacadas por conta da participação feminina na disputa presidencial marcada por duas candidatas: Dilma Roussef e Marina Silva. Com uma equipe composta por mais de 20 pesquisadores, entre docentes e alunos de graduação e pós-graduação, a investigação foi desenvolvida em dife- rentes frentes, quais sejam: TRIANGULAÇÃO DE DADOS R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IVU N I D A D E180 a. Survey sobre a cultura política de amostra representativa, aleatória e estra- tiicada da população municipal. b. Acompanhamento do horário eleitoral gratuito de rádio e TV para aná- lise do conteúdo divulgado pelos candidatos à presidência da república. c. Acompanhamento das notícias divulgadas nos principais jornais impres- sos de circulação estadual e municipal, a im de estabelecer padrões de evolução das valências atribuídas aos candidatos. d. Permanências e mudanças das percepções de diferentes grupos de pes- soas ao longo da campanha eleitoral, por intermédio da realização de grupos focais. Assim, foi possível mapear, por meio de diferentes técnicas de natureza quan- titativa e qualitativa, a percepção dos eleitores do município sobre a inluência do gênero dos candidatos nas eleições presidenciais de 2010 e a relação entre as opiniões de pessoas com características especíicas (por grupos focais) diante do conteúdo do horário gratuito de propaganda eleitoral e das notícias veiculadas nos principais jornais impressos que circulavam no município. Por im, destaco a relevância de resultados de pesquisas desconexas, mas que contribuem para o entendimento de determinado objeto de maneira mais ampla, tanto quando analisadas individualmente quanto em conjunto. Nesse sentido, abordo considerações sobre a política pública de saúde e sobre um pro- grama social transversal. A avaliação do impacto das políticas públicas sobre a realidade social é es- sencial à gestão pública. Batista e Domingos (2017) apresentam o experi- mento controlado e técnicas quase-experimentais como possibilidades de pesquisas. Fonte: o autor. Triangulação de Métodos na Gestão Pública R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 181 Com relação à área da saúde, Coelho (2016) apresenta, em um único texto, infor- mações decorrentes de três análises distintas. A primeira análise diz respeito à coleta de dados qualitativos junto aos conselhos criados nas unidades básicas de saúde do município de São Paulo no ano de 2001. Tendo em vista o contexto de ampliação dos espaços de participação, a autora buscou identiicar quem participava dos referidos conselhos, como se dava tal envolvimento e quais os seus resultados. No primeiro momento, a expectativa era veriicar se havia representação de movimentos sociais e de grupos organi- zados da sociedade civil naqueles espaços. Nossos primeiros resultados mostraram que em 16 das 31 subprefeitu- ras havia razoável diversidade associativa, já em 15 havia uma predo- minância quase absoluta de conselheiros ligados ao PT. O que exata- mente signiicava esse resultado? Em áreas onde havia mais diversidade associativa a população estava representada mais adequadamente? A maior diversidade deveria contribuir para ampliar a probabilidade de que o conselho conseguisse ter Para responder a essas perguntas, dei- nimos como nosso próximo passo de pesquisa buscar novos elemen- tos que permitissem considerar com mais cuidado tanto a questão da capacidade de inclusão e representação dos conselhos quanto a de seu impacto sobre a política de saúde. Nessa etapa, restringimos o número de subprefeituras estudadas de 31 para 6, todas elas localizadas em áre- as periféricas com indicadores socioeconômicos inferiores(COELHO, 2016, p. 82-83). É perceptível que os primeiros resultados da abordagem foram demonstrativos de concentração dos participantes das instituições participativas analisadas, o que poderia contribuir negativamente para sua efetividade se considerarmos que a pluralidade de vozes para encaminhar demandas e necessidades é impor- tante nos espaços públicos. Para além dessa constatação, a primeira análise permitiu à pesquisadora decidir a maneira como seguir com a pesquisa, por meio da abordagem mais detalhada em apenas algumas regiões do município. A partir de dados relacio- nados a gênero, cor, educação, renda, pluralidade partidária e associativismo, foi possível investigar em que medida os conselhos de saúde estavam operando de maneira democrática. Com relação ao gênero e à cor, a expectativa era de que a distribuição dos participantes fosse semelhante à sua presença entre a população. Para educação e TRIANGULAÇÃO DE DADOS R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IVU N I D A D E182 renda, a inclusão seria atingida se fosse veriicada a presença de conselheiros com baixa escolaridade e com baixa renda, aqueles que majoritariamente utilizariam a rede pública de saúde. Por im, quanto maior o número de siglas partidárias e de distintos segmentos associativos, mais plural o conselho. Os resultados permitiram à autora constatar que mulheres, indivíduos não brancos e com menor escolarização participavam mais de conselhos em regi- ões onde havia maior histórico de mobilização popular, ao passo que nos locais onde tal histórico era mais recente havia pluralidade elevada de legendas parti- dárias e segmentos associativos com representação nos conselhos. Em se tratando de técnicas quantitativas, a autora destacou duas distintas pesquisas: a primeira,baseada em dados nacionais, analisou a relação entre distin- tas políticas e a redução das desigualdades na área da saúde entre os municípios brasileiros; a segunda se debruçou sobre o impacto das Organizações Sociais de Saúde na Atenção Básica à Saúde no estado de São Paulo. Com relação aos dados nacionais, a análise identiicou os efeitos da exis- tência de rede de tratamento de água, de escolarização das mulheres, da renda média da população, da quantidade de médicos, do percentual dos habitantes atendidos pelo Programa Saúde da Família e dos estabelecimentos públicos sem internação sobre as taxas de mortalidade infantil dos municípios brasileiros. Os modelos de regressão apresentaram alguns resultados esperados, como a relação positiva entre maior renda média e menor taxa de mortalidade, mas também outros contraintuitivos, como a ausência de efeito da elevação da oferta de serviços públicos de saúde sobre a redução da mortalidade infantil. É difícil aceitar alguns desses resultados, [...] Acreditamos que esses resultados reletem, ao menos em parte, diiculdades metodológicas as- sociadas à mensuração das intervenções em saúde. [...] é bastante razo- ável supor que esses resultados relitam mais problemas com os dados e com os métodos de análise do que com a falta de impacto da oferta de serviços de saúde sobre as taxas de mortalidade infantil. Para lidar com esse e outros limites foram sendo desenvolvidos novos métodos de avaliação (COELHO, 2016, p. 91). Com vistas a superar os conlitos decorrentes das análises contraintuitivas expos- tas anteriormente, a autora concentrou-se sobre o conjunto de 645 municípios do estado de São Paulo, para os quais coletou dados junto ao Ministério da Saúde, Triangulação de Métodos na Gestão Pública R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 183 à Agência Nacional de Saúde Suplementar, ao Instituto Brasileiro de Geograia e Estatística e ao Sistema Estadual de Análise de Dados. As análises demonstraram que a contratação indireta de organizações sociais para promover a melhoria nos serviços públicos de saúde contribuiu positivamente para o número de consultas oferecidas nas unidades de saúde e para a redução da mortalidade infantil, porém com reduzido impacto em termos estatísticos. É perceptível, diante das pesquisas empreendidas por Coelho (2016), o impacto da triangulação de métodos e as perspectivas de entender os arran- jos de políticas públicas, uma vez que, por meio de três diferentes pesquisas nas três esferas de atuação pública, a autora mapeou aspectos relacionados à temá- tica, tendo o município de São Paulo como caso inicial, o estado de São Paulo como objeto intermediário e dados da política nacional de saúde como terceiro e maior objeto de análise. Trata-se, portanto, de um processo trabalhoso, complexo e em que se enfrentam vários constrangimentos, tais como a escassez de recursos humanos e inanceiros e a precariedade dos dados. Apesar disso, esse é um processo rico e desaiador e que, se bem conduzido, pode trazer ao pesquisador a satisfação de responder de forma criteriosa e objetiva às questões de pesquisa, bem como de contribuir para o aperfeiçoamento das políticas públicas (COELHO, 2016, p. 98). Passemos, agora, ao segundo caso a ser destacado. Como maior e mais conhe- cido programa de redistribuição condicionada de renda na América Latina, apresento o caso do Bolsa Família, como ilustrativo desta discussão sobre trian- gulação de métodos para a produção de conhecimento e de informações para a tomada de decisões no âmbito da gestão pública. Os estudos realizados sobre o programa têm sido amplamente discutidos e reverberados no Brasil e no exterior, de modo que seus resultados têm con- tribuído, inclusive, para minar o senso comum e levar mais conhecimento à população como um todo, e não apenas acadêmica, sobre o referido Programa. Para além de valores como os percentuais de brasileiros que frequentam as séries iniciais da escola, que têm acompanhamento periódico em serviços de saúde, do montante de recursos distribuídos e do número de pessoas que supe- rou a situação de miséria/pobreza extrema, os estudos sobre o Bolsa Família têm contribuído para desmitiicar o senso comum quanto ao aumento da natalidade TRIANGULAÇÃO DE DADOS R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. IVU N I D A D E184 entre as beneiciárias, como mostram pesquisas que identiicaram que parte das mulheres aumentaram o uso de contraceptivos, e também quanto à acomoda- ção das famílias, pois são vários os resultados que contrariam a hipótese de que o programa geraria um “efeito preguiça” nos beneiciários. Tais resultados decorrem de compilações de dados e estatísticas oiciais, amplamente exploradas pelos pesquisadores cujos textos foram reunidos por Campello e Neri (2013). Na mesma obra, por outro lado, destaca-se o capítulo de Rêgo e Pinzani (2013), que se valeram de técnicas qualitativas de pesquisa — já destacadas anteriormente neste material de estudos — para investigar efeitos que muito diicilmente seriam corretamente mensuráveis por métodos quanti- tativos, como o sentimento de pertencimento à realidade local decorrente do benefício, a autonomia para gerir as compras da casa e mesmo optar por perma- necer casada ou divorciar-se, em casos especíicos, assim como as percepções de cidadania e de direitos, ainda que o último aspecto tenha sido mobilizado pela fala de poucas pessoas pesquisadas e de maneira precária. Grosso modo, sob distintas perspectivas teóricas, metodológicas e analíticas, bem como a partir de diferentes olhares, ao longo de 29 capítulos, a obra de Campello e Neri (2013) permite conhecermos mais sobre o Programa Bolsa Família, de modo que, para além dos expressivos resultados isolados, é uma grande con- tribuição à gestão pública para a relexão sobre as áreas de políticas públicas transversaisrelacionadas ao referido programa, tanto direta — assistência social, saúde, educação, proteção à maternidade e à infância e proteção aos desampara- dos — quanto indiretamente — alimentação e lazer, por exemplo. Como futuro gestor público, você já pesquisou indicadores de avaliação da gestão pública e como são construídas as análises e pesquisas? Considerações Finais R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 185 CONSIDERAÇÕES FINAIS Ao longo desta unidade, discutimos um pouco mais sobre a relevância de aspec- tos especíicos ao papel do gestor público que busca a solução de problemas e a consecução de análises e avaliações com maior qualidade. É importante inalizarmos esta unidade tendo clareza sobre a necessidade de superação daquilo que Soares (2005) deiniu como calcanhar metodológico em seu texto, que remeteria à importância de optarmos por métodos e técnicas de pesquisa conforme o desenho de pesquisa, seu objeto, objetivo e problema a ser solucionado. A triangulação de métodos se coloca como desaio aos gestores públicos, que precisam coordenar equipes, delegar tarefas e funções e atuar de modo cooperativo para que haja resultados coerentes com as questões suscitadas. Em se tratando da triangulação, os estudos de casos são complexas estruturas de pesquisas que, apesar de recorrentemente tratadas como qualitativas, englo- bam perspectivas também quantitativas e se revelam como passíveis de arranjos entre técnicas reunidas com a inalidade de suprir uma lacuna de conhecimento. Utilizado majoritariamente em pesquisas exploratórias, o estudo de caso foi destacado neste material também como estratégia destinada à consecução de estudos descritivos ou causais, o qual exige cuidados e atenção especíicos por conta de suas limitações, mas que, por outro lado, pode ser de grande valia aos gestores públicos em virtude das vantagens e potencialidades destacadas na segunda seção deste estudo. Finalizamos esta etapa de construção do conhecimento destacando a rele- vância da triangulação de métodos e técnicas de pesquisa ao desenvolvimento das atividades proissionais no campo da Gestão Pública com ênfase às análi- ses de conjuntura e de prospecção e à gestão e avaliação de políticas públicas. Assim como iniciamos, encerramos esta unidade com outra menção a Soares (2005, p. 49), que, ao im de sua escrita, aponta que “felizmente, o abismo entre qualitativos e quantitativos está se fechando. Talvez os calcanhares continuem vulneráveis, mas, pelo menos, caminharemos sobre os dois pés”. 186 1. A realização de pesquisas é caracterizada por muitas potencialidades e os aspectos positivos destacam, dentre outros aspectos, a possibilidade de au- mentar o conhecimento acerca da realidade social que se coloca aos gestores públicos. Esse cenário, contudo, é composto por diiculdades, de modo que o “calcanhar” das pesquisas seria: a) A ausência de necessidade de realização de pesquisas na gestão pública. b) O cuidado com os indivíduos e com a identiicação de suas necessidades. c) A combinação entre técnicas quantitativas e qualitativas de pesquisa. d) O método quantitativo de coleta, interpretação e análise dos dados. e) As técnicas qualitativas empregadas na construção de pesquisa. 2. No que diz respeito aos métodos e técnicas de pesquisas destacados ao longo deste material didático, em geral, e mais especiicamente nesta unidade de estudos, analise os termos a seguir e indique quais correspondem a atributos verdadeiros com relação à possibilidade de combinação entre métodos e téc- nicas qualitativas e quantitativas: I. Antagônicos. II. Complementares. III. Incompatíveis. IV. Legítimos. Assinale a alternativa que apresenta as airmativas corretas: a) Somente as airmativas I e II estão corretas. b) Somente as airmativas I e III estão corretas. c) Somente as airmativas II e III estão corretas. d) Somente as airmativas I e IV estão corretas. e) Somente as airmativas II e IV estão corretas. 187 3. No que diz respeito à realização de triangulação de métodos e de técnicas de pesquisas no âmbito da Gestão Pública, são muitas as possibilidades. Nesse sentido, as pesquisas que buscam a identiicação e a interpretação de fatos passados de natureza social, cultural, política, econômica, tecnológica e am- biental diz respeito a: a) Avaliação de políticas públicas. b) Ciclo de políticas públicas. c) Gestão pública. d) Análise de conjuntura. e) Análise de prospecção. 4. O estudo de caso foi apresentado nesta unidade de estudos como possibilida- de para que os gestores públicos conduzam suas pesquisas, sendo que foram abordados aspectos que facilitam e que diicultam sua consecução. Sobre o estudo de caso, é correto airmar que se trata de: a) Técnica de pesquisa qualitativa. b) Técnica de pesquisa quantitativa. c) Conjunto de técnicas de pesquisas. d) Método de pesquisa quantitativo. e) Método de pesquisa qualitativa. 5. Os gestores públicos enfrentam, dentre outros desaios, a necessidade de pro- dução e de atualização constante de dados e de informações que lhes permi- tam tomar decisões assertivas, de modo a otimizar a utilização de recursos pú- blicos e a promoção do bem comum. Nesse contexto, a utilização de recursos de uma pesquisa como ponto de partida para novas investigações é: a) Possível apenas quando se trata de métodos e técnicas quantitativas. b) Possível apenas quando se trata de métodos e técnicas qualitativas. c) Possível em muitos casos, mas não indicada à Gestão Pública. d) Possível e desejável, mas inexistente no campo da Gestão Pública. e) Possível, desejável e necessária no âmbito da Gestão Pública. 188 Relações entre Poder Público e Sociedade na Gestão de Resíduos Sólidos de um Município de Minas Gerais: uma Análise sob o Enfoque das Abordagens da Admi- nistração Pública (excertos) Propósito O objetivo deste artigo é analisar o conteúdo do discurso dos atores sociais envolvidos na gestão de resíduos sólidos de um município mineiro de modo a veriicar as relações existentes entre eles e relacioná-las com as abordagens da administração pública. O ar- tigo visa compreender melhor a administração pública contemporânea e as tendên- cias das relações entre o poder público e sociedade. Como objetivo especíico o artigo buscou descrever as principais características das abordagens da administração pública: patrimonialista, burocrática, gerencial, societal e sistêmica. A teoria da abordagem da administração pública explica as relações e articulações esta- belecidas entre o poder público e a sociedade no gerenciamento dos resíduos sólidos de um município localizado em Minas Gerais. Por isso, nesta pesquisa procurou-se iden- tiicar a abordagem predominante nas relações dos atores sociais envolvidos na gestão de resíduos sólidos. Os atores sociais são funcionários públicos, políticos, promotor, pro- fessores, empreendedores, trabalhadores da iniciativa privada, catadores de materiais recicláveis, representantes de entidades ambientais e sociais. O estudo instigou rele- xões sobre as relações do poder público e sociedade, despertando para algumas ques- tões: Existe uma abordagem de administração pública predominante nas relações dos atores sociais envolvidos na gestão de resíduos sólidos do município em estudo? Uma abordagem de administração pública exclui a outra? Quais são as características das relações do poder público e sociedade em cada uma das abordagens da administração pública (patrimonialista, burocrática, gerencial, societal e sistêmica)? [...] Método de Investigação Quanto aos procedimentos metodológicos utilizou-se da pesquisa qualitativa. Como método de análise empírica recorreu-se ao estudo de caso. Ressalta-se que o estudo foi realizado por meio de aplicação de um roteiro semi-estruturado de entrevista que foram transcritas e relacionadas com as abordagens da administraçãopública. Para a realização das entrevistas foram elaborados roteiros constituídos por três grupos de per- guntas (categorias): (1) sobre as relações estabelecidas entre os atores sociais; (2) sobre o funcionamento e o papel dos atores sociais na gestão dos resíduos sólidos do município em estudo; (3) sobre as práticas que caracterizam as abordagens da administração pú- blica na gestão de resíduos sólidos. Aplicou-se a técnica de análise de conteúdo (Bardin, 2009). Foram entrevistados 48 atores sociais envolvidos na gestão de resíduos sólidos de um município de Minas Gerais. Os entrevistados foram categorizados em três setores: Setor Público (SPu), Setor Privado (SPr) e Terceiro Setor (TS). Além disso, foram coletados dados por meio das seguintes técnicas: pesquisa documental, observação e anotações de campo. 189 Para a análise deste estudo utilizou-se a análise de conteúdo, proposta por Bardin (2009), que se refere a uma técnica para analisar as comunicações por meio de procedimentos sistemáticos e objetivos de descrição do conteúdo das mensagens. Segundo Triviños (1995) a análise de conteúdo estrutura-se em: a) pré-análise, que corresponde aos pro- cessos de classiicação, ordenação e leitura “lutuante” de todo o material coletado, vi- sando obter um panorama geral e posteriormente os recortes e hipóteses de estudo; b) descrição analítica que a partir da delimitação do recorte a ser estudado realiza-se um aprofundamento, aplicando-se os procedimentos de codiicação, classiicação e catego- rização do material coletado por critérios de ainidades; c) interpretação que consiste na análise do material baseado na relexão e intuição, relacionando o conteúdo explícito com o conteúdo implícito, ou seja, aquele que não é dito explicitado no texto, a im de descobrir as ideologias, as tendências, ou fenômenos sociais expressos no material coletado. Resultados e Conclusões Os resultados explicitaram que nenhuma abordagem da administração pública apare- ceu nas relações na sua forma pura, apresentando-se combinada umas com as outras. Veriicou-se que as relações do poder público e sociedade, no gerenciamento dos resí- duos sólidos de um município de Minas Gerias, apresentaram evidências das aborda- gens patrimonialista, burocrática, gerencial, societal e sistêmica. As entrevistas demons- traram resquícios do patrimonialismo nas relações. O clientelismo e nepotismo, citado por Bresser-Pereira (2005) como características do patrimonialismo foram encontrados nos discurso, uma vez que as pessoas que se tornavam membro do CODEMA eram polí- ticas e utilizavam o órgão para benefício próprio e de seus conhecidos: [...] O legalismo, formalismo, controle e impessoalidade citado por Bresser-Pereira (2005) fo- ram encontrados nos discursos. Percebe-se que existe uma exigência do cumprimento da lei mesmo que não gere o resultado mais participativo e social. [...] As características mencionadas por Bresser-Pereira (2005) e Paes de Paula (2005) de uma abordagem gerencial, como por exemplo, uma maior descentralização, terceiri- zação dos serviços e estratégias neoliberais foram encontradas em diversos discursos demonstrando a presença do modelo gerencial no gerenciamento dos resíduos sólidos do município. [...] O discurso dos entrevistados comprovou que existe a abordagem societal nas relações. A Associação dos Catadores do município teve a sua origem no Fórum de Lixo Munici- pal. O poder público e a sociedade promoveram um fórum. Assim, a população partici- pou, discutiu e sugeriu uma associação de catadores. A abordagem societal, conforme Paes de Paula (2005), refere à participação popular na formulação e implementação das ações públicas; à valorização dos conselhos gestores de políticas públicas e fórum temá- tico; e ao controle social. [...] A análise do discurso apresentou indícios de um “Estado em rede” (Klering, Porsse&Gua- dagnin, 2010). No discurso foi possível identiicar tendências da abordagem sistêmica 190 nas relações do poder público e sociedade. Pode ser destacado no discurso de um dos entrevistados, que o município visa uma interação em redes: “Já pensamos em consórcio entre os municípios para fazer a gestão dos resíduos sólidos. Estamos tentando uma parceria com os municípios vizinhos”. (SPu). Percebe-se nos discursos e na pesquisa do- cumental que o município já tem feito parcerias que envolvem diversos atores sociais. Fonte: Ribeiro (2012). REFERÊNCIAS ALMEIDA, R. Estudo de caso: foco temático e diversidade metodológica. In: ABDAL, A.; OLIVEIRA, M. C. V.; GHEZZI, D. R.; SANTOS JÚNIOR, J. (Orgs.). Métodos de pesqui- sa em Ciências Sociais: bloco qualitativo. São Paulo: Serviço Social do Comércio/ Centro Brasileiro de Análise e Planejamento, 2016. p. 60-72. BATISTA, M.; DOMINGOS, A. Mais que boas intenções: técnicas quantitativas e qua- litativas na avaliação de impacto de políticas públicas. Revista Brasileira de Ciên- cias Sociais, v. 32, n. 94, jun. 2017. p. 1-24. BEUREN, I. M. (Org.). Como elaborar trabalhos monográicos em contabilidade: teoria e prática. São Paulo: Atlas, 2003. BRUYNE, P.; HERMAN, J.; SCHOUTHEETE, M. Dinâmica da pesquisa em ciências so- ciais: os polos da prática metodológica. 2. ed. Rio de Janeiro: Francisco Alves, 1982. CAMPELLO, T.; NERI, M. C. Programa Bolsa Família: uma década de inclusão e cida- dania. Brasília: Instituto de Pesquisa Econômica Aplicada, 2013. CHIRNEV, L. Análise e prospecção de problemas nacionais e locais. Maringá: Uni- cesumar, 2018. COELHO, V. S. R. P. Abordagens qualitativas e quantitativas na avaliação de políticas públicas. In: ABDAL, A.; OLIVEIRA, M. C. V.; GHEZZI, D. R.; SANTOS JÚNIOR, J. (Orgs.). Métodos de pesquisa em Ciências Sociais: bloco qualitativo. São Paulo: Serviço Social do Comércio/Centro Brasileiro de Análise e Planejamento, 2016. p. 76-99. DAHL, R. A. Poliarquia: participação e oposição. São Paulo: Universidade de São Paulo, 1997. GAMBOA, S. S. Pesquisa em educação: métodos e epistemologias. Chapecó: Argós, 2007. GIL, A. C. Como elaborar projetos de pesquisa. 3. ed. São Paulo: Atlas, 1996. GIMENES, E. R. Cultura política e democracia: apoio difuso e especíico entre um segmento da elite não estatal do município de Maringá (PR). 2011. 178 f. Dissertação (Mestrado em Ciências Sociais) - Programa de Pós-Graduação em Ciências Sociais. Universidade Estadual de Maringá, Maringá, 2011. ______. E. R. Teoria das elites e as elites do poder: considerações sobre a relevância dos teóricos clássicos e de Wright Mills aos estudos de cultura política e democracia. Agenda Política, v. 2, 2014. p. 119-151. ______. E. R. Estado, governo e políticas públicas. Maringá: Unicesumar, 2018. HENKEL, K. A categorização e a validação das respostas abertas em surveys políticos. Opinião Pública, v. 23, n. 3, set./dez. 2017. p. 786-808. MINAYO, M. C. S.; ASSIS, S. G.; SOUZA, E. R. (Orgs.). Avaliação por triangulação de métodos: abordagem de programas sociais. Rio de Janeiro: Fiocruz, 2005. REFERÊNCIAS 193 MINAYO, M. C. S.; SANCHES, O. Quantitativo-qualitativo: oposição ou complementa- ridade? Cadernos de Saúde Pública, v. 9, n. 3, jul./set. 1993. p. 239-262. MORSE, J. M. Approaches to qualitative-quantitative methodological triangulation. Nursing Research, v. 40, n. 1, 1991. p. 120-132. OLIVEIRA, A. Análise de conjuntura: conceitos e aplicações. Em Debate, v. 6, n. 1, 2014. p. 24-35. RÊGO, W. D. L.; PINZANI, A. Liberdade, dinheiro e autonomia: o caso do Programa Bolsa Família. In: CAMPELLO, T.; NERI, M. C. Programa Bolsa Família: uma década de inclusão e cidadania. Brasília: Instituto de Pesquisa Econômica Aplicada, 2013. RIBEIRO, L. M. P. Relações entre poder público e sociedade na gestão de resíduos só- lidos de um município de Minas Gerais: uma análise sob o enfoque das abordagens da Administração Pública. In: ENCONTRO DE ESTUDOS ORGANIZACIONAIS, 7., 2012, Curitiba. Anais… Curitiba: Associação Nacional de Pós-Graduação e Pesquisa em Administração, 2012. RIPARI, A. Olhar "sobre"a desigualdade: um estudo da cultura política de dirigen- tes de FASFIL maringaenses. 2013. 119 f. Dissertação (Mestrado em Ciências Sociais) - Programa de Pós-Graduação em Ciências Sociais. Universidade Estadual de Marin- gá, Maringá, 2013. RITCHIE, J. The applications of qualitative methods to social research. In: RITCHIE, J.; LEWIS, J. (Ed.). Qualitative research practice: a guide for social science student san- dre searchers. London: Sage Publications, 2003. p. 24-46. SAMAJA, J. La combinación de métodos: pasos para una comprensión dialéctica del trabajo interdisciplinario. Educación Médica y Salud, v. 26, n. 1, 1992. p. 4-34. SANTOS FILHO, J. C. Pesquisa quantitativa versus pesquisa qualitativa: o desaio pa- radigmático. In: SANTOS FILHO, J. C.; GAMBOA, S. S. (Orgs.). Pesquisa educacional: quantidade-qualidade. São Paulo: Cortez, 1995. p. 84-111. SOARES, G. O calcanhar metodológico da Ciência Política no Brasil. Sociologia, Pro- blemas e Práticas, n. 48, 2005. p. 27-52. SOUZA, H. J. de. Como se faz análise de conjuntura. 26. ed. Petrópolis: Vozes, 2005. SOUZA, K. R.; KERBAUY, M. T. M. Abordagem quanti-qualitativa: superação da dicoto- mia quantitativa-qualitativa na pesquisa em educação. Educação e Filosoia, v. 31, n. 61, jan./abr. 2017. p. 21-44. YIN, R. K. Estudo de caso: planejamento e métodos. 2. ed. Porto Alegre: Bookman, 2001. GABARITO 1. Opção correta é a C. 2. Opção correta é a E. 3. Opção correta é a D. 4. Opção correta é a C. 5. Opção correta é a E. U N ID A D E V Professor Dr. Éder Rodrigo Gimenes TÓPICOS ESPECIAIS SOBRE A PESQUISA EM GESTÃO PÚBLICA Objetivos de Aprendizagem ■ Tratar de aspectos relacionados à prática ética de pesquisa em gestão pública. ■ Expor os elementos centrais à contextualização de relatórios de pesquisas no campo da gestão pública. ■ Discorrer sobre apresentação de resultados e de conclusões de pesquisas no campo da gestão pública. Plano de Estudo A seguir, apresentam-se os tópicos que você estudará nesta unidade: ■ Ética proissional e na pesquisa em gestão pública ■ Relatórios de pesquisas em gestão pública: contexto e referencial ■ Relatórios de pesquisas em gestão pública: resultados e conclusões INTRODUÇÃO O caminho destacado na apresentação deste material didático atinge seus últi- mos passos nesta quinta unidade de estudos, quando nosso olhar se debruça sobre tópicos especiais à realização de pesquisas no âmbito da gestão pública. O primeiro tópico destacado remete a um aspecto que deveria ser premissa aos gestores públicos: a ética. Tomando como especiicidade o escopo determinado para esta disciplina, trataremos na seção inicial desta unidade de considerações acerca da necessidade de posicionamento ético, tanto na gestão pública quanto na realização de pesquisas nesta área do conhecimento e de atuação. O segundo tópico especial exige cuidado e atenção por se tratar de uma temática com menor destaque no dia a dia da gestão pública, o que justiica sua abordagem em duas seções. Trata-se da elaboração de relatórios de resultados de pesquisas em gestão pública. Nesse sentido, a segunda seção desta unidade de estudos aborda dois ele- mentos que compõem a estrutura de tais relatórios, quais sejam: primeiramente, a contextualização referente aos objetivos e motivações à realização de investi- gações sobre atividades de determinado órgão público ou de um projeto, ação ou programa especíico; em segundo lugar, a explanação acerca dos referenciais que balizaram a realização da pesquisa, majoritariamente relacionados à pró- pria estrutura institucional burocrática. Por im, a terceira seção diz respeito aos elementos analíticos do relatório, uma vez que remetem à apresentação e interpretação dos dados coletados e às conclusões extraídas da análise desses dados, considerando, inclusive, os ele- mentos abordados na segunda seção desta unidade de estudos. Tomadas em conjunto, a segunda e a terceira seção abordam, portanto, con- siderações acerca dos elementos componentes de um relatório de resultados de pesquisas em gestão pública, de modo que representam o ponto de chegada de nosso caminho nessa discussão sobre métodos e técnicas de pesquisa. São nossos últimos passos nesta jornada. Bons estudos! Introdução R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 197 ÉTICA PROFISSIONAL E NA PESQUISA EM GESTÃO PÚBLICA A relexão sobre a realização de pesquisas no âmbito da gestão pública não pode ocorrer dissociada daquela que se debruça sobre a ética pertinente ao desempe- nho proissional, uma vez que as atividades de investigação devem ocorrer com o intuito de melhorar o desempenho ou otimizar as ações de servidores, setores, processos, projetos ou de políticas públicas. De acordo com Ribeiro (2013, p. 11): a gestão pública, presente nas instituições públicas, é a responsável por direcionar as ações voltadas para o interesse público, em geral por meio de prestação de serviços, estes regulamentados por lei e que devem ser acessados pelos cidadãos. É função, então, da gestão pública conduzir a ação do Estado com vistas à con- secução de políticas públicas e de atividades burocráticas no sentido de otimizar a utilização de recursos humanos, materiais, inanceiros e de tempo com vistas ao atendimento de necessidades de coletividades e/ou da população em geral. Em se tratando do papel do gestor público, este deve ser de busca perma- nente pelo desenvolvimento de atividades que permitam, em última instância, TÓPICOS ESPECIAIS SOBRE A PESQUISA EM GESTÃO PÚBLICA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. VU N I D A D E198 Ética Proissional e na Pesquisa em Gestão Pública R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 199 atender àquilo que é foco também da gestão social: alterar de maneira positiva a realidade social na qual os cidadãos que conformam uma instância estatal estão subscritos (município, unidade federativa ou União). Nesse sentido, é preciso ressaltar que há competências que cabem aos gestores sociais e aos gestores públicos, de modo que, sem esgotar esse debate (presente ao longo desta e das demais disciplinas do curso), elencamos, a seguir, a compilação sintética efetuada por Gimenes, Souza e Santiago (2018) acerca das competên- cias que devem ser desenvolvidas por gestores sociais, ao que considero incluir os gestores públicos pelo fato de que são gestores do ente social e público (Estado): Figura 1 - Competências a serem desenvolvidas por gestores sociais Fonte: Gimenes, Souza e Santiago (2018). TÓPICOS ESPECIAIS SOBRE A PESQUISA EM GESTÃO PÚBLICA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. VU N I D A D E200 Diante desse conjunto de competências, espera-se que os gestores públicos desen- volvam suas atividades de maneira ética, ou seja, baseados em valores e princípios que remetem ao bem comum, inalidade última do Estado. No âmbito da gestão pública, assumir uma postura ética implica desem- penhar as funções com zelo, responsabilidade, respeito e vistas à inalidade da coisa pública, de maneira impessoal, com tratamento indistinto aos cidadãos e sem dispensar privilégios (GOMES, 2014). Ainda que o senso comum associe a gestão pública à corrupção, é preciso ter como princípio norteador a postura ética. Sobre o comportamento negativo ora mencionado, Gomes (2014, p. 1030) airma que: a corrupção é a expressão dos valores de uma dada cultura que justiica a exploração de uma pessoa sobre outra e que condecora o mais ‘esper- to e perspicaz’. Ela expõe a falência da ética que garante a vida e que é baseada na consciência de que cadaação pessoal se relete no contexto social e no universo particular do indivíduo. Quando praticada na ad- ministração pública, a corrupção expõe um universo de inversão de valores no qual prevalecem interesses particulares em detrimento dos interesses públicos. Ainda de acordo com a autora, é fundamental que haja, por parte dos gestores públicos, o comprometimento com o combate à corrupção e, em paralelo ou em contrapartida, também o estímulo e o fomento ao desenvolvimento de prá- ticas, valores e princípios éticos. Em suas palavras, Gomes (2014, p. 1048) airma que, “além do controle, apuração, transparência, responsabilização e aplicação de penas severas a atos ligados à corrupção, é essencial a promoção pelo gestor de ações formativas, educacionais e relexivas no trabalho”. O estabelecimento de uma postura ética por parte dos gestores públicos deve se manifestar em todas as atividades desempenhadas, o que envolve o desenvolvimento de pesquisas. Nesse sentido, assim como em outros campos do conhecimento nos quais investigações são realizadas (seja com inalidade cientíica, de mercado ou social), a pesquisa em gestão pública deve observar princípios éticos e legais que perpassam o planejamento, a execução, a análise de dados e informações, a sistematização e a divulgação dos resultados. De acordo com Teixeira, Zamberlan e Rasia (2008), o objetivo da ética em uma pesquisa é assegurar que a atividade de investigação não prejudique os Ética Proissional e na Pesquisa em Gestão Pública R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 201 participantes. Para tanto, algumas ações são imprescindíveis, como o anoni- mato dos respondentes ou envolvidos e a clareza, por parte dos pesquisadores, ao explicar a inalidade da pesquisa e as motivações que os levaram a buscar cole- tar dados junto a determinado indivíduo, entidade ou órgão. Ainda que não haja uma abordagem única para tratar de ética ou sobre ética na pesquisa em gestão pública, alguns aspectos relacionados às investigações cientíicas também devem ser observados no campo especíico relacionado a este curso de graduação, por exemplo: ■ O consentimento dos participantes da pesquisa, sejam os respondentes ou os responsáveis pela liberação do acesso a dados e informações, deve ser formalizado por meio de documento expresso. ■ Ainda que um indivíduo tenha se disposto a participar de uma pes- quisa ou procedimento, é legítimo o direito de sentir-se incomodado ou mesmo de se negar a responder a determinado estímulo, solicitação ou questionamento. ■ A coleta de dados — tema de unidades anteriores de estudos — implica em conjuntos de procedimentos que devem ser seguidos de maneira correta, a im de garantir a qualidade daquilo que foi coletado e que sua interpretação conduza a resultados verossímeis. ■ Não se deve violar acordos de não-revelação de informações, uma vez que pode haver solicitação para que determinados conteúdos de docu- mentos ou de falas não sejam considerados ou não sejam publicizados após a análise. A realização de pesquisas que envolvam seres humanos deve obedecer a critérios especíicos legais, determinados pelo atendimento às condições para registro e avaliação junto à Plataforma Brasil, responsável pela norma- tização de comitês de ética em pesquisas no país. Fonte: o autor. TÓPICOS ESPECIAIS SOBRE A PESQUISA EM GESTÃO PÚBLICA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. VU N I D A D E202 Um último aspecto é destacado por Teixeira, Zamberlan e Rasia (2008), a realiza- ção de pesquisas de maneira ética no âmbito da gestão pública deve ser permeada pela atuação mais objetiva possível dos envolvidos, sem interferência de tendên- cias ou motivações de ordem pessoal, uma vez que tais fatores podem conduzir a seleção de objetos, deinições de técnicas de coleta e de análise de dados e cons- trução de relatórios de pesquisa tendenciosos, enviesados ou mesmo inverídicos. Com relação a este aspecto, não apenas na realização de pesquisas, mas em toda a gestão pública, é importante considerar a atuação mais objetiva e impar- cial possível, a im de evitar resultados deturpados. Um exemplo nesse sentido foi exposto por Lyra (2009) em sua análise sobre o funcionamento das ouvidorias públicas, cuja crítica mais recorrente com relação ao seu desempenho e capaci- dade de contribuição à melhoria do funcionamento da gestão pública é o fato de que, majoritariamente, os ouvidores são escolhidos pelo responsável pelo órgão a ser iscalizado, o que signiica que o indivíduo que ocupa posição superior ao ouvidor e tem autonomia e poder com relação à sua permanência ou substitui- ção na função deveria ter sua gestão investigada, criticada ou mesmo combatida (a depender da ação) pela Ouvidoria. No caso de servidores públicos, o anonimato é critério ético imprescindível à realização de pesquisas, bem como à qualidade dos dados coletados. De- clarar-se como respondente alteraria suas respostas? Relatórios de Pesquisas em Gestão Pública: Contexto e Referencial R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 203 RELATÓRIOS DE PESQUISAS EM GESTÃO PÚBLICA: CONTEXTO E REFERENCIAL São muitas as maneiras como é possível apresentar dados decorrentes de pesqui- sas, de modo geral, o que se repete também quando tratamos especiicamente do campo da gestão pública. Assim, tais apresentações assumem distintas composições a depender de aspectos como a quantidade e profundidade das informações expostas, bem como do público ao qual se destinam. De maneira sintética, podemos mencionar reports com resultados gráicos e análises sucintas de dados, panletos ou outras peças publicitárias com informa- ções gerais e relatórios de análises. Ao passo que os primeiros são úteis enquanto materiais de apoio para exposições orais sobre os resultados, os segundos dizem respeito às informações que circulam à população e os últimos são utilizados por públicos amplos, uma vez que são compostos por elementos que permitem maior detalhamento sobre as ações dos entes públicos. É relevante destacar, entretanto, que um mesmo conteúdo pode ser abor- dado com diferentes linguagens. Por exemplo, o balanço sobre o cumprimento TÓPICOS ESPECIAIS SOBRE A PESQUISA EM GESTÃO PÚBLICA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. VU N I D A D E204 de promessas de campanha de eleitos para cargos executivos pode ser ilustra- tivo (report) em uma convenção partidária ou mesmo em uma reunião com assessores e membros do alto escalão público, mas para a população em geral, é possível apresentar uma lista de ações desenvolvidas e outra daquilo que deve ser pautado nos anos seguintes. Para a tomada de decisões pelos entes públi- cos (como gestores, demais servidores, membros do Legislativo etc.) é preciso maior detalhamento sobre as ações implementadas, considerando aspectos posi- tivos e negativos. Da mesma maneira, representantes de grupos organizados da sociedade civil — articulados em movimentos sociais, associações, organizações do Terceiro Setor etc. — exigem, dos gestores públicos, a prestação de contas sobre os recur- sos investidos e sobre as atividades executadas. Diante do exposto, os relatórios de resultados são mais completos e mais complexos dentre as maneiras de apresentar avaliações no campo da gestão pública, de modo que são expostos os itens que coniguram elementos básicos de relatórios dessa natureza, quais sejam: contextualização, referências, apre- sentação e análise de resultados e conclusões. Nesta seção, trataremos dos dois primeiros elementos. Sobre tais elementos, é salutar destacartrês aspectos. Primeiro, a literatura acadêmica é incipiente na abordagem da temática à gestão pública, de modo que os elementos a seguir foram destacados pelo autor deste material didático com base em sua experiência de quase duas décadas de atuação no serviço público. Em segundo lugar, é relevante mencionar que tais elementos não são obri- gatórios e não há legislação que determine a composição de tais relatórios, de modo que os conteúdos abordados podem constar de maneira incompleta, con- junta ou conforme descritos na sequência. Por im, com a inalidade de ilustrar a abordagem desta seção, utilizo excer- tos de relatórios de gestão de órgãos públicos especíicos, quais sejam: Secretaria Municipal de Segurança e Defesa do Cidadão de Florianópolis - PROCON (SC) - 2010 e Departamento de Planejamento da Prefeitura de Manaus (AM) - 2014. Nesta seção, os exemplos são identiicados pelos municípios, em menção aos órgãos aqui expostos. Relatórios de Pesquisas em Gestão Pública: Contexto e Referencial R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 205 CONTEXTUALIZAÇÃO Elemento inicial de um relatório de apresentação de resultados, no qual cons- tam informações introdutórias à interpretação dos dados, como o período e a extensão geográica aos quais se referem, o objetivo da publicação e o conteúdo do relatório. De maneira resumida, a contextualização deve ser clara, de modo a proporcionar aos usuários/leitores a percepção acerca do que trata o conte- údo do relatório. Em se tratando dos exemplos selecionados, os casos dos órgãos de Manaus e de Florianópolis são distintos: enquanto o primeiro destaca os objetivos da publicação, os principais aspectos considerados e é inalizado com uma mensa- gem aos cidadãos, o segundo aborda o objetivo, o conteúdo e a expectativa do ente público com o relatório. MANAUS O presente Relatório de Gestão tem por desígnio positivar as princi- pais realizações da Secretaria Municipal de Administração Planeja- mento e Gestão nos meses de março a junho de 2014, elaborado pelo Departamento de Planejamento compilando e destacando as ações de toda a Secretaria. Neste primeiro relatório, abrangendo os meses de março a junho de 2014, destacamos que foram priorizadas ações que contribuíssem para a modernização da Administração, bem como para a participa- ção, valorização e aperfeiçoamento dos servidores. No escopo deste Relatório, salientamos o avanço na implantação do IRP (Intenção de Registro de Preços), destacando-se de igual forma, o monitoramento das Contas Públicas com ações que desembocaram na redução de gastos, comparativamente a 2013. Estas ações são alguns exemplos de importantes iniciativas durante este primeiro semestre de 2014. Uma visão mais completa e detalhada das atividades desempenhadas por cada uma das unidades que compõem a Secretaria somente poderá ser extraída da análise completa do vertente relato. Observamos que novos desaios surgirão e serão enfrentados com determinação e ainco. Ratiicamos no ensejo o comprometimento de todos os que perfazem a atual gestão (MANAUS, 2014, p. 3, on-line). TÓPICOS ESPECIAIS SOBRE A PESQUISA EM GESTÃO PÚBLICA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. VU N I D A D E206 FLORIANÓPOLIS Visando atender ao disposto na Lei Orgânica do Município de Floria- nópolis, em seu Art. 82, inciso III, bem como subsidiar a elaboração da mensagem a ser enviada à Câmara Municipal por ocasião da aber- tura da sessão legislativa, o PROCON Municipal de Florianópolis apresenta o Relatório de Gestão referente ao exercício de 2010. Inicialmente, o Relatório de Gestão apresenta informações institucio- nais da Diretoria. Na sequência são apresentadas as principais ações e atividades desenvolvidas durante o ano de 2010, em conformidade com os trabalhos desempenhados pela entidade, por intermédio de suas gerências e assessorias. Por im, são apresentadas algumas con- siderações e recomendações para o exercício de 2011, bem como as metas pretendidas. Com o presente relatório o PROCON Municipal de Florianópolis, a par de atender às exigências legais, presta contas da sua atuação em relação ao controle de resultados e permite aos órgãos iscalizadores a apreciação e a avaliação das suas ações, além de contribuir para o for- talecimento da administração pública e para o pleno exercício da ci- dadania e da accountability . (FLORIANÓPOLIS, 2010, p. 4, on-line). Sobre tais contextualizações, algumas observações são relevantes. No caso de Manaus, termos que não são de conhecimento amplo da população podem diicultar a interpretação dos resultados do relatório, ainda que o mesmo esteja disponível na internet. “O presente Relatório de Gestão tem por desígnio posi- tivar [...]” reúne dois termos que não necessariamente remetem ao cotidiano da população, sendo que o segundo se refere à linguagem do campo do Direito: “desígnio” e “positivar” (MANAUS, 2014, p. 3, on-line). Desígnio é a intenção de realizar algo, um propósito. Positivar signiica tor- nar real, evidente ou concreto. Fonte: o autor. Relatórios de Pesquisas em Gestão Pública: Contexto e Referencial R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 207 Com relação à contextualização do relatório de Florianópolis, chama a aten- ção inicialmente a menção à legislação municipal, já que as ações no âmbito da gestão pública são permeadas por normas e leis, ainda que tal relação não seja evidenciada à população. REFERÊNCIAS Um relatório deve expor a caracterização do(s) ente(s) público(s) relacionado(s) a determinada atividade analisada. Nesse sentido, são referências ao relatório os aspectos que permitem aos leitores/usuários identiicar as condições de funcio- namento de determinado órgão público. No caso de Manaus, por se tratar de um departamento, o relatório destaca a estrutura de organização administrativa do órgão, com ilustração de seu orga- nograma e descrição de setores que desempenham atividades de assistência, assessoramento, colegiados, de apoio à gestão e de atividades inalísticas, como no exemplo a seguir: Assessoria de Comunicação - ASCOM A Assessoria de Comunicação é responsável pela divulgação das ações e atividades da SEMAD, por meio de elaboração de matérias jornalísticas veiculadas nos meios de comunicação (jornal, televisão e rádio) bem como nos eletrônicos, incluindo site e facebook institu- cional (MANAUS, 2014, p. 5, on-line). No caso do órgão catarinense, as referências à estrutura remetem, assim como a contextualização do relatório, a aspectos legais, com destaque à caracterização da unidade (PROCON), suas competências e estratégias de atuação e seu qua- dro de servidores. O PROCON Municipal de Florianópolis - PROCON, vinculado di- retamente a Secretaria Municipal de Segurança e Defesa do Cidadão, foi instituído pela Lei Complementar nº 189/200, regulamentado pelo Decreto nº 7618/2009 e as demais alterações oriundas das Leis Complementares nº 348/2010 e 370/2010. No âmbito da atuação do PROCON Municipal de Florianópolis des- tacam-se as seguintes competências, em conformidade com seu re- gimento interno: TÓPICOS ESPECIAIS SOBRE A PESQUISA EM GESTÃO PÚBLICA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. VU N I D A D E208 I - assessorar o Prefeito Municipal na formulação da política do Siste- ma Municipal de Proteção e Defesa do Consumidor; II - planejar, elaborar, propor e executar a política do Sistema Munici- pal de Defesa dos direitos e interesses dos consumidores; [...] (FLORIANÓPOLIS, 2010, p. 6, on-line). RELATÓRIOS DE PESQUISAS EM GESTÃO PÚBLICA: RESULTADOS E CONCLUSÕES Para além deaspectos que permitem ao leitor/usu- ário compreender quais foram os elementos que determinaram a necessidade de realização de uma pesquisa (problema, questão e objetivo) e quais as estruturas estatais relacionadas à sua consecução, é preciso lembrarmos que as seções principais de um relatório são aquelas que tratam da apresen- tação e da análise dos resultados da investigação e das conclusões da atividade de pesquisa. Sobre tais elementos, para além da aborda- gem descritiva e ilustrativa desta seção, cabe destacar que, ao longo das unidades anteriores deste material didático, foram expostos múltiplos pontos a ser con- siderados, tais como a determinação do escopo a ser analisado, dos métodos e técnicas para coleta e análise de dados e, em alguma medida, também de apre- sentação de resultados. Assim, nesta seção, cabe sintetizar tais pontos, a im de concluir o caminho que estabelecemos para esta disciplina ainda na apresentação deste livro. Para tanto, os exemplos abordados referem-se aos mesmos relatórios de gestão ante- riormente mencionados na segunda seção desta unidade de estudos. Relatórios de Pesquisas em Gestão Pública: Resultados e Conclusões R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 209 APRESENTAÇÃO E ANÁLISE DE RESULTADOS Após a exposição do contexto que permeia o relatório e a apresentação acerca do(s) órgão(s) relacionado(s) às ações, é possível explorar os resultados de deter- minada atividade, o que necessariamente está relacionado à realização de uma pesquisa para a geração e interpretação dos dados. Em outras palavras, a pro- dução de um relatório é perpassada, com relação a este elemento, por destacar os métodos e técnicas de coleta e de análise de dados, bem como pela explana- ção sobre os resultados decorrentes de tal investigação. O relatório referente ao caso de Manaus aborda a apresentação de indicadores, de metas e de resultados referentes aos distintos setores e atividades analisadas, os quais são sintetizados em um quadro, destacados a seguir: Quadro 1 - Apresentação de indicadores, metas e resultados referentes aos setores e atividades de Manaus DEPARTAMENTO DE CONTROLE DE CONTAS PÚBLICAS - DCCP INDICADORES META RESULTADOS Acompanhamento das metas contingente no período de referência Economia de 10% do valor referente a 2013 em todos os vetores 20,41% acima da meta proposta Tempo de atendimento das demandas Atender todas as deman- das de todos os vetores no prazo de 05 dias 100% de atendimento Prazo de tempo de análi- se das faturas Analisar as faturas no pra- zo de 07 dias 80% de análise Quantidade de inspeções técnicas Realizar 66 inspeções técnicas mensais 48% de inspeções técni- cas realizadas Fonte: Manaus (2014, p. 15, on-line). A síntese dos dados analisados em um quadro é uma maneira de ilustrar resulta- dos para facilitar sua visualização, especialmente em se tratando da comparação entre aspectos, como exposto anteriormente. Nesse sentido, o relatório de Florianópolis expõe as ações desenvolvidas pelas distintas áreas de atividades do PROCON, sendo apresentadas com o auxílio de gráicos, tabelas, quadros e por meio de textos. Para os casos relacionados a imagens, o relatório é exemplar no sentido de descrever do que se trata e quais os seus conteúdos. TÓPICOS ESPECIAIS SOBRE A PESQUISA EM GESTÃO PÚBLICA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. VU N I D A D E210 Os exemplos a seguir dizem respeito a três diferentes tipos de excertos com apresentação de resultados do órgão catarinense, sendo que o primeiro combina descrição textual e gráica, o segundo discorre sobre os resultados de maneira estritamente textual e o terceiro apresenta um quadro ilustrativo e um gráico referentes aos resultados discutidos. [1] O setor de atendimento realizou 37.229 (trinta e sete mil e duzen- tos e vinte e nove atendimentos) desde sua inauguração em 2007. Em 2010 foram realizados 11.206 (onze mil duzentos e seis), conforme dados extraídos do Sistema Nacional de Informação de Defesa do Consumidor - SINDEC, em 15 de Dezembro de 2010. Fonte: Florianópolis (2010, on-line). Dos atendimentos realizados, 71% (setenta e um por cento) dos cidadãos que procuraram resolucionar sua demanda via PROCON tiveram seu problema resolvido imediatamente, sem necessidade de formalizar processo administra- tivo, aumentando a coniabilidade e o respeito da entidade, bem como e evitando gastos com pessoal e material (FLORIANÓPOLIS, 2010, p. 10-11, on-line). Relatórios de Pesquisas em Gestão Pública: Resultados e Conclusões R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 211 [2] A Gerência de Defesa do Cidadão é responsável pela promoção e articulação entre os departamentos e unidades que compõem o PROCON Municipal de Florianópolis, zelando pelo aprimorando das políticas de defesa do consumidor do município conjuntamente com as demais gerências e assessorias, sob a orientação do secretário e do diretor da entidade. Ela é a responsável imediata pela emissão de pareceres técnicos, des- pachos administrativos e por toda a gestão dos processos administra- tivos junto ao Sistema Nacional de Informações de Defesa do Con- sumidor vinculado a Secretaria de Direito Econômico do Ministério da Justiça. Diante deste contexto, foram agendadas no órgão 3529 (três mil qui- nhentas e vinte e nove) audiências conciliatórias, das quais 470 (qua- trocentas e setenta) foram canceladas por resolução antecipada, 830 (oitocentas e trinta) foram reagendadas e 18 (dezoito) não realizadas pelo não comparecimento de alguma das partes. Ainda com relação a este total 2130 (duas mil cento e trinta) au- diências apresentaram acordo, dos quais 244 (duzentas e quarenta e quatro) foram descumpridos e ou se encontram em análise para autuação ou já foram devidamente autuadas. Por outro lado, 1155 (mil cento e cinquenta e cinco) audiências não apresentaram acordo e aguardam pelo despacho administrativo para notiicação de multa. Além disso, foram emitidos 247 pareceres técnicos envolvendo pro- cessos administrativos e 487 despachos administrativos, como tam- bém 91 pareceres encaminhados para análise em segunda instância pelo Secretário Municipal de Segurança e Defesa do Cidadão. A Gerência no decorrer do ano 2010 teve como trabalho inicial o mapeamento sistemático de todos os processos administrativos que se encontravam em tramitação no órgão desde 2007. Todos os pro- cessos administrativos foram tramitados e devidamente classiicados no SINDEC e guardados em pastas separadas por ano e estas por sua vez distribuídas em conformidade com as classiicações de Funda- mentada Atendida, Fundamentada Não Atendida e Não Fundamen- tada Encerrada. Tal organização proporcionou, posteriormente, o planejamento para o I Mutirão da Conciliação do Consumidor realizado, além da distri- buição dos processos para as gerências e assessoria darem prossegui- mento a análise, decisão e autuação dos casos (FLORIANÓPOLIS, 2010, p. 12-13, on-line). TÓPICOS ESPECIAIS SOBRE A PESQUISA EM GESTÃO PÚBLICA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. VU N I D A D E212 [3] O departamento de iscalização do PROCON Municipal de Flo- rianópolis promoveu intensa atividade iscalizatória e de orientação junto às empresas e comércio da Capital durante todo o ano de 2010. Os focos principais foram os Postos de Combustíveis, Lojas de Sho- ppings Centers, Bancos e Supermercados. Quando constatadas irregularidades, de acordo com a legislação que abrange cada tema, o PROCON emitiu autos de infração (multas) visando estimular a adequação as normas e a legislação vigente.Em 2010 foram registradas 328 autuações, conforme especiica o quadro abaixo: PROCON MUNICIPAL DE FLORIANÓPOLIS SETOR DE FISCALIZAÇÃO AUTO DE INFRAÇÃO/ TIPO 2010 (ATÉ A.L 463 DE 09/12/10) JA N F E V M A R A B R M A I JU N JU L A G O S E T O U T N O V D E Z TOTAL/ TIPO % Cancelados - 1 - - - - - 3 - 1 - - 5 2% Banco - Cobrança de Boleto Bancário 2 - - - - - - - - - - - 2 1% Banco - Lei Muni- cipal Florianópolis no 699/02 2 2 - 12 13 5 16 7 68 - 60 - 185 56% Cobrança de Multa por Liquidação Antecipada - 2 - - - - - - - - - - 2 1% Cobrança Indevida 1 - - - - - - 11 - - - 8 20 6% Cobrança Indevida / Prática Abusiva - - - - - - - - - - - 1 1 0% Decreto nº 5.903/06 - Afixação de Preço - - - - - - 37 11 2 2 1 - 52 16% Deixar de Sanar Vício do Produto - - - - - - - 7 - 2 2 - 11 3% Desativação de Linha Telefonica de Órgão Público 1 - - - - - - - - - - - 1 0% Descumprimento de Acordo - 1 1 - - - - - - - - - 2 1% Relatórios de Pesquisas em Gestão Pública: Resultados e Conclusões R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 213 Descumprimento de Notiicação - - - - - - - - - - - 1 1 0% Envio de Produto sem Solicitação Prévia 1 - - - - - - 3 - - - - 4 1% Falta de Informa- ção - Aumento Mensalidade - 1 - - - - - - - - - - 1 0% Falta de Informa- ção - Serviços Tele- fônicos Ofertados - - - - - - - - - 3 - - 3 1% Indisponibilidade de Desbloqueio de Celular - - - - - - - - - 1 - - 1 0% Não Cumprimento à Oferta 5 - - - - - - 7 - 3 4 5 24 7% Não Restituição de Quantia Paga Indevidamente 2 - - - - - - - - - - - 2 1% Posto de Com- bustível - Preço Diferenciado - - - - - - 2 - - - - - 2 1% Prática Abusiva - - - - - - - - - - - 1 1 0% Produto com Vali- dade Vencida - - - - - - - - - - 1 - 1 0% Produto com Validade Vencida/ Sem Informação do Glúten - - - - - - - - - - 1 - 1 0% Produto Sem Infor- mação do Glúten - - - - - - - - - - - 1 1 0% Recusa à Demanda do Consumidor 5 - - - - - - - - - - - 5 2% TOTAL/MÊS 19 7 1 12 13 5 55 48 70 12 69 17 328 100% Fonte: Florianópolis (2010, on-line). TÓPICOS ESPECIAIS SOBRE A PESQUISA EM GESTÃO PÚBLICA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. VU N I D A D E214 Fazendo um comparativo com anos de 2008 e 2009, o número de autos de infração aplicados apresentou um aumento na ordem de 520%. Esse índice representa um bom resultado em termos de ação iscalizatória e obteve grande destaque na mídia regional, pois pro- porcionou credibilidade ao PROCON Municipal de Florianópolis como instância iscalizatória. A grande maioria dos estabelecimentos iscalizados apresentou mu- danças após as ações, respeitando, em cada caso, as determinações legais que foram apresentadas. Cabe salientar que estas ações propor- cionaram a entrada dos primeiros montantes inanceiros na conta do Fundo Municipal de Defesa do Consumidor, o qual tem como políti- ca de investimento fortalecer as ações e iniciativas em geral voltadas a garantir o cumprimento dos direitos dos consumidores. Veja o gráico a seguir: Fonte: Florianópolis (2010, p. 13-15). Sobre tais possibilidades, é importante ressaltar aquilo que foi mencionado ao longo deste material didático em diversos momentos: a inalidade última de um relatório de pesquisa é gerar informações que permitam a comunicação daquilo que foi identiicado. Se tal premissa é relevante às investigações em geral, é ainda mais importante no campo da gestão pública, uma vez que as informações acerca da utilização de recursos públicos devem ser transparentes a toda população. Relatórios de Pesquisas em Gestão Pública: Resultados e Conclusões R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 215 CONCLUSÕES Trata-se das considerações inais do relatório, de modo que tal elemento é con- formado por aspectos que remetem aos demais itens anteriormente destacados, uma vez que aborda a relação entre o objetivo da pesquisa, os aspectos referentes ao(s) ente(s) público(s) envolvido(s) na(s) atividade(s) e os resultados encontrados, de modo a estabelecer um balanço sobre o conteúdo do relatório como um todo. Em se tratando dos exemplos selecionados, no caso do órgão de Manaus as conclusões tratam de constatações acerca dos resultados obtidos e sua interpre- tação à luz do contexto e do referencial pertinentes à temática. Os elementos para leitura e análise do presente Relatório, em cada detalhe departamental apresentado, fazem parte de um todo con- sistente. Nosso objetivo foi mostrar a partir de um amplo espectro, detalhes da atuação da SEMAD neste quadrimestre, que ajudassem a identiicar o trabalho realizado por cada uma das unidades. A SEMAD como atividade meio da administração, é diretamente responsável pela conformação e pela coordenação das políticas esbo- çadas pelo Chefe do Executivo Municipal, e sua responsabilidade se dilata, no correspondente anseio de todas as Secretarias Municipais buscando soluções rápidas e satisfatórias. Convém prevenir que o resultado inal não é a exposição de um mo- delo acabado, mas um trabalho de difícil e prolongado processo de experiências. Esperamos por im, que os elementos analíticos aqui expostos pos- sam tornar a leitura e a análise menos árdua e mais compreensiva. Ressaltamos a ativa participação de todos, imprescindível para o ade- quado formato que ora apresentamos (MANAUS, 2014, p. 17, on-li- ne). Já em Florianópolis, as conclusões do relatório dizem respeito ao estabelecimento de metas e de projetos para o ano posterior àquele analisado, como determinação de objetivos, focos, justiicativas, públicos-alvos e parcerias. De maneira sinté- tica, ao im da exposição, o relatório contempla algumas recomendações para ações futuras do PROCON, as quais são transcritas a seguir como ilustração: TÓPICOS ESPECIAIS SOBRE A PESQUISA EM GESTÃO PÚBLICA R ep ro d u ção p ro ib id a. A rt. 184 d o C ó d ig o Pen al e Lei 9.610 d e 19 d e fevereiro d e 1998. VU N I D A D E216 Durante o exercício de 2010 muitas foram as conquistas alcançadas pelo PROCON Municipal de Florianópolis. Entretanto, ainda há muito a fazer no sentido de continuar constantemente buscando o aprimoramento e a excelência no trato das questões envolvendo as relações consumeristas. As principais metas são: ■ Revisão do Regimento Interno; ■ Desenvolvimento de Planejamento Estratégico para a Diretoria; ■ Padronização de rotinas e procedimentos administrativos; ■ Capacitações na área do consumidor; ■ Capacitações junto ao PROCON Estadual e Brasília sobre o Sistema Nacional de Informações sobre o Consumidor; ■ Contratação de mais proissionais para atuação na área administrativa do órgão (FLORIANÓPOLIS, 2010, p. 10, on-line). Pesquisas acadêmicas (como artigos, monograias, dissertações e teses) são compostas pelos elementos: introdução, referencial teórico, metodologia de pesquisa, apresentação e análise dos resultados e conclusão, além de elementos pré e pós-textuais. Fonte: Teixeira, Zamberlan e Rasia (2008). Considerações Finais R ep ro d u çã o p ro ib id a. A rt . 1 84 d o C ó d ig o P en al e L ei 9 .6 10 d e 19 d e fe ve re ir o d e 19 98 . 217 CONSIDERAÇÕES FINAIS A última unidade de estudos deste material didático ofereceu aos gestores públicos em formação a possibilidade de lançar olhares para dois elementos negligencia- dos por parte dos entes públicos: ética e produção de relatórios. No contexto contemporâneo nacional, a necessidade de discutir sobre ética se revela imprescindível à conformação dos espaços e instituições públicas, ainda mais se considerarmos a recorrência de denúncias relacionadas a escândalos de corrupção