Baixe o app para aproveitar ainda mais
Prévia do material em texto
PESQUISA EM EDUCAÇÃO CAPÍTULO 3 – COMO COLETAR DADOS POR MEIO DA OBSERVAÇÃO E DA ENTREVISTA DE MANEIRA EFICIENTE E ÉTICA? Ana Claudia de Oliveira G. Merli INICIAR Introdução Existem muitas formas de se realizar uma pesquisa científica: é possível descrever, explicar, inovar e experimentar. No âmbito das pesquisas em educação, principalmente aquelas que envolvem seres humanos, essa variedade suscita questionamentos: como, onde, com quem e por quê? Isso quer dizer que os pesquisadores precisam tomar decisões quanto a escolha do local e dos sujeitos, a maneira mais eficiente de coletar informações, a postura ética em relação aos sujeitos e ao ambiente onde será realizada a pesquisa, entre outros encaminhamentos que surgem no decorrer da pesquisa. Nesse sentido, imagine-se um pesquisador que pretende realizar uma pesquisa em ambiente escolar e com contato com os sujeitos que frequentam o ambiente, ou seja, investigar a realidade escolar. Pense, ainda, nas situações em que é possível simular e testar novos procedimentos educacionais, como metodologias de ensino, formas de avaliação e tecnologias experimentais aplicadas ao processo de ensino e aprendizagem. Tendo em vista esse cenário, a partir de agora nos aprofundaremos em elementos que possibilitam responder as seguintes questões: quais cuidados devem ser tomados em relação aos procedimentos metodológicos e éticos? Como o pesquisador deve se planejar para o contato com os sujeitos envolvidos na pesquisa? Como proceder para a coleta de dados eficiente? É possível realizar experimentos em pesquisas educacionais? Para responder essas e outras dúvidas, neste capítulo, trataremos de questões éticas relacionadas à observação, entrevista, organização e tratamento de dados coletados no ambiente escolar. Vamos aos estudos! 3.1 Ética na pesquisa Os alunos de Graduação e Pós-graduação de cursos relacionados à educação e ensino podem desenvolver suas pesquisas propondo inovações nos procedimentos de ensino e aprendizagem, como metodologias de ensino e avaliação, material didático, tecnologias aplicadas à educação etc. Nesse universo de possibilidades, em geral, estão envolvidas as pessoas, ou seja, professores, alunos, funcionários e gestores. Contudo, conforme estudamos, ao tratarmos de qualquer pesquisa envolvendo seres humanos, precisamos tomar alguns cuidados referentes à ética. Westworld é uma série de 2016, de Jonathan Nolan e Lisa Joy, que traz questões polêmicas a respeito de experimentos com robôs e dos limites que o ser humano pode alcançar em prol do próprio prazer. Trata- se de um parque turístico que recria o Velho Oeste, habitado por robôs dotados de inteligência artificial e programados para fazer com que os turistas sintam todas as emoções desse ambiente hostil. VOCÊ QUER VER? No senso comum, a ética se confunde com a moral, na tentativa de compreender o que é certo ou errado quanto ao comportamento humano. No entanto, o termo se refere a um campo de estudo da Filosofia. De todo modo, ao falar em ética na pesquisa, trata-se de uma concepção específica que envolve questões de cientificidade e respeito quanto aos participantes de uma pesquisa científica. Os parâmetros são estabelecidos, inclusive, pela Resolução n. 466/2012, que está pautada em documentos nacionais e internacionais sobre pesquisa científica que envolvem seres humanos. VOCÊ SABIA? A regulamentação sobre ética em pesquisas com seres humanos é a Resolução n. 196/96, que “[...] visa a assegurar os direitos e deveres que dizem respeito aos participantes da pesquisa, à comunidade científica e ao Estado” (BRASIL, 2012, p. 1). A lei foi revisada e atualizada em 2012, dando origem a Resolução n. 466/2012, que, atualmente, dita os parâmetros para pesquisa com seres humanos. Sendo assim, na sequência, veremos com mais detalhes sobre os regulamentos e as reflexões a respeito da pesquisa em educação que envolvem seres humanos, em especial o Termo de Consentimento Livre e Esclarecido e a documentação e coleta de dados. 3.1.1 Termo de Consentimento Livre Esclarecido Podemos entender o Termo de Consentimento Livre e Esclarecido (TCLE) como um [...] documento no qual é explicitado o consentimento livre e esclarecido do participante e/ou de seu responsável legal, de forma escrita, devendo conter todas as informações necessárias, em linguagem clara e objetiva, de fácil entendimento, para o mais completo esclarecimento sobre a pesquisa a qual se propõe participar. (BRASIL, 2012, II. 23). Os esclarecimentos de que trata a citação acima se referem a informar o participante sobre a pesquisa e explicar, de maneira que não interfira na coleta de dados ou informações, a respeito do assunto abordado. A ideia, também, é esclarecer quanto a participação ou não de outros sujeitos e da proteção da identidade e das informações, quando for o caso. A Resolução n. 446/2012, em seu artigo II, parágrafo 5, esclarece sobre todos os termos e definições adotados no documento, conforme vemos em: II.5 - consentimento livre e esclarecido - anuência do participante da pesquisa e/ou de seu representante legal, livre de vícios (simulação, fraude ou erro), dependência, subordinação ou intimidação, após esclarecimento completo e pormenorizado sobre a natureza da pesquisa, seus objetivos, métodos, benefícios previstos, potenciais riscos e o incômodo que esta possa acarretar. De acordo com o papel exercido pelo participante e o direcionamento teórico- metodológico, há pesquisas em que a identidade dos sujeitos pode ser revelada, como é o caso do modelo “história de vida”, visto que, muitas vezes, o tema da pesquisa objetiva um relato biográfico de um sujeito específico. Já quanto ao local, pode ser que se trate de um caso específico que necessite ser identificado, entretanto, é preciso sempre ter bom senso e coerência metodológica. Aqui, especificamente, trataremos de pesquisas em que a identidade do local e dos participantes serão resguardadas. Isso significa que o TCLE precisa ser claro quanto aos esclarecimentos prestados ao participante e à preservação dos dados. A participação dos sujeitos implica em um processo de consentimento livre e esclarecido, isto é, não basta que eles assinem o documento, uma vez que é necessário, também, cumprir todas as etapas que dizem respeito, primeiramente, quanto aos procedimentos científicos da participação de seres humanos na pesquisa, e, em segundo lugar, respeito à dignidade humana. O participante precisa, portanto, entender a pesquisa, saber qual é o papel que desempenhará e ter garantida sua identidade e idoneidade das informações. A partir disso, ele se manifestará — de forma documental, consciente, autônoma, livre e esclarecida — sobre sua participação. A primeira etapa se refere ao convite, ao esclarecimento de forma clara e honesta, bem como ao tempo necessário para que o convidado possa pensar e se manifestar quanto a sua participação. Finalizada essa etapa, que é mais oral do que documental, inicia-se a documentação. Figura 1 - O Termo de Consentimento Livre e Esclarecido é um documento necessário para todas as pesquisas com seres humanos, independentemente de haver ou não risco de vida. Fonte: Shutterstock, 2018. O TCLE deve ser redigido em linguagem clara, objetiva e idioma compreensível pelo participante, contendo: título da pesquisa; nome do pesquisador; nome do orientador; nome da instituição, universidade ou instituto vinculados ao pesquisador e orientador; objetivo da pesquisa; participante ou participantes; envolvimento na pesquisa; como será a participação; riscos e desconfortos; confidencialidade; benefícios; remuneração e pagamento (no caso de participação voluntária, é preciso constar que não haverá pagamento pelas informações ou dados); e assinatura de todos os envolvidos, ou seja, participante, pesquisador e orientador. Recomenda-se, ainda, que o documento seja redigido em forma de convite, em papel timbrado, com o logotipo da instituição vinculada à pesquisa, tendo como título principal em negrito “Termo de ConsentimentoLivre e Esclarecido”. Além disso, devem ser feitas duas vias com todas as assinaturas, sendo que uma ficará com o participante e uma será anexada à pesquisa. Ressalta-se, também, que no item 7 (envolvimento na pesquisa) deve constar que o participante pode abandonar a pesquisa a qualquer momento, sem prejuízos de preservação e confidencialidade de dados, informações e identidade. O item ainda precisa conter e-mail e telefone do pesquisador e do comitê de ética para que o participante possa solicitar esclarecimentos quando for preciso. No item 9 (riscos e desconfortos), é preciso identificar a legislação que rege a participação de seres humanos em pesquisas científicas (Resolução n. 466/2012) e reiterar que a pesquisa será submetida a um comitê de ética para verificação de todos os itens relativos a este quesito. Por fim, é preciso constar uma declaração do participante de que recebeu todos os esclarecimentos sobre a pesquisa e sua participação, uma cópia do TCLE e autorização para a execução do trabalho e divulgação dos dados e informações. Uma sugestão de redação da última parte é “Confiro que recebi cópia deste termo de consentimento, e autorizo a execução do trabalho de pesquisa e a divulgação dos dados obtidos neste estudo. Tendo em vista os itens apresentados, eu, de forma livre e esclarecida, manifesto meu consentimento em participar da pesquisa”. O TCLE, portanto, é um dos documentos mais importantes para a participação de seres humanos na pesquisa científica. Contudo, é válido ressaltar que apenas o preenchimento deste não é a condição única para o cumprimento dos Figura 2 - A preservação da identidade dos participantes é muito importante na pesquisa com seres humanos. Fonte: Karuka, Shutterstock, 2018. procedimentos éticos. A seguir, veremos outros documentos e procedimentos necessários para o cumprimento dos procedimentos da pesquisa. 3.1.2 Documentos de autorização A Resolução n. 466/2012 orienta, de forma geral — e mais especificamente quanto as pesquisas realizadas na área de saúde —, e prevê a resolução complementar para pesquisas que envolvem seres humanos de outras áreas do conhecimento, como é o caso das pesquisas em Ciências Sociais e Humanas: “As especificidades éticas das pesquisas nas ciências sociais e humanas e de outras que se utilizam de metodologias próprias dessas áreas serão contempladas em resolução complementar, dadas suas particularidades” (BRASIL, 2012, XIII. 3). Na sequência, analisaremos um caso fictício para melhor entendermos quanto a ética em pesquisas científicas. CASO Luís é estudante e está concluindo a graduação em Biologia, no entanto, precisou faltar a uma palestra sobre direitos autorais, ética e plágio para conseguir terminar seu Trabalho de Conclusão de Curso, uma vez que está com o tempo bastante reduzido. Luís, então, entregou a versão finalizada para o orientador, a fim de que este fizesse a última correção antes de entregar o trabalho para a banca de avaliadores. Contudo, por conta do atraso do aluno, o professor fez uma correção apressada e entregou o trabalho para a banca antes da apresentação. Faltando um dia para a defesa, o professor recebe a ligação de um dos componentes da banca avisando que foi detectado plágio e que o aluno seria reprovado. A banca, diante dessa situação, é cancelada. O orientador, então, chamou Luís para conversar e mencionou o que aconteceu. O aluno disse que copiou apenas alguns trechos, mas que fez integralmente a coleta de dados e a análise. O professor explicou que o plágio se enquadra na Lei de Crime de Violação aos Direitos Autorais, em seu art. 184, independentemente de quanto foi copiado. Luís, em sua defesa, ainda argumenta que fez todos os passos para o encaminhamento ético, tendo em mãos o parecer do CEP e os termos de autorização para comprovar. O professor explicou, ainda, que a ética é uma questão bastante abrangente, requerendo postura do pesquisador. A resolução complementar que se refere à Ciências Sociais e Humanas é a Resolução n. 510/2016, que define a especificidade das pesquisas nessa área. Além disso, a resolução também lista os procedimentos e documentos referentes ao protocolo de pesquisa específica das áreas de Ciências Sociais e Humanas. O protocolo, por sua vez, relaciona, além do TCLE, outros documentos e objetos de pesquisa que não devem ser submetidas ao Comitê de Ética em Pesquisa (CEP). Quanto à especificidade da área, as pesquisas em Ciências Sociais e Humanas são [...] aquelas que se voltam para o conhecimento, compreensão das condições, existência, vivência e saberes das pessoas e dos grupos, em suas relações sociais, institucionais, seus valores culturais, suas ordenações históricas e políticas e suas formas de subjetividade e comunicação, de forma direta ou indireta, incluindo as modalidades de pesquisa que envolvam intervenção. (BRASIL, 2016, art. 2, inciso XVI). As pesquisas educacionais são contempladas nessas áreas, ainda que tenham um campo particular e não contem com uma resolução complementar específica. Nesse ínterim, a literatura especializada aponta que há severas discussões a respeito da particularidade do campo das pesquisas em educação: Costuma-se afirmar que uma das maiores dificuldades com a qual se depara a pesquisa na área é o fato de que a reivindicação a um estatuto epistemológico mais definido é obstaculizada pela complexidade do fenômeno educacional e do caráter de confluência de várias disciplinas que caracterizam a área. (KUENZER; MORAES, 2005, p. 15). Para se inteirar de algumas discussões a respeito do campo da pesquisa em educação no Brasil, sugerimos o artigo de Acacia Zeneida Kuenzer e Maria Célia Marcondes de Moraes, intitulado “Temas e tramas na pós-graduação em educação”. Nele, as autoras apontam aspectos históricos do delineamento desse campo de pesquisa e indicam alguns pontos para reflexão sobre a produção de conhecimento em ciências humanas e educação. Leia o artigo completo no link: <http://www.scielo.br/scielo.php? script=sci_arttext&pid=S0101-73302005000400015 (http://www.scielo.br/scielo.php? script=sci_arttext&pid=S0101-73302005000400015)>. VOCÊ QUER LER? http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0101-73302005000400015 http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0101-73302005000400015 http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0101-73302005000400015 http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0101-73302005000400015 As pesquisas em educação são contempladas na Resolução n. 510/2016, conforme integram aspectos sociais, culturais, políticos, históricos e recorrem à linguagem como um dos elementos de análise do fenômeno educativo. Em vista disso, essas pesquisas necessitam de um protocolo para balizar os documentos necessários para proteção da integridade dos participantes e das informações. O inciso XXI do art. 2º, por exemplo, indica o protocolo de pesquisa, que é composto por um conjunto de documentos formado pela folha de rosto, pelo projeto de pesquisa, pelas informações sobre os participantes da pesquisa, pelos pesquisadores e pelas instâncias responsáveis. A respeito dos participantes, as informações devem ser descritas na metodologia, parte integrante do projeto e do relatório da pesquisa, já quanto as informações a respeito dos pesquisadores, elas devem estar descritas no currículo lattes, registrado na Plataforma Lattes do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), que será informado no momento de registro do projeto de pesquisa na Plataforma Brasil. VOCÊ SABIA? O currículo lattes é um registro acadêmico e profissional das ações e produções realizadas pelas pessoas. Em geral, esse tipo de currículo é exigido em concursos públicos e assuntos relacionados as atividades acadêmicas. A Plataforma Lattes, inclusive, é um espaço virtual de registro desse documento no Brasil, o qual deve ser constantemente atualizado pelo autor. Para conhecer mais, acesse o link: <http://lattes.cnpq.br/ (http://lattes.cnpq.br/)>. Os documentosnecessários e as informações a respeito dos participantes ou locais, quando for o caso, devem estar disponíveis no momento em que o pesquisador for submeter o projeto ao CEP, através da Plataforma Brasil. Para finalização da pesquisa, no momento de escrita do relatório, alguns documentos deverão estar anexos, como o parecer do CEP e o TCLE. Após o pesquisador juntar todos esses documentos, deve partir para a coleta de dados. Esta deve ter sido planejada previamente e pensada em conformidade com os fundamentos teórico- metodológicos e a análise. A coleta de dados é um momento muito importante da pesquisa, o qual requer preparação, atenção e concentração de tempo e organização por parte do pesquisador, sem perder de vista os objetivos estabelecidos. http://lattes.cnpq.br/ http://lattes.cnpq.br/ A seguir, serão descritos alguns aspectos para a preparação do pesquisador e para a eficácia na coleta de dados. 3.1.3 A eficiência na coleta de dados Já reiteramos que, antes de qualquer coisa, é necessário planejamento, organização e bom senso para a realização de uma pesquisa científica, principalmente quando ela envolve pesquisa com seres humanos. Dessa maneira, após planejar, é preciso trabalhar com as questões éticas, tanto para atender a regulamentação vigente quanto por bom senso e postura profissionais. A maneira com que ocorre a coleta de dados está intimamente relacionada aos objetivos estabelecidos da pesquisa. Por exemplo, caso o objetivo seja investigar o valor dado a diferentes metodologias de ensino por uma dada população, pode-se coletar informações a partir de questionário, entrevista ou observação. Contudo, o que irá determinar a melhor técnica ou o melhor instrumento? Certamente isso poderá ser respondido a partir do alinhamento feito com o restante da pesquisa. Isto é, se a pesquisa for quantitativa, um questionário com perguntas objetivas pode ser suficiente para fazer o levantamento das preferências de uma dada população a respeito do objeto investigado. Por outro lado, se tratar de uma pesquisa experimental, em que o pesquisador expõe os sujeitos a uma metodologia de ensino diferente, ele pode observar como foi a participação e a aprendizagem dos sujeitos, comparando uma metodologia conhecida com a nova, proposta por ele. Uma das questões a se considerar é a postura adotada pelo pesquisador e seu grau de envolvimento com os sujeitos pesquisados. Uma das posturas mais conservadoras quanto ao conhecimento científico é o Positivismo. Nele, busca-se a verdade, que só pode ser comprovada pelo conhecimento científico, tendo como objeto sempre o real, o observável e o concreto, que pode e deve ser mensurável. Além disso, o conhecimento é fixo, portanto, objetivo. Dessa forma, a ciência estuda os dados de maneira neutra e desinteressada, o que implica na neutralidade e no distanciamento do pesquisador quanto ao objeto de pesquisa. Assim, é preciso verificar, controlar e descrever os resultados (TRIVIÑOS, 1987). Imagine como seria realizar uma pesquisa em ambiente escolar ou acadêmico, tentando manter distanciamento e neutralidade, considerando apenas o que é observável e concreto. Devido aos avanços nas metodologias de pesquisa em Ciências Sociais e Humanas e na educação, considerar distanciamento e neutralidade é deixar de lado elementos do entorno do fenômeno que permitem compreendê-lo em sua totalidade. Além disso, essas áreas encontraram nas pesquisas qualitativas instrumentos, técnicas e métodos que auxiliam na delimitação do tema e no rigor metodológico, levando em conta a subjetividade dos fenômenos e sujeitos. Desse modo, percebe-se que a coleta de dados depende das concepções adotadas pelo pesquisador. Considerando pesquisas em que haverá envolvimento de participantes que exporão suas preferências e os significados que atribuem à realidade — suas opiniões, narrativas e imagens —, é preciso ponderar em como o pesquisador irá atuar, não a ponto de se distanciar, mas buscando a representação mais fiel do que é real. Para traçar um caminho coerente, alguns elementos podem ser considerados pelo pesquisador para que o planejamento seja eficiente em pesquisas em que ele terá contato direto com os sujeitos, como no estudo de caso, na pesquisa-ação ou na pesquisa participante. Vejamos alguns deles: Participantes: busque por sujeitos idôneos, que estejam dispostos a participarem voluntariamente. Tente perceber se as informações não trarão prejuízos ou benefícios para os sujeitos ou os ambientes escolhidos. Local: caso se trate de contato individual com o participante, procure um local adequado em que ele se sinta à vontade e tenha tempo suficiente para participar da pesquisa. Caso se trate de coletividade, é importante que os sujeitos se sintam confortáveis e não sejam constrangidos ou tenham suas opiniões expostas de forma vexatória ao grupo participante. Presença do pesquisador: procure instrumentos adequados aos objetivos da pesquisa; tente alterar ou interferir o menos possível nas informações ou dados coletados; jamais exponha pejorativamente as informações coletadas; tenha todos os documentos em ordem para responder quaisquer dúvidas dos participantes; seja educado, confiável e disponível; cumpra os compromissos, datas e horários combinados. Relatório de pesquisa: busque a melhor forma de elaborar o relatório da pesquisa, preservando a identidade dos participantes e tratando com respeito e dignidade os sujeitos e as informações relatadas por eles. Sugere-se que, ao final do trabalho, o pesquisador retorne aos sujeitos e apresente o relatório. É importante, também, divulgar em meios científicos, como congressos e periódicos, os resultados da pesquisa. Ressalta-se que a simples presença do pesquisador no ambiente de pesquisa já provoca alterações. Ademais, ao entrevistar, observar ou aplicar questionários, há uma tendência de os participantes responderem aquilo que é aceito socialmente ou o que eles acreditam ser desejável. Cabe, aqui, para a coleta eficaz de dados, deixar claro que as identidades serão preservadas e que as informações não deverão influenciar o ambiente de trabalho. Outro ponto relevante é permitir que os instrumentos de coleta sejam aplicados por outras pessoas. Por exemplo, deixar um questionário ou atividades para o professor da sala aplicar, a resolução pode ser influenciada por este colaborador. É necessário, portanto, ponderar o que é aceitável para os objetivos da pesquisa. A seguir, serão discutidos aspectos importantes para as técnicas específicas de pesquisa, como observação e entrevista. 3.2 Observação O campo de pesquisa em educação é vasto, complexo e multidisciplinar. Ao iniciar uma proposta de pesquisa, o desafio é delimitar o tema, ou seja, colocar os limites que sejam possíveis de serem pesquisados no tempo que o pesquisador tem para fazer essa atividade. Vencido esse desafio, surgem outros novos, sendo que um deles está na escolha da técnica de coleta de dados. Ao escolher ter contato direto com os participantes da pesquisa, é preciso selecionar como será feito esse contato, se será aplicada uma única técnica e como serão organizados os dados para a análise. A observação é uma possibilidade que o pesquisador tem de coletar dados e informações referentes ao seu objeto. Ele pode observar os sujeitos, o ambiente, as ações, os pensamentos materializados etc. Segundo Selltiz, Wrightsman e Cook (1967, p. 225): A observação nada mais é que o uso dos sentidos com vistas a adquirir os conhecimentos necessários para o cotidiano. Pode, porém, ser utilizada como procedimento científico, à medida que: a) serve a um objetivo formulado de pesquisa; b) é sistematicamente planejada; c) é submetida a verificação e controles de validade e precisão. Além disso, observar é uma ótima maneira de conhecer, de fato, o objeto de pesquisa, independentemente se está sendo coletados dados ou apenas se tendo contato para conhecê-lo melhor. Por exemplo, pode-se observar o cotidiano escolar antes de decidir qual será a proposta de trabalho de umapesquisa participante. Para entendermos com mais detalhes, no decorrer deste tópico serão apresentadas algumas discussões a respeito da observação e do papel do pesquisador na aplicação dessa técnica. 3.2.1 Exigências para uma boa observação Afinal, o que é uma boa observação? Assim como qualquer outra técnica, a observação é aquela em que o pesquisador consegue realizar as ações ou atividades que se propôs, em busca de dados ou informações relacionadas ao objeto que está estudando. Caso tenha sido proposto uma pesquisa que faça alguma intervenção ou que integre algum tipo de experimentação, como uma metodologia, é preciso planejamento e organização para não se perder de vista o que se pretende observar. Nesse sentido, Ludke e André (2012, p. 25) indicam que “[...] a observação precisa ser, antes de tudo, controlada e sistematizada. Isso implica a existência de um planejamento cuidado do trabalho e uma preparação rigorosa do observador”. É preciso buscar técnicas para saber observar e não perder o foco do objetivo da entrevista. Sugere-se que o observador treine ou faça pequenas incursões para que consiga simular as situações as quais irá observar. Por exemplo, ao observar o ambiente escolar, é interessante frequentar o ambiente antes de realizar as anotações ou registros que serão utilizados na pesquisa, para que os sujeitos se acostumem com a presença do observador e ajam o mais naturalmente possível. Além disso, o observador pode fazer os registros dos observados para treinar sua percepção quanto ao que é importante, estratégias de concentração, como fazer anotações organizadas e de maneira rápida. Para esse tipo de preparação, é preciso reservar algum tempo e solicitar ajuda para verificar as estratégias utilizadas, pois nem sempre o próprio observador consegue avaliar sozinho e planejar suas ações para o momento de observação. Nas pesquisas qualitativas, a observação é muito valiosa, uma vez que permite ao pesquisador contato prolongado com os sujeitos e com o ambiente da pesquisa, possibilita captar as experiências vivenciadas e conhecer o processo, e não apenas os resultados. Em uma pesquisa-ação, de caráter qualitativo e experimental, em que o pesquisador propõe um novo instrumento de avaliação, ele avalia uma situação prévia, propõe uma ação e avalia novamente após a intervenção. Dessa forma, a observação pode colaborar desde o início para que o pesquisador conheça o objeto. No exemplo dado, instrumentos de avaliação também permitem conhecer a realidade em que um novo instrumento será utilizado, o que aproxima a pesquisa educacional do cotidiano escolar. Outras vantagens do emprego da observação na pesquisa qualitativa é fazer com que o pesquisador conheça melhor o objeto da pesquisa, podendo ser associada a outras técnicas, como a entrevista. Desse modo, é possível coletar dados em situações em que não seria possível a partir de outra técnica. Quanto a isso, temos, ainda, que sujeitos com deficiências ou limitações na comunicação podem participar de pesquisas em que seja utilizada a técnica de observação. VOCÊ SABIA? Como se preparar para a observação? É preciso planejar com bastante antecedência como e onde será feita a observação. Depois, reserva-se um tempo para ter contato com o ambiente e os sujeitos antes de serem feitos os registros que serão utilizados na pesquisa. Estudar e testar diferentes estratégias de registro, anotações, observação e concentração também é algo importante a se considerar. Por fim, ter em mente qual é o objetivo da observação, ou seja, não perder de vista o que se quer observar, é essencial. É possível utilizar diferentes técnicas para se fazer os registros da observação, dependendo do grau de participação: anotações, registros de áudio e/ou vídeo. A seguir, vamos entender melhor quanto aos tipos de observação existentes. 3.2.2 Tipos de observação Para decidir que tipo de observação será utilizada, é preciso avaliar qual é o grau de envolvimento do pesquisador com o ambiente e os sujeitos observados, se o envolvimento se relaciona com a fundamentação teórico-metodológica adotada na pesquisa, quais são os objetivos da pesquisa e como será realizada a análise. Vale lembrar, portanto, que cada parte da pesquisa é importante e integra um todo, ou seja, é preciso ter coerência metodológica e teórica para que o trabalho seja válido e produza, de fato, um conhecimento científico. Gil (2008) classifica as observações em simples, sistematizadas e participantes. Aqui, trataremos das duas primeiras, visto que no próximo tópico será abordada especificamente a observação participante, devido sua importância e ao uso nas pesquisas educacionais. A observação simples também pode ser chamada de observação-reportagem, pois se caracteriza por “[...] o pesquisador, permanecendo alheio à comunidade, grupo ou situação que pretende estudar, observar de maneira espontânea os fatos que aí ocorrem” (GIL, 2008, p. 101). Assim, não há regras fixas do que se observar, sendo que a técnica é pouco sistemática. Em geral, o pesquisador observa livremente o ambiente e os sujeitos, permitindo que ele construa o problema conforme entra em contato com o fenômeno pesquisado. Esse tipo de observação é apropriado, inclusive, para pesquisas que envolvem a conduta dos sujeitos. A observação sistematizada, por sua vez, também possui objetivos bem estabelecidos, como a descrição de fenômenos e o teste de hipóteses. No caso das pesquisas educacionais, aplica-se a situações em que o pesquisador irá a campo e com um plano de observação bem delineado. Quanto aos tipos de observador, o pesquisador deve decidir sobre seu grau de envolvimento. Isto é, deve optar por estar envolvido ou manter distanciamento em relação aos sujeitos da pesquisa. Outra decisão diz respeito ao que e quanto dos objetivos da pesquisa o pesquisador revelará para os participantes (LUDKE; ANDRÉ, 2012). Ainda que essa questão precise ser bem pensada em relação as questões éticas, é necessário ponderar se o que for exposto para os sujeitos influenciará nos dados observados. Ludke e André (2012, p. 28) classificam o tipo de observação conforme a participação do observador: Decidir quanto ao grau de envolvimento no trabalho de pesquisa não significa decidir simplesmente que a observação será ou não participante. A escolha é feita geralmente em termos de um continuum que vai desde uma imersão total na realidade até um completo distanciamento. A partir do continuum, classifica-se o observador em participante total, participante como observador, observador como participante e observador total. O quadro a seguir nos mostra detalhadamente sobre cada um deles. Portanto, cabe ao pesquisador decidir quanto à observação (simples, sistematizada ou participante) e qual será o grau de envolvimento com os participantes da pesquisa. Na sequência, vamos compreender quanto a especificidade da observação participante. 3.2.3 A observação participante Ao escolher a observação participante, o pesquisador irá participar sistemática e permanentemente da vivência dos sujeitos da pesquisa, ou seja, “[...] o observador assume, pelo menos até certo ponto, o papel de um membro do grupo. Daí por que se pode definir observação participante como a técnica pela qual se chega ao conhecimento da vida de um grupo a partir do interior dele mesmo” (GIL, 2008, p. 103). O objetivo da participação é conhecer profundamente os sujeitos e o fenômeno pesquisados, bem como vivenciar as mesmas experiências a partir da visão do grupo. Há a possibilidade de se estar, durante longo tempo, como observador participante, contudo, é sempre importante ter em mente que quanto maior o envolvimento, maiores serão as chances de análises tendenciosas. Quadro 1 - Classificação dos tipos de observador conforme o continuum. Fonte: Elaborado pela autora, baseado em LUDKE e ANDRÉ, 2012. Nas pesquisas qualitativas, o olhar do pesquisador é valorizado, visto que, através dele, serão selecionadas e realizadas as análises. Sob a perspectiva fenomenológica, porexemplo, a maneira com que o pesquisador apreende o mundo é de extrema importância. Dessa forma, nesses tipos de pesquisa, não se fala em neutralidade e distanciamento. Gil (2008, p. 104) ainda elenca algumas vantagens da observação participante: a) Facilita o rápido acesso a dados sobre situações habituais em que os membros das comunidades se encontram envolvidos. b) Possibilita o acesso a dados que a comunidade ou grupo considera de domínio privado. c) Possibilita captar as palavras de esclarecimento que acompanham o comportamento dos observados. Entretanto, o autor também alerta para que os cuidados com as questões éticas sejam reforçados e que o pesquisador esteja atento ao seu papel de observador e aos limites requeridos nessa atuação. Independentemente da técnica e do contato próximo ou distante do pesquisador com os sujeitos da pesquisa, é necessário sempre ter em mente os objetivos e a maneira com que os dados serão analisados. Na sequência, serão discutidos os objetivos dos tipos de coleta de dados em que o autor interage com os participantes. 3.3 Os objetivos da pesquisa Uma das partes mais importantes e que consome horas de reflexão de um projeto de pesquisa é escrever quais são os objetivos. Conforme essa delimitação, pode-se classificar as pesquisas científicas em exploratórias, descritivas ou explicativas (GIL, 2002). As pesquisas exploratórias têm por objetivo o aprimoramento de ideias, proporcionando maior familiaridade do pesquisador com o objeto estudado, buscando descrevê-lo e escrever hipóteses sobre ele a partir de levantamento bibliográfico e entrevista, geralmente. As pesquisas descritivas, por sua vez, visam descrever características ou estabelecer uma relação entre as variáveis, podendo-se empregar para isso as técnicas de questionário e observação. Por fim, as pesquisas explicativas têm por finalidade identificar os fatores relacionados a determinado fenômeno para explicar o porquê de sua existência. Frequentemente, utilizam experimentos e estão relacionadas a área de Ciências Biológicas. Escrever um projeto de pesquisa é realmente um desafio. Para compreender mais profundamente os elementos que compõe um projeto e como desenvolvê-lo conforme cada tipo de pesquisa, o livro “Como se faz uma tese em ciências humanas”, de Umberto Eco, é uma ótima opção de leitura. Nele, o autor apresenta os elementos do projeto de pesquisa e explica, em linguagem fácil, como escrever cada uma das partes. Toda entrevista possui caráter de interação entre o pesquisador e o participante, e visa obter informações através de perguntas que podem ser adequadas para indicar “[...] informações acerca do que as pessoas sabem, creem, esperam, sentem ou desejam, pretendem fazer, fazem ou fizeram, bem como acerca das suas explicações ou razões a respeito das coisas precedentes” (SELLTIZ; WRIGHTSMAN; COOK, 1967, p. 273). As áreas de Ciências Sociais e Humanas aderem à entrevista porque buscam conhecer e explicar processos complexos em âmbito social. VOCÊ QUER LER? Na sequência, iremos nos dedicar a estudar mais profundamente uma técnica bastante utilizada na pesquisa exploratória: a entrevista, bem como suas variações. 3.3.1 Entrevista semiestruturada Após a escolha dos sujeitos que participarão da entrevista, é necessário escolher qual tipo será realizada e submeter o projeto ao CEP. Vencidas essas etapas, o pesquisador precisa se organizar e planejar como irá realizar a entrevista. É possível entrevistar um participante por vez ou em grupo, presencialmente ou através de algum tipo de recurso tecnológico, como vídeo conferência, chat ou telefone. Um cuidado a se tomar é escolher o local e o horário adequados para que o participante se sinta à vontade ao ser questionado. Ao planejar a entrevista, o pesquisador pode eleger alguns pontos importantes, os quais ele não pode deixar de tratar com o entrevistado. Nesse caso, a entrevista se caracteriza como semiestruturada. O entrevistador pode listar assuntos ou elaborar perguntas para direcionar a conversa com o participante. É importante ressaltar, contudo, que não é necessário se prender apenas ao que está planejado, visto que a conversa pode tomar diferentes rumos e possibilitar coletar informações que não estavam no planejamento. Essa organização apenas auxilia no começo da entrevista e permite ao pesquisador não perder o foco dos seus objetivos. Além disso, o pesquisador pode optar por outro tipo de organização quanto ao direcionamento, como a entrevista estruturada ou diretiva. 3.3.2 Entrevista estruturada ou diretiva A entrevista estruturada ou diretiva se aproxima muito do questionário, pois o entrevistador elabora perguntas para guiar a entrevista, as quais também não podem deixar de serem feitas. Contudo, nesse modelo, tanto as perguntas quanto a ordem em que são feitas é um fator importante. É possível, assim, a partir dessa estruturação, desenvolver pesquisas quantitativas ou qualitativas, dependendo da maneira como as respostas forem organizadas. Perguntas com respostas pré- determinadas, como “sim” ou “não”, permitem uma organização quantitativa; enquanto que respostas mais abrangentes, que requerem justificativas, permitem Figura 3 - Escolher como será feita a entrevista, com quem e onde, deve estar alinhado aos fundamentos teórico-metodológicos de todo projeto de pesquisa. Fonte: Cosmin Munteanu, Shutterstock, 2018. uma abordagem qualitativa. Nos dois casos, é possível que a pesquisa seja exploratória, pois as respostas levam à identificação de fatores que permitem explicar um fenômeno. Por exemplo, para compreender a violência escolar, pode-se entrevistar sujeitos que sofrem e cometem atos violentos com agressões físicas, verbais e psicológicas. Dessa maneira, as informações fornecidas pelos entrevistados possibilitam identificar elementos que, juntos, poderão indicar o motivo da violência, como ela se manifesta, quais são os fatores geradores e assim por diante. Outra maneira de realizar uma entrevista com menor grau de estruturação é a partir das entrevistas livres ou não diretivas. 3.3.3 Entrevista livre ou não diretiva A entrevista livre ou não diretiva é realizada de forma espontânea, sem roteiros rígidos para serem seguidos. Nesse caso, tanto os questionamentos quanto as respostas são dadas por discurso livre, ou seja, não há algo pré-estabelecido. O Figura 4 - É importante que o entrevistador se prepare para o tipo de entrevista que irá realizar, buscando materiais auxiliares. Fonte: Iakov Filimonov, Shutterstock, 2018. entrevistador, então, é um ouvinte atento que busca estimular o entrevistado a fornecer o máximo possível de informações sobre o fenômeno. Para tanto, é importante estabelecer uma relação de confiança entre o pesquisador e o participante, de modo que este se sinta à vontade para falar livremente. Em geral, esse tipo de entrevista é longa e, talvez, requeira mais de um encontro, por isso, é preciso decidir de antemão como serão feitos os registros, que podem ser escritos, gravados em áudio e/ou vídeo. Na entrevista livre ou não diretiva, o entrevistador precisa de habilidades que motivem o participante a falar. Possivelmente, pode ser interessante recorrer a algumas técnicas para saber como fazer as perguntas, como manter o foco no assunto, quais são as atitudes perante as respostas inusitadas ou chocantes e como manter um contato ético e amigável com o entrevistado. É válido lembrar, também, que o entrevistado tem o direito de ter acesso às informações que concedeu, questionar ou pedir dados ao pesquisador e ao CEP a qualquer momento e desistir de participar da pesquisa quando achar conveniente. Por isso, estabelecer uma Figura 5 - As perguntas e respostas não devem ser tendenciosas ou influenciadas pelo entrevistador. Fonte: MilousSK, Shutterstock, 2018. relação de confiança entre pesquisador e participante é importante para o bom andamento da pesquisa. Ressalta-se, ainda, que é de bom tom retornar ao entrevistado no final da elaboração do relatório da pesquisa parainformar os resultados. A entrevista, inclusive, é uma das técnicas mais utilizadas para coleta de dados. A seguir, apontaremos alguns aspectos que merecem atenção para uma coleta de dados eficaz, com técnicas em que o pesquisador entra em contato direto com o participante. 3.4 Coleta e tratamento de dados As pesquisas educacionais podem ser desenvolvidas em diferentes ambientes. Em um primeiro momento, pode-se pensar em escolas ou universidades, contudo, há outros locais em que podemos ter contato com o processo educativo formal e não formal, como penitenciárias, aldeamentos, quilombos, empresas e hospitais. Em todos esses ambientes, pode-se desenvolver uma pesquisa com o objetivo de explorar o fenômeno educativo nas mais diversas especificidades. De acordo com Ludke e André (2012, p. 36): [...] podemos estar seguros de que, ao entrevistarmos professores, diretores, orientadores, supervisores mesmo pais de alunos não lhes estaremos certamente impondo uma problemática estranha, mas, ao contrário, tratando com eles de assuntos que lhes são muito familiares sobre os quais discorrerão com facilidade. A problemática escolar pode contar com diferentes participantes, a fim de melhor ser compreendida e explicada, conforme os objetivos da pesquisa exploratória. A partir de agora, discutiremos a coleta e o tratamento de informações a partir de técnicas que possibilitam cumprir esses objetivos de pesquisa, ou seja, conhecer, explicar, explorar e descortinar o ambiente educacional. 3.4.1 Entrevista: elaboração de roteiro Já vimos que alguns tipos de entrevistas requerem um planejamento prévio, como é o caso das entrevistas estruturadas e semiestruturadas. Essa organização, inclusive, é chamada de roteiro. O objetivo do roteiro é direcionar a entrevista a partir de tópicos ou perguntas que são o foco da pesquisa. Segundo Ludke e André (2012, p. 36), o roteiro permite construir uma ordem lógica e psicológica, [...] cuidará para que haja uma sequência lógica entre os assuntos dos mais simples aos mais complexos, respeitando o sentido do seu encadeamento [...] evitando saltos bruscos entre as questões, permitindo que elas se aprofundem no assunto gradativamente e impedindo que questões complexas e de maior envolvimento pessoal, colocadas prematuramente, acabem por bloquear as respostas ás questões seguintes. O roteiro tem a função, portanto, de auxiliar na condução da entrevista. Nesse contexto, Gil (2008) elenca algumas regras gerais para a elaboração deste, de modo a auxiliar o entrevistador na obtenção de informações: deve-se ter clareza na elaboração das instruções, como local e duração; elaboração de questões que possam ser lidas pelo entrevistador e compreendidas pelo entrevistado de forma rápida e direta; questões que exigem informações que podem ser constrangedoras devem contar com um relacionamento confiável e livre de julgamentos entre os participantes; o registro das informações não pode atrapalhar o andamento da entrevista; as questões devem ser formuladas de modo a concentrar a atenção no objetivo da pesquisa. De forma geral, as informações oriundas de entrevistas constituem discursos que serão analisados por meio de métodos de análise da linguagem, como análise de conteúdo ou análise de discurso. Essas técnicas possibilitam uma abordagem qualitativa que explica o fenômeno e suas razões de existir, assim como elege categorias para analisar as falas dos entrevistados. Na sequência, entenderemos a coleta de dados e o tratamento de informações oriundas da observação. 3.4.2 Observação para coleta de dados A observação com o intuito de reunir elementos capazes de explicar a razão de um fenômeno, ou seja, observação aplicada à pesquisa observatória, pode adotar as técnicas aplicadas à observação sistematizada. Todo tipo de observação requer alguns cuidados, como ter tempo para que os participantes se acostumem com a presença do observados, aspectos éticos e organização. A presença de alguém estranho ao ambiente ou ao convívio das pessoas causa, por si só, alteração no comportamento, por isso, o observador precisa perceber qual é o grau de envolvimento possível que ele terá com os participantes, de modo que a influência em seus comportamentos não seja um fator prejudicial à pesquisa. Gil (2008) indica que é preciso ter clareza no que se pretende observar, visto que é possível observar atos, atividades, significados, participação, relacionamentos e situações. Conforme o que se pretende, elege-se o instrumento de registro e o que se quer descrever. Por exemplo, ao observar o cotidiano de uma escola de Educação de Jovens e Adultos (EJA), o pesquisador pode pretender compreender a relação entre os alunos e o conhecimento. Para isso, observa os estudantes em momentos de estudo, podendo registrar esses comportamentos a partir de anotações ou gravações. Essas informações, então, precisam ser organizadas o quanto antes para que o pesquisador não fique distante do que observou e perca a oportunidade de classificar os registros conforme a categoria de análise que escolheu. São diversas possibilidades e, dessa forma, é preciso ponderar, pois não é possível observar tudo, por mais tempo que se passe no ambiente. Com isso, temos que a observação é seletiva (GIL, 2008). Nesse contexto, é o observador que seleciona o que é mais adequado para sua análise, ou seja, quais elementos contribuirão para explicar o fenômeno em suas razões de se manifestar. Após realizadas as pesquisas e a elaboração do relatório, é chegado o momento de compartilhar com a comunidade acadêmica os resultados. A seguir, iremos refletir a respeito do seminário como modo de divulgação de alguns tipos de pesquisas. 3.4.3 Seminário As pesquisas realizadas em diferentes instâncias, escolas, universidades ou cursos de pós-graduação possuem como objetivo conhecer algo ou desenvolver um conhecimento científico, seja para munir o autor dos conhecimentos que serão Figura 6 - Ainda que o pesquisador não seja um sujeito neutro e externo, ele irá pensar as informações coletadas a partir de seu referencial teórico, discuti-las e refletir sobre elas, mas sem julgamentos. Fonte: hohojirozame, Shutterstock, 2018. utilizados para que ele compreenda o que é pesquisa e se aprofundar no seu objeto, seja para compartilhar os conhecimentos e descobertas com outros pesquisadores ou estudantes. Os seminários podem assumir diferentes dimensões, como uma sala de aula, uma instituição, uma reunião de especialistas etc., em todas as situações, há reunião de sujeitos para exposição e discussão de suas pesquisas, com o objetivo de compartilhar e elaborar novos conhecimentos. Figura 7 - O seminário é um momento de divulgação, reflexão e discussão do resultado da pesquisa. Fonte: Matej Kastelic, Shutterstock, 2018. Os seminários enquanto eventos não se tratam de atividades acadêmicas e escolares que visam a construção do conhecimento individual do estudante, mas possuem o intuito de compartilhar pesquisas e trabalhos em nível acadêmico, sem cobranças de notas ou aprovações. Esses eventos contam com vários apresentadores de trabalhos unidos por um eixo comum e mediado por seus pares, para discutir a respeito de pesquisas afins. Antônio Carlos Gil é autor de livros sobre metodologia científica e tem ajudado estudantes de graduação e pós-graduação a elaborarem projetos de pesquisa e pesquisas em Ciências Sociais. Suas obras possuem linguagem fácil e apresentam discussões e elementos da pesquisa que podem ser aplicados ao campo educacional. Esses seminários são uma forma de divulgação de pesquisas científicas em que o autor expõe oralmente os resultados de sua pesquisa. É um momento rico que contribui para o crescimento do pesquisador, podendo compartilhar e ouvir diferentes opiniões sobre o seu trabalho. VOCÊ O CONHECE? Síntese Com este capítulo, você pode conhecer um pouco mais a respeito da coleta, da organização e do tratamento de dados em pesquisas de caráter qualitativo e quantitativo. Além disso, estudamos mais detalhadamentesobre os tipos de entrevistas e como elas podem ser utilizadas nas pesquisas. Neste capítulo, você teve a oportunidade de: conhecer procedimentos e a documentação relacionados à ética da pesquisa com seres humanos; verificar diferentes possibilidades de pesquisas em que o pesquisador tem contato direto com os participantes; perceber possibilidades de uso de observação e entrevista. Bibliografia BRASIL. Ministério da Saúde. Comissão Nacional de Ética em Pesquisa. Resolução n. 196, de 10 de outubro de 1996. Diário Oficial da União. Brasília, 1996. Disponível em: <http://conselho.saude.gov.br/web_comissoes/conep/aquivos/resolucoes/23_out_v ersao_final_196_encep2012.pdf (http://conselho.saude.gov.br/web_comissoes/conep/aquivos/resolucoes/23_out_v ersao_final_196_encep2012.pdf)>. Acesso em: 13/06/2018. ______. Ministério da Saúde. Comissão Nacional de Ética em Pesquisa. Resolução n. 466, de 12 de dezembro de 2012. Diário Oficial da União. Brasília, 2012. Disponível em: <http://bvsms.saude.gov.br/bvs/saudelegis/cns/2013/res0466_12_12_2012.html (http://bvsms.saude.gov.br/bvs/saudelegis/cns/2013/res0466_12_12_2012.html)>. Acesso em: 13/06/2018. ______. Ministério da Saúde. Comissão Nacional de Ética em Pesquisa. Resolução n. 510, de 07 de abril de 2016. Diário Oficial da União. Brasília, 2016. Disponível em: <http://conselho.saude.gov.br/resolucoes/2016/reso510.pdf (http://conselho.saude.gov.br/resolucoes/2016/reso510.pdf)>. Acesso em: 13/06/2018. CNPQ. Plataforma Lattes. Brasília, s./d. Disponível em: <http://lattes.cnpq.br/ (http://lattes.cnpq.br/)>. Acesso em: 13/06/2018. ECO, U. Como se faz uma tese em Ciências Humanas. 13 ed. Portugal: Editorial Presença, 1980. GIL, A. C. Como elaborar projetos de pesquisa. 4 ed. São Paulo: Atlas, 2002. ______. Métodos e técnicas de pesquisa social. 6 ed. São Paulo: Atlas, 2008. http://conselho.saude.gov.br/web_comissoes/conep/aquivos/resolucoes/23_out_versao_final_196_encep2012.pdf http://conselho.saude.gov.br/web_comissoes/conep/aquivos/resolucoes/23_out_versao_final_196_encep2012.pdf http://conselho.saude.gov.br/web_comissoes/conep/aquivos/resolucoes/23_out_versao_final_196_encep2012.pdf http://conselho.saude.gov.br/web_comissoes/conep/aquivos/resolucoes/23_out_versao_final_196_encep2012.pdf http://bvsms.saude.gov.br/bvs/saudelegis/cns/2013/res0466_12_12_2012.html http://bvsms.saude.gov.br/bvs/saudelegis/cns/2013/res0466_12_12_2012.html http://conselho.saude.gov.br/resolucoes/2016/reso510.pdf http://conselho.saude.gov.br/resolucoes/2016/reso510.pdf http://lattes.cnpq.br/ http://lattes.cnpq.br/ KUENZER, A. Z.; MORAES, M. C. M. de. Temas e tramas na pós-graduação em educação. Educação & Sociedade, Campinas, v. 26, n. 93, set./dez. 2005. Disponível em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0101- 73302005000400015 (http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0101- 73302005000400015)>. Acesso em: 03/06/2018. LUDKE, M.; ANDRÉ, M. E. D. A. Pesquisa em educação: abordagens qualitativas. São Paulo: E.P.U., 2012. SELLTIZ, C.; WRIGHTSMAN, L. S.; COOK, S. W. Planejamento de pesquisa: Métodos de Pesquisa nas Relações Sociais. São Paulo: Herder/Editora da Universidade de São Paulo, 1967. TRIVIÑOS, A. N. S. Introdução à pesquisa em ciências sociais: a pesquisa qualitativa em educação. São Paulo: Atlas, 1987. WESTWORLD. Direção de: Jonathan Nolan e Lisa Joy. Estados Unidos: 2016. 52 min. Color. Série exibida pela HBO. http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0101-73302005000400015 http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0101-73302005000400015 http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0101-73302005000400015 http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0101-73302005000400015
Compartilhar