Semana 2

Prévia do material em texto

PLANEJAMENTO DOS MÉTODOS DA REVISÃO
Organização e recursos para elaboração da revisão
Conduzir uma revisão sistemática pode ser mais difícil e demorado do que um estudo primário. Pois é necessário identificar todo um conjunto de recursos, o conhecimento técnico da equipe, todas as habilidades e experiências necessárias para que a elaboração aconteça de forma adequada. 
É muito importante que alguém da equipe tenha muita experiência na condução de revisões sistemáticas, bem como no tema que está sendo investigado. Conhecimento sobre estatística, domínio da língua inglesa, as bases de dados bibliográficas, os softwares de revisão sistemática, ou de análise estatística, também devem ser considerados. O papel do revisor principal é fundamental, pois ele tem a função de avaliar o grau de auxílio que vai demandar na condução da revisão sistemática. Quanto tempo vai ser necessário para cada etapa Qual será a dedicação dos membros da equipe E se vai ser necessário consultar, ou não, um bibliotecário ou um estatístico. Toda revisão sistemática tem custos. A necessidade de se prever, por exemplo, recursos para compras de material de consumo e de escritório, como papel, impressora. Tudo isso deve fazer parte da programação. 
Apesar dos avanços nos recursos digitais para acesso a artigos científicos, a leitura de estudos impressos pode facilitar muito o processo de extração de dados uma revisão sistemática, que é uma etapa tão sensível e importante. Outra questão que pode ser prevista é o emprego de recursos para tradução de estudos. Pois uma revisão sistemática, idealmente, não se restringe os idiomas dos estudos a serem incluídos. 
Outros recursos podem ser empregados na compra de softwares de revisão sistemática. Quando há grande complexidade nos métodos da revisão, nos dados, a serem incluídos, bem como na localização da equipe que pode estar diferentes cidades, estados ou países. 
A seleção, análise das concordâncias, a dupla extração, pode ser muito facilitada por software. Gerenciadores de referências também podem ser considerados, pois podem ser úteis na análise de duplicidade de estudos, por exemplo; bem como softwares de análises estatísticas.
Adequação dos métodos da revisão sistemática
Para subsidiar a elaboração de revisões sistemáticas dispomos de uma ampla diversidade de ferramentas que vão nortear os métodos a serem aplicados, assim como a redação científica do produto final da revisão. Se por um lado isso é uma grande vantagem aos pesquisadores que estão fazendo essa pesquisa, por outro lado pode estimular uma aplicação acrítica desses métodos. Por exemplo, uma revisão sistemática de frequência, que planeja verificar qual a prevalência de uma doença, não teria princípio que fazer buscas em bases de dados que registram protocolos de ensaios clínicos randomizados. Porém é possível ser encontrado esse tipo de revisão, aumentando assim o trabalho da equipe elaboradora sem representar ganho metodológico significativo. Também encontramos a aplicação de ferramentas para propósitos diferentes, como por exemplo, usar o guia de redação PRISMA, que é o guia que vai orientar como devemos escrever a revisão, ou seja, fazer o relato do artigo final dessa revisão, utilizar esse guia de redação como guia para orientar os métodos a serem aplicados. 
Por mais que haja uma semelhança e que a aplicação do guia de redação de fato tem-se mostrado aumentar a qualidade de uma revisão, ele não serve para orientar como essa revisão deveria ter sido feita. Ao lermos esse tipo de revisão podemos ter uma falsa impressão de que se trata de um bom produto simplesmente porque os autores lançaram mão do jargão da área e utilizaram ali uma verdadeira sopa de letrinhas que até faz algum sentido para um estudo de revisão sistemática, porém não reflete a necessidade metodológica daquele problema. 
Além de ter consumido tempo das pessoas que elaboraram essa revisão, esse produto pode inspirar outros grupos a repetirem esse método de forma acrítica. Então quando você estiver lendo uma revisão, ou até mesmo planejando a elaboração de uma revisão sistemática, é importante que a utilização dessas ferramentas seja feita de forma crítica, que seja verificado se o método faz sentido para o problema de pesquisa dessa revisão sistemática, garantindo que o produto que vai ser elaborado e vai ser publicado de fato represente um utilidade na área e que acrescente conhecimento científico relevante para todos os que vão utilizá-lo. 
Protocolo de revisão sistemática
O protocolo de uma revisão sistemática é muito semelhante a um projeto de pesquisa que busca coletar dados primários. Itens como justificativa, hipóteses, metodologias devem estar nesse protocolo. É muito importante que os pesquisadores tenham em mente que ao elaborar um protocolo, ele deve ser o guia da condução da revisão sistemática. Nesse sentido, o registro do protocolo pode ser muito interessante, porque ele pode garantir a confiabilidade nos resultados da revisão, bem como, a reprodutibilidade, além disso, ao publicar protocolo de uma revisão sistemática, você informa aos seus pares que essa revisão está sendo conduzida e evita duplicação de esforços na condução de uma revisão sistemática com o mesmo tema. O protocolo deve ser elaborado de acordo com as regras das instituições onde se pretende publicá-lo, como a Cochrane, a Campbell, a PROSPERO ou as próprias revisões científicas, que cada vez mais têm publicado protocolos de revisão sistemática. 
Há possibilidades, também, de publicação de sites, como a Open Science Framework‎. A Cochrane, por exemplo, tem uma sistemática própria de registros de revisão sistemática, primeiramente se inicia com título, se aprovado, se faz a submissão de protocolo de revisão. Se ele for seguido a risca, há uma garantia de publicação da revisão completa. 
Os autores de revisões sistemáticas devem estar atentos a não elaborar o protocolo e submeter para publicação quando a revisão já está avançada ou finalizada. É interessante que a publicação seja anterior a condução da revisão. Ao registrar protocolo de revisão sistemática, a equipe deve ter em mente que todas as condições para que ela seja conduzida devem estar asseguradas. Registrar protocolo sem condições de conduzir a revisão sistemática pode inspirar outro grupo de revisores a conduzir essa revisão.
É necessário avaliar e planejar antes de começar uma pesquisa científica
Quando decidimos iniciar uma pesquisa científica estamos motivados por um dilema, uma dúvida, algo que ainda não se sabe e o método que se pretende executar potencialmente elucidará o cenário. 
Com a revisão sistemática não é diferente. Essa pesquisa envolve tempo e recursos geralmente escassos. Refletir sobre a necessidade e relevância da pesquisa é importante.
Protocolo da revisão sistemática
O protocolo de uma revisão sistemática é muito semelhante a um projeto de pesquisa original: por trás dos objetivos, há uma pergunta, uma dúvida. E, para respondê-lo, há um método detalhado e factível para ser executado. Colocar as ideias no papel ajuda o melhor planejamento da pesquisa.
Elaborar um protocolo é essencial, pois há previsão dos passos a serem seguidos. Para aumentar a transparência e a reprodutibilidade da pesquisa, assim como evitar duplicações de esforços sobre um mesmo tema, o protocolo deve ser registrado. 
Registro do protocolo
É importante registrar o protocolo da revisão quando ele está maduro suficiente e há todas as condições para realizar a revisão sistemática. Idealmente, devem ser realizados pilotos da busca, seleção e testes da extração com algum dos estudos potencialmente elegíveis para melhor planejar e descrever as etapas que serão realizadas.
Registrar o protocolo sem ter as condições para executá-lo, além de desperdício de tempo no processo, pode até mesmo favorecer a execução de uma boa ideia por grupos que estão melhor estabelecidos.
A equipe de revisores deve ter experiência no tema e tempo para executá-la de acordo com todos os critérios que garantam sua qualidade. Mesmo com a disponibilidadede vários guias metodológicos como o manual da Cochrane¹ e do Centro de Revisões da Universidade de York², e o guia de redação de protocolos de revisão sistemática PRISMA-P³, para elaborar o protocolo da revisão sistemática é necessário conhecimento da equipe ou de pelo menos um dos membros, como veremos a seguir neste texto.
Repositórios para registro do protocolo 
O protocolo pode ser registrado em periódicos científicos que aceitam esse tipo de publicação. Geralmente são revistas com política Open Access, para as quais os autores pagam taxa de publicação após aceite do artigo e esse fica disponível gratuitamente aos leitores.
É mais comum se registrar o protocolo em um repositório de protocolos de pesquisa. Os principais estão listados a seguir:
	Repositório
	Instituição
	Característica
	PROSPERO (International Prospective Register of Systematic Reviews)
	Centre for Reviews and Dissemination (CRD), Universidade de York
	Prioritário para revisões do Reino Unido
	Open Science Framework
	Centre for Open Science
	Repositório aberto para projetos de todas as áreas
	Campbell Systematic Reviews
	Campbell Colaboration
	Revisões elaboradas pela colaboração
	Cochrane Library
	Cochrane
	Revisões elaboradas pela colaboração
Há disponibilidade dos recursos para a pesquisa?
Da mesma forma que em uma pesquisa laboratorial ou realizada em seres humanos, antes de empreender um protocolo de revisão sistemática é necessário viabilizar os recursos para o bom andamento da pesquisa. Seguem alguns pontos que devem ser refletidos:
· A equipe tem espaço para trabalhar?
As pessoas podem trabalhar em locais diversos, mas a disponibilidade de local para fisicamente a equipe desenvolver suas atividades, assim como fazer reuniões de acompanhamento, deve ser planejado.
A ergonomia também deve ser priorizada, pois os revisores usualmente trabalham muitas horas seguidas. Mesas, cadeiras, suportes ergonômicos devem ser viabilizados.
· Os recursos materiais estão disponíveis na quantidade e qualidade necessárias?
Computadores com acesso à internet, com processamento rápido e eficaz são itens básicos e devem estar à disposição em número suficiente para a equipe. Impressoras e seus insumos também devem ser viabilizados.
· Os recursos informacionais estão disponíveis?
Assinatura de softwares de referência, de gestão da revisão, pacotes de armazenamento em nuvem para permitir trabalhar com segurança nos arquivos e agilidade nos processos. Frequentemente os projetos envolvem membros de equipes que estão em diferentes localidades. Dispor de armazenamento seguro e acessível a todos é essencial.
· Os recursos humanos reúnem as expertises básicas?
Habilidades com a tecnologia devem ser de domínio por todos os membros. A organização dos arquivos e processos pode sofrer prejuízos pelo manejo inadequado.
A equipe deve dispor de conhecimentos básicos de epidemiologia e estatística, além daqueles específicos de revisão sistemática. Pelo menos um ou mais membros ou um consultor facilmente acessível deve saber do tema específico da revisão para definição das dúvidas clínicas e metodológicas
O capital humano é a parte mais importante da revisão. Todos os membros devem saber lidar com adversidades, ter habilidades de comunicação e relacionamento interpessoal.
A execução da pesquisa de revisão sistemática dura entre 18 e 24 meses ou até mais tempo. Um tempo razoável de trabalho em que situações insatisfatórias podem se agravar e comprometer o trabalho como um todo.
 
Escolher bem a equipe e providenciar os recursos adequados é estratégico para colher bons momentos e experiências agradáveis nesse processo!
Referências
1. Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.0 (updated July 2019). Cochrane, 2019. Available from www.training.cochrane.org/handbook 
2. Centre for Reviews and Disseminartion. Systematic reviews: CRD's guidance for undertaking reviews in health care. York (UK): University of York; 2009. Available from: http://www.york.ac.uk/inst/crd/SysRev/!SSL!/WebHelp/SysRev3.htm.
3. Moher D, Shamseer L, Clarke M, Ghersi D, Liberati A, Petticrew M, Shekelle P, Stewart LA; PRISMA-P Group. Preferred reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015 statement. Syst Rev. 2015;4:1. doi: 10.1186/2046-4053-4-1.
BUSCA NA LITERATUTA
Termos de busca
As estratégias de busca devem traduzir e concretizar a pergunta de pesquisa elaborada a partir da estratégia PICOT. Nesse sentido, reuniões entre os pesquisadores, discussões sobre quais termos devem compor essa estratégia de busca devem ser realizados. 
Esse processo não é engessado, deve-se ler muitos artigos que cumprem os critérios de inclusão, elaborar estratégia, testá-la, avaliar se ela é específica e sensível o suficiente. 
Nesse processo, é importante ter parcimônia na escolha dos termos, muitos termos, uma estratégia muito longa, muito grande não garante que essa estratégia vai ser boa o suficiente. Definidas as bases de dados, é muito importante conhecer com profundidade o escopo, a sintaxe, bem como, como os operadores boleanos são utilizados. Então, é recomendável que membros da equipe participem de treinamentos sobre as bases de dados escolhidas. Algumas bibliotecas de universidades disponibilizam, sistematicamente, treinamentos nesse sentido. Muitas dessas bases, como a Medline, a EMBASE e a LILACS podem ser pesquisadas utilizando-se termos padronizados relacionados a cada assunto, que podem fazer parte de um vocabulário controlado, que são conjunto de palavras-chave utilizadas para indexar os estudos.
Estratégia de busca
Como as características de indexação mudam de base para base, é necessário reservar um tempo para a elaboração de uma estratégia que seja específica, customizada, para cada uma das bases elencadas. Não é possível, por exemplo, utilizar a mesma estratégia do MEDLINE no EMBASE. O recurso de copiar e colar a estratégia não vai dar certo; é necessário adaptá-las, considerando a sintaxe, os operadores booleanos e o vocabulário controlado de cada uma delas. Nesse processo, é muito importante se testar a estratégia de busca em cada uma delas; e fazer uma planilha com todas as testadas e os resultados obtidos, para que eles sejam comparados. Utilizar artigos sentinela é muito importante, porque com eles, é possível verificar se aquela estratégia é sensível o suficiente para se identificar os estudos potencialmente elegíveis. Adaptar estratégia é muito interessante, reajustar. Então, a consulta bibliotecário pode ajudar muito a definir e ajustar a estratégia. É importante ter mente que para uma revisão sistemática, a busca realizada apenas pelos termos indexadores pode não ser suficiente. É importante combinar outras possibilidades, como o uso de palavras de textos. 
Com isso, aumenta-se muito a precisão na identificação dos estudos que são realmente elegíveis. As estratégias de buscas são elementos cruciais no desenvolvimento de uma revisão sistemática. Tanto que foi desenvolvido guia - o PRESS que é basicamente processo de revisão, por pares, da estratégia de busca. 
No PRESS, há formulário proposto a ser preenchido por quem solicita a revisão da estratégia, bem como Checklist a ser utilizado na avaliação por pares; e ela pode ser submetida a fórum. No Checklist, é possível analisar se os elementos da estratégia de busca estão corretos. Como, por exemplo, a tradução dos termos de pesquisa; se o uso dos operadores booleanos está preciso, bem como os dos descritores de assunto, dos termos livres, como as palavras chaves, se há erros de digitação; e se o uso de limites, e filtros está correto; bem como a qualidade da adaptação das estratégias de busca. 
Literatura cinzenta
A expressão "literatura cinzenta" já foi consagrada no final dos anos 1970, remetendo-se àquelas publicações não comerciais, ou não convencionais. Por não ter método sistemático de distribuição, são publicações mais difíceis de serem identificadas e recuperadas dosmétodos convencionais de busca que adotamos, como, por exemplo, bases indexadas como o MEDLINE. Primeiramente, é importante destacar que a literatura cinzenta não é remetida a tipo único de estudo, a perfil único. A literatura cinzenta, também, tem seus vários tons de cinza. Isso é remetido à sua dificuldade de recuperar o tipo de estudo, que pode ser mais difícil, como, por exemplo, relatórios internos, atas de reuniões, documentos de trabalho à documentos de uma forma mais fácil de ser recuperada, como por exemplo, relatórios de governo, normas, estatísticas periodicamente publicadas. Esse nível de quão cinza é uma literatura, também, está associado a quão estável é aquele documento. Entretanto, jamais, associe esse caráter de literatura cinzenta com o baixo valor dessas publicações. De fato, se considerarmos situações como a síntese de evidências para intervenções políticas públicas, se considerarmos, apenas, aquelas publicações de bases indexadas, estaremos lidando com a famosa situação da ponta do iceberg, onde a grande parte das publicações não foi considerada seu estudo de revisão. Até mesmo sínteses clássicas, como, o levantamento de evidências de ensaios clínicos randomizados, se você não considerar registros de ensaios clínicos não publicados, resumos de congressos, e outras fontes dessa evidência, sua revisão pode estar bastante limitada. Ao identificarmos possíveis fontes de literatura cinzenta, podemos fazer uso de compêndios, roteiros, que já trazem algumas dessas bases. Na área da saúde, por exemplo, existe o documento Grey Matters, produzido pela agência de avaliação de tecnologias saúde canadense. Contudo, não se atenha, apenas, a esses compêndios, procure estudos prévios, converse com especialistas das áreas. Tente identificar as fontes primordiais, que deveriam constar na sua revisão sistemática. Construa seu próprio roteiro, adaptado ao seu contexto.
Entrevista com Maria Eduarda Puga - dicas de busca
E= Então,qual é o maior desafio que você encontra quando recebe uma demanda, um pedido de ajuda para elaborar uma estratégia de busca?
M= Eu acho que quando o aluno chega para fazer a sua pesquisa, a sua busca, hoje a gente tem a seguinte dificuldade que eu tenho percebido muito, com alunos de graduação, pós-graduação e a gente tem até feito trabalho aqui na universidade sobre mudar a questão das boas práticas de pesquisa desse aluno.O que é? Hoje a gente tem uma geração que é uma geração Google, que busca tudo no Google, não que o Google seja uma ferramenta ruim, não, ela é ótima, porém, ela não é a ferramenta adequada para você iniciar a sua pesquisa científica e o que ocorre é que a pessoa nem mal formou sua pergunta ela não fez uma busca nas bases de dados, de forma geral, para que ela tenha uma visão global daquilo que, de fato, existe sobre aquele assunto. Vou dar exemplo para ficar bem claro, eu atendi aluno que ele queria fazer a pesquisa dele, quando ele chegou à biblioteca ele disse "eu quero fazer uma revisão sistemática sobre a atuação da fisioterapia para lesões do manguito rotador" e eu disse "você já levantou sobre esse assunto? você já leu alguma coisa?", " eu li alguns artigos, mas eu não fiz nenhuma busca", nenhuma busca científica, nas bases de dados oficialmente científicas, ainda que seja uma busca simples. Na hora eu já procurei fazer uma busca com ele e nós identificamos 189 revisões sistemáticas sobre o assunto, então isso significa que ele não precisaria fazer, novamente, uma revisão sistemática, mas sim construir, então, a partir daí overview dessas revisões, daquilo que funciona fisioterapia para manguito rotador. Então, assim, as pessoas têm a ideia, elas têm pouco da pergunta e elas chegam lá na biblioteca sem ter lido nada, sem ter buscado nada, porque esta prática, esta habilidade de buscar nas bases de dados científicas se perderam nos últimos anos pela facilidade do Google, então, o aluno ele vai lá, ele conversa com o professor, com o orientador e ele mesmo busca no Google e ele acha que ele já teve, então, uma visão global daquilo que ele precisa e isso tem atrapalhado, e muito, a qualidade das pesquisas, porque muitas vezes ele não é orientado a fazer busca nas bases de dados científicas oficiais.
E= Uma coisa que a gente repete aqui no nosso curso é que se a gente quer revisar literatura, precisa existir literatura, né? E você precisa ser íntimo dessa literatura, então acho que vale a pena você, enquanto bibliotecária, também trazer isso, que não adianta você chegar para a bibliotecária e pedir que ela faça uma busca e você ainda não se apropriou daquele assunto e aí eu acho que tem a ver com essa minha segunda pergunta que é sobre o que você sente de deficiências na elaboração da pergunta ou amadurecimento do projeto quando recebe uma demanda
M= Sim, como eu citei anteriormente, o start da pesquisa, que ela seja científica, de forma a ele se apropriar de alguns artigos básicos e ter até cenário, faz com que ele formule uma melhor pergunta. Quando eu tenho uma pergunta mal formulada, a pergunta é que vai gerar estratégia, então se eu já errei na pergunta, se eu não formulei ela adequadamente, a minha estratégia já está errada, então se eu errei a pergunta e eu errei a estratégia, ou seja, eu errei tudo e muitas vezes esse tudo ele está lá qualificando o trabalho e ele tem que voltar para refazer todas as suas buscas para poder constar lá, então, no seu estudo. Às vezes, né Tais? Estudos importantíssimos centrais e chaves, que deveriam estar na revisão sistemática, escapou porque ele não formulou adequadamente a sua pergunta e aí não formulou adequadamente sua estratégia. 
E= E qual é a sua opinião sobre isso? Mais uma pergunta, até provocadora, Duda. Dá para a gente ter uma busca sistemática uma revisão que não é sistemática? 
M= É, importante saber que a busca não é sistemática, aí é que há as contradições e os termos que as pessoas utilizam de forma errônea, a busca que a gente realiza para a revisão sistemática, ela se chama de alta sensibilidade, então a revisão é sistemática, mas a busca é de alta sensibilidade, isso é diferente e aí o que é que a pessoa acha? Que ela realizou só a busca de alta sensibilidade, já é ser sistemático, porque a busca não é sistemática, a busca ela é abrangente, porque ela não tem limite de tempo nem de língua, ela tem quatro bases mínimas obrigatórias e ela tem alta sensibilidade em todas as linhas da pergunta. Então, aí é que está a confusão, então a pessoa acha, porque ela revisou uma estratégia de alta sensibilidade, ela já está sistemática e aí ela subentende que ela não precisa fazer as outras etapas na realização da revisão sistemática. Eu peguei muitos trabalhos, aqui, dessa forma. 
Então, a pessoa diz que ela fez uma revisão sistemática, não, ela fez uma busca de alta sensibilidade, mas ela não fez o restante. E aí ela acha que aquela sensibilidade e as 
estratégias serem abrangentes já é ser sistemático. Isso é erro grave e ver professores reproduzindo isso. Inclusive, eu já vi pessoas dando aula de revisão sistemática falando sobre isso. Então, assim, isso está muito errado, é importante que a gente tenha esse esclarecimento
E= É, eu acho que é uma outra coisa que a gente também pondera, é que assim também a gente tem, com a pesquisa de revisão sistemática, a gente querendo ou não tem uma pesquisa de menor custo, enfim, e a gente tem muita coisa escrita, tem muitos roteiros, muitos guidelines, muitas ferramentas que ajudam a gente, o autoaprendizado, mas por outro lado isso pode gerar várias deturpações da pessoa não ter o treinamento adequado, fazer uma interpretação errada daquele método e sair aplicando e isso na busca a gente também observa. Qual seria uma boa forma de testar uma estratégia de busca? Verificar se ela é sensível, se ela é específica, quais são as suas recomendações? 
M= Na verdade, primeiramente, se ele fez aquela busca prévia, como eu disse, lá no início, quando ele tá formando a pergunta, naquele momento, ainda que na busca avançada ou na busca simples, ele identificoualguns textos que eles são extremamente importantes, significativos para aquela pergunta e ele abriu para ver como aqueles termos são indexados e compôs isso na estrutura da sua pergunta para o desenvolvimento da estratégia, quando ele roda a estratégia de alta sensibilidade, ele já verifica a identificação desses artigos. Porque muitas vezes eu tenho o artigo mão, ele é importantíssimo, mas quando eu faço a alta sensibilidade, ele não consegue ser identificado. Entendeu? >> Sim. >> Por quê? Porque, na verdade, ele usou termo de busca anteriormente e ele não fez essa abrangência do assunto quando ele transcreveu para o pico, problema, intervenção, controle, desfecho, na estratégia de alta sensibilidade e isso é uma falha, é a primeira coisa que eu identifico. 
E= Eu chamo, Duda, desculpa te interromper, eu chamo de artigo sentinela, a gente saber que aquele artigo ele tem que vir na minha busca, então, se ele não tá vindo, para, volta. 
M= E isso tem a ver com o vocabulário. Aquele artigo é indexado com vocabulário controlado, específico, e ele precisa ser identificado. E esse 'checklist', com a sua estratégia de alta sensibilidade, com todas as linhas, ele precisa estar contemplado a aquele assunto lá dentro; senão ele nunca vai pegar mesmo. Por quê? Porque muitas vezes, né Taís?! Eu acho que é uma falta de experiência mesmo, do próprio aluno, que, como eu disse, só faz busca no 'Google'. Então, ele não tem nenhuma relação com vocabulário controlado. Ele ouve falar, mas ele tem muita dificuldade de identificar o vocabulário. Isso é muito comum. E aí, eu acho que sim, ele pode procurar bibliotecário para auxiliá-lo como ele identifica a terminologia correta para compor. E isso, ele compor, lá na pergunta dele, os termos corretos, contemplar aquilo que ele já verificou que está faltando. Agora tem erro muito constante nas estratégias. É que ele identifica o vocabulário oficial, ele leva para a estratégia, mas ele não leva como vocabulário oficial, porque ele deixa de levar, entre aspas, colchete. Ele só leva o termo escrito. E dentro da Cochrane, você levá-lo oficialmente mais os sinônimos. Isso é fator de checklist. Ele acha, copia inglês, mas ele não leva como termo oficial. Aí ele perde muitos artigos que estão indexados com aquele assunto. Esse é erro muito comum. 
E= E o que você acha da iniciativa 'PRESS', que é o "Peer Review of Electronic Search Strategies", para, justamente, revisar e melhorar a qualidade das estratégias de busca? 
M= A Cochrane já adota o Peer Review há mais de 8 anos. Então, coloco o Cochrane da Espanha, onde eu estive presente. Inclusive, o trabalho que eu apresentei lá, eu utilizei o PRESS. E, também, utilizei outro checklist da Cochrane que se chama MECIR, para a avaliação das estratégias de busca nas revisões sistemáticas que apareciam na base de dados da LILACS. Principalmente, nas revisões sistemáticas que existiam na BVS, que estavam identificadas como revisões, primeiro lugar e aí a gente só foi, exatamente, no checklist, até a estratégia. Mas todo mundo não levava a sério, essa questão do Peer Review Estratégico; e eu não sei no resto do mundo, assim. O que eu pude identificar é que no Brasil, as pessoas não levam muito a sério a questão da estratégia. Eles querem fazer revisão sistemática, mas eles querem pular a etapa da estratégia. E quando eu dou a minha aula, eu digo que a estratégia não é algo que eu perco tempo, mas que eu ganho tempo, porque eu visto o tempo suficiente para que eu tenha certeza de que eu fiz a cobertura total. >>Exatamente >> Agora, recentemente, no capítulo 4 do novo handbook da Cochrane, ele obriga, já não é mais convite. Há oito, nove anos atrás a Cochrane convidou a utilizar o Peer Review. Agora é obrigatório, então, além do 'Information specialist', você tem a obrigatoriedade de ter Peer Review das estratégias envolvidas daquele Cochrane, ou daquele grupo.
E=  E que eu acho que é exatamente, acho que é algo que traz, a gente ganha nisso, mas é reconhecimento, principalmente, que a estratégia de busca, ela é uma etapa que envolve tentativa, erro, ciência, arte, a experiência da pessoa. Então, ter olhar externo de uma outra pessoa que também é experiente, eu acho que faz toda a diferença, para minimizar os erros.
M= Eu acho que, lógico, tem os fatores envolvidos da formação do aluno e ele. Bom, hoje a gente tem o problema 'Google', mas, anteriormente, as buscas eram ensinadas de uma forma até errônea. Então, até o momento que nem tem se utilizado de buscar base de dados. A gente chegou no ponto mais perigoso para a pesquisa, de não se utilizar das bases de dados. E, também, do desaconselhamento de uma estratégia que você prime por ela. A Cochrane, lógico, tem uma metodologia, acredito, a mais rígida do mundo relação a isso. Então, ela cobra essa postura enquanto que as outras metodologias não obrigam; não há a questão do Peer Review. Mas eu, na época do trabalho que eu publiquei usando o PRESS, no momento do congresso da Cochrane, eu sugeri que os editores brasileiros adotassem para que eles difundissem aquilo que eles recebem como artigo científico. Porque são coisas assim graves. Porque eu penso que se a pessoa errou a pergunta, né Taís?! >>Sim. >> E ela errou a busca, então ela errou tudo né? 
E= Nossa! Não dá para ter uma revisão sistemática se a gente não tem certeza que recuperou o mínimo que seria elegível. E aí, Duda, que sugestões que você daria para os nossos alunos, tanto os que são da área de biblioteconomia como os que não são, enfim, que são interessados aprender pouco mais sobre estratégia de busca, estratégia de busca com foco na revisão sistemática? Que dicas você daria para essas pessoas se aprofundarem pouco? 
M= A primeira dica é uma das habilidades que os alunos precisam desenvolver é conhecer como as ferramentas estão organizadas e como elas se comportam. Eu costumo falar isso na minha aula. É como se ele comprasse uma televisão, na hora que faz o gol, a televisão dá uma pirueta. Mas se ele não configurar a televisão para no momento do gol ela dar pirueta, ela não vai dar. Ela vai fazer a mesma função que uma televisão comum. Pensando estratégia, se ele desconhece o uso daquela ferramenta, adequadamente, como o vocábulo dela é construído, como eu posso extrair de lá os limites da ferramenta e etc... Como ele não tem essa habilidade, imagine a habilidade para fazer o desenvolvimento da estratégia de alta sensibilidade. Eu acho que o primeiro passo é voltar com ele a aprender a buscar a busca simples. O que é uma busca simples? É uma busca de Google. Então, toda ferramenta de busca tem a caixinha simples que eu digito uma palavra e ele vai trazer um universo. E aí se você pensar na área de saúde, vai vir universo mesmo. A ferramenta tem os recursos do vocabulário, todas têm vocabulário controlado. Então, o ideal é que ele aprenda a fazer busca avançada, porque ele vai se apropriar dessa habilidade, da identificação dos vocabulários e ele vai aprender, então, a buscar e construir a estratégia melhor. Porque hoje, Taís, ele quer fazer revisão sistemática, mas ele não sabe nem usar a ferramenta de forma simples.
E= Sim. E por mais que a gente tenha à disposição o bibliotecário que possa fazer e revisar. Mas eu acho que para uma pessoa que está fazendo a revisão sistemática, ele tem que ter uma certa autonomia e independência, porque, às vezes, ele detecta problema, ele precisa corrigir. E se o tempo inteiro, ele não tem essa autonomia, ele não desenvolveu essa expertise, a revisão fica comprometida. 
M= Fica. E como que você pode dizer que aquela pessoa é habilitada, tem habilidades suficientes para o desenvolvimento de uma revisão sistemática, se ela não consegue nem sair da primeira etapa- que é a formação da pergunta- para a segunda, que é a formação da estratégia. Eu, para mim, vejo isso como muito grave. 
Agora, aqui na universidade, a gente tem trabalho de uma bibliotecária que ela levantou o que a gente chama de competências informacionais. E a competência não é porque a pessoa é incompetente, elanão desenvolveu habilidades informacionais. E quando ela pegou esse instrumento que é internacional, utilizado pelas maiores universidades do mundo, ela aplicou nos alunos, mas ela aplicou nos docentes também. Quando o docente não tem habilidade, é difícil o aluno ter habilidade. Então, eu acho que a gente precisa fazer trabalho. Porque, veja Taís, a gente tem docentes que tem uma faixa etária mais elevada. Você é jovem. [RISOS] Então... Você é jovem, mas a gente tem docente com 70 anos, 75 anos, que ele buscava o índex médico papel. >> Sim. Outra realidade. >> Tem uma dificuldade enorme com as ferramentas de busca. E ele fica dependendo, inteiramente, do bibliotecário. E a maioria dos bibliotecários conseguem fazer uma busca simples, avançada, mas ele tem uma dificuldade de entendimento, não porque não saiba fazer. Ele não entende o porquê utilizar uma estratégia de alta sensibilidade. Até porque ele não é formado para isso, ele é formado exatamente para o contrário, para fazer buscas muito específicas. >> Específicas e pegar coisas bem pontuais. >>Exatamente. Então, quando ele entende o porquê da alta sensibilidade para que você tenha certeza de que você não perdeu, absolutamente, nenhum estudo; e que com essa completude de você ter buscado tudo, você diminuiu as incertezas na tomada de decisão de profissional de saúde. Ele passa a entender e a fazer também. Mas é a gente não tem a formação hoje, até porque. O bibliotecário, no Brasil, ele se forma bibliotecário e se especializa uma área. E foi o meu caso, então, eu já trabalhava na faculdade de medicina de Marília e quando eu me formei- há vinte anos atrás- eu vim para São Paulo, fiz a especialização, mestrado e doutorado saúde baseada evidências. No resto do mundo, você tem farmacêuticos, médicos, advogados, bibliotecários. Quem trabalha lá na National Library of Medicine, no Medline, são duzentos médicos bibliotecários que fazem a indexação dos artigos. Essa diferença de formação faz com que o bibliotecário no Brasil não consiga dar esse suporte que a gente gostaria que fosse dado de uma maneira geral. Com certeza, se ele entender a importância, eu acho que eu gosto muito que as pessoas entendam porque elas estão fazendo aquilo; não de forma automática. E ai ela, com certeza, ela vai se desenvolver sempre. >>É verdade. Bom Duda, muito obrigada. Parabéns pelo dia do bibliotecário. Por acaso, estamos gravando hoje no dia do bibliotecário, então, parabéns e muito obrigada por esclarecer tanto, enriquecer tanto com a sua experiência e a com a sua disposição, também, ajudar. Eu acho que isso é o mais legal da sua carreira e do seu exemplo na área. Ok. Obrigada, Taís, pelo convite. Fico à disposição para o que você quiser, até discutir. Lógico que, também, o seu vídeo vai estar propagado aí. E eu acho que é importante dizer que hoje o portal de periódicos capes assinou o EMBASE para todas as universidades de saúde. E nós passamos mais de 18 anos sem ter essa assinatura para as federais. As estaduais tinham essa assinatura, mas as federais não tinham. E hoje toda escola que tem saúde no Brasil, tem acesso a essa base obrigatória. É importante divulgar. Então, eu já convido os seus alunos a conhecerem o EMBASE.
Tudo na vida depende de estratégia!
Inclusive para localizar os estudos para uma revisão sistemática.
Depois de definida a pergunta e critérios de elegibilidade, é hora de localizar os termos e combiná-los em uma estratégia de busca. Essa etapa seria a tradução da pergunta na linguagem que cada base de dados bibliográfica entende. A construção da estratégia depende diretamente das bases escolhidas para realizar as buscas.
Consultar um/a bibliotecário/a nessa etapa é recomendado. Esses profissionais são especialistas na recuperação dessas informações e representarão ganho de qualidade nessa etapa. Mesmo contando com essa preciosa colaboração, os elaboradores da revisão precisam entender como elaborar a estratégia e desenvolver habilidades na área. Tendo isso em mente, a seguir debatemos os principais aspectos para se atentar.
Escolha das bases para a busca
O que você quer encontrar indica onde deve procurar.
Da mesma forma que em nossa rotina quando vamos às compras escolhemos as lojas com base na nossa demanda de produtos, a definição das bases de dados deve levar em conta o que já planejamos para a revisão sistemática: pergunta e critérios de elegibilidade. 
Vejamos na tabela abaixo as principais bases de dados bibliográficas e sua característica principal:
	Fonte
	Nome
	Área de Conhecimento
	MEDLINE (via PubMed)*
	Medical Literature Analysis and Retrieval System Online
	Ciências da Saúde
	Embase**
	Excerpta Medica Database
	Ciências da Saúde
	SciELO*
	Scientific Electronic Library Online
	Multidisciplinar, Brasil e países colaboradores
	LILACS* 
	Literatura Latino-Americana e do Caribe em Ciências da Saúde
	Ciências da Saúde, América Latina
	Scopus**
	-
	Multidisciplinar
	Web of Science**
	Institute for Scientific Information (ISI) Web of Knowledge
	Multidisciplinar
	CINAHL**
	Cumulative Index to Nursing and Allied Health Literature
	Enfermagem
	PEDro*
	Physiotherapy Evidence Database
	Fisioterapia
	ERIC*
	Education Resources Information Center
	Educação
* acesso aberto e gratuito, ** acesso gratuito por assinatura institucional via Periódicos Capes.
A maior parte dessas bases de dados depende de assinatura, que geralmente são viabilizadas por acesso institucional de universidades ou pelo portal Periódicos Capes. Como isso depende de contratos de grande porte, períodos de descontinuidade podem ocorrer. Isso deve ser considerado também na escolha da base: o acesso é garantido até a revisão ser concluída? É uma boa prática que a busca seja atualizada quando a revisão estiver para ser concluída e publicada. 
Cada uma dessas bases de dados possui um vocabulário controlado ou thesaurus que utiliza para indexar os artigos na base. Há também especificidades em limites (ex.: restringir ao termo, explodir), campos de busca (ex.: título, resumo), permutação do termo (ex.: truncar o sufixo, prefixo com uso de símbolos como * e $) e uso de operadores booleanos (AND, OR, NOT). 
A escolha de termos, limites e combinações afeta diretamente os resultados da estratégia em cada uma das bases escolhidas.
Elaboração da estratégia de busca
Considerando as especificidades de cada base, recomendamos iniciar a estratégia de busca por uma base de dados – geralmente a maior ou mais importante – e da forma mais simples possível. Geralmente, iniciamos com os termos mais importantes, como a população ou a intervenção isoladamente e progressivamente avaliamos o resultado de adicionar um termo ou uma combinação de sinônimos de outro componente da pergunta. 
Lembrando que a forma de combinar termos se dá pelos operadores booleanos, ilustrados abaixo:
Cada base de dados disponibiliza orientações sobre como fazer buscas e utilizar adequadamente os recursos permitidos em cada base. Tutoriais em vídeo também estão amplamente disponíveis. A despeito de atualizações na interface ou layout da base, a engenharia de busca via de regra não se modifica. Vale a pena conferir essas orientações e treinar o uso da base antes do seu uso.
Depois de testada, amadurecida e aprovada para a primeira base de dados, a busca pode ser progressivamente adaptada para outras bases, tomando os mesmos cuidados de observar as especificidades dessa nova base de dados. O guia Peer Review of Electronic Search Strategies (PRESS)¹ é uma ferramenta que deve ser considerada para desenvolver essa estratégia principal. 
Conhecer a literatura que se deseja revisar também é importante. Alguns artigos podem ser utilizados como “sentinela” da estratégia de busca em elaboração, verificando se esse estudo potencialmente elegível está sendo recuperado na busca.
Menos é mais
Apesar de encher os olhos, uma estratégia grande e cheia de combinações não significa qualidade da estratégia. Na verdade é mais fácil se perder ou negligenciar erros com uma estratégia complexa. 
Épreciso também alcançar equilíbrio entre sensibilidade e especificidade da estratégia, visando uma opção que represente um número razoável de estudos para a próxima etapa de seleção, recuperando estudos potencialmente elegíveis. Veja os termos que estamos usando: razoável, potencialmente... Isso implica em uma atividade que depende da experiência e julgamento do elaborador. Executar as atividades minunciosamente fará toda a diferença.
Outras fontes de busca
Além da busca eletrônica nas bases que indexam artigos científicos, a depender do tema da revisão sistemática, outras fontes devem ser consideradas. Essas fontes podem ser buscadas de forma eletrônica, seguindo procedimentos como o que discutimos acima ou por busca manual (handsearch), verificando a lista de publicações existentes em determinada fonte. Abaixo listamos algumas dessas principais fontes e características:
	Fonte
	Tipo de Busca
	Detalhamento
	Anais de congressos
	Manual ou eletrônica (se os anais forem indexados)
	Depende do tema da pesquisa e da relevância do evento para a revisão 
	Teses e dissertações
	Eletrônica em repositórios nacionais ou de cada universidade
	Importante em temas com baixo interesse comercial
	Registro de ensaios clínicos
	Eletrônica
	Estudos de intervenção precisam considerar essa fonte
	Relatórios governamentais
	Manual
	Importante em temas de interesse público 
	Lista de referências 
	Manual
	Necessário identificar revisões e outros estudos relevantes
	Especialista na área
	Manual
	Contato pessoal com experts no assunto para identificação de outros estudos potencialmente elegíveis
Há diversos recursos orientando a busca em outras fontes, incluindo literatura cinzenta, destacamos o manual da Agência Canadense de Avaliação de Tecnologias em Saúde².
Atualizar a busca
Nas fontes eletrônicas é possível configurar atualizações automáticas que podem ser enviadas por e-mail. A equipe elaboradora define então a logística para sistematicamente avaliar esses resultados após a conclusão da seleção principal. Podem ser estabelecidas algumas alternativas:
· (i) Triagem das atualizações automáticas por um dos revisores, (ii) julgamento de estudos potencialmente elegíveis pelos membros responsáveis pela seleção e (iii) ao final rodar novamente toda a busca e realizar a seleção pareada; 
· À medida que saem novos estudos, importar os resultados para a plataforma de seleção e periodicamente selecionar os estudos e já incorporá-los na revisão em andamento. 
Observem que a intersecção das atividades frequentemente ocorre na revisão sistemática. Organização e padronização são necessárias para que os processos sejam bem executados e não representem riscos ou confusões ao processo. Lembre-se: a revisão é sistemática!
Para saber um pouco mais sobre essa área que combina ciência e arte, recomendamos a leitura deste artigo sobre histórico e perspectivas das estratégias de busca³.
Referências 
1. McGowan J, Sampson M, Salzwedel DM, Cogo E, Foerster V, Lefebvre C.PRESS Peer Review of Electronic Search Strategies: 2015 Guideline Statement. doi: https://doi.org/10.1016/j.jclinepi.2016.01.021
2. Canadian Agency for Drugs and Technologies in Health. Grey Matters: A practical tool for searching health-related grey literature. CADTH [updated August 2018]. Disponível em: https://www.cadth.ca/resources/finding-evidence/grey-matters
3. Lefebvre C, Glanville J, Wieland LS, Coles B, Weightman AL. Methodological developments in searching for studies for systematic reviews: past, present and future? Syst Rev. 2013 Sep 25;2:78. doi: 10.1186/2046-4053-2-78. 
SELEÇÃO DOS ESTUDOS
Seleção dos Estudos
A seleção de estudos que irão compor uma revisão sistemática é uma etapa que está exposta a certa subjetividade dos avaliadores, por isso é muito importante que pelo menos dois avaliadores analisem os critérios de inclusão de cada um dos estudos identificados. Caso haja algumas discordâncias, essas podem ser discutidas em uma reunião de consenso ou um terceiro avaliador, mais experiente, é convidado para ajudar nessa decisão. Como a etapa de seleção dos estudos é composta por diversas subetapas, é muito importante que elas sejam, sistematicamente documentadas, isso vai garantir uma maior qualidade na revisão, uma maior confiabilidade nos resultados e também pode garantir a reprodutibilidade dos métodos. Há poucas discussões e estudos publicados na literatura que analisam a confiabilidade entre avaliadores no processo de seleção de estudos para compor uma revisão sistemática. A maior parte dos estudos descrevem, apenas, o grau de confiabilidade entre os avaliadores por meio de uma proporção. Há outras estatísticas que podem ser utilizadas, como a estatística kappa. Ela é interessante para se analisar qual etapa do processo de seleção houve maior discordância entre os avaliadores e, possivelmente, maior efeito dessa subjetividade, mas o que é, de fato, importante num processo de seleção é que os estudos que sejam incluídos na revisão sejam aqueles que, de fato, cumprem os critérios de elegibilidade. 
O processo de seleção de estudos que irão compor uma revisão sistemática deve estar detalhadamente descrito na seção de métodos. Após a aplicação das diferentes estratégias de busca nas bases de dados bibliográficas, são formados bancos específicos, que devem ser fundidos para a identificação de duplicidades. Nessa etapa, um gerenciador de referências pode ser muito útil, pois o mesmo artigo pode estar indexado várias bases de dados. Com isso, é formado banco composto pelos títulos e resumos de cada um dos artigos, então os avaliadores procedem a leitura e a identificação dos estudos que cumprem os critérios de elegibilidade. Nessa etapa, os avaliadores tendem a ser bem conservadores e só excluem aqueles estudos que, obviamente, não cumprem os critérios de elegibilidade. De posse desses artigos pré-selecionados se faz acesso e leitura aos textos completos, para se analisar se, de fato, cumprem os critérios de elegibilidade.
Obtenção do texto completo
Ao finalizar o processo de seleção de títulos e resumos, será necessário recorrer ao texto completo. Para isso, usualmente, trabalha-se com arquivos do tipo PDF. Esses artigos, no que se refere ao ambiente acadêmico, estão disponíveis de maneira livre, ou seja, o acesso é aberto, ou de maneira restrita. Ou seja, vai depender de você comprar aquele artigo ou depender de uma assinatura daquele periódico em questão. Algumas universidades disponibilizam assinaturas de grandes editores para facilitar o acesso ao texto completo, mas é relativamente comum ter que depender de recursos para conseguir essa informação. Então, faça o planejamento adequado de acordo com o contexto da sua revisão. Algumas plataformas é possível também já conseguir a busca e o texto completo ao mesmo tempo com a plataforma Ovid. Também é comum você usar programas de gerenciamento de referência para fazer a busca automática na internet, o que facilita bastante o processo. Haverá momentos, a depender da pergunta, que será mais difícil recuperar o texto completo. Pense nisso no seu cronograma. Por exemplo, se você tiver uma pergunta sobre algum tema que envolva artigos. Fora do seu idioma de domínio pode ser que dê mais trabalho e há alternativas também que não ferem direitos autorais, como, por exemplo ResearchGate, Unpaywall e você entrar contato com o grupo de pesquisa ou mandar e-mail aos pesquisadores.
A obtenção dos "sujeitos de pesquisa" da revisão!
Veja como essa etapa é importante! Podemos perder ou identificar participantes que deveriam fazer parte da revisão: os estudos que respondem a pergunta.
Preparando os resultados da busca para a seleção
Após concluir as buscas, os resultados são exportados em arquivos de acordo com a disponibilidade de cada base de dados, geralmente no formato eletrônico (XML -Extensible Markup Language), texto (txt - Text File, bloco de notas) ou formato de gerenciador de referência (RIS - Research Information Systems).
Idealmente, esses arquivos são importados em um software gerenciadorde revisão sistemática ou gerenciador de referência, que permitem alguma automatização de algumas atividades como identificação de duplicações e identificação de concordâncias e discordâncias na seleção. Alternativamente, podem ser usadas planilhas carregadas com os arquivos de busca no formato de texto.
Dispor tanto de softwares gerenciadores de referências quanto os de revisões sistemáticas auxiliam na condução e organização dos processos e também dos arquivos da revisão. Listamos abaixo os principais softwares de cada tipo.
Gerenciadores de referências bibliográficas
	Software
	Característica
	EndNote 
	Principais estilos de formatação e filtros de importação disponíveis
	EndNote Web*
	Opção web e gratuita do EndNote
	Mendeley*
	Disponível em versão web e desktop
	Zotero*
	Integrado com navegadores de internet
*gratuito
Independentemente do gerenciador de referência escolhido, o uso dessa ferramenta é importante durante toda a condução da revisão até sua publicação, garantindo acurácia das citações no manuscrito contendo os resultados da revisão sistemática. Toda a equipe deve estar familiarizada com essa ferramenta.
Gerenciadores de revisões sistemáticas
	Software
	Etapas que podem ser executadas no programa
	Covidence
	Triagem, seleção do texto completo, extração dos dados, avaliação crítica
	DistillerSR
	Triagem, seleção do texto completo, extração dos dados
	Rayyan* 
	Triagem
*gratuito
Além desses, há softwares para elaboração de revisões no âmbito de organizações como a Cochrane (RevMan 5 e RevMan Web) e o Instituto Joanna Briggs (SUMARI), mas que tem funcionalidade principal depois que a seleção dos estudos já foi concluída. O Covidence, por exemplo, é integrado com o RevMan para possibilitar essas etapas que não são previstas no software da Cochrane.
Na escolha dos softwares deve ser ponderada a conveniência do uso pela equipe e facilidade de uso. Funcionalidades são constantemente desenvolvidas e incorporadas nos gerenciadores de referência e de revisões sistemáticas. A compatibilidade dos arquivos para usar em diferentes sistemas após a conclusão de uma ou mais etapas também tem sido privilegiada nos pacotes.
Triagem (screening) dos estudos 
A primeira etapa da seleção é feita com base nos títulos e resumos. Cada estudo é avaliado por dois pesquisadores de forma independente, que julgam se o estudo atende aos critérios de elegibilidade previamente estabelecidos. Podem participar mais que duas pessoas nessa etapa, mas o importante é que cada estudo tenha ao menos dois votos frente à elegibilidade¹.
É importante que essa seleção ocorra de modo independente para que as impressões e opiniões dos revisores tenham menor influência de um julgamento prévio. 
Como há subjetividade, é de se esperar que ocorram discordâncias entre os avaliadores. Nesses casos, podem ocorrer reuniões para calibragem, discussão e consenso ou que um terceiro avaliador, mais experiente no tema, decida se o estudo deve ser incluído ou excluído.
Avaliação do texto completo
Os estudos aprovados na triagem – aqueles que tiveram dois avaliadores julgando como elegíveis – agora são avaliados em texto completo para confirmar a elegibilidade. Esse processo também ocorre de forma pareada e independente, com deliberação das discordâncias por método pré-definido (reunião de consenso ou outro avaliador)¹.
Se a triagem foi pouco específica, essa atividade resultará em muitos estudos para obter o arquivo de leitura, o que pode gerar trabalho excessivo ou desnecessário. Alguns grupos fazem calibragens com os responsáveis pela seleção para melhorar a performance nessas etapas.
Os motivos de exclusão dos estudos avaliados em texto completo devem ser registrados.
Obtenção do texto completo
O texto completo dos estudos geralmente é obtido no formato PDF (Portable Document Format), podendo ser empregadas formas automatizadas de obtenção do PDF com auxílio de softwares de referência com essa funcionalidade ou obter estudo por estudo e disponibilizar aos revisores para julgamento sobre a inclusão. 
Esta etapa pode representar custos relevantes para a revisão, além de consumir tempo da equipe. O planejamento adequado é essencial.
Vale a pena verificar os recursos disponibilizados na instituição para acesso a periódicos, além de obter aconselhamento com especialistas em informação como os bibliotecários e verificar tutoriais e orientações do software que se elegeu empregar. Vários gerenciadores de referência permitem localizar e anexar automaticamente os PDFs dos arquivos após uma varredura na rede que está conectado, além de ter integração com softwares de revisão sistemática. 
Alternativamente, os artigos podem ser obtidos em repositórios alimentados pelos autores das pesquisas como o ReseachGate, ferramentas que identificam textos abertos como Unpaywall, solicitação ao autor do artigo, ou pela iniciativa de acesso Sci-Hub, criado pela ativista Alexandra Elbakyan, que foi considerada uma das 10 personalidades científicas de 2016 pela revista Nature por esse feito.
Concordância da seleção
O mais importante na seleção é garantir que os estudos que cumprem os critérios de elegibilidade sejam realmente identificados e incluídos. A busca e a seleção pelos avaliadores devem ser bem feitas para garantir a inclusão dos estudos que de fato devem ser incluídos.
Confirmar se os avaliadores tiveram uma concordância adequada, medida por exemplo pela estatística Kappa, seria secundário ou pode ser enganador, uma vez que é possível que ambos concordem em um julgamento errado. Recomendamos a leitura deste artigo sobre concordância entre avaliadores de revisão sistemática² para maiores reflexões sobre o tema.
Registrar é preciso
Os artigos recuperados na busca, duplicações removidas, estudos selecionados, incluídos, excluídos e seus motivos devem ser apropriadamente registrados. Esse registro será um resultado que a revisão deve apresentar e, por esse motivo, toda acurácia deve ser garantida. O adequado registro e detalhamento dos procedimentos e resultados contribui para transparência e reprodutibilidade da revisão.
Referências
1. Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.0 (updated July 2019). Cochrane, 2019. Disponível em: www.training.cochrane.org/handbook
2. Belur J, Tompson L, Thornton A, Simon M. Interrater Reliability in Systematic Review Methodology: Exploring Variation in Coder Decision-Making. Sociological Methods & Research 2018, 1-29. doi: 10.1177/0049124118799372
DECISÃO SOBRE INICIAR UMA REVISÃO SISTEMÁTICA
Viabilidade da revisão sistemática
Pode haver uma percepção equivocada que revisões sistemáticas da literatura são algo muito fácil e rápido de se fazer. Quando o experimento dá errado, seja porque acabou o recurso financeiro, ou porque não teve o resultado esperado, alguns grupos pensam fazer revisão sistemática como uma segunda opção. O que na nossa percepção está equivocado. Porque revisões sistemáticas envolvem engajamento da equipe, recurso financeiro e bastante tempo disponível. Revisões sistemáticas que não têm essas premissas, podem soar como revisões redundantes, equivocadas e que não conseguem nortear processo de tomada de decisão. Revisão sistemática trata-se de processo rigoroso de busca, seleção, extração e síntese da evidência disponível. Boa parte desse processo, ocorre duplacidade, de uma maneira pareada, para evitar viés de seleção e de aferição. Assim, é inadequado fazer revisão sistemática sozinho. Você vai precisar de uma equipe engajada, que esteja disposta a ler entre 3000 a 4000 títulos e resumos e vai ter que ler também, entre 50 a 100 textos completos. Para isso, você vai precisar de tempo. Se você deseja fazer o seu experimento ou a sua revisão sistemática em menos de três meses, é muito difícil! Claro que vai depender do tópico. Média, uma revisão sistemática demora 18 meses para ser concluído. Pois bem, além de tempo você vai precisar de recurso. Estima-se, de acordocom os editais de agências de fomento, que uma revisão sistemática custe a partir de 10000 dólares. Além de uma equipe engajada, você vai precisar também de recursos e vai ter que responder a uma pergunta que seja factível de ser respondida. 
Revisões sistemáticas redundantes
A revisão sistemática já se consolidou com um método robusto para identificação e síntese das evidências que darão suporte às decisões sobre intervenções saúde e até mesmo políticas públicas. Como consequência disto, podemos observar o aumento expressivo da publicação e produção desse tipo de estudo nos últimos anos. Ao observarmos a indexação de estudo pelos termos "revisão sistemática" e "meta-análise" bases da literatura médica como a Medline, podemos observar esse aumento exponencial, nos últimos anos desse tipo de estudo. Contudo alguns autores têm se preocupado com algumas consequências negativas desse aumento expressivo da produção de revisões sistemáticas, chegando inclusive à constatação polêmica de que boa parte dessa produção massiva de revisões sistemáticas é redundante, pouco útil ou até enganosa e algumas vezes conflitante. Em relação à redundância, em algumas situações, como no caso dos antidepressivos, podemos observar a produção de mais de 200 revisões sistemáticas. Será que existe mesmo tanta incerteza ainda neste cenário? Ou será que a revisão sistemática já passou a ser utilizada como uma estratégia de marketing pelos fabricantes desses produtos? Em relação à utilidade ou até em relação à uma revisão sistemática, até mesmo enganosa, precisamos considerar sempre a plausibilidade biológica, a relação com a prática clínica daquela pergunta a ser respondida. Caso contrário, estaremos apenas levantando e fazendo a síntese de evidências de associações espúrias e enganosas. Por fim, relação às conclusões conflitantes os autores discutem que, no mesmo cenário dos antidepressivos, por exemplo, é possível observar rankings de probabilidade de melhores tratamentos onde mesmo tratamento está entre os melhores e está também entre os piores, dependendo da revisão sitemática adotada. Isto pode ser uma consequência da falta de consenso dos critérios de elegibilidade de inclusão dos estudos nas revisões sistemáticas. Como fugir então da armadilha dessa produção massiva de revisões sistemáticas? Procure por estudos que já consolidaram o que há de revisão sistemática disponível. Como por exemplo os estudos de overview de revisões sistemáticas, sobretudo quando esses estudos fazem uso da estratégia de mapeamento da lacuna de evidências, o evidence gap map. Com isso é possível observar onde há de fato alguma lacuna de incerteza. Procure nas bases de registros de protocolos de revisão sistemática, procure também nas bases específicas de publicação, de disponibilização das revisões sistemáticas. E mesmo quando há uma revisão sistemática disponível, ao pensar sobre a sua atualização, pondere se há realmente um potencial de modificação das conclusões das revisões sistemáticas disponíveis. 
Relevância da revisão
Além de todas as questões metodológicas e de recursos básicos, é necessário observar se a matéria-prima é suficiente para elaboração da revisão sistemática.
Há artigos científicos sobre o tema?
Para que uma revisão seja viável é necessário ter literatura elegível disponível.
Só podemos revisar o que já foi pesquisado e publicado sobre o assunto e, idealmente, que tenha semelhança na pergunta PICOT, minimamente com população, intervenção, comparador, desfecho e tipo de estudos comparáveis.
Há um dilema científico?
Ter alguma proximidade com a literatura a ser revisada, bem como confirmar que a dúvida na área existe e necessita de resposta apropriada, são pressupostos que se esperam para embasar a necessidade da revisão.
Essa proximidade permitirá identificar por exemplo se os estudos individuais têm resultados imprecisos ou divergentes entre si e melhor embasar a necessidade da pesquisa.
Qual a motivação para fazer a revisão?
Se a motivação da equipe de revisores se afasta de uma instigação acadêmica e científica que precisa ser respondida, há grandes chances dessa revisão ser redundante ou conflituosa. Na tabela abaixo, listamos alguns argumentos frágeis para iniciar uma revisão sistemática e que possivelmente resultarão em uma contribuição contestável ou falha dessa revisão sistemática.
	Âmbito Individual
	Âmbito Institucional
	Aumentar o número de publicações ou citações
	Promover uma técnica ou produto com interesse comercial 
	Obter prestígio na área 
	Disseminar incertezas sobre efeitos danosos de produtos ou técnicas
	Substituir um experimento que não deu certo 
	Fragilizar medidas regulatórias e de saúde pública
	Abandonar uma pesquisa com resultado não desejável 
	Inflacionar o número de publicações favoráveis
A equipe conhece o assunto e os métodos?
Todos nós já fizemos uma revisão na vida e desde muito cedo. Um trabalho de escola, por exemplo, é feito a partir de revisão do assunto. Para preparar uma revisão sistemática que se planeja posteriormente publicar é importante que a equipe domine as expertises mínimas do método dessa pesquisa e também conheça o assunto em análise.
Há muitos guias disponíveis, o que é uma grande vantagem para empreender a pesquisa. Ao mesmo tempo, essa disponibilidade pode encorajar projetos sem o devido capital intelectual. E isso pode resultar em projetos cujos resultados são enganadores ou conflitantes.
Há revisões sistemáticas sobre o tema?
Também é importante observar se já existe revisão sistemática sobre o tema que se planeja estudar. Se a resposta já está disponível e tem boa qualidade não seria necessário novo esforço.
Na disponibilidade de revisões sistemáticas prévias, deve-se ponderar se a nova revisão de fato trará contribuição relevante, seja pela disponibilidade de novos estudos com tamanho de amostra considerável ou pela aplicação de técnicas que permitirão novos achados e conclusões.
Precisamos de uma nova revisão?
Ter clareza sobre a motivação em se fazer uma revisão sistemática contribui para a avaliação sobre a necessidade dessa pesquisa.
Muitas vezes, há confusão na compreensão da vocação da revisão sistemática, que tem objetivo primeiro de sintetizar a evidência e não resolver problemas contextuais como a ausência de implantação de um procedimento efetivo, por exemplo.
Se a evidência já está disponível e a instituição ou sistema não incorporou a tecnologia, há necessidade de promover discussões com vistas a identificar os problemas na implementação ou mudança de cultura. Nesses casos, dificilmente uma nova revisão promoverá uma mudança da conjuntura, além de representar desperdício de tempo e recursos de pesquisa.