Prévia do material em texto
WHAT YOU SEE IS WHAT YOU GET? ENHANCING METHODOLOGICAL TRANSPARENCY IN MANAGEMENT RESEARCH Resumo Nós revisamos a literatura baseada em evidências de melhores práticas em como melhorar a transparência da metodologia, que é o grau de detalhe e divulgação sobre os específicos passos, decisões, e julgamentos feitos durante o estudo científico. Nós conceituamos falta de transparência como “um problema de performance de pesquisa” porque ela mascara atos fraudulentos, erros sérios, e questionáveis práticas de pesquisa, e portanto impede inferencias e reprodução de resultados. Nossa recomendação para os autores é prover um guia de como aumentar a transparência em cada etapa do processo de pesquisa: 1) teoria 2) design 3) medição 4) análise 5) relatório de resultados Nós também oferecemos recomendações para editores de jornais, revisores e editores de como motivar autores a serem mais transparentes. Nós agrupamos essas recomendações nas seguintes categorias: 1) formulário de submissão de manuscritos requisitando autores para certificarem que eles tomaram ações para realçar a transparência 2) formulário de avaliação de manuscritos incluindo itens adicionais para encorajar revisores a avaliar o grau de transparência 3) revisar o processo de melhoria para realçar a transparência Juntas, nossas recomendações proveem recursos para educação e treinamento de doutores; pesquisadores conduzindo estudos empíricos, editores de jornais e avaliadores de revisão de submissões; e jornais, editores, organizações profissionais interessadas em realçar a credibilidade e confiança da pesquisa. Texto .. . O campo de administração e muitos outros estão atualmente debatendo credibilidade, confiança e usabilidade do conhecimento escolar que é produzido. É preocupante que desde 2005 até 2015, 125 artigos retrataram desde revistas de negócio até de gestão, e de 2007-2007 para 2012-2015, o número de retrações foi incrementado pelo fator 10. Adicionalmente, 25 a 50 % das publicações de artigos de administração e outros campos têm inconsistências ou erros. No geral, existe a proliferação de evidências indicando razões substanciais para duvidar da veracidade, justificadamente, as conclusões e implicações dos trabalhos acadêmicos porque os pesquisadores muitas vezes não estão aptos a reproduzirem os resultados publicados. Independentemente se essa falta de reprodutibilidade for um fenômeno recente ou se já existe a um longo tempo mas só agora ganhou proeminência, isto parece que tem chegado a um ponto de inflexão que se tornou uma urgência entender esse fenômeno e encontrar soluções endereçadas a ele. Preocupações sobre a falta de reprodutibilidade não são uma inteira surpresa considerando a relativa falta de transparência metodológica sobre o processo de condução de pesquisas empíricas que eventualmente levam à publicação de artigos. Nós definimos transparência metodológica como o grau de detalhe e divulgação sobre específicos passos, decisões e julgamentos feitos durante um estudo científico. Baseado nessa definição nós conceituamos transparência como um continuum – uma questão de grau – e não uma variável dicotômica. Claramente, pesquisadores fazem inúmeras escolhas, julgamentos e decisões durante o processo de estudo de conceituação e design, bem como coletando dados, analisando eles e relatando os resultados. Quanto mais explícitos, abertos e minuciosos os pesquisadores forem sobre a divulgação de cada uma dessas escolhas, julgamentos e decisões, maior será o grau de transparência metodológica. Baixa transparência metodológica tem um impacto prejudicial na credibilidade e confiabilidade dos resultados da pesquisa porque impede a reprodutibilidade inferencial. Reprodutibilidade inferencial é a capacidade de outros de tirar conclusões similares às que foram alcançadas pelos autores originais sobre os resultados do estudo. Observe que isto é diferente de reprodutibilidade de resultados, que é a capacidade de outros obterem o mesmo resultado usando os mesmos dados do estudo original. De uma perspectiva de medidas, reprodutibilidade de resultados é conceitualmente análogo a confiabilidade porque é sobre consistência. Especificamente, outros pesquisadores do que aqueles autores do estudo terão conclusões similares sobre relações entre variáveis como as descritas no estudo original? Reprodutibilidade de resultados é necessário mas insuficiente precondição para reprodutibilidade inferencial. Em outras palavras, se nós não podemos obter o mesmo resultado como o publicado no estudo usando os mesmos dados, inferências serão claramente diferentes. Mas, é possível reproduzir resultados mas não inferências. Reprodutibilidade de inferências é um problema em termos de construir e testar teorias e credibilidade do conhecimento que é produzido, enquanto que reprodutibilidade de resultados é um meio para um fim. Por exemplo, presumir que um time de pesquisadores usam dados de arquivo e publicam um artigo reportando um teste de um modelo incluindo cinco variáveis com estatísticas satisfatórias. Então, um time separado de pesquisadores use os mesmos dados com as mesmas cinco variáveis e está apto a reproduzir os exatos mesmos resultados. Esta é uma situação com um alto grau de reprodutibilidade de resultados. Agora, suponha que sem o conhecimento do segundo time, o primeiro time de pesquisadores tenha testado 50 diferentes configurações das cinco variáveis e, no ultimo, eles encontraram e relataram a única configuração das cinco variáveis que dava o melhor resultado possível que se encaixava nas estatísticas. Obviamente, testando tantas configurações o resultado pode ser mais chance do acaso do que de fato das relações. Realçando a transparência através da divulgação das 50 diferentes configurações das variáveis que foram testadas até o conjunto final não afetará a reprodutibilidade de resultados, mas, com certeza, afetará a reprodutibilidade inferencial. Isto é, o segundo time de pesquisadores poderia encontrar inferências muito diferentes dos mesmos resultados por causa do bom ajuste do modelo que poderia ser atribuído para erros de amostragem do que a existência de relações entre variáveis. Muitos artigos publicados em jornais de administração representam situações similares ao exemplo descrito anteriormente: Nós simplesmente não sabemos se o que vemos é o que nós temos. Muitas coisas parecem certas: medidas são validas e tem uma boa qualidade psicométrica, hipóteses descritas na seção de introdução são suportadas pelos resultados, suposições estatísticas não são violadas (ou não mencionadas), o enredo é habitualmente arrumado e simples e tudo parece estar no lugar. Mas, sem o conhecimento dos leitores, muitos pesquisadores têm usado práticas de tentativa e erro (revisando, descartando e adicionando itens em escala), escolhas opacas (incluindo ou excluindo diferentes conjuntos de variáveis de controle) e outras decisões (removendo pontos fora da curva, retroativamente criando hipóteses depois que os dados foram analisados) que não são divulgados por completo. Pesquisadores em administração e outros campos têm considerável latitude em termos de escolhas, julgamento e decisões de tentativa e erro que eles tomam em cada passo do processo de pesquisa – desde a teoria, até o design, medidas, análise e relato de resultados. Consequentemente, outros pesquisadores não estão aptos a encontrar conclusões similares devido a informações insuficientes de o que aconteceu no que chamamos de pesquisa de cozinha. Como apenas um dos muitos exemplos de baixa transparência metodológica e seu impacto negativo na reprodutibilidade inferencial, considere práticas relacionadas a eliminação de pontos fora da curva – pontos que estão distantes do resto da distribuição. Uma revisão de 46 jornais e capítulos de livros de metodologia e 232 artigos substantivos de Aguinis, Gottfredson, e Joo documentaram a falta de transparência em como os pontos fora da curva são definidos, identificados e manipulados. Tais decisões afetam substantivamente as conclusõesa respeito da presença, ausência, direção e tamanho dos efeitos. Ainda, como Aguinis encontrou, muitos autores fizeram afirmações genéricas, como “pontos fora da curva foram eliminados do modelo”, sem oferecerem detalhes de como eles tomaram essa decisão. Esta falta de transparência dificulta para leitores científicos saudáveis e céticos avaliarem a credibilidade e confiabilidade das inferências extraídas das conclusões estudo. De novo, sem a adequada divulgação do processo que tomou lugar na “pesquisa de cozinha” é difícil, mas não impossível, avaliar a veracidade das conclusões descritas no artigo. Nós pausamos aqui para fazer um importante esclarecimento. Nossa discussão de transparência, ou falta dela, não significa que nós desejamos desencorajar pesquisas orientadas a tentativa e erro. Pelo contrário, abordagens epistemológicas diferente dos conhecidos modelos dedutivo-hipotéticos, que tem dominado a administração e campos relacionados desde a segunda guerra, são de fato úteis e até necessários. Por exemplo, abordagens indutivas e abdutivas podem conduzir a importantes teorias avanços e descobertas. Compartilhando nossa perspectiva, Hollenbeck e Wright definiram “tharking” (descongelar no dicionário) como “Apresentando de forma clara e transparente novas hipóteses que são derivadas de resultados post hoc na seção de discussões do artigo. A ênfase aqui está em como (transparência) e onde (na seção de discussões) essas ações tomaram espaço. Então, nós não estamos advogando uma rígida adesão a abordagem dedutiva-hipotética, em vez de epistemológica e pluralidade metodológica que tem alta transparência metodológica. A presente revisão O objetivo geral da nossa revisão é aumentar a credibilidade e confiança das pesquisas de administração provendo evidências baseadas em boas praticas de como realçar a transparência metodológica. Nossa recomendação proveem um recurso para educação e treinamento doutoral; pesquisadores conduzindo estudos empíricos, editores de jornais e revisores de avaliação de submissões, jornais, editores e organizações profissionais interessadas em realçar a credibilidade e confiabilidade de suas pesquisas. Apesar do nosso foco ser o impacto que realçar a transparência vai ter na reprodutibilidade inferencial, muitas das nossas recomendações vai também ajudar a melhorar a reprodutibilidade de resultados. Voltando para analogia da validação da confiabilidade, aumentando a validação vai, em muitos casos, também aumentar a confiabilidade. Um ponto de vista único da nossa revisão é que nós focamos em realçar a transparência metodológica ao invés de qualidade ou adequação das práticas metodológicas como já abordadas por outros. Nós focamos na falta relativa de transparência metodológica porque isso mascara atos fraudulentos, erros sérios e práticas questionáveis de pesquisa. Além disso, por causa da baixa transparência metodológica, muitos desses erros nunca serão identificados ou serão muitos anos após a publicação. Por exemplo, levou pelo menos 4 anos para retratar artigos publicados em Academy of Management Journal, Strategic Management Journal, and Organization Science pelo ex-desonrado professor Ulrich Lichtenthaler da Universidade de Manheim. Maior transparência metodológica ajudou substancialmente a descobrir antes e possível até impedido esses e muitos outros artigos de serem publicados desde primeiro lugar deixando claro que os dados usados fazem parte de um conjunto de dados maior., provendo informações a respeito de decisões para incluir certas variáveis, e sendo explícitos sobre níveis de investigação e análise. Embora realçar transparência é como ajudar a aumentar qualidade da pesquisa porque é mais provável que práticas abaixo do padrão sejam descobertas antes no processo de revisão do manuscrito, nossa recomendação não é sobre adequação de escolhas metodológicas, mas sobre fazer essas escolhas metodológicas explícitas. O restante do nosso artigo é estruturado como a seguir. Primeiro, nós oferecemos um framework teórico que vai nos ajudar a entender as razões para o relativo baixo grau metodológico de transparência e como resolver esse problema. Segundo, nós descrevemos os procedimentos envolvidos na nossa revisão da literatura. Terceiro, baseados nos resultados da revisão da literatura, nós oferecemos evidencias baseadas nas melhores práticas de recomendações para como os pesquisadores podem realçar a transparência metodológica a respeito de teoria, design, medidas, análises e relatório de resultados. Finalmente, nós oferecemos recomendações que podem ser usadas por editores, revisores, jornais para realçar transparência no processo de submissão e avaliação de manuscritos. Pegos juntos, nossa revisão, análise e nossas recomendações visam aprimorar a transparÊncia metodológica, que irá resultar em maior reprodutibilidade e aumentar a credibilidade e confiabilidade da pesquisa. Razões para baixa transparÊncia – A tempestade perfeita Porque tantos artigos publicados tem baixa transparência metodológica? Para responder a esta questão nós usamos um framework teórico de administração de recursos humanos e comportamento organizacional e conceituamos o baixo grau de transparencia como um problema de performance ou, mais especificamente, um problema de performance de pesquisa. Dentro desse framework, performance excelente de pesquisa é transparÊncia completa, e performance pobre é baixa transparência - resulando em baixa reprodutibilidade inferencial. No geral, decadas de pesquisa de administração de performance sugerem que a performance é determinada em grande parte por dois fatores : a) motivação b) conhecimento, habilidades. Em outras palavras, indivíduos precisam querer para performar bem e saber como performar bem. Recentes evidências meta-analíticas sugerem que habilidades e motivação tem efeitos igualmente fortes na performance. Por exemplo, quando consideramos performance no trabalho ( como oposto para treinamento de performance e performance de laboratório ) o intervalo médio de restrição e a medida de erro corrigida de correlação entre performance e habilidade é de .31, enquanto que motivação-performance é .33. Habilidade tem maior efeito na performance objetiva, mas os efeitos na performance subjetiva são similares. Também, particularmente relevante sobre nossa recomendação para resolver o problema de performance da pesquisa é que no geral meta-análise derivada de correlação corrigida entre habilidade e motivação é somente .07. Em outras palavras, habilidade e motivação correspondem a somente 1% de variancia comum. Alem disso, como descrito por Van Iddekinge, ao contrário do que parece ser comum de acreditar, os efeitos da habilidade e motivação na performance não são multiplicadores, mas sim aditivos. Isto significa que eles não interagem afetando performance e portanto, é necessário implementar intervenções que resolvem os dois KSA ( conhecimento e habilidade ) e motivação. Adequadamente, nós incluimos uma combinação de recomendações buscando dois independentes antecedentes de performance de pesquisa. Sobre motivação como um antecedente de performance, no presente, existe uma tremenda pressão para publicar um jornal A por causa da capacidade de avaliação de performance e recompensas, como promoção e decisões de posse, são em grande medida a consequência do número de artigos publicados nesses seletos poucos jornais. Porque os pesquisadores são recompensados pelo número de publicações, eles são motivados a ser menos transparentes quando transparência parecer afetar o objetivo de publicar nesses jornais. Como um exemplo, considere a seguinte questão: Poderiam os pesquisadores relatar completamente a fraqueza e limitações de seus estudos se isso comprometer a possibilidade de publicação? Em maioria dos casos, a reposta é não. Curiosamente, transparência não é relatada para o número de citações recebidas por artigos individuais ou avaliação de revisores sobre aspectos metodológicos de submissão de manuscritos. Especificamente, Bluhm mediu a transparênciausando dois codificadores que avaliaram se o artigo reportou informações suficientes em duas coleções de dados e análises para o estudo a ser replicado em uma extensão razoável e a análise estatística revelou relações entre transparência de análise e o número de citações recebidas pelos artigos insignificante. Adicionalmente, Green usou um método de constante comparativa para codificar as decisões de escrita de revisores e editores para construir categorias conceituais, temas gerais e dimensões abrangentes sobre métodos de pesquisa no processo de revisão por pares. Eles geraram 267 códigos a partir de 1.751 declarações em 304 cartas de decisões sobre 69 artigos. Green concluiu em seu artigo com a seguinte declaração: “ Concluindo, o presente estudo fornece em perspectiva autores com informações detalhadas sobre o que os que decidem o que será publicado dizem sobre métodos e análises no processo de revisão por pares”. Transparência não foi mencionada nenhuma vez no artigo todo. Esses resultados proveem evidências de que maior transparência não é necessariamente recompensada e muitos dos problemas descritos no nosso artigo podem estar embaixo da tela do radar no processo de revisão. Em resumo, o foco da publicação dos jornais A como arbitro das recompensas é composto de falta de obvios benefícios associados a transparência metodológica e a falta de consequências negativas para aqueles que não são transparentes, portanto além disso reduzindo a motivação para prover inteira e honesta divulgação de metodologia. Nosso artigo aborda motivação como um antecedente para performance de pesquisa provendo recomendações para editores, revisores e publicadores de como fazer transparência metodológica um requisito mais notável para publicações. Por exemplo, considere o possível requisito se os autores testaram pontos fora da curva, como os pontos fora da curva foram tratados, as implicações dessas decisões para os resultados do estudo. Este acionável e bastante fácil de implementar requisito de submissão de manuscritos pode mudar o resultado esperado dos autores de “apagar pontos fora da curva sem mencionar e isso vai fazer meus resultados parecerem melhores, o que provavelmente vai melhorar minhas chances de publicar” para “explicar como eu lido com pontos fora da curva é requerido se eu estou publicando meu trabalho – não fazer isso vai fazer com que meu trabalho seja rejeitado”. Em outras palavras, nossos artigos oferecem sugestões de como influenciar motivação como sendo transparente se tornou instrumental em termos de obter os resultados desejados, enquanto que um baixo grau de transparência vai afetar negativamente as chances de tal sucesso. Insuficiente KSA ( competencia e habilidade) é o segundo fator que resulta em baixa transparência – nosso “ problema de performance em pesquisa”. Por causa das restrições financeiras em negócios e outras escolas, muitos pesquisadores e estudantes de doutorado não estão recebendo treinamento metodológico de estado da ciência. Porque estudantes de doutorado recebem isenção de matrícula e bolsas,muitas escolas veem programas de doutorado como centros de custos quando comparados com graduação e programas de mestrados. As pressões financeiras enfrentadas por escolas frequentemente resulta em menos recursos sendo alocados para treinar estudantes de doutorado, particularmente em domínio de métodos. Por exemplo, um estudo de Aiken, envolvendo graduados treinados em estatística, design de pesquisa e medidas em 222 departamentos de psicologia ao redor da América do Norte concluíram que “o currículo em estatística e metodologia avançou pouco”, Similarmente, em 2013 estudos de benchmarking conduzido dentro dos EUA envolvendo 115 programas de psicologia industrial e organizacional descobriram que apesar de muitos deles oferecem curso de métodos básicos de pesquisa e nível inicial de estatística, um número médio de universidades oferecerem cursos em desenvolvimento de testes e medidas, meta-análise, modelo hierarquico linear, estatística não paramétrica e métodos qualitativo/misturado é zero. Essa situação não é restrita só às universidades nos EUA. Por exemplo, em muitas universidades do Reino Unido e Austrália, existe um treinamento metodológico mínimo além do que é oferecido pelo supervisor. De fato, estudantes de doutorado na Austrália estão esperando formarem em 3.5 anos no máximo. Combinada com a escassez de metodologia que os cursos oferecem, esta abreviada linha do tempo dificulta para os estudantes de doutorado, que são os pesquisadores do futuro, a desenvolver suficiente KSA. Falta de suficiente KSA metodológico dá aos autores um grau de liberdade ainda maior quando frente a escolhas de divulgação e julgamento por causa das consequências negativas associadas a certas escolhas que são simplesmente desconhecidas. A falta de treinamento metodológico suficiente e KSA é também um problema para editores, revisores e publicadores de organizações profissionais. Como documentado por Bedeian, o grande volume de submissões requer expandir os conselhos editoriais para incluir pesquisadores juniores, mesmo em jornais A. Infelizmente, esses pesquisadores juniores podem não receber um rigoroso e abrangente treinamento metodológico por causa das restrições financeiras nas escolas e departamentos. A falta de treinamento metodológico amplo e de última geração, o rápido desenvolvimento em metodologia de pesquisa, e o grande volume e variedade de tipos de submissão de manuscritos significa que até os que decidem o que será publicado podem ser considerados sem experiência e, por sua própria admissão, frequentemente não tem os requisitos de KSA para adequadamente e minuciosamente avaliarem todos os trabalhos que eles revisam. Para resolver esse problema de KSA, nossos revisores identificaram escolhas e julgamentos feitos por pesquisadores durante a teoria, design, medidas, análise e relato de resultados que poderiam ser descritos transparentemente. Ao destilar a larga, fragmentada, e frequentemente técnica literatura dentro das recomendações baseadas em melhores práticas, nosso artigo pode ser usado como valioso recurso de KSA e blueprint para aprimorar a transparência metodológica. Enquanto nós focamos em fatores a nível individual, como motivação e KSA, o contexto claramente tem um importante papel na criação de problemas de performance de pesquisa. Isto é, pesquisadores não trabalham no vácuo. De fato, muitos dos fatores que nós mencionamos como influenciadores da motivação ( pressão para publicar em jornais A) e KSA (poucas oportunidades para treinamento metodológico ) são de natureza contextual. Descrevendo a importância do contexto, Blumberg ofereceu um exemplo que pesquisadores estão enfrentando com o ambiente que difere em termos de recursos relatados na pesquisa, que por sua vez afeta a performance de suas pesquisas. Outro fator contextual relatado para a pressão de publicar em jornais A é aumentado pelo numero de submissões de manuscritos, causando uma crescente carga de trabalho para editores e revisores. Muitos jornais recebem mais de 1.000 submissões por ano, fazendo necessário para muitos editores produzir uma carta de decisão a cada três dias mais ou menos – 365 dias por ano. Mas, a performance de pesquisa de editores e revisores ainda depende de suas próprias publicações em jornais A. Então, aumentar a carga de trabalho associada ao grande número de submissões, junto com outras obrigações, sugere que nossos sistemas atuais colocam enormes e indiscutivelmente irreais pressões nos editores e revisores para examinar de perto manuscritos e identificar áreas em que os pesquisadores precisam ser mais transparentes. Em resumo, nós conceituamos baixa transparência como um problema de performance de pesquisa. Décadas de pesquisa em administração de performance sugerem que resolver problemas de performance no nível individual requer que nós tenhamos como foco dois antecedentes maiores: motivação e KSA. Nossas recomendações baseadas em evidencias de como aprimorar a transparênciapode ser usada por editoras para atualizar procedimentos e politicas de jornais e revisões, assim possivelmente influenciando a motivação dos autores a serem mais transparentes. Adicionalmente, editores e revisores podem usar nossas recomendações como um checklist para avaliar o grau de transparência nos manuscritos em suas revisões. Finalmente, nossa recomendação é uma fonte de informação que pode ser usada para melhorar o treinamento dos estudantes de doutorado e o KSA dos autores. Em seguida, nós oferecemos a descrição do processo de revisão da literatura que nós usamos como base para gerar essas recomendações baseadas em evidencias. Revisão da Literatura Overview do processo de seleção de jornais, artigos e recomendações Nós seguimos um sistemático e abrangente processo para identificar artigos provendo recomendações baseadas em evidências para aprimorar a transparência metodológica. A figura 1 inclui um overview geral de seis passos que nós implementamos no processo de identificar jornais, artigos e recomendações. A tabela 1 oferece informações detalhadas de cada um dos seis passos. Como descrito na tabela 1, nosso processo começou com 62 jornais e no final da lista que nós baseamos nossas recomendações incluiu 28 revistas e 96 artigos. Uma contribuição adicional do nosso artigo é que a descrição da nossa literatura sistemática que revisa procedimentos apresentados de forma geral na figura 1 e detalhados na tabela 1 pode ser usada por autores de artigos de revisão para aparecer nos anais da Academia de administração (AMA) e outras revistas. De fato, nossa descrição detalhada que segue é em parte motivada por nossa observação que muitas revisões publicadas na AMA e em outros lugares não são suficientemente explícitos sobre os critérios para inclusão nos estudos e portanto isso pode dificultar a reprodução do corpo do trabalho que é incluído em qualquer artigo de revisão particular. Figura 1 Overview do processo de reprodutibilidade sistemática para identificação de revistas, artigos e conteúdos para incluir em um estudo de revisão de literatura Passo 1 – Determine o objetivo e escopo da revisão : Exemplos das considerações de escopo incluem o período coberto pela revisão, tipos de estudo ( qualitativo e quantitativo), campo ( administração, sociologia, psicologia) Passo 2 – Determine o procedimento para selecionar as revistas consideradas para inclusão : Exemplos de procedimentos para revistas ( ou em casos livros ) seleção inclui identificar a base de dados, listar o ranking das revistas, Google Scholar, buscas online Passo 3 – Calibrar a fonte, selecionar o processo através do inter-codificador, acordos Passo 4 – Selecionar fontes usando o processo de identificação no passo 3 Passo 5 – Calibrar o conteúdo, processo de extração através do inter-codificador, acordos : especificar o papel de cada codificador envolvido na identificação de conteúdo relevante e passos para resolver desacordos. Passo 6 – Extrair conteúdo relevante usando múltiplos codificadores : observe qualquer desacordo que surgir durante este processo Tabela 1 – Descrição detalhada dos passos usadas na revisão da literatura para identificar recomendações baseadas em evidencias de melhores práticas para aprimorar a transparência Procedimento 1. Objetivo e escopo da revisão Prover recomendações de como aprimorar a transparência usando publicações, revisões baseadas em evidências abrangendo uma grande variedade de práticas epistemológicas e metodológicas. Nós somente focamos em revisões de literatura provendo recomendações baseadas em evidências sobre transparência no formato de trabalho analítico, dados empíricos, ou ambos. Devido ao rápido desenvolvimento de métodos, nós somente consideramos artigos publicados entre Janeiro de 2000 e Agosto de 2016 Para capturar a amplitude de interesse dos menbros da Academy of Management ( AOM ) nós consideramos revistas dos campos de administração, negócios, psicologia e sociologia. 2. Seleção de revistas consideradas para inclusão Usar uma combinação de base de dados e listas de ranking de revistas para minimizar um viés centrado nos EUA e identificar canais que cubram uma ampla gama de tópicos de interesse dos membros a AOM, cobrindo ambas revistas substantivas e metodológicas(técnicas). Identificar 62 revistas potenciais para inclusão Web of Science Journal Citation Reports (JCR) Database Chartered Association of Business Schools (ABS) Journal Ranking List Financial Times 50 (FT50) 3. Calibrar a fonte, seleção de processos através de acordo de intercodificadores ( 3 rodadas de calibração) Identificar 81 artigos de 6 revistas Adotar o processo manual de busca para identificar artigos para incrementar a compreensão da nossa revisão em caso de artigos relevantes que não contém as palavras chave. Em cada rodada de calibração, os codificadores (1 – NA, 2 – RSR, 3 – PKC) codificaram independentemente artigos em incrementos de 5 anos para 6 das 62 revistas. Os artigos foram codificados em dentro/fora/talvez baseado em se eles tem algum dos critérios do passo 1. Os codificadores se encontraram depois de duas rodadas para discutir as razões da codificação dos artigos que tinham classificado como talvez: Depois de duas rodadas eles concordaram com 67% de suas classificações Herman Aguinis (HA) revisou resultados depois da segunda rodada e limitou diferentes percepções de critérios de inclusão. Codificadores recodificaram os artigos selecionados das primeiras duas rodadas baseados nos feedbacks de HA. Codificadores começaram a terceira rodada de calibração e seguiram o procedimento desenhado sobre a classificação dos artigos e discussões. Depois de três rodadas, codificadores concordaram com 90% das suas classificações. HA revisou os resultados depois da terceira rodada e deu mais feedbacks. 4. Escolher fontes (artigos) usando o processo de identificação do passo 3 Identificados 84 artigos e 33 revistas adicionais Codificadores revisaram diferentes períodos de tempo do mesmo jornal para reduzir as chances de confundir a revistas Excluídas 23 revistas da lista original de revistas consideradas porque nós não encontramos nenhum artigo que encaixasse nos critérios de inclusão Seleção inicial de 165 artigos de 39 revistas para serem considerados 5. Calibração do conteúdo extraído através do processo de acordo de intercodificação Todos os autores leram os mesmos 5 artigos (fora os 165 identificados nos passos 3 e 4) e fizeram recomendações a cerca da transparência metodológica. Autores se encontraram para comparar as notas dos artigos selecionados para confirmar as recomendações baseadas em evidencias que eles descobriram para aumentar a transparência O processo repetiu com outros 5 artigos para certificar um acordo de intercodificação 6. Extrair conteúdo relevante usando múltiplos codificadores Cada codificador leu o texto todo dos 155 artigos restantes e fez notas baseadas em boas práticas baseadas em evidências, ambos em termos de como fazer pesquisas mais transparentes e a justificativa dessas recomendações Codificadores compilaram e categorizaram as recomendações dentro das categorias teoria, design, medidas, análise e relato de resultados. Todos autores revisaram os resultados juntos para um ajuste fino das recomendações e justificativas. Excluidos 69 artigos de 11 revistas devido a falta de relevância das recomendações de como aumentar a transparência Lista final de recomendações extraída de 96 artigos de 28 revistas Detalhamento Passo 1 : Objetivos e escopo da revisão Nós adotamos uma abordagem inclusiva em termos de revistas substantivas e metodológicas de administração, negócios, sociologia e psicologia ( psicologia geral, aplicada, organizacional e matemática). Porque os métodos evoluem rapidamente, nós somente podemos considerar artigos publicados entre Janeiro de 2000 e Agosto de 2016. Além disso, nós somente focamos nas revisões de literatura provendo recomendações baseadasem evidências sobre transparência na forma de trabalhos analíticos, dados empíricos ou ambos. Em poucas palavras, nós incluímos revisões da literatura que integram e sintetizam as evidencias disponíveis. Nosso artigo é uma revisão das revisões. Passo 2 : Procedimento de seleção de revistas Como mostrado na tabela 1, nós usamos três fontes de seleção de revistas. Primeiro, nós usamos a base de dados Web Science Journal Citation Reports e incluímos revistas de várias categorias, como negócios, administração, psicologia, sociologia, e outros. Segundo, nós usamos a lista de revistas criadas pela Chartered Association of Business Schools para aumentar a representação de revistas não americanas em nosso processo de seleção de revistas. Terceiro, nós incluímos revistas da lista Financial Times 50. Muitas revistas estão incluídas em mais de uma fonte, então fontes subsequentes adicionaram incrementaram poucas revistas a nossa lista. Nós excluímos revistas não diretamente relevantes para o campo da administração, como o Journal of Interactive Marketing and Supply Chain Managment. No geral, nós identificamos 62 revistas com potencial para publicar revisões de literatura com recomendações sobre transparência metodológica. Como descrito na próxima seção, 23 revistas não incluíram nenhum artigo que se encaixasse nos nossos critérios, e nós excluímos 11 jornais adicionais depois de exame próximo de seus artigos durante o processo de seleção de recomendações. Portanto, no final de nossa revisão de literatura incluímos 28 revistas que estão listados na tabela 2. Passo 3 e 4 : Procedimentos para seleção de artigos Nós usamos um processo de busca manual para identificar artigos incluindo revisões baseadas em evidências de práticas metodológicas diretamente relacionadas a transparência. Especificamente Nawaf Alabduljader, Ravi S. Ramani, e P. Knight Campbell leram o título, resumo e em alguns casos o texto todo dos artigos antes de decidirem a classificação em dentro, fora e talvez. Neste estágio inicial do processo de seleção dos artigos os codificadores erraram no direcionamento incluindo artigos que não iam de encontro aos critérios de inclusão, em vez de excluindo artigos que deveriam. Cada codificador também categorizou independentemente os artigos selecionados como primariamente relatado em teoria, pesquisa de design, medidas, análise de dados ou relato de resultados. Artigos que se enquadraram em várias categorias foram categorizados de acordo. Herman Aguines revisou a lista dos artigos selecionados e identificou aqueles que não se enquadravam nos critérios que eles focavam de como conduzir uma pesquisa de alta qualidade e desenvolvimento apropriado usando os novos métodos em vez de transparência. Depois da terceira rodada de calibração descrita no passo 3 da tabela 1, nós comparamos a lista independente de artigos usando uma simples função de coincidência do Excel para determinar a sobreposição entre seleções independentes. Nos termos do acordo de intercodificadores, resultados indicaram 90% de artigos compilados por cada codificador independentemente foram os mesmos selecionados pelos outros codificadores. Os codificadores então procederam com o restante das revistas. Os artigos selecionados no processo resultaram em um total de 165 artigos relevantes. As 23 revistas que não incluíram revisões com recomendações de como aumentar a transparência metodológica foram excluídas da nossa lista de revisão. Passos 5 e 6: Procedimentos de recomendação de seleção Para selecionar recomendações, os codificadores leram o texto completo dos 165 artigos potencialmente identificados e fizeram notas de recomendações de boas práticas baseadas em evidências, ambos termos de como fazer pesquisas mais transparentes e justificar as evidencias suportando essas recomendações. De novo, nós usamos um processo de calibração para seleção de recomendações para garantir o acordo de intercodificação. Nós achamos que 9 dos artigos inicialmente incluídos durante o processo de seleção de artigos não abordavam transparência. Depois de tirar esses 69 artigos, outras 11 revistas foram excluídas da nossa revisão. A lista final de artigos incluídas na nossa revisão está incluída na seção de referências e marcada por asterisco. No geral, nossa revisão final da literatura é baseada em 96 artigos de 28 revistas. Recomendação de boas práticas baseadas em evidências Nós apresentamos nossas recomendações para autores em cinco categorias: teoria, design, medidas, análise e relato de resultados. Semelhante a pesquisa anterior, nós encontramos muitas recomendações que são aplicáveis a mais de um desses estágios e portanto a escolha de colocar eles em uma categoria em particular não tem um contorno definido. Por exemplo, problemas sobre validação são relacionados À teoria, design, medidas e análise. Portanto, nós incentivamos os leitores a considerar nossas recomendações levando em conta que uma recomendação particular pode ser aplicada a mais de um estágio específico em que ele foi categorizado. Além disso, como dito antes, nossas recomendações são destinadas especificamente para aumentar a reprodutibilidade inferencial. Entretanto, muitas delas também servem para um propósito dual de aumentar também a reprodutibilidade de resultados. Para fazer nossas recomendações mais tangíveis e concretas, nós também provemos exemplos de artigos publicados que implementaram algumas delas. Nós esperamos que a inclusão desses exemplos, que cobrem ambos micro e macro domínios e tópicos irá mostrar que nossas recomendações são de fato acionáveis e factíveis – não apenas pensamentos desejáveis. Finalmente, por favor, note que muitas, mas não todas, de nossas recomendações são amplas o suficiente para serem aplicadas a pesquisas qualitativas e quantitativas, particularmente aquelas sobre teoria, design e medidas. Aumentando transparência sobre teoria A tabela 3 inclui recomendações de como aumentar a transparência relacionada a teoria. Essas recomendações destacam a necessidade de ser explícito sobre questões de pesquisa ( objetivo teórico, estratégia de pesquisa, suposições epistemológicas), nível da teoria, medidas e análises ( individual, diádico e organizacional) e especificando a direção a priori das hipóteses ( linear, curvilinear ) bem como distinguindo hipóteses a priori versus post hoc. Por exemplo, considere a recomendação sobre o nível de investigação. Esta recomendação se aplica a maioria dos estudos porque especifica explicitamente o nível da teoria, medidas e análise necessárias para construir inferências similares. O nível de teoria se refere ao nível de foco ( individual, time, firma) para escolher um para fazer generalizações. O nível de medidas se refere ao nível em que se busca dados. Nível de análise se refere ao nível em que dados são atribuídos a teste e análise de hipóteses. Transparência sobre o nível de teoria, medidas, e análise permitem a outros reconhecerem a influência potencial de tais decisões na pesquisa de pergunta e o significado desses resultados, como construções e resultados se diferem quando conceituados e testados em diferentes níveis e podem afetar substantivamente as conclusões alcançadas. Sem transparÊncia sobre o nível de investigação, isso dificulta aos revisores e leitores a alcançarem conclusões similares sobre o significado dos resultados, isso compromete a credibilidade dos resultados. Por exemplo, uma retratação de Wallumbwa foi atribuída por inapropriado uso do nível de análise, levando a irreprodutividade das conclusões do estudo. Os autores reportaram o nível de análise, os revisores deveriam ser aptos a usar o mesmo nível para interpretar se os resultados foram influenciados por alinhamento ou falta portanto entre nível de teoria, medida e análise. Isto deve ter ajudado os revisores a identificar o erro antes da publicação, assim evitando eventuais retratações da revista. Então, baixa transparência quando especificado o nível de investigação vai ajudar a conta da dificuldade de reproduzir as conclusõesem uma pesquisa. Além disso, autores devem ser transparentes sobre as decisões que eles tomam mesmo quando o nível de investigação é explícito, como quando estão testando o nível de relação entre duas variáveis. Sendo explícito sobre o nível de investigação é particularmente importante dar o interesse necessário desenvolvendo e testando modelos multiníveis e abrindo caminho para lacunas micro-macro, o que aumenta a complexidade do modelo. Outra recomendação é sobre incluir hipoteses post hoc separadamente das a priori. Atualmente, muitos autores cria hipóteses retroativamente depois de determinar os resultados suportados pelos dados. Fazer isso implica nos padrões empíricos que foram descobertos pela análise de dados – uma abordagem indutiva. Dando crédito a resultados de uma teoria a priori, leitores acreditam que os resultados são baseados em um conjunto de dados aleatórios, e portanto generalizam para uma população maior. Por outro lado, a credibilidade e transparência reportada no uso de hipóteses depois que os resultados são conhecidas ( tharking) são resultados atribuídos para aquela amostra em específico – uma abordagem dedutiva. Transparencia sobre tharking portanto muda o desenho de inferência dos resultados e torna isso uma útil técnica de investigação que provê interessantes descobertas e resultados. Considere os exemplos a seguir de artigos publicados que são altamente transparentes sobre teoria. Primeiro, Maitlis usou uma abordagem interpretativa para examinar o processo social envolvido em dar sentido a uma organização sobre vários stakeholders organizacionais. Maitlis explicou o objetivo teórico (o alvo do seu estudo era elaborar teoria), a abordagem teórica (descrever teoria usando abordagem qualitativa interpretativa), e a justificativa para a escolha ( Elaborar teoria é frequentemente usada quando ideias preexistentes podem prover fundamentos para novos estudos, evitando a necessidade de geração de teoria através de análise puramente indutiva e fundamentada. Alta transparência afirmando os objetivos teóricos, abordagem, e justificativa permite a outros usarem a mesma lente teórica para avaliar como suposições de outros pesquisadores podem afetar a habilidade de chegar aos objetivos pesquisados e conclusões desenhadas. Como segundo exemplo, transparência sobre níveis de investigação tem demonstrado em um artigo de Williams quem examinou o efeito da personalidade do time e liderança transformacional na performance proativa do time. Williams diz que o nível da teoria ( nosso foco no corrente trabalho é nas equipes proativas em vez de nos indivíduos proativos) , o nível de medidas ( Membros de equipes – excluídos os técnicos principais – foram perguntados para avaliar seus técnicos principais, e essas avaliações foram agragadas para produzir um score de liderança transformacional do nível do time), e o nível de análise ( Isso é importante para notar que, por causa da análise que conduzimos no nível do time, isso não foi apropriado para computar a estrutura total do modelo). Além disso, os autores especificaram o nível das suas hipóteses formais ( O nível médio da personalidade proativa dentro do time foi positivamente relatada na performance proativa do time) Tabela 3 Recomendações baseadas em melhores práticas baseadas em evidências para aumentar a transparência metodológica da teoria Recomendações 1. Especificar o objetivo teórico ( criando uma nova teoria, estendendo a teoria usando uma abordagem prescritiva ou positivista, descrevendo teoria existente através de uma abordagem interpretativa); Estratégia de pesquisa ( indutiva, dedutiva, abdutiva); orientação epistemológica ( construtivista, objetivismo ) 2. Especificar o nível da teoria, medidas e análise ( individual, diadico, organizacional) 3. Reconhecer se foi esperada uma direção a priori ( positiva, curvilinear, platô) pela natureza das relações como derivado do framework teórico utilizado. Identificar e relatar qualquer hipótese post hoc separadamente das hipóteses a priori. Reportar ambas hipóteses suportadas e não suportadas. Aumenta a reprodutibilidade inferencial por permitir outros ... 1. Usar as mesmas lentes teóricas para avaliar como as suposições pesquisadas podem afetar a habilidade de atingir os objetivos da pesquisa ( pós positivismo assume objetivos que realmente existem, foco em falsificação de hipóteses, pesquisas interpretativas assumem diferentes significados de existência, foco no significado das descrições) e desenho de conclusões ( abordagens indutivas versus abordagens dedutivas baseadas em teorias) 2. Usar o mesmo nível para interpretar implicações da teoria ( os resultados se aplicam a indivíduos ou a organizações? São os resultados influenciados pelo alinhamento ou falta existente entre o nível da teoria, medidas e análises?) 3. Diferenciação entre testes indutivos e dedutivos de teoria e reunir informações sobre a precisão, relevancia e limites da teoria testada ( encontro entre predições teóricas e resultados, presença de resultados contraditórios, a teoria prevê uma relação linear ou curvilinear?) Aumentando a transparência a respeito do design da pesquisa A Tabela 4 provê recomendações de como pesquisadores podem ser mais transparentes com design, incluindo escolhas sobre o tipo de design da pesquisa, procedimentos para coleções de dados, método de amostragem, poder de análise, variância de método comum e controle de variáveis. Informações de problemas como tamanho de amostragem, tipo de amostragem, condução de pesquisas usando observações e experimentos passivos, decisões de incluir ou excluir variáveis de controle, influência do desenho de inferências nesses resultados e, portanto, reprodutibilidade inferencial. Muitas recomendações incluídas na tabela 4 são relacionadas a necessidade de ser transparente sobre passos específicos tomados para remediar desafios frequentemente encontrados e imperfeições no design das pesquisas ( variância de método comum, explicações alternativas possíveis) e anote claramente o impacto desses passos em questões substantivas, pois podem amplificar as falhas que se destinam a remediar. Sem saber quais ações corretivas foram tomadas, outros não estarão aptos a alcançar inferências similares dos resultados obtidos. Por exemplo, por causa da dificuldade prática associada a conduzir design experimentais e quasi-experimentais, muitos pesquisadores controlam medidas e estatísticas de outras variáveis que não são as suas variáveis de interesse pela possibilidade de explicações alternativas. Incluir variáveis de controle reduz o grau de liberdade associada com o teste estatístico, poder estatístico, e a quantidade de variação explicável no resultado. Por outro lado, excluir variáveis de controle pode aumentar a quantidade de variação explicável e aumentar a relação entre o preditor e o resultado de interesse. Portanto, a inclusão ou exclusão de variáveis de controle afeta a relação entre o preditor e o critério, e as conclusões substantivas desenhadas para os resultados do estudo. Ainda, pesquisadores frequentemente não divulgam quais variáveis de controle foram inicialmente consideradas para inclusão e porquê, quais variáveis de controle foram eventualmente incluídas e quais excluídas, e as propriedade psicométricas das que foram incluídas. Como reportado por Bernerth, muitos pesquisadores citaram trabalhos anteriores ou proveram afirmações ambíguas, como “isso pode estar relacionado” como razões para variáveis de conrole, em vez de prover uma justificativa teórica para se variáveis de controle tem relação significativa com o critério e preditores de interesse. Adicionalmente, alguns autores podem incluir variáveis de interesse simplesmente porque eles suspeitam que os editores esperam essa prática. Portanto, baixa transparência sobre usar variáveis de controle reduz a reprodutibilidade inferencial porque não é conhecido se as conclusões alcançadas são simplesmente um artefato e de quais variáveis de controle específicas foram incluídas ou excluídas.Um estudo de Tsai oferece uma boa ilustração de transparência sobre o uso de variáveis de controle. Eles controlaram a manutenção do trabalho quando testaram o efeito positivo do humor na performance. Tsai proveu uma explicação de quais variáveis de controle foram incluídas ( Nós incluímos a manutenção do trabalho – em anos – como uma variável de controle), porque elas foram usadas ( meta-analises mostraram que a correlação correta entre experiência de trabalho e a performance do empregado foi 0.27) e como as variáveis de controle podem influenciar as variáveis de interesse ( Essa correlação positiva pode se explicada pelo fato de empregados ganharem mais conhecimento relevante para o trabalho e habilidades como resultado de uma manutenção no trabalho mais prolongada, e daí uma maior performance). Um exemplo de alta transparência sobre variância de método comum é Zhu, quem examinou como a autoidentificação dos diretores governamentais com ambos firma foco e governo influenciou seu comportamento de governança ( monitoramento gerencial e provisão de recursos). Os autores notaram porque o método comum de variância foi um problema potencial em seus estudos ( Como ambas, variáveis dependentes e independentes foram medidas e reportadas, o método de variância comum pode potencialmente ter influenciado os resultados). Adicionalmente, eles foram altamente transparentes em descrever as técnicas que usaram para avaliar se o viés do método comum pode influenciar suas conclusões ( Primeiro, nós conduzimos o teste do único fator de Harman´s e encontramos 3 fatores presentes .. também controlado pelos efeitos do método de variância comum parcializando um ponto de fator geral… nós testamos um modelo com um método de único fator e examinamos um modelo nulo) Tabela 4 Recomendações de boas práticas baseadas em evidências para aprimorar a transparência metodológica sobre design de pesquisas Recomendações 1. Descrever o tipo de design de pesquisa (observação passiva, experimental), procedimento de coleção de dados ( surveys, entrevistas), localização das coleções de dados (América, China; no trabalho, no laboratório, em casa), método de amostragem (proposta, bola de neve, conveniência), características da amostra (estudantes versus empregados de tempo integral; situação de emprego, nível hierárquico na organização, sexo, idade, raça) 2.Se o poder de análise foi conduzido antes de iniciar o estudo ou depois do estudo completo, relatório de resultados, e explicação de como eles afetam a interpretação de resultado do estudo 3.Se o método de variância comum foi tratado, estado da justificativa teórica ( falha em correlacionar com outras variáveis), estudo do design ( separação temporal e uso de medidas e relatórios próprios e de outros) ou remédios estatísticos ( análise de um fator de Harman ) usada para resolver isto 4. Prover uma explicação de como variáveis de controle foram incluídas e como foram excluídas e como elas influenciaram as variáveis de interesse e suas propriedades psicométricas ( validade, confiabilidade) Aumentar a reprodutibilidade inferencial permite aos outros 1. Determinar a influencia do design do estudo e características da amostra na inferência e questões da pesquisa (uso de corte transversal versus estudos experimentais para avaliar causalidade) e validação geral interna e externa para resultados reportados (predições teóricas podem variar através de grupos e culturas; se a amostragem não representa a população de interesse ou o fenômeno se manifesta diferentemente na amostra) 2. Desenhar conclusões independentes sobre o efeito tamanho da amostra na habilidade de detectar o efeito da população existente dado o baixo poder de aumentar a possibilidade de erro Tipo II ( falhar em rejeitar hipóteses nulas, sem efeito ou relação) 3. Identificar a influência, se nenhum ( variância atribuível aos métodos em vez de construções de interesse) afetar as conclusões porque isso afeta o tamanho dos efeitos obtidos 4. Determinar independentemente se conclusões desenhadas no estudo foram influenciadas por escolhas de variáveis de controle a)Incluir variáveis de controle muda o significado das conclusões substantivas para parte dos preditores não relatados, em vez de todos preditores b)não especificando a estrutura causal entre variáveis de controle e construções focais ( efeito principal, moderador e mediador) c)reportar medidas qualitativas provê evidências se variáveis de controle são conceitualmente válidas e representativas de construtos subjacentes Aprimorando a transparência das medidas Tabela 5 provê recomendações de como aumentar a transparência sobre medidas. Adicionalmente para definições de construções ambíguas, provendo informações sobre propriedades psicométricas de todas medidas usadas ( confiabilidade, validação de construtos), estatísticas usadas para justificar agregação, problemas relatados para restrição de alcance ou medição de erros são também importantes. Os tipos de propriedades psicométricas que precisam ser reportadas diferem baseados na definição conceitual do construto e da escala usada (original versus alterada). Por exemplo, quando tentamos medir construtos de alto nível, transparência inclui identificar o foco único de análise, se difere da amostra do construto em baixo nível, a estatística usada para justificar a agregação, e a justificativa para escolha das estatísticas usadas. Isto permite outros a entenderem mais claramente o significado dos construtos focais de interesse e se a agregação pode influenciar a definição de construtos e o significado de resultados. Transparência aqui também alivia preocupações de se autores escolheram estatísticas de agregação para suportar suas decisões para agregar e portanto aprimorar a reprodutibilidade inferencial. Outra importante consideração de medida de transparência é a instância específica de quando não existem medidas adequadas para os construtos focais de interesse. Questões sobre o impacto dos erros das medidas nos resultados ou do uso de proxies de construtos são ainda mais importantes quando usamos uma nova medida ou uma medida existente que foi alterada. Nessas instâncias, transparência inclui prover detalhes sobre mudanças feitas em escalas existentes, como escolher itens que foram apagados ou adicionados, e qualquer mudança nos itens de redação ou escala. Sem uma clara discussão das mudanças feitas, leitores podem duvidar das conclusões, como isso pode aparecer que autores mudaram a escala para obter resultados desejados, portanto reduzindo a reprodutibilidade inferencial. O artigo de Wu é um bom exemplo de transparência sobre a agregação de pontos. Wu examinou as consequências de diferentes lideranças dentro de grupos e descreveu como agregações foram necessárias dando a ele conceituação das relações teóricas (liderança focada no grupo referente ao modelo consensual dentro do consenso de grupo de elementos de baixo nível que é requerido para formar alto nível de construtos) provê detalhes sobre variabilidade dentro e entre o grupo, e reporta estatísticas de ambos confiabilidade dentro do grupo entre avaliadores e coeficiente de correlação intraclasse. Um exemplo de alta transparência sobre definições conceituais, escolha de indicadores particulares, validação dos constructos é o estudo de Tashman e Riviera que foi usou teorias de recursos dependente e institucionais para examinar como firmas respondem a incertezas ecológicas. Tashman e Riviera explicaram como eles conceituaram incerteza ecológica como um construto formativo ( para capturar todos esforços um resort adotou práticas relacionadas a migração ecológica) e como eles avaliaram validação externa e facial ( nós escolhemos avaliações da SACC quando existiu uma base teórica .. nós calculamos fatores de variação da inflação … avaliamos multicoliniaridade do nível dos construtos com um indice condicional). Finalmente eles provem evidências de validação de construtos usando tabelas de correlação incluindo todas variáveis. Tabela 5 Recomendações deboas práticas baseadas em evidências para aprimorar a transparência metodológica sobre medidas Recomendações 1. Provê definições conceituais de construtos; reporta todas medidas usadas; como indicadores (reflectivos, formativos) correspondem a cada construto; e evidencias de validação de construtos ( tabelas de correlação incluindo todas variáveis, resultados de itens e fatores de análises) 2. Se as escalas usadas foram alteradas, reportar como e porque ( itens apagados, mudanças nos itens de referência). Prover evidências psicométricas sobre escalas alteradas ( critérios relacionados a validação) e relatar os itens exatos usados na escala revisada 3. Se o score está agregado, reportar a variabilidade da medição dentro e entre as unidades de análise, estatísticas usadas para justificar a agregação e resultados de todos os procedimentos de agregação 4. Se a restrição de alcance ou erros medidos foram avaliados, especificar o tipo de restrição, prover a justificativa para a decisão correta ou não. Se correta, identificar como ( tipo de correção usada, sequencia e fórmulas). Relatar efeitos observados e aqueles corretos para restrição de alcance e/ou medição de erros. Aumenta a reprodutibilidade inferencial por permitir aos outros 1. Desenhar conclusões independentes sobre a) validações de construtos no geral ( os indicadores avaliaram construtos subjacentes ) b) validação discriminando construtos ( os construtos são distinguíveis dos outros ) c) discriminação da validação das medidas ( fazer os indicadores de diferentes escalas se sobreporem). Ausentes tais informações, inferências tem baixa reprodutibilidade ( pequenos efeitos podem ser atribuídas a fracas validações de construtos, grandes efeitos para baixa validação discriminatória ) 2. Entender se conclusões alcançadas são devido a alterações de escala ( itens escolhidos ); conclusões alcançadas independentemente da validação de escalas novas ou alteradas. 3. Alcançar conclusões similares sobre construtos agregados porque índices de agregação diferentes proveem informações diferentes (representam acordo entre avaliadores e são usadas para justificar agregação de dados de alto nível; ICC representa confiabilidade entre avaliadores, e provê informação de como o baixo nível de dados é afetado pelos membros do grupo, e se indivíduos são substituíveis dentro do grupo) 4. Reconhecer como o método usado para identificação e correção de erros de medidas ou restrição de alcance ( Correção da correlação de Pearson usando a fórmula do Spearman-Brown) pode ter conduzido o tamanho dos efeitos estimados acima ou abaixo. Aprimorando a transparência sobre análise de dados. Tabela 6 provê recomendações de como aprimorar a transparência da análise de dados. Dado o nível corrente de sofisticação das abordagens analíticas dos dados, oferecendo recomendações detalhadas de transparência sobre dezenas de técnicas como meta-análise, modelagem multinível, modelagem de equação estrutural, modelagem computacional, análise de conteúdo, regressão e muitas outras fora do escopo da nossa revisão. Adequadamente, nós focamos nossas recomendações que são amplamente e geralmente aplicadas a vários tipos técnicas de análise de dados. Adicionalmente, a tabela 6 também inclui algumas recomendações específicas sobre problemas que são observados frequentemente – como documentado nos artigos revisados no nosso estudo. Como notado por Freese, enquanto pesquisadores hoje tem mais graus de liberdade sobre como escolhas analíticas de dados do que antes, decisões feitas durante a análise são raramente divulgadas de uma maneira transparente. Claramente encontramos disponível o software feito e usado e a sintaxe usada para carregar as análises usadas facilitaria nossa compreensão de como suposições das abordagens de análise foram afetadas pelos resultados e conclusões. Por exemplo, existem muitos roteiros e pacotes disponíveis no software R para inserir dados faltantes. Dois desses inserem dados assumindo que os dados que estão faltando são aleatórios, enquanto outro insere dados baseados em suposições não paramétricas. A maneira que os dados são inseridos influencia os valores de dados que são analisados, o que afeta os resultados e as conclusões. Portanto, não saber qual pacote específico foi usado contribui para inconsistências nos resultados e em outras conclusões desenhadas sobre o significado dos resultados. Outra recomendação da tabela 6 relata o tópico dos fora da curva. Por exemplo, os fora da curva podem afetar parâmetros estimados ( coeficientes que interceptam ou vertentes), mas muitos estudos falham em divulgar se o conjunto de dados inclui os fora da curva, que procedimento foi usado para identificar e tratar eles, se as análises foram conduzidas com ou sem os fora da curva e se os resultados e inferências mudam baseados nessas decisões). Consequentemente, baixa transparência sobre como os fora da curva foram definidos, identificados e tratados significa que outros pesquisadores não estarão aptos a alcançar conclusões similares. Tabela 6 Recomendações de boas práticas baseadas em evidências para aprimorar a transparência metodológica sobre análise de dados Recomendações 1. Relatar o método específico de análise usado e como ele foi escolhido 2. Reportar o software usado, incluindo que versão e fazendo regras de codificação ( para dados qualitativos) e a sintaxe para análise de dados disponíveis. 3. Se testes de fora da curva foram conduzidos, reportar métodos e regras de decisão usadas para identificar foras da curva, passos tomados para gerenciar foras da curva ( apagar, transformar), justificativa para esses passos e resultados com e sem os foras da curva Aprimora a reprodutibilidade inferencial permitindo a outros 1. Verificar independentemente se os dados analíticos da abordagem utilizada influencia as conclusões 2. Checar se as suposições dos procedimentos de análise de dados dentro do software usado afetam as conclusões 3. Inferir se as conclusões substantivas desenhadas dos resultados podem diferenciar baseadas na maneira como os fora da curva foram definidos, identificados e gerenciados Uma ilustração de uma recomendação mais específica e técnica incluída na tabela 6 relaciona-se a reportar que um estudo usou “medidas repetidas ANOVA”, que não provê detalhes suficientes para outros de se os autores usaram Ftest convencional, que assume múltiplas amostras ou testes F multivariados, que assumem homogeneidade de sujeitos entre matrizes covariantes. Sem essas informações que se referem a problemas gerais provendo uma clara justificativa para uma escolha particular de análise de dados, consumidores da pesquisa tentando reproduzir os resultados usando o mesmo método analítico geral pode desenhar inferências diferentes. Um exemplo de alta transparência sobre foras da curva é o estudo de Worren quem examinou os relacionamentos entre antecedentes e saídas de produtos modulares e processos de arquitetura. Os autores especificaram como eles identificaram ( Nós também examinamos fora da curva e observações influenciadores usando indicadores) definidos ( chamamos os respondentes que submeteram esses dados, que disseram que eles não entenderam algumas dessas questões), e manuseamos os fora da curva ( nós subsequentemente corrigimos o score da companhia de uma variável – modularidade do produto ). Um segundo exemplo, que mostra alta transparência em análise de dados quando usamos uma abordagem qualitativa é o estudo de Amabile que gerou teorias sobre como afeta a criatividade no trabalho. Os autores detalharam um código de regras que eles usaram para analisar os eventos (Um protocolo codificando conteúdo narrativo foi usado para identificar indicadores do humor e pensamento criativo em narrações de diários criativos). Adicionalmente, eles foram altamente transparentes sobre o que eles codificaram para desenvolver medidas ( Nós também construímos medidas mais indiretas e menos obstrutivas do humor para a codificação de narrativas diárias, classificaçãocodificada de humor positivo. Cada evento positivo descrito no diário narrativo foi codificado na dimensão de valência) e como eles codificaram medidas ( definindo códigos como – como os participantes reportaram parecem se sentir sobre os eventos ou viram o evento – Para cada evento, o codificador escolhe um código de valência negativo, positivo ou ambivalente) Aprimorando a transparência sobre relato de resultados Tabela 7 resume as recomendações de como aprimorar a transparência sobre relato de resultados. Os autores mais transparentes em reportar resultados, mais os consumidores do trabalho publicado vão estar aptos a alcançar conclusões similares. O primeiro problema incluído na tabela 7 relata a necessidade de prover detalhes suficientes em resposta a padrões então outros podem avaliar como eles podem afetar as inferências desenhadas para os resultados. Enquanto dados perdidos e não-respostas são raramente o foco central do estudo, eles usualmente afetam os desenhos das conclusões da análise. Além disso, dada a variedade de técnicas disponíveis para lidar com os dados faltantes ( apagar, inserir) sem relato preciso dos resultados da análise dos dados faltantes e a técnica analítica usada, outros estão inaptos para julgar se certos pontos de dados foram excluídos porque os autores não tem informação suficiente ou porque excluíram as respostas incompletas das hipóteses preferidas suportadas pelos autores. Em resumo, baixa reprodutibilidade de inferência é garantida virtualmente se essa informação for ausente. Outro problema incluído na tabela 7 é um que enlaça diretamente as escolhas transparência de dados analíticos é reportar os resultados de todos os testes de suposições que foram conduzidas. Todas as técnicas analíticas incluem suposições ( linearidade, normalidade, aditividade) e muitos pacotes de software disponíveis produzem resultados como suposições de testes sem a necessidade de cálculos adicionais por parte dos pesquisadores. Enquanto o problema de suposições parece ser um conceito básico que os pesquisadores aprenderam como base de muitos cursos de metodologia, maioria dos artigos publicados não relata se as suposições foram avaliadas. Por exemplo, considere a suposição de distribuição normal que é subjacente a maioria das análises de regressão. Esta suposição é violada frequentemente e nós suspeitamos que muitos autores estão alertas disso. Ainda, muitos pesquisadores continuam a usar softwares e procedimentos analíticos que assumem normalidade de dados sem abrir o relatório de resultados dos testes dessas suposições. Reportando resultados das suposições aumenta a reprodutibilidade inferencial por permitir outros independentemente da avaliação se suposições foram violadas baseadas no exame dos gráficos de outras informações providas na saída do software. Outro problema incluído na tabela 7 é necessária para relatar estatísticas descritivas e inferenciais claras e precisas. Essa precisão permite outros a comparar independentemente seus resultados e conclusões com esse relato. Precisão reportando resultados permite outros a confirmarem que os autores não esconderam estatísticas de resultados não significantes atrás de escritas agas e tabelas incompletas. Talvez a maioria dos exemplos notórios de falta de precisão é sobre os valores-p. Usados para denotar a probabilidade que uma hipótese nula é sustentável, pesquisadores usam uma variedade de pontos de corte arbitrários para reportar valores p como oposto aos valores p exatos computados por padrão pela maioria dos padrões estatísticos. Usando esses pontos de corte artificiais torna mais difícil avaliar se os pesquisadores cometeram erros que obscureceram o valor verdadeiro da probabilidade ou reportaram resultados estatísticos significantes quando valores p não coincidem, e para julgar a seriedade de fazer o tipo 1 ( incorretamente rejeitar hipóteses nulas) versus tipo 2 ( falhar incorretamente rejeitando hipóteses nulas) erro dentro do contexto do estudo. Um exemplo de alta transparência de dados faltantes é o artigo de Gomulya que examinou atualizações financeiras e nomeação de sucessores de CEO. Adicionalmente para prover informações como porque eles tem dados faltantes os autores também reportaram como o tamanho de suas amostras foi afetado pelos dados faltantes (o tamanho da amostra experimentou a seguinte redução) o método usado para resolver os dados faltantes, como os dados faltantes podem influenciar os resultados obtidos ( o modelo é muito conservador, tratou os dados faltantes como não aleatórios – se eles fossem indexados como aleatórios, isso não iria afetar a análise) e os resultados de uma análise de não resposta ( nós comparamos as firmas que foram apagadas por razões mencionadas acima com as firmas remanescentes em termos de tamanho, lucro e anos. Nós não encontramos diferenças significativas). Como segunda ilustração, o trabalho de Makino de como distribuições enviesadas e pesadas influenciaram a performance da firma é um exemplo de alta transparência sobre o teste de suposições. Em reposta a questão de pesquisa deles, os autores explicitamente notaram porque os dados deles puderam violar as suposições de homoscedasticidade e independência requerida pelo método analítico e desenhado nos passos que eles tomaram para essas validações ( nós adicionamos um valor atrasado da variável dependente para capturar possíveis persistências) Tabela 7 Recomendações de evidências baseadas em melhores práticas para aprimorar a transparência metodológica relatando resultados Recomendações 1. Reportar resultados de análise de dados faltantes ( análise sensitiva); método ( inserção e remoção ) usado para resolver dados faltantes; informação ( mesmo que especulativa) de como os dados faltantes ocorreram, taxa de resposta, se conduzida, resultado de análise de não respostas 2. Reportar resultados de todos os testes de suposições associadas com o método analítico. Exemplos incluem: normalidade, heteroscedasticidade, independência, covariância entre níveis de medidas repetidas, homogeneidade do tratamento de diferentes variâncias, diferenças do tamanho do grupo da análise de variância 3. Reportar a completa descrição das estatísticas ( média, desvio padrão, máximo, mínimo) para todas as variáveis, correlação e ( quando apropriado) matriz de covariância 4. Reportar o tamanho do efeito das estimativas, CI para estimativa de pontos e informações usadas para computar o efeito do tamanho ( dentro da variância do grupo, grau de liberdade dos testes estatísticos) 5. Reportar os p-valores exatos com 2 casas decimais; não reportar p-valores comparados com pontos de corte. 6. Use termos específicos quando estiver reportando resultados. Exemplos incluem: Use “ significante estatísticamente” quando se referir a testes de significância; não use termos como significante, quase significante, altamente significantes Identifique a estimativa precisa usada quando se referir a efeitos de tamanho Prover interpretações do tamanho do efeito e intervalo de confiança no contexto do estudo, tamanho do efeito das medidas usadas, e outros estudos examinando relações similares. Não use categorias de Cohen como avaliações comparativas absolutas e sem contexto Reporte o número total de testes de significância Reporte e identifique claramente os coeficientes padronizados e não padronizados Aumentar a reprodutibilidade inferencial permitindo outros a … 1. Ter maior confiança nas inferências e que os autores não escolheram dados para suportar suas hipóteses favoritas; verificar se causas de dados faltantes estão relacionadas às variáveis de interesse; avaliar independentemente a validação externa ( respondentes de survey são representação da população sendo estudada) 2. Verificar se há possíveis violações das suposições influenciaram as conclusões do estudo e testes de significância para cima e para baixo, portanto afetando inferências desenhadas 3. Confirmar que resultados suportam afirmações dos autores ( multicolinearidade entrepreditores aumentando a probabilidade de erros do tipo 1; correlações excedendo o máximo possível de valores, calibrar se o número de respondentes em cada estatística do estudo foi suficiente para desenhar conclusões) 4. Interpretar precisão ( amplitude do intervalo de confiança reflete o grau de incerteza do efeito; se o erro da amostra pode ter conduzido para inflar o efeito da estimativa) e significância prática do resultado dos estudos ( permitindo comparação da estimativa entre estudos) 5. Descartar se as conclusões são devido ao acaso; julgar a seriedade do tipo 1 (incorretamente rejeitando hipóteses nulas) versos tipo 2 ( incorretamente falhando em rejeitar hipóteses nulas) – erro dentro do contexto do estudo. 6. Entender que significância estatística é relacionada a probabilidade de não ter relação, não ao tamanho do efeito; compreender o que autores querem dizer quando se referem ao tamanho do efeito ( força da relação ou variância explicada ) : interpretar evidencias por comparações com achados anteriores e peso da importância do tamanho do efeito reportado à luz do contexto de estudo e sua prática significância. 7. Avaliar conclusões por causa de condução de múltiplos testes de significância no mesmo conjunto de dados aumenta a probabilidade de obter significância estatística resulta somente devido ao acaso e não por causa de substantiva relação entre construtos 8. Entender o tamanho relativo das relações examinadas ( quando usando coeficientes padronizados); entender o poder preditivo e o impacto das variáveis explanatórias ( quando usando coeficientes Discussões Nosso artigo pode ser usado como recurso para resolver o problema de performance de pesquisa sobre baixa transparência metodológica. Especificamente, informações nas tabelas de 3 a 7 podem ser usados por estudantes de doutorado e também por pesquisadores como checklist para como ser mais transparentes com julgamentos e decisões nos passos de teoria, design, medidas, análises e reporte de resultados no processo de pesquisas empíricas. Informações nessas tabelas resolvem um dos dois maiores determinantes dos antecedentes dos problemas de performance desta pesquisa : KSA. Mas, como previsto anteriormente, mesmo se o necessário conhecimento de como aprimorar transparência estiver disponível, autores precisam estar motivados a usar esse conhecimento. Então, para aumentar a motivação dos autores a serem transparentes há recomendações na tabela 8 para revistas, publicadores, editores e revisores de como deixar a transparência um requisito mais notável para publicações. Parafraseando o famoso artigo de Steve, pode ser ingênuo acreditar que autores serão transparentes se editores, revisores e revistas não recompensarem a transparência – mesmo se autores souberem e tiverem a habilidade para serem mais transparentes. Dada a ampla gama de recomendações na tabela 8 nós reiteramos que nós conceituamos transparência como um continuum e não uma variável dicotômica. Em outras palavras, o amplo número de recomendações para aprimorar a transparência metodológica que é implementado, o mais provável é que o estudo publicado vai ter maior reprodutibilidade inferencial. Então, nossas recomendações na tabela 8 são certamente não mutuamente exclusivas. Enquanto algumas ações devem ser tomadas antes da submissão de um manuscrito e autores devem certificar informações durante o processo de submissão, outros podem ser usados para dar crachás para aceitar manuscritos que são particularmente transparentes. Além disso, implementando muitas dessas recomendações como possível irá reduzir a possibilidade de futuras retrações e talvez diminuir submissões arriscadas, assim abaixando a carga de trabalho de atual fardo de editores e revisores. A grande maioria das recomendações na tabela 8 pode ser implementada sem incorrer em muito custo, encontrar obstáculos práticos ou fundamentalmente alterar o processo de submissão do manuscrito e revisão. Para algumas extensões, a implementação de muitas de nossas recomendações é agora possível por causa da disponibilidade de arquivos suplementares que removem importantes restrições de tamanho de páginas. Por exemplo, por causa da limitação de páginas, o Journal of Applied Psychology tem uma fonte menor para a seção de métodos ( o mesmo tamanho das notas de rodapé) desde 1954 a 2007. Adicionalmente, a restrição de limitação pode ter motivado editores e revisores a perguntar autores para omitirem material de seus manuscritos resultando em baixa transparência para consumidores das pesquisas. Também, em nossa experiência pessoal, membros de times de revisão geralmente requerem dos autores expandir nos estudos as contribuições para teoria custando para isso eliminar informações de detalhes metodológicos, testes, poder de análise estatística e propriedades das medidas. Evidencias desse fenômeno é que a média de número de páginas dedicado às seções de método e resultados de artigos permaneceram os mesmos desde 1994 até 2013. Mas a média do número de paginas destinadas a seção de introdução aumentou de 2.49 para 3.9 e a seção de discussão aumentou de 1.71 para 2.49. De novo, a disponibilidade de suplementos online vai ajudar a facilitar a implementação de muitas das nossas recomendações enquanto atende a limitação de páginas. Em retrospectiva, a implementação de algumas das recomendações buscam aumentar a transparência metodológica e reprodutibilidade inferencial resumidos na tabela 8 podem ter evitado a publicação de muitos artigos que foram subsequentemente retratados. Por exemplo, um item requisitado para submissão de artigo que autores deem o conhecimento a todos os membros da equipe do acesso aos dados pode ter evitado uma retratação no caso Walumbwa. Tranquilizadoramente, muitas revistas estão no processo de revisão da política de submissão de manuscritos. Por exemplo, revistas publicadas pela American Psychological Association requer que todos dados de seus artigos publicados sejam de uso original. Mas apesar de novas políticas implementadas por vários jornais resolverem importantes problemas sobre mais apropriado conhecimento e normas sobre o uso e interpretação de estatísticas mais não diretamente relacionadas a transparencia. Portanto, apesar de nós virmos algum progresso no desenvolvimento de políticas de submissão de manuscritos, a transparÊncia não parece ser um tema central e portanto nós acreditamos que o ponto de vista de nossa revisão pode ser útil e influenciador num futuro refinamento dessas políticas. Sobre facilidade de implementação, recomendações 20 e 22 na tabela 8 são amplas no escopo e admitimos que pode requerer tempo substancial, esforço e recursos: Processo de revisão e auditoria alternativo e complementar. Algumas revistas podem escolher implementar essas duas recomendações mas não ambas com restrições de recursos. De fato, muitos periódicos já oferecem processos de revisão alternativos. A revisão envolve um processo de duas etapas. Primeiro há o pré-registro de hipóteses, tamanho da amostra, e plano de análise de dados. Se o relatório de pré-registro for aceito, então autores são convidados a submeter a manuscrito completo que inclui as seções de discussões e resultados, e o trabalho é publicado independente da significancia estatística e tamanho dos efeitos. No geral, recomendações nas tabelas 3 a 8 buscam aumentar a transparencia metodológica oferecendo aos autores KSA’s e motivação para serem mais transparentes quando publicarem suas pesquisas. Enquanto nossa revisão destaca como aumento da transparência pode aumentar a reprodutibilidade inferencial, aumentar a transparência também provê outros benefícios que fortalecem a credibilidade e confiança na pesquisa. Primeiro, como mencionado anteriormente, aumentar a transparência também aumenta a reprodutibilidade de resultados – habilidade de outros de pesquisando ter os mesmos resultados como o trabalho original usando os dados providos pelos autores. Isto permite aos revisores e editores checarem erros e inconsistências nos resultados
Mais conteúdos dessa disciplina
EXERCICIOS SOBRE NÍVEIS DE PLANEJAMENTO- Lacerda_Motta_Santos_2019_Uma-Analise-do-Crime-Corporati_56804
- Prova TGO
- Avaliação I individual flex
- Avaliação IIFundamentos e teoria
- TEORIA ORGANIZACIONAL GUIA
- Fundamentos da Teoria Organizacional
- PROVA TEORIA ORGANIZACIONAL
- atividade 4 teoria organizacional fadergs
- Fundamentos e Teoria Organizacional
- questões
- DNER-ME201-94 - SOLO-CIMENTO - COMPRESSÃO AXIAL DE CORPOS DE PROVA CILÍNDRICOS
