A5-indiceh

Prévia do material em texto

RELATÓRIOS DE PESQUISA EM ENGENHARIA DE PRODUÇÃO v.14, n. A5, p. 52-60. 
Artigo submetido em 24/10/2013. Versão final recebida 14/2/2014. Publicado em 20/2/2014. 
AVALIAÇÃO DA UTILIZAÇÃO DO ÍNDICE H COMO FERRAMENTA DE 
MEDIÇÃO DA PRODUÇÃO CIENTÍFICA DO PROGRAMA DE PÓS-
GRADUAÇÃO EM ENGENHARIA DE PRODUÇÃO DA UNIVERSIDADE 
FEDERAL FLUMINENSE 
 
 
Pedro Maffia da Silva 
Universidade Federal Fluminense -UFF 
pedromaffia@id.uff.br 
 
Tulio Rabelo de Albuquerque Mota 
Universidade Federal Fluminense -UFF 
tulio@professortulio.com.br 
 
 João Carlos C. S. de Mello 
Universidade Federal Fluminense -UFF 
jcsmello@produção.uff.br 
 
 
 
 
 
 
 
Resumo 
O objetivo do presente artigo é discutir a utilização do índice h para caracterizar a quantidade e 
disseminação da produção científica em um programa de pós-graduação. O índice h, proposto em 2005 
por J. Hirsch da Universidade da Califórnia, é um dos mais utilizados para esse fim. Sendo um índice 
muito simples, possui algumas limitações, que não lhe retiram no entanto a importância. O presente 
artigo baseia-se em um estudo de caso, do programa de pós-graduação em engenharia de produção da 
Universidade Federal Fluminense. Ao final, é proposta a utilização do índice h como forma de avaliar a 
quantidade e qualidade das publicações e também direcionar e orientar os pesquisadores para futuros 
trabalhos buscando a melhoria da pesquisa do programa. 
 
Palavras chave: Índice h, Engenharia de Produção, Produção Científica. 
 
 
AVALIAÇÃO DO ÍNDICE H COMO FERRAMENTA DE MEDIÇÃO DA PRODUÇÃO 
53 
 
1. Introdução 
O físico J.Hirsch da Universidade da Califórnia, em 2005, sugeriu um método bastante simples 
para estimar a importância de produções científicas de um único pesquisador. Criado por 
Hirsch (2005), o índice h de um determinado pesquisador significa que ele possui h artigos com 
pelo menos h citações. 
Para comparar pesquisadores com diferentes tempos de carreira, Hirsch utiliza o parâmetro m, 
que se obtém dividindo o índice h pelo número de anos a partir da publicação do primeiro 
artigo. 
Segundo Hirsch (2005) um pesquisador de Física pode ser considerado como sendo um caso de 
sucesso se conseguir um índice h de 20 ao fim de 20 anos de carreira (m=1). Conseguir um 
índice h de 40 (m=2) ao fim desse período de tempo segundo o autor só é passível de ser 
alcançado por pesquisadores excelentes, quanto a índices superiores a 60 (m=3) só estarão ao 
alcance de verdadeiros fenômenos. No estudo de Hirsch (2005) foi utilizada a base Thomson 
ISI Web of Science. 
Hirsch (2005) analisou o índice h dos vencedores do prêmio Nobel da Física nos últimos 20 
anos, tendo observado que 84% deles tinham um índice h superior a 30. Ele sugere que para a 
área científica de Física a subida à categoria de Professor Associado numa Universidade de 
topo, deveria implicar por parte dos candidatos a titularidade de um índice h=12 enquanto que 
para a categoria máxima de Professor esse índice seria de 18. 
Na área científica de Física, Hirsch destaca que os valores de índice h são muito elevados. O 
valor mais alto a nível mundial nesta área pertence ao físico teórico Edward Witten com um 
índice h=110 e com m=3,83. Witten seria classificado segundo Hirsch como um fenômeno. 
Rubem et al. (2013b) realizaram uma comparação empírica de alguns indicadores 
bibliométricos bem conhecidos, incluindo o h-index, g-index, R-index, w-index, h(2)-index e o 
indicador de publicações altamente citadas , a fim de identificar aqueles que se comportam de 
um modo satisfatório para medir o impacto geral de grupos de cientistas. 
Eggle (2006a) definiu g-index como o maior número g de artigos que juntos receberam g2 
citações ou mais. Jin et al. (2007) definiram R-index como: 
 
Onde os números de citações (citj) são classificados em ordem decrescente. 
Segundo Wu (2010), se w artigos de um pesquisador possuem pelo menos 10w citações cada e 
os outros artigos possuem menos de 10(w+1) citações , seu w-index é w. Kosmulski (2006), 
criou o h(2)-index como sendo o maior número natural tal que seus h(2) artigos mais citados 
receberam {h(2)}2 citações cada. Já Waltman e Van Eck (2012), formularam o indicador HCP 
que considera que todas as publicações em que as citações excedam certo limite têm a mesma 
pontuação positiva e todas as outras publicações têm pontuação zero. 
AVALIAÇÃO DO ÍNDICE H COMO FERRAMENTA DE MEDIÇÃO DA PRODUÇÃO 
54 
 
Rubem et al. (2013a) propõem um estudo para selecionar dentre diversos índices bibliométricos 
o que melhor distinga a produção científica de candidatos à vaga de professor de um 
determinado programa de pós-graduação para universidades públicas brasileiras. 
Rubem et al. (2013a) aplicam o uso conjugado de dois métodos de apoio à decisão 
multicritério, MACBETH e VIP Analysis, de forma a dar suporte ao decisor na análise das 
alternativas e na seleção daquela mais apropriada ao processo seletivo a que se destina. 
O presente artigo contém uma análise parcial utilizando como base o índice h de artigos 
produzidos por pesquisadores do Programa de Pós Graduação em Engenharia de Produção da 
Universidade Federal Fluminense. Para tal utilizou-se a base Scopus para o desenvolvimento 
do estudo. Esta base é mais abrangente que a Web of Science e contém mais artigos em 
português. 
Este trabalho apresenta um estudo de caso realizado no departamento de pós-graduação em 
Engenharia de Produção em uma universidade ponta no Brasil tendo como base o levantamento 
do perfil das publicações de 3 pesquisadores na base Scopus associado ao cálculo e análise dos 
respectivos índices h. 
Lovegrove & Johnson (2008) sumarizam cinco vantagens na utilização do índice h: 
1. Pode ser obtido de forma muito rápida; 
2. A sua obtenção é feita com custos muito reduzidos, embora em muitos casos o 
acesso às bases de dados seja pago; 
3. Evita avaliações subjetivas e variáveis de natureza pessoal existentes nas 
avaliações por revisão de pares; 
4. Permite comparações a nível internacional; 
5. Permite transparência no processo de avaliação possibilitando aos avaliados 
gerir a sua carreira de forma a atingir objetivos pessoais. 
2. Discussão Teórica do Índice h 
Alguns autores (Ball, 2005) referem que o índice h pode ser utilizado para avaliar o 
desempenho de pesquisadores. Bornmann & Daniel (2005) analisaram candidaturas a 
programas de Pós-Doutoramento referindo que os candidatos aceites têm em média valores de 
índice h superiores aos dos candidatos recusados. 
O índice h permite ainda prever desempenhos futuros, fato que foi analisado por Hirsch (2007) 
através do estudo da produção de artigos de uma amostra de 50 físicos para perceber se a 
produção ao longo de 12 anos permitia prever a produção dos 12 anos seguintes. Os resultados 
obtidos mostraram que o índice h apresenta uma capacidade de previsão superior à de outros 
índices. 
Mugnaini et al. (2008) compararam o índice h médio dos membros da Academia Brasileira de 
Ciências com o mesmo índice dos membros da academia correspondente dos Estados Unidos 
em dez áreas cientificas distintas, tendo observado que em termos gerais os membros da 
Academia de Ciência Norte-Americana apresentam índices bem mais elevados. 
Mugnaini et al. (2008) relataram que o índice h varia com a área científica analisada e que a sua 
dispersão é maior na Academia Brasileira de Ciências, embora não tenham apresentado 
nenhuma explicação para o efeito. Nota-se que Hirsch (2005) já tinha analisado o índice h dos 
AVALIAÇÃO DO ÍNDICE H COMO FERRAMENTA DE MEDIÇÃO DA PRODUÇÃO 
55 
 
membros da Academia de Ciências dos Estados Unidos, referindo que aqueles possuíam um 
valor de aproximadamente 45. 
Kelly & Jennions (2006) analisaram o índice h de editores de revistas internacionais da área da 
Ecologia e Evolução tendo obtido valores entre 21 e 34. Bornmann et al. (2008) compararam o 
desempenho do índice h com outros indicadores (como o número total de artigos, o número 
total de citações e o fator deimpacto das revistas) e a avaliação por pares em pesquisadores da 
área da biologia molecular referindo que o índice h é um indicador válido. 
Bornmann & Daniel (2007) referem que, em virtude da sua simplicidade, o índice h padece de 
algumas limitações, como por exemplo, não levar em conta a contribuição de todos os artigos 
de um autor nem o total das suas citações, como também não levar em conta o número de 
autores por artigo. 
Egghe (2006b) refere que o índice h não consegue distinguir entre autores que têm o mesmo 
índice, mas em que um tem o dobro ou o triplo das citações nos artigos mais citados, sugerindo 
um novo índice para ultrapassar essa limitação. 
Schreiber (2007a, 2007b) refere que o índice h contabiliza as auto-citações sugerindo alterações 
ao índice h. Contudo atualmente a Web of Science e o SciVerse Scopus possuem ferramentas 
informáticas que permitem determinar o índice h de forma bastante rápida. Estas bases de 
dados permitem também excluir as auto-citações para o cálculo do índice h. 
Para Rosseau (2007) pode acontecer que uma determinada percentagem de artigos com elevado 
impacto de um determinado autor, tenha sido publicada numa conferência ou numa revista de 
acesso aberto não abrangida pela Web of Science e logo não contribuam para o seu índice h. 
Segundo Torgal (2011) as críticas geralmente apontadas não invalidam a importância do índice 
h, o que acontece é que alguns autores apontam as suas limitações mas na maioria dos casos 
reconhecem que apesar das limitações este índice é atualmente utilizado em várias áreas 
científicas para produzir rankings de pesquisadores. 
Alem disso, Franceschini & Maisano (2010) referem que é a simplicidade do índice h que 
justifica a sua popularidade, já que outros indicadores, embora possam ser mais eficazes, têm 
menos aceitação e dificilmente conseguem evidenciar a sua ligação com aquilo que está sendo 
analisado. 
A contribuição deste artigo pretende ser iniciar uma discussão técnica sobre possíveis formas 
de avaliação de pesquisadores e do próprio programa de pós-graduação, possibilitando a 
apresentação do índice h como instrumento não só de avaliação, mas de orientação para 
melhoria individual e coletiva do ensino e pesquisa na UFF. 
3. Tratamento de Dados e Aplicação 
3.1 A Engenharia de Produção da UFF 
O curso de graduação em Engenharia de Produção na Universidade Federal Fluminense iniciou 
no final da década 1980. Até hoje se formaram aproximadamente 1.200 engenheiros em cerca 
de 24 anos, as últimas avaliações no MEC mostram que o curso está entre os melhores do país 
com nota 04 no último Exame Nacional de Desempenho de Estudantes (ENADE 2011). 
AVALIAÇÃO DO ÍNDICE H COMO FERRAMENTA DE MEDIÇÃO DA PRODUÇÃO 
56 
 
Já a pós-graduação iniciou-se há mais tempo, no final dos anos de 1970. De acordo com 
Produção (2013), atualmente conta com Mestrado nas áreas abaixo: 
• Competitividade; 
• Trabalho e Segurança; 
• Conhecimento e Inovação Tecnológica; 
• Finanças e Gestão de Investimento; 
• Gestão e Estratégia de Negócios; 
• Gestão da Informação; 
• Logística e Cadeias de Suprimento; 
• Modelagem no Apoio à Decisão; 
• Políticas Públicas e Privadas de Ciência e Tecnologia. 
Já o curso de doutorado está restrito a pesquisadores com interesse nas áreas de Logística e 
Cadeias de Suprimento além de Modelagem e Apoio à Decisão (Produção, 2013). 
3.2 Levantamento e Análise de Dados 
A coleta de dados foi realizada na base Scopus com levantamento do perfil de 21 pesquisadores 
do programa de pós-graduação em engenharia de produção da UFF. Para o estudo proposto 
foram selecionados 3 pesquisadores, que serão chamados aqui de Pequisador A, B, e C. 
Dentre os critérios que levaram â escolha desses pesquisadores destacam-se publicações, 
citações recebidas e o índice h de cada pesquisador dentro da base Scopus. A tabela 01 detalha 
essas características desses três pesquisadores. 
TABELA 01: RESUMO DE PUBLICAÇÕES – BASE SCOPUS 
Pesquisador Citações Publicações Índice h Intervalo 
A 291 40 8 1999-Atual 
B 203 124 8 2003-Atual 
C 192 30 8 2002-Atual 
Fonte: Scopus, 2013 
A partir de uma análise preliminar dos pesquisadores listados na tabela 01, percebe-se que, 
embora os mesmos possuam índice h idêntico, ou seja, os pesquisadores são isoindex, o perfil 
da produção científica individual é um pouco diferente. 
O pesquisador B com certeza é o que atingiu o maior número de publicações do programa e 
possui um número considerável de citações. No entanto, parte de seus artigos talvez ainda não 
tenham sido descobertos e não tenham obtido muita visibilidade. Muitas vezes um artigo 
precisa de certo tempo para começar a ser citado e ter mais visibilidade na comunidade 
científica. 
Já os pesquisadores A e C, possuem um perfil semelhante quanto a suas produções científicas. 
Eles possuem uma gama de artigos que tiveram muitas citações, o que aumentou a visibilidade 
e replicação. Quando comparados com o pesquisador B, podemos dizer que parte das 
publicações dos pesquisadores A e C conseguiram alcançar uma maior replicação em menos 
tempo dentro da base Scopus. 
AVALIAÇÃO DO ÍNDICE H COMO FERRAMENTA DE MEDIÇÃO DA PRODUÇÃO 
57 
 
GRÁFICO 01: ÍNDICE h - PESQUISADOR A 
 
 
 
 
 
 
 
Fonte: Scopus, 2013 
Analisando individualmente o Pesuisador A, a partir do gráfico 01 fora da região II, nota-se que 
na fronteira inferior de citações do índice h, o mesmo possui dois artigos com 8 citações, três 
com 7 citações, um com seis citações e um com 5 citações. Os demais possuem 4 citações ou 
menos. Ou seja, o pesquisador possui 7 artigos com pelo menos 5 citações (ver região I do 
gráfico) o que pode significar, dependendo da visibilidade dos artigos que este pesquisador 
pode em breve estar elevando de 8 para 9 seu índice h. 
GRÁFICO 02: ÍNDICE H - PESQUISADOR B 
 
 
 
 
 
 
 
Fonte: Scopus, 2013 
Da mesma forma, o Pesuisador B, como demonstrado no gráfico 02 fora da região II, possui 
um artigo com 8 citações, um com 7 citações, um com 5 citações e quatro com 4 citações. Os 
demais possuem 3 citações ou menos. Ou seja, o pesquisador possui 7 artigos com pelo menos 
4 citações (ver região I do gráfico). Nota-se que para esse pesquisador buscar um crescimento 
contínuo de seu índice h, o mesmo precisará de mais citações na região I do que o pesquisador 
A. 
 
 
 
 
Região II 
Região I 
Região II 
Região I 
AVALIAÇÃO DO ÍNDICE H COMO FERRAMENTA DE MEDIÇÃO DA PRODUÇÃO 
58 
 
 
GRÁFICO 03: ÍNDICE H - PESQUISADOR C 
 
 
 
 
 
 
 
 
Fonte: Scopus, 2013 
A partir da análise do Gráfico 3, percebe-se que o Pesquisador C está mais distante de uma 
mudança de nível de seu índice h de 8 para 9. Na região II, na fronteira inferior de citações do 
índice h do referido gráfico, nota-se que o pesquisador possui um artigo com 8 citações, um 
com 5 citações, dois com 4 citações e dois com 3 citações. Os demais possuem 2 citações ou 
menos. 
É importante mencionar que, nos três casos descritos anteriormente, percebe-se uma tendência 
ou não de elevação do índice h à medida que outros artigos que não contribuem para o índice h 
se aproximam, em citações, do valor do índice atual. No entanto, publicações que hoje não 
estejam na zona de evidência para aumento do índice (região I) podem ganhar destaque à 
medida que sejam “descobertos” e posteriormente citados em outros trabalhos. 
4. Conclusão 
O presente artigo apresentou alguns conceitos do índice h desenvolvido por Hirsch em 2005 e 
algumas formas de analisá-lo e interpretá-lo com 3 exemplos de pesquisadores do programa de 
pós-graduação em engenharia de produção da UFF. É importante destacar alguns pontos sobre 
a possível utilização do índice na UFF: 
• É possível utilizar o índice h como uma ferramenta de avaliação na UFF, a facilidade 
em calculá-lo facilita sua implementação e entendimento aos pesquisadores 
relacionados; 
• Apesar das desvantagens apontadas por alguns autores, o índice h tem uma boa 
aceitação na comunidadecientífica, é fácil de explicar e pode ser utilizado como um 
parâmetro para definir objetivos individuais. 
• Os autores entendem que, pelo menos no primeiro momento, não seria interessante 
desenvolver ou utilizar outras variantes do índice h, mas é importante para quem está 
analisando o índice h de algum grupo ou pesquisador específico obter mais 
 
 
 
Região II 
Região I 
AVALIAÇÃO DO ÍNDICE H COMO FERRAMENTA DE MEDIÇÃO DA PRODUÇÃO 
59 
 
informações sobre o perfil de pessoa para comparar os pesquisadores de mesmo índice 
h. 
A partir da pesquisa, notou-se que será necessário informar em âmbito geral aos pesquisadores 
da UFF sobre o índice h e as maneiras que o índice de cada um pode ser incrementado. De 
acordo com alguns perfis na base de dados Scopus, percebeu-se que alguns pesquisadores 
provavelmente desconhecem a importância que este índice tem na comunidade científica e 
talvez com um pouco mais de direcionamento poderiam ter seus índices melhorados. 
Como proposta futura, sugere-se a elaboração de uma metodologia que busque utilização do 
índice h como forma de avaliar a quantidade e qualidade das publicações e também direcionar e 
orientar os pesquisadores para futuros trabalhos, buscando a melhoria contínua da pesquisa do 
programa de pós-graduação em engenharia de produção da Universidade Federal Fluminense. 
 
 
Referências 
Ball, P. (2005). Index aims for fair ranking of scientists. Nature 436, pp.900. 
Bornmann, L.; Daniel, H. (2005). Does the h-index for ranking of scientists really work? Scinetometrics 
65, pp.391-392. 
Bornmann, L.; Daniel, H. (2007). What do we know about the h index? Journal of American Society for 
Information Science and Technology 58, pp.1381-1385. 
Bornmann, L.; Wallon, G.; Ledin, A. (2008). Is the h index related to (standard) bibliometric measures 
and to the assessments by peers? An investigation of the h index by using molecular life sciences data. 
Research Evaluation 17, pp.149-156.. 
Egghe, L. (2006a). Theory and practice of the g-index. Scientometrics 69, pp.131-152. 
Egghe, L. (2006b). An improvement of the h-index: The g-index. ISSI Newsletter, 2(1), 8–9. 
Franceschini, F.; Maisano, D. (2010). Analysis of the Hirsch index´s operational properties. European 
Journal of Operational Research 203, pp.494-504. 
Hirsch, J. (2005). An index to quantify an individual's scientific research output. Proceedings of the 
National Academy of Sciences of the United States of America 102, pp.16569–16572. 
Hirsch, J. (2007). Does the h index have predictive power? Proceedings of the National Academy of 
Sciences of the United States of America 104, pp.19193-19198. 
Jin, B., Liang, L., Rousseau, R., & Egghe, L. (2007). The R- and AR-indices: Complementing the h-
index. Chinese Science Bulletin, 52(6), 855–863. 
Kelly, C.; Jennions, M. (2006). The h index and career assessment by numbers. Trends in Ecology and 
Evolution 21, 167-170. 
Kosmulski, M. (2006). A new Hirsch-type index saves time and works equally well as the original h-
index. ISSI Newsletter, 2(3), 4–6. 
Lovegrove, B.; Johnson, S. (2008). Assessment of research performance in biology: How well do peer 
review correlate? BioScience 58 nº 2. 
AVALIAÇÃO DO ÍNDICE H COMO FERRAMENTA DE MEDIÇÃO DA PRODUÇÃO 
60 
 
Mugnaini, R.; Packer, A.; Meneghini, R. (2008). Comparison of scientists of the Brazilian Academy of 
Sciences and of the National Academy of Sciences of the USA on the basis of the h-index. Brazilian 
Journal of Medical and Biological Research 41, pp.258-262. 
PRODUÇÃO. (2013). Portal da Pós Graduação em Engenharia de Produção da UFF. Acessado em 
14/06/2013 < http://www.producao.uff.br/>. 
Rosseau, R. (2007). The influence of missing publications on the Hirsch index. Journal of Infometrics 1, 
pp.2-7. 
Rubem, A. P. S.; de Moura, A. L.; Soares de Mello, J. C. C. B. (2013a). Resultados Preliminares da 
Integração do Macbeth ao Vip Analysis, Aplicada a Seleção de Indicadores Bibliométricos Destinados 
ao Processo Seletivo para o Cargo de Docente em um programa de pós-graduação. Simpósio Brasileiro 
de Pesquisa Operacional. SBPO, Natal/RN. 
Rubem, A. P. S.; de Moura, A. L.; Soares de Mello, J. C. C. B. (2013b). Numerical Analysis of Some 
Individual Bibliometric Indexes When Applied to Groups of Researchers. Simpósio Brasileiro de 
Pesquisa Operacional. SBPO. 
Schreiber, M. (2007a). Self-citation corrections for the Hirsch index. Europhysics Letters 78 30002. 
Schreiber, M. (2007b) A case study of the Hirsch index for 26 non-prominent physicists. Annales de 
Physique Leipzig 16 640–52.). 
Scopus. (2013). Banco de dados Cientifico Scopus SciVerse. <Acessado em 10 de Junho de 2013> 
Torgal, Fernando Pacheco. (2011). Utilização do índice h para caracterizar a quantidade e a qualidade da 
produção científica: o caso da investigação em Engenharia Civil produzida em Universidades 
Portuguesas. C-TAC - Artigos em Revistas Nacionais. Editora Universidade do Minho. Departamento de 
Engenharia Civil - ISSN 0873-1152. 
Waltman, L., Van Eck, N.J. (2012). The inconsistency of the h-index. Journal of the American Society 
for Information Science and Technology, 63 (2), 406-415. 
Wu, Q. (2010). The w-index: A measure to assess scientific impact by focusing on widely cited papers. 
Journal of the American Society for Information Science and Technology, 61(3), 609–614.