O professor uruguaio Ernesto Spinak concedeu uma entrevista à Agência FAPESP na qual falou sobre os sistemas usados para medir a produção científica, entre eles, o Fator de Impacto.
Os dois principais focos de trabalho do professor uruguaio Ernesto Spinak são a automação de bibliotecas e a avaliação de sistemas de informação. Com o apoio financeiro de organizações internacionais, ele foi o responsável pela avaliação da coleção de bibliotecas na Argentina, no Chile e na Bolívia. Seus cursos de controle de qualidade, avaliação de bibliotecas virtuais e estatísticas bibliométricas são referência na América Latina.
Confira a entrevista na íntegra:
Agência FAPESP – De que maneiras pode ser feita a avaliação da produção científica?
Ernesto Spinak – O que mais se faz é capacitar a produção científica, criando metodologias e utilizando índices métricos, como o Fator de Impacto. Também faz parte da avaliação o uso do sistema peer review, a avaliação por pares, usado mais na relação editorial entre os trabalhos científicos e as publicações. Tenho estudado a aplicabilidade desses procedimentos de avaliação na internet, de quais regras ou índices usados para medir a produção científica em papel podem ser transpostos para a web.
Agência FAPESP – Quais são as dificuldades de aplicação de métodos numéricos para avaliar a qualidade da produção científica?
Ernesto Spinak – Quando usamos métodos numéricos estamos supondo que os números medem a qualidade. Digo suposição porque ninguém até hoje demonstrou que eles revelam ou não a qualidade. Porém, fatores como o mercado e a visibilidade da revista que fez a citação, assim como sua força econômica, interferem no impacto que o trabalho científico causa na sociedade. As publicações de instituições menos poderosas, de países menos ricos, podem ter uma qualidade tão boa quanto as de países desenvolvidos, mas elas têm mercado menor. Uma revista publicada nos Estados Unidos tem o respaldo de um milhão de cientistas, enquanto uma boa revista chilena terá visibilidade de cinco mil pesquisadores.
Agência FAPESP – O que é o Fator de Impacto?
Ernesto Spinak – É um sistema que determina a quantidade de vezes que uma publicação é citada em certo período de tempo, dividida pela quantidade de artigos publicados. O Information Sciences Institute (ISI) utiliza um período de dois anos. Na minha opinião, é melhor calcular entre três e cinco anos. Um período mais longo permite que publicações de periodicidade maior, ou que sofram problemas de mercado, tenham a possibilidade de aparecer no índice.
Agência FAPESP – Além do ISI, que outras instituições fazem levantamentos usando o princípio do Fator de Impacto?
Ernesto Spinak – O projeto da biblioteca virtual Scielo (Bireme e FAPESP), e outras duas instituições na Índia e na China. O Fator de Impacto é reconhecido internacionalmente, mas existe muitas correntes contrárias a ele. Existem mais de 30 indicadores de qualidade da produção científica, o Fator de Impacto é apenas um deles.
Agência FAPESP – De acordo com sua análise, por ser um sistema numérico, o Fator de Impacto não mediria a qualidade da produção científica. Mas o fato de uma revista ter escolhido publicar um trabalho entre tantos existentes já não é um indicador de qualidade?
Ernesto Spinak – Por que escolheram um trabalho em detrimento de outro? Porque era o que estava à vista, sobre a mesa ou na base de dados. Há vinte anos, aproximadamente, as cifras mostram que os textos citados não são necessariamente aqueles que as pessoas lêem. Essa é uma velha discussão entre Eugene Garfield, do ISI, e Maurice Line, da British Lending Library (BLL), ambos aposentados atualmente. A BBL é o maior instituição a abrigar documentos e a produzir fotocópias no mundo, cerca de 6 milhões de cópias ao ano. Segundo Line, as estatísticas sobre o conteúdo do que as pessoas solicitavam para copiar não correspondiam com o Fator de Impacto medido pelo ISI. Este fator serve para medir, do conjunto de publicações, quais são as mais citadas, não necessariamente as melhores, embora supõe-se que as melhores estejam no todo.
Agência FAPESP – Como o senhor avalia a produção científica na América Latina, estamos produzindo material de qualidade?
Ernesto Spinak – Não vou opinar sobre o que é melhor porque existem distintas estratégicas de produção. No Brasil, Bireme e FAPESP têm o projeto Scielo, que há muito tempo era necessário para dar visibilidade às publicações latino-americanas. Assim, o Fator de Impacto de muitas publicações locais aumentou graças ao Scielo e essas revistas estão no ISI. O Brasil tem uma política de divulgação científica que deu ao país visibilidade, como aconteceu no Chile. No momento em que a internet passou a ser usada como instrumento de divulgação, os dois países ingressaram nos sistemas internacionais e suas produções estão sendo incorporadas ao mainstream. O Uruguai, por exemplo, tem uma política totalmente diferente. A decisão é não ter revistas científicas próprias e publicar diretamente nas melhores revistas internacionais. Então, no ISI, não há registro de revistas uruguaias, mas os autores do país publicam nas revistas do primeiro mundo. A situação latino-americana é muito variada. Países como Jamaica ou Trinidad e Tobago têm produções científicas bem menores do que Argentina ou Uruguai mas, como ex-colônias britânicas, eles ganham o direito de publicar nas revistas inglesas, o que lhes dá visibilidade.
Agência FAPESP – Segundo o Fator de Impacto, qual é o país da América Latina que tem maior número de citações?
Ernesto Spinak – Essa questão tem muitas respostas, mas diria que, em números absolutos, é o Brasil, em virtude da maior quantidade de publicações. Mas é possível afunilar esses dados por população, pelo Produto Interno Bruto (PIB) ou por quantidade de cientistas, por exemplo. As cifras não são comparáveis imediatamente e também dependem das políticas dos países. Os pequenos, como Taiwan ou Finlândia, que não têm tanta produtividade científica em números absolutos, têm a pesquisa mais dirigida à geração de patentes ou à busca de tecnologias. Em casos como esses, o Fator de Impacto acaba sendo nada além de um simples número.