Kelicikan dalam bibliometrik

Jangan euphoria dan biasa-biasa sajalah dalam melihat angka-angka bibliometrik. Sekarang ini banyak perusahaan yang secara automatik menganalisis publikasi ilmiah kita, yang tujuan akhirnya adalah untuk mendapatkan keuntungan secara ekonomi dari data tersebut, dengan kata lain mereka menjual data dan jasa. Ini adalah biblometrik saya yang dengan mudah dapat ditemukan jika mengetik nama saya di mesin pencari Google:

Google Scholar|Scopus|Publons|Impactio|SelectedWorks|Microsoft Academic|Aminer|Semantic Scholar

Di bawah ini adalah kritik atas metrik yang digunakan untuk menilai publikasi individu, yang disebut sebagai metrik tingkat penulis (author-level metric) yang rentan terhadap permainan sistem. Hal ini banyak dilakukan. Banyak yang sadar tetapi tetap saja dilakukan karena dipaksa oleh sistem yang dibangun. Tulisan di bawah ini adalah hasil terjemahan dari tulisan di Wikipedia dengan judul “Author-level metrics“.

Beberapa akademisi, seperti fisikawan Jorge E. Hirsch, memuji metrik tingkat penulis sebagai "ukuran yang berguna untuk membandingkan, dengan cara yang tidak memihak, individu yang berbeda bersaing untuk sumber daya yang sama ketika kriteria evaluasi yang penting adalah pencapaian ilmiah." Namun, anggota komunitas ilmiah lainnya, dan bahkan Hirsch sendiri telah mengkritik mereka karena sangat rentan terhadap permainan sistem. 

Bekerja di bibliometrik telah menunjukkan beberapa teknik untuk manipulasi metrik untuk penulis yang populer. Metrik indeks-h yang paling sering digunakan dapat dimanipulasi melalui kutipan sendiri, dan bahkan dokumen tidak masuk akal yang dihasilkan komputer dapat digunakan untuk tujuan itu. Metrik juga dapat dimanipulasi dengan kutipan paksa, sebuah praktik di mana editor jurnal memaksa penulis untuk menambahkan kutipan palsu ke artikel mereka sendiri sebelum jurnal setuju untuk menerbitkannya. Selain itu, Jika indeks-h dianggap sebagai kriteria keputusan untuk lembaga pendanaan penelitian, solusi teori permainan untuk kompetisi ini adalah dengan cara meningkatkan jumlah penulis. 

Leo Szilard, penemu reaksi berantai nuklir, juga mengungkapkan kritik terhadap sistem pengambilan keputusan untuk pendanaan ilmiah dalam bukunya "The Voice of the Dolphins and Other Stories". Senator J. Lister Hill membacakan kutipan kritik ini dalam sidang senat tahun 1962 tentang melambatnya penelitian kanker yang didanai pemerintah. Karya Szilard berfokus pada metrik yang memperlambat kemajuan ilmiah, bukan pada metode permainannya: 

"As a matter of fact, I think it would be quite easy. You could set up a foundation, with an annual endowment of thirty million dollars. Research workers in need of funds could apply for grants, if they could mail out a convincing case. Have ten committees, each committee, each composed of twelve scientists, appointed to pass on these applications. Take the most active scientists out of the laboratory and make them members of these committees. And the very best men in the field should be appointed as chairman at salaries of fifty thousand dollars each. Also have about twenty prizes of one hundred thousand dollars each for the best scientific papers of the year. This is just about all you would have to do. Your lawyers could easily prepare a charter for the foundation. As a matter of fact, any of the National Science Foundation bills which were introduced in the Seventy-ninth and Eightieth Congress could perfectly well serve as a model."

"First of all, the best scientists would be removed from their laboratories and kept busy on committees passing on applications for funds. Secondly the scientific workers in need of funds would concentrate on problems which were considered promising and were pretty certain to lead to publishable results. For a few years there might be a great increase in scientific output; but by going after the obvious, pretty soon science would dry out. Science would become something like a parlor game. Somethings would be considered interesting, others not. There would be fashions. Those who followed the fashions would get grants. Those who wouldn’t would not, and pretty soon they would learn to follow the fashion, too."
Print Friendly, PDF & Email

Published by

Hadi Nur

This blog is mainly written for my own purposes. There has never been any claim that this is an original work.