Sukses tanpa substansi

Ilmu pengetahuan terobsesi dengan pengukuran kesuksesan. Hanya sedikit sekali yang benar-benar berarti.

Faktor dampak, jumlah kutipan, dan peringkat universitas sama bergunanya bagi ilmu pengetahuan seperti halnya konsonan lain bagi pemain ini.

Published on December 26, 2022

Authors

Adrian Barnett

Adrian Barnett, QUT

Editors

Sara Phillips

Senior Commissioning Editor, 360info Asia-Pacific

DOI

10.54377/0761-1440

Nigel Richards dari Selandia Baru telah memenangkan kejuaraan Scrabble Prancis sebanyak dua kali. Yang lebih luar biasa dari kemenangan ganda adalah Nigel tidak bisa berbahasa Prancis. Dia menggunakan otaknya yang luar biasa untuk menghafal kata-kata dari kamus bahasa Prancis, tanpa memerlukan pemahaman.

Pada tahun 2022, jurnal medis The Lancet meraih prestasi yang sejajar dengan kemenangan Nigel dalam permainan Scrabble. Jurnal ini meraih 'faktor dampak' tertinggi dari semua jurnal ilmiah dalam sejarah. Angka ini tidak mengukur tujuan mulia seperti peningkatan panjang atau kualitas hidup. Sebaliknya, faktor dampak adalah permainan angka yang bersinggungan dengan tujuan penelitian medis. Seperti permainan Scrabble-nya Nigel, ini adalah kesuksesan tanpa substansi.

Faktor dampak dihitung dengan menggunakan jumlah total berapa kali para ilmuwan telah merujuk makalah dari jurnal, sehingga dapat mengukur perhatian, baik dan buruk. Rata-rata artikel jurnal di bidang kedokteran mendapatkan 15 kutipan selama 10 tahun. Sebagai contoh perhatian yang buruk, penelitian The Lancet yang terkenal didiskreditkan yang mengaitkan vaksin MMR dengan autisme memiliki lebih dari 1.800 kutipan.

Kutipan sering kali tidak akurat, dengan para peneliti merujuk pada temuan yang tidak ada di dalam makalah, atau salah memahami makalah tersebut. Banyak kutipan yang singkat, dengan penulis menggunakan daftar kutipan yang panjang sebagai cara untuk menunjukkan pengetahuan mereka yang mendalam tentang suatu bidang.

Keinginan untuk memenangkan permainan faktor dampak dapat diprediksi telah menyebabkan perilaku yang buruk, dengan jurnal-jurnal yang berusaha meningkatkan faktor dampak mereka dengan mengutak-atik data mereka. Beberapa kutipan bahkan bersifat korup, dengan jurnal dan pengulas memanipulasi kutipan agar terlihat lebih baik.

Perbaikan yang nyata merupakan hal yang seharusnya dicita-citakan oleh jurnal, namun mengukur bagaimana sebuah jurnal telah membantu kehidupan masyarakat sangatlah sulit. Alih-alih, kita disamakan dengan faktor dampak yang mudah diukur, tetapi tidak mengukur nilai apa pun.

Guna memenangkan permainan faktor dampak, jurnal perlu menerbitkan makalah yang akan menarik banyak perhatian. Hal ini menciptakan insentif bagi jurnal untuk menerbitkan makalah yang menarik perhatian tentang terobosan baru, sementara makalah penting yang menyanggah pengobatan yang sudah ada akan lebih sulit untuk masuk ke dalam jurnal 'top'.

Hal ini juga menciptakan insentif bagi para peneliti untuk mengerjakan terobosan-terobosan baru dan menarik. Namun, terdapat banyak penelitian yang sangat dibutuhkan pada bagian kesehatan yang relatif biasa. Sebagai contoh, pemerintah dapat menghemat sejumlah besar uang jika mereka berhenti memberikan perawatan yang tidak memiliki bukti ilmiah.

Salah satu makalah yang menjadi berita utama yang diterbitkan oleh The Lancet telah mendapatkan 5.878 kutipan - setara dengan bermain “kuis” Scrabble dengan skor tiga huruf. Makalah ini menjadi berita utama karena merupakan studi awal tentang risiko kematian akibat COVID-19 dari sebuah rumah sakit di Wuhan, Cina. Namun, penelitian ini memiliki kekurangan yang serius. Perhitungannya mengecualikan pasien yang masih hidup, menciptakan potensi besar untuk bias penyintas terbalik yang dapat memiringkan hasilnya.

Bagi para ilmuwan, kelemahan ini mudah dikenali, jadi tidak jelas mengapa hal ini tidak ditemukan dalam proses peninjauan sejawat, di mana para ahli lain memeriksa makalah tersebut sebelum dipublikasikan. Tetapi The Lancet juga melewatkan kekurangan lainnya, misalnya makalah COVID-19 lain yang menarik perhatian yang membutuhkan pembaca untuk menunjukkan kemustahilan dalam data. Mungkin karena urgensi pandemi, tinjauan sejawat dikalahkan oleh perhatian.

Bukan hanya jurnal yang terganggu oleh angka-angka yang tipis. Para ilmuwan juga rentan terhadap kompetisi kutipan daripada berkompetisi untuk menghasilkan karya ilmiah terbaik. Para ilmuwan dapat meningkatkan skor kutipan mereka dengan mengutip karya mereka sendiri. Peningkatan yang lebih besar datang dari kerja sama, dan kartel kutipan telah ditemukan di mana kelompok ilmuwan membuat perjanjian untuk mengutip makalah satu sama lain.

Universitas juga rentan terhadap metrik yang tidak berarti, karena mereka bersaing dalam tabel peringkat internasional, seperti QS, Times Higher Education, dan ARWU. Gagasan bahwa universitas mana pun dapat diringkas dengan menggunakan satu angka adalah sesuatu yang dapat dipahami oleh anak-anak sekolah dasar. Namun demikian, universitas - puncak pendidikan - diperbudak oleh angka-angka ini. Dan berdasarkan apa tabel-tabel itu dibuat? Kutipan sangat menonjol, dan angka-angka lain yang mudah diukur namun tidak mengukur kualitas pendidikan.

Namun baru-baru ini dua sekolah hukum kelas berat di Amerika Serikat telah mengundurkan diri dari tabel liga terbesar yang digunakan di Amerika Serikat. Ini adalah keputusan yang berani karena tabel liga dapat mempengaruhi jumlah mahasiswa dan kebijakan pendidikan tinggi. Sekolah-sekolah tersebut mengambil sikap karena tabel tersebut “menggunakan formula yang salah kaprah yang membuat sekolah-sekolah hukum enggan untuk melakukan yang terbaik bagi pendidikan hukum.”

Para ilmuwan, jurnal, dan universitas telah menjadi budak dari formula yang salah kaprah berdasarkan data yang tidak berarti. Ilmu pengetahuan adalah salah satu pencapaian paling membanggakan bagi umat manusia, tetapi para ilmuwan juga manusia dan telah terganggu oleh permainan gengsi yang tidak melakukan apa pun untuk memajukan ilmu pengetahuan.

Saat ini, lebih dari sebelumnya, sains harus berada di puncaknya, saat umat manusia menghadapi tantangan terbesarnya. Saatnya untuk menghentikan permainan hitung-hitungan dan mengerjakan apa yang benar-benar penting.

Adrian Barnett adalah seorang profesor statistik yang telah bekerja selama lebih dari 27 tahun di bidang penelitian kesehatan dan medis. Beliau adalah presiden Statistical Society of Australia dari tahun 2018 hingga 2020. Penelitiannya saat ini di QUT berkaitan dengan peningkatan praktik penelitian untuk mengurangi limbah. Dia menyatakan tidak ada konflik kepentingan.

Awalnya diterbitkan di bawah Creative Commons oleh 360info™.

Artikel ini sudah terbit dalam Bahasa Inggris pada tanggal 26 Desember 2022 di 360info.org.