Limbah dalam Ilmu Penelitian - Siapa yang Bertanggung Jawab, dan Bagaimana Cara memperbaikinya

Tinjauan tentang kelemahan sistemik dalam penelitian akademik

Hai, nama saya Patrick dan saya kecanduan sains.

Pada 2012, saya lulus dari sekolah seni liberal dan bergabung dengan program PhD dalam biologi molekuler. Saya sangat bersemangat untuk memulai sehingga saya menghabiskan musim panas tidur di lantai apartemen studio adik saya sehingga saya bisa mendapatkan (dan dahi) basah relawan di laboratorium.

Adikku menatapku seolah aku gila, tapi aku tidak peduli. Bagi saya, ada sesuatu yang ajaib tentang teknik biologi molekuler.

Pernah mendengar optogenetika? Para ilmuwan mampu merekayasa sel syaraf secara genetis untuk mengekspresikan saluran ion peka cahaya. Ini memungkinkan mereka untuk mengaktifkan sel secara selektif dengan resolusi temporal dan spasial yang ekstrem hanya dengan menyinari cahaya biru.

Bagaimana dengan imunofluoresensi? Fluorofor yang bercahaya saat terpapar dengan panjang gelombang cahaya yang telah ditentukan sebelumnya dapat secara kovalen berikatan dengan antibodi yang ditargetkan ke protein tertentu. Ini memungkinkan ilmuwan untuk memetakan secara visual lokasi protein target dalam sel.

Mikroskopi FRET bahkan lebih menakjubkan. Saya tidak akan membahas detailnya di sini, tapi percayalah, ada baiknya memeriksa.

Gambar 1. Gambar mikroskopis imunofluoresen fibroblas paru yang diwarnai untuk protein vinculin (hijau) dan aktin filamen (ungu). Diadaptasi dari Singh et al, 2013.

Saya beruntung terkena beberapa sains dan ilmuwan yang luar biasa, tetapi saya memutuskan untuk meninggalkan program saya setelah tahun pertama karena menjadi jelas bagi saya bahwa karier yang sukses di dunia akademis membutuhkan lebih dari sekadar hasrat untuk penelitian. Bahkan PI paling sukses yang pernah bekerja sama dengan saya, yang resume penuh publikasi bergengsi, cemas tentang kemungkinan menerima hibah berikutnya.

Lanskap ekonomi sains akademis tidak dapat dimaafkan dan kompetisi untuk pendanaan sangat ketat

Gambar 2. Jalur Karir PhD Para Ilmuwan Terlatih di Inggris Diadaptasi dari The Royal Society “The Scientific Century, mengamankan kemakmuran masa depan kita”
  • 61% lulusan STEM PhD akhirnya bekerja di luar akademia.
  • Sebuah survei Nature baru-baru ini menemukan bahwa para peneliti akademis hanya menghabiskan sekitar 40% dari waktu mereka melakukan penelitian.
  • Pada 2009, The Lancet memperkirakan bahwa 85% pendanaan penelitian biomedis terbuang sia-sia.

Tunggu sebentar ... 85% dana penelitian biomedis terbuang sia-sia? Pada tahun 2009, ini setara dengan lebih dari $ 170b per tahun. Bagaimana itu mungkin?

Judul utama sensasional ini mendapat banyak kritik dari komunitas ilmiah, sehingga The Lancet menindaklanjuti makalah ini dengan seri lima bagian berjudul "Penelitian: meningkatkan nilai, mengurangi limbah". Dalam seri ini penulis menghubungkan inefisiensi dengan prioritas pendanaan yang samar, rancangan penelitian yang tidak dapat diandalkan, peraturan yang memberatkan, pelaporan temuan yang tidak lengkap, dan kurangnya akses ke hasil yang dipublikasikan.

Sementara saya memuji The Lancet karena menghasut percakapan penting, penulis salah mengira gejala untuk penyebab dan gagal mengidentifikasi kelemahan sistemik dalam penelitian akademik yang merupakan sumber sebenarnya dari limbah yang luar biasa ini.

Memahami aliran modal melalui ekonomi ilmiah global adalah kunci untuk mengidentifikasi akar penyebab pemborosan dalam penelitian akademik.

Penelitian akademis dapat dibagi menjadi empat pemangku kepentingan:

Gambar 3. Tinjauan ekonomi penelitian ilmiah
  1. Pendana
  2. Ilmuwan
  3. Penerbit
  4. Masyarakat Umum
  • Pendana memberikan modal kepada para ilmuwan melalui hibah penelitian.
  • Para ilmuwan mengubah dana hibah menjadi data mentah, lalu mengolah data itu menjadi paket pengetahuan untuk penerbit.
  • Penerbit mengkurasi pengetahuan yang baru ditemukan dan menyebarkannya ke masyarakat umum untuk dikonsumsi.

Idealnya para pemangku kepentingan ini akan bekerja bersama untuk memaksimalkan dampak pengeluaran penelitian untuk mencapai tujuan yang ditentukan masyarakat. Pada kenyataannya, setiap pemangku kepentingan adalah agen ekonomi independen yang umumnya bertindak demi kepentingan pribadi.

Pendana, peneliti, dan penerbit merespons insentif pribadi mereka sendiri dengan mengorbankan efisiensi sistem secara keseluruhan.

Pendanaan penelitian ilmiah tertarik pada dua hal: 1.) Mencapai tujuan organisasi dan 2.) Memaksimalkan dampak investasi ilmiah mereka.

Organisasi yang mendanai penelitian ilmiah sangat beragam. Setiap lembaga memiliki serangkaian tujuan yang mereka harapkan untuk capai dengan keputusan pendanaan mereka.

Sebagai contoh, pada tahun 2016 Susan G. Komen mengumumkan niat mereka untuk memotong kematian akibat kanker payudara di Amerika Serikat menjadi dua dengan "berfokus pada metode baru untuk mengobati kanker payudara yang saat ini tidak menanggapi terapi perawatan standar". Sebagai perbandingan, misi NIH adalah "untuk mencari pengetahuan mendasar tentang sifat dan perilaku sistem kehidupan dan penerapan pengetahuan itu untuk meningkatkan kesehatan, memperpanjang hidup, dan mengurangi penyakit dan kecacatan."

Mekanisme yang digunakan oleh penyandang dana untuk memastikan modal mereka secara efektif dimanfaatkan untuk mencapai tujuan-tujuan ini adalah dana penelitian. Organisasi pendanaan mengundang ilmuwan untuk mengajukan hibah dengan merinci proyek penelitian yang diusulkan. Aplikasi ini ditinjau dan para ilmuwan dianggap mengusulkan proyek yang paling layak menerima penghargaan.

Sayangnya, tidak ada metrik obyektif yang secara akurat dapat menilai kualitas seorang peneliti atau aplikasi hibah mereka.

Lembaga berusaha untuk menstandarkan sifat subyektif dari proses ini dengan memberikan kriteria pada tinjauan peninjau hibah. Misalnya, NIH meminta pengulas untuk menilai aplikasi hibah dengan menilai signifikansinya, penyelidik, inovasi, pendekatan, dan lingkungan. Terlepas dari upaya terbaik pengulas, penelitian menunjukkan ini tidak efektif.

Sebuah makalah 2017 yang diterbitkan di PNAS menemukan bahwa tidak ada kesepakatan antara pengulas NIH dalam evaluasi kualitatif atau kuantitatif aplikasi hibah:

“Tampaknya hasil tinjauan hibah lebih bergantung pada peninjau yang menjadi penerima hibah daripada penelitian yang diusulkan dalam hibah.”

Karena keberhasilan karier seorang ilmuwan sangat tergantung pada kemampuan mereka untuk mengumpulkan dana, kurangnya metrik objektif dalam proses aplikasi hibah memiliki konsekuensi yang luar biasa. Karena kebutuhan, industri biasanya telah kembali pada bibliometrik, atau sejarah publikasi, untuk menilai kualitas seorang ilmuwan. Penggunaan umum bibliometrik untuk membandingkan para ilmuwan telah mendorong mereka untuk menjadi "produktif" dan menghasilkan penelitian "berdampak".

"Produktifitas" seorang ilmuwan adalah ukuran dari jumlah publikasi yang mereka hasilkan. Semakin banyak ilmuwan menerbitkan, semakin sukses mereka dianggap. Sederhana seperti itu.

"Dampak" dari publikasi apa pun adalah ukuran kualitas yang sedikit lebih pseudo-ilmiah. Metrik paling berpengaruh yang mendefinisikan "dampak" publikasi adalah faktor dampak jurnal akademik tempat makalah ini diterbitkan. Faktor dampak jurnal dihitung berdasarkan berapa kali jurnal tersebut dikutip oleh publikasi akademik lainnya dalam setahun. Ini menciptakan prestigue-heirarchy di mana kepentingan realtive jurnal mana pun dalam bidang sainsnya ditentukan oleh peringkat faktor dampaknya.

Masalah dengan mendorong para peneliti untuk menjadi "produktif" dan menghasilkan penelitian "berdampak" adalah bahwa metrik ini adalah pengganti yang tidak akurat untuk ukuran kualitas ilmiah yang sebenarnya. Ini menciptakan atmosfir Terbitkan-atau-Lenyap yang mengaburkan berbagi data dan mendorong para ilmuwan untuk menghasilkan sejumlah besar hasil penelitian yang dibuat khusus agar dapat diterima di jurnal-jurnal faktor-dampak tinggi.

Hasil akhir dari ketergantungan ekonomi ilmiah pada bibliometrik untuk menilai kualitas seorang peneliti sangat mengerikan. Hasil negatif dan studi replikasi adalah bagian integral dari ekosistem ilmiah yang sehat, tetapi mereka tidak mungkin menghasilkan banyak kutipan sehingga jurnal bergengsi memiliki sedikit minat dalam menerbitkannya. Sebuah artikel tahun 2015 di PLOS memperkirakan bahwa lebih dari 50% penelitian biomedis praklinis tidak dapat diproduksi kembali. Angka yang mengejutkan itu menghasilkan lebih dari $ 28 miliar terbuang setiap tahun. Ini tanpa memperhitungkan "dampak" sains yang tidak dapat direproduksi yang tidak terdeteksi dan merembes ke dalam pengetahuan yang diterima.

Gambar 4. Tinjauan Ekonomi Pengeluaran Penelitian Preklinis di AS dengan Kategori Kesalahan yang mengakibatkan Irreproducibilitas. Diadaptasi dari Freeman et al, 2015

Penerima manfaat dari ketidakmampuan ekonomi ilmiah untuk menceraikan diri dari bibliometrik adalah penerbit akademis nirlaba. Mereka adalah lembaga kuno yang nilai proposisi kurasi pengetahuan dan penyebarannya menghilang dengan munculnya internet. Terlepas dari kenyataan ini, ketergantungan dana penelitian pada dampak-faktor sebagai metrik untuk kualitas penelitian telah memungkinkan perusahaan-perusahaan ini berkembang. Misalnya, Elsevier menyumbang 24,1% dari semua makalah ilmiah yang diterbitkan. Pada tahun 2010, Mereka mengumpulkan lebih dari $ 26b dalam pendapatan dan beroperasi dengan margin keuntungan 36%.

Penerbit akademik nirlaba diberi insentif oleh… yah…. keuntungan.

Jurnal akademik faktor-dampak tinggi membebani para ilmuwan biaya pengajuan yang besar, dan kemudian menempatkan konten itu di balik dinding berbayar yang memerlukan biaya satu kali yang terlalu besar atau langganan institusional untuk mengakses. Hasil dari ini adalah distribusi yang tidak merata dari akses ke pengetahuan yang murni didasarkan pada jalur sosial ekonomi.

Baru-baru ini, telah ada gerakan akar rumput untuk mempublikasikan hasil penelitian secara terbuka. Komunitas sains terbuka sedang tumbuh, tetapi sebagian besar penerbit akses terbuka tidak memiliki pengaruh akademis untuk menyulitkan permintaan penerbitan di jurnal akademik berdampak tinggi.

Mari kita tinjau. Beragam penyandang dana ingin mencapai tujuan kelembagaan mereka dengan membelanjakan uang mereka secara efektif, sehingga mereka mengundang peneliti untuk mengajukan hibah. Tidak ada metrik yang akurat untuk menilai kualitas aplikasi hibah, oleh karena itu penyandang dana dipaksa untuk menggunakan langkah-langkah di bawah standar dari "produktivitas" ilmuwan dan "dampak" untuk memutuskan di mana uang mereka dihabiskan terbaik. Penggunaan metrik yang buruk ini menciptakan pusaka prestise penerbit akademis yang memberdayakan jurnal faktor-dampak tinggi untuk membatasi akses ke pengetahuan dan mengumpulkan keuntungan yang cabul. Hasil hilir adalah iklim Publikasi atau Hilang untuk para ilmuwan yang memperdagangkan kolaborasi dan praktik penelitian yang sehat untuk "produktivitas" yang umumnya tidak dapat direproduksi dan limbah luar biasa.

Hebat ... Terima kasih, Pat. Katakan sesuatu yang aku tidak tahu. Seperti ... bagaimana cara memperbaikinya?

Nah itu bagian yang mudah. Ikuti aliran modal melalui ekonomi ilmiah. Ini sebenarnya agak lucu, dengan cara yang mengerikan. Pendana menggunakan dana penelitian untuk memaksimalkan dampak dari modal institusi mereka, tetapi sebagai hasilnya, mereka meletakkan dasar untuk insentif buruk yang menghasilkan limbah besar di seluruh ekonomi.

Yang harus kita lakukan adalah mengatur penyandang dana penelitian ilmiah untuk secara kolektif menetapkan insentif keuangan yang menghargai praktik penelitian yang sehat.

Setelah kita melakukan itu, kita dapat mengambil sebagian dari $ 170b yang baru saja kita tabung dan membeli beberapa mikroskop confocal. Karena jika ada satu hal yang aku tahu pasti. Dunia membutuhkan lebih banyak seni mikroskop.

Gambar 5. Giardia