Dari The Pinnacle To The Pit

Dengan permintaan maaf kepada Ghost.

Jadi ini terjadi.

Singkat cerita: Brian Wansink adalah profesor di Cornell. Karyanya berada di bawah pengawasan karena tidak akurat. Saya telah membuat beberapa kontribusi pribadi kecil untuk pengawasan itu. Yang lain menghasilkan lebih banyak. Ketidakkonsistenan yang terungkap meliputi rata-rata dan standar deviasi yang tidak dapat ada, distribusi data yang tidak dapat ada (atau hanya ada dalam kondisi yang menggelikan), ukuran sampel yang diulang secara aneh, self-plagiarism, anomali statistik, partridge, pear tree, dll.

Jika Anda tidak tertarik pada meta-sains atau statistik forensik, atau Anda tidak mengikuti saya di Twitter, Anda mungkin tidak pernah mendengar apa pun tentang itu.

Karena jika Anda tidak peduli, itu sangat membosankan. Dan ada angka. Begitu banyak jumlahnya.

Apa yang kami tidak tahu sampai sekarang adalah bagaimana sosis dibuat. Dari mana datangnya ketidakkonsistenan ini? Apa yang mereka wakili? Saya tidak menghabiskan terlalu banyak waktu untuk pertanyaan seperti ini, karena - seperti yang saya katakan sebelumnya - saya tidak memiliki surat perintah penggeledahan atau bola kristal.

Sekarang, pada tumpukan ketidakakuratan dan kebingungan, artikel ini dapat menambahkan beberapa wawasan tentang proses penelitian, bukan hanya hasil penelitian yang telah kami tangani.

Pada dasarnya, kita bisa melihat di dalam pabrik sosis sekarang, dan itu sama indahnya dengan lukisan Bosch dari usus besar yang berlubang. Kami tahu sosis itu buruk, tetapi sekarang kami juga bisa mengatakan mengapa. Itu karena ada kuda-kuda tua dan ban sepeda dan middens sampah musim panas Bangkok dalam daging.

Banyak yang akan dikatakan tentang ini, jadi saya akan membuat tiga poin di sini yang mungkin tidak bisa dipahami orang lain.

(1) Menghindarkan Saya dari Rutinitas yang Berarti Berarti Baik

Satu kutipan dari artikel ini yang tidak akan mendapatkan perhatian yang sama dengan yang lain (seperti 'penyiksaan data', misalnya ... itu kutipan yang akan mendapatkan beberapa mil di atasnya) berasal dari seorang mahasiswa pascasarjana yang menghabiskan waktu di lab Wansink.

Ini adalah pendapat yang dewasa dan empatik, tetapi mengisyaratkan sesuatu yang menggertakkan gigiku - bahwa semua kekacauan penelitian ini adalah hasil menyedihkan dari semacam pencarian orang Icaria untuk membantu. “Hanya berusaha membantu, bos, jujur. Saya minta maaf tentang litani mengerikan dari barang-barang. Saya melakukan yang terbaik untuk membantu orang. "

Keren. Saya yakin Anda seorang suci. Faktanya masih tetap ada ketika Anda melakukan penelitian yang mengerikan dengan kehendak terbaik di dunia, Anda masih merupakan bagian dari masalah. Dalam banyak hal, Anda lebih berbahaya daripada bajingan lengkap yang mungkin memutarbalikkan proses penelitian dengan cara yang lebih langsung dan kurang jujur.

Mengapa? Mengapa masalah seperti 'bantuan' seperti ini?

Itu egois. Anda memprioritaskan pendapat Anda sendiri atas pendapat pengamatan terkontrol. Anda mengatakan bahwa Anda lebih pintar daripada data. Dan, dengan ekstensi, lebih baik untuk mendikte realitas daripada orang lain yang membawa data mereka sendiri yang dianalisis dengan hati-hati melalui rencana penelitian yang tidak "mengalahkannya sampai totters pada tunggul berdarah". Anda benar-benar mengatakan 'tidak masalah apa yang kami temukan, saya tahu apa yang orang butuhkan'.

Ini juga egois karena menerbitkan banyak penelitian yang buruk biasanya baik untuk karier Anda dan tidak buruk untuk ilmu pengetahuan.

Itu monumental pendek. Saya tidak bisa menguraikan sepenuhnya di sini, tanpa turun ke kegilaan, berapa banyak ide bagus yang dilakukan dengan eksperimen yang dilakukan dengan hati-hati gagal untuk berhasil dalam nutrisi, ilmu makanan, dietetika, dll. Jika Anda berpikir Anda lebih pintar daripada data, Anda mengabaikan dua puluh tujuh langkah maju-dua puluh enam langkah mundur yang merupakan sifat frustasi dari hampir semua penelitian perilaku. Jika Anda berpikir sifat licin dari semua penelitian lain tidak berlaku untuk Anda, Anda adalah keledai besar.

Ini memungkinkan pelarian yang sangat sinis. Jika Anda seorang fanatik di pihak orang benar ('Saya mendukung anak-anak makan sayur! Saya mendukung jalan-jalan di taman!') Orang-orang jauh lebih cenderung bersikap lunak terhadap Anda ketika ada perubahan fase dalam kontinum ekskemental / ventilasi (* ) dan penelitian Anda berada di bawah pengawasan.

Dilakukan dengan sadar, ini adalah posisi yang sangat sinis. Ilmuwan turun seperti badai Kategori 5 yang penuh dengan pisau pada penelitian matang dari orang gila anti-vaksinasi dan preman bahan bakar fosil. Hal yang sama tidak akan pernah benar jika Anda menulis makalah yang disebut ‘Pelukan, Buah Segar, atau Pelukan DAN Buah Segar? Memperbaiki Kehidupan Anak-Anak Karena Itu Menyenangkan ’atau‘ Empat Rencana Memasukkan Sayuran Dalam Masyarakat Miskin ’. Niat terbaik adalah tempat tidur yang luar biasa untuk bunga-bunga dari ketidakmampuan total sinaps-retak untuk tumbuh, DAN melarikan diri ke tangan-meremas ketika bunga menjerit dan berubah menjadi debu nekrotik.

(2) Narasi. Narratif Everywhere.

Sering kali dalam cerita ini kita melihat peran naratif. Di mana kisah baiknya? Apa yang dijual? Apa yang akan dinikmati orang? Apa yang akan membuat cerita ini lebih jelas?

Kami berputar-putar pada pertanyaan ini - peran apa yang harus dimainkan oleh cerita yang bagus dalam komunikasi sains? Apakah itu perlu? Bisakah kita mengambilnya terlalu jauh?

Jawaban saya untuk ini umumnya: biasanya kita tidak memiliki cukup bahan untuk menceritakan sebuah kisah. Program penelitian yang baik mengajukan pertanyaan yang terkait dan terfokus sampai informasi yang dapat Anda narasikan akhirnya muncul. Namun, hari-hari ini, setiap dataset memiliki kisah luar biasa untuk diceritakan. Dan, dalam situasi seperti saat ini, dapat dibuat untuk memiliki kisah lama yang baik dengan penerapan beberapa ratus yang ditempatkan secara strategis menendang pantat.

Jika Anda ingin bercerita, baiklah. Beli Moleskine dan topi yang menyebalkan, duduk di kafe yang tampak termenung, menulis malam, menikmati makan Top Ramen, dan ikuti J.K. Mendayung di Twitter. Seribu ribu tempat ada di dunia untuk pencerita. Temukan salah satunya, dan singkirkan model regresi rasa kayu manis multi-level.

(3) Anda Gagal Mengisap ... Dan Itu Menakutkan

Jika saya melakukan studi ilmiah yang merekam 20 variabel, dan kemudian saya melaporkan hanya tiga yang 'bekerja', sangat sulit bagi siapa pun untuk mengetahuinya.

Tidak ada yang mengaudit pekerjaan awal saya, tidak ada yang memeriksa. Secara umum tidak ada yang akan melihat seluruh dan tanpa dataset saya. Jika saya berada di antara kelompok-kelompok penelitian, menangani pengumpulan data saya sendiri, dan sebagainya, akan jauh lebih baik.

Oh, dan jika saya sesekali bertanya apakah pelaporan studi saya akurat, saya selalu bisa mengatakan ya. Tidak ada beban pembuktian, atau apa pun yang serupa. Saya hanya bisa menegaskan.

Jika ditantang, saya dapat dengan mudah menghasilkan data untuk tiga variabel yang diminati. 17 variabel yang saya tidak laporkan dikeluarkan dari belakang dan ditembak.

Apa yang luar biasa tentang kasus ini adalah (A) jurnalis memiliki pikiran dan keuletan untuk mendapatkan bukti aktual tentang praktik lab yang buruk, yang merupakan sesuatu yang tidak pernah bisa saya lakukan dan mungkin belum pernah terjadi sebelumnya, dan (B) bukti ketidakakuratan yang mengerikan di data yang dilaporkan mendahului ini.

Pada dasarnya, sambil mengambil keuntungan dari semua cara 'kreatif' yang luar biasa dalam mencari penelitian untuk terlihat bagus, orang-orang ini melakukan pekerjaan yang buruk sehingga orang memperhatikan. Makalah-makalah ini benar-benar gagal pada praktik penelitian yang buruk. Ingat kentang kuantum, di mana pasangan kelompok secara bersamaan dilaporkan memiliki 23, 25 atau 26 anggota? Mobil badut seperti apa yang Anda kendarai ketika Anda tidak bisa ADD UP?

Siap untuk bagian yang menakutkan?

Apa artinya ini tentang orang-orang yang BISA menambahkan?

Berapa banyak kelompok riset yang melakukan hal serupa, tetapi apakah secara akurat melaporkan data yang mereka buat untuk membuat cerita yang bagus?

Apakah kita tahu cara menemukannya? Bisakah Bendera Hitam menemukannya?

Jawabannya adalah tidak, kita tidak bisa. Penelitian tidak jujur ​​yang dilaporkan secara akurat adalah massa es raksasa di bawah ujung yang terlihat ini. Kami tidak bisa melihatnya, kami hanya bisa menyimpulkannya ada di sana. Cara untuk memperbaikinya adalah perubahan dalam lingkungan akademik dan praktik penerbitan, dan tidak keluar dan menyisir lebih banyak makalah yang diterbitkan untuk kesalahan dan hal-hal lainnya.

Saya mengatakan hanya beberapa hari yang lalu bahwa seluruh kisah penelitian yang menyedihkan yang tak berkesudahan ini celaka, Silbillion bollocks ini, masih secara tidak bertanggung jawab mempertahankan kapasitas untuk mengejutkan saya.

Dan di sinilah kita lagi, dan terkejut saya.

(*) Saat kotoran menyentuh kipas. Itu terlambat. Manjakan saya.