不創新,毋寧死,那論文可重複性呢?

不創新,毋寧死,那論文可重複性呢?

科研領域什麼最重要?大部分人的第一反應就是“創新”。然而當貼著“創新”標籤的論文和成果像洪水一樣四處氾濫之時,我們只能照單全收嗎?


每年在各個領域都有許多看上去前景無限的論文被髮表,但是在很多實驗室裡,太多貌似具有里程碑意義的研究卻無法復現。2009年,紐約大學的研究人員在《自然》雜誌的一篇引人入勝的文章中表示,無需使用藥物,大腦刺激或任何侵入性手段,就可以“重寫”一個人有關“恐懼”的記憶。


不創新,毋寧死,那論文可重複性呢?


這個結果可能對創傷後應激障礙的治療具有開創性意義,因此這篇論文在新的PTSD治療試驗中被引用了1100多次。同時,這一發現在大眾媒體上也得到了廣泛的關注,包括諸如“如何消除人類的恐懼”之類的文章大量出現,甚至出現在著名刊物《紐約客》上。


但是,當比利時研究大學魯汶大學的科學家試圖復現這個實驗時,遇到了一個又一個問題。他們在原始研究中發現了許多錯誤,數據不一致、遺漏和其他令人不安的細節。例如,紐約大學的研究人員測試了比他們報告中提到的要多得多的內容,之後按照研究人員自己的“主觀判斷”,刪除了約一半的樣本數據,這一舉動與完全公開的慣例不符。


比利時科學家對數據進行仔細研究,並確切地還原了原始實驗的執行方式,光是這個過程就花了幾個月時間。最終,當他們重現了整個試驗過程之後,在結果中沒有發現“重寫”效果的證據。當他們把這個報告發布之時,距離那篇廣受讚譽的原始論文的發佈時間已經過去了整整十年。


類似的情況還有很多。2013年,一些研究者著手嘗試復現腫瘤生長方面的50項備受矚目的研究。他們發現,記錄這些工作的原始論文中沒有一個報告了有關研究方法的足夠信息,令他們很難嘗試獨立複製。最終,在與原作者聯繫之後,研究人員設法重複了一些實驗,得到的結果與論文中發表的結果相比,“各有千秋”……


當然,復現失敗並不意味著原始研究人員有不當行為,但確實會動搖他們的結論以及其他依賴他們成果的研究。


不創新,毋寧死,那論文可重複性呢?


2005年,一篇對高引用醫學出版物的評論發現,只有44%的復現研究產生的結果與原始研究相似。同一研究團隊在2012年對心理學百強期刊的出版歷史進行的一項研究發現,只有1.07%的論文是復現已有的研究結果。


類似的結果也出現在教育領域,2014年,杜克大學和康涅狄格大學的聯合研究顯示,在教育領域五種年影響因子排名最高的刊物上,只有0.13%的論文是復現類的文章。該研究的作者之一喬納森·A·普盧克認為:“區分真相與廢話的願望是科學界的不懈努力,教育科學也不例外。” 合著者Matthew C. Makel說:“如果想在現實世界中依賴教育研究的成果,那麼進行獨立復現是必不可少的。” “重要研究結果的復現將導致更強有力,更準確的政策和實踐建議。”


作者總結了八個原因或偏見,可以解釋教育研究領域缺乏復現研究的原因,包括提交偏見、資金偏見、編輯/審閱者偏見、期刊出版政策偏見、招聘偏見、晉升偏見,期刊分析偏見和“新穎等於創造力”偏見。


不創新,毋寧死,那論文可重複性呢?


科學家很少關心復現,因為復現不會促進他們的職業發展。當人們可以進行自己全新的、令人興奮的實驗時,並且有機會在學術評審委員會和期刊編輯們面前展示從而提高自身的學術地位時,為什麼還要進行復現研究,仔細檢查別人的工作呢?


全球科研界每年發表的論文數以百萬計,如果人們希望真正有價值的研究成果能夠脫穎而出的話,那麼給復現研究以更多的重視以排除那些不甚可靠的研究就很重要了。為了實現這個目標,則有必要重新審視整個科研體系的激勵機制,改變目前科研工作對“創新”的過度重視,給予復現研究和同行評議以更多的激勵措施,讓學術論文具備其應有的價值:有力,可靠和可復現。

參考文獻:

1. https://phys.org/news/2020-08-science.html

2. https://www.nature.com/articles/nature08637

3. https://phys.org/news/2014-08-shortage-replication.html


分享到:


相關文章: