ICLR2020 的審稿結果終於放出。但放榜時間比預計的要晚了一天，原因在於今年的投稿數量多到爆炸，足足有 2600 篇，所以原有的審稿人手根本不夠用。要知道，ICLR 2019 大會的投稿數是 1500 篇，而 ICLR 2018 才 900 多。兩年時間增長了近兩倍。
提交論文數量爆炸式增長，大概率導致幾種結果，要麼使得審稿人超負荷運轉，要麼減少在每篇論文上花費的精力，或者增加審稿人數量。而審稿人數量一多，就很容易出現「濫竽充數」的情況。甚至有些深度學習頂會的審稿人會發出一些靈魂追問，如著名的：「What is softmax?」
ICLR 2020 的評審，就引發了社區的極大質疑。
谷歌大腦研究科學家 Ben Poole 就在 Twitter 上表示，「機器學習同行評審崩塌了」。
一大批論文作者們也表示贊同。一位相關領域的 PhD 學生在 Poole 的 Twitter 下留言稱，「ICLR 2020 感恩有你，我和學術界從此拜拜。如果能重來，我要選 arXiv。」
另一位相關研究者說：「吐槽大會審稿已經是一個傳統了。但是本次大會的審稿情況真是令人震驚。（論文的）評論更像是 Reddit 的評論，而不是嚴格的學術評審。老實說，我已經喪失了嘗試（投稿）的動力。」
面對來自投稿者的「差評」，審稿人也大呼冤枉，表示「我們太難了……」
一位審稿人表示，自己真的在審稿方面花費了很多心血，不能一口氣否定。這位審稿人審核了三篇論文，每篇用了 6 小時閱讀、2 小時寫評論，並在之後又一次花 1 小時看一遍，以免出問題，評審意見平均達 900 字之多。
不過有時候確實任務很繁重，一位審稿人對此回覆說：「你這麼做是對的，但是我可是在兩週內審了八篇論文，而且我們可不是僅僅只有審文章這一個工作。」
直到審稿截止日期的最後兩天，紐約大學助理教授 Sam Bowman 還在 twitter 上在線徵集 ICLR 審稿人。他表示，「這是最後時刻發起的請求，實在是沒有有經驗的審稿人可用了」。不過，此次徵集的審稿人是有一定要求的，如需要在同等級會議上發表過文章。
47% 審稿人沒發過相關論文
如果說 ICLR 2020 的評審結果「一地雞毛」，相信也是跟審稿人的背景有關的。讓沒有在相關領域發過文章的審稿人參與評審，被認為是這次審稿崩塌的主要原因。
在 Twitter 上，有用戶統計稱，ICLR2020 的審稿人中，有 47% 的人沒有在相關領域發表過論文。南京大學周志華教授對此評論稱，「頂會的『頂』正是因為有高水平專家把關，但現在已不可能了。」
ICLR 大會最初由深度學習三座大山中的 Yoshua Bengio 和 Yann LeCun 牽頭創辦。眾所周知，Yoshua Bengio 主管著蒙特利爾大學人工智能實驗室，也就是 MILA，這是世界上最大的人工智能研究中心之一。Yann LeCun 是 Facebook 人工智能研究院的院長，被稱為卷積神經網絡之父。
不久之前，在清華大學發佈的最新版《清華大學計算機學科推薦學術會議和期刊列表》中，成立短短 6 年的 ICLR 已經成為了 A 類頂會。
本著開源的原則，ICLR 大會一直採用 open review 制度，所有提交的論文都會開放在 OpenReview.net 網站上，遵循公開同行評審、公開發表、公開來源、公開討論、公開引導、公開推薦、公開 API 及開源這八個原則。但正如周志華教授所言，open review 制度只有在參與者均為本領域專家的前提下才更顯效用，否則存在誤導風險。這並不是一種偏見，僅從學術判斷專業性的角度出發而已。
這就是為什麼學術界的人們非常信賴「頂會」。只有頂會能夠匯聚更多的學術大咖和行業專家，讓論文在更專業更深邃的審視下，能夠脫穎而出。這樣的論文才能經得起專業和歷史的檢驗。然而，就 ICLR 2020 的情況來說，這次論文評分的說服力恐怕要打個折扣了。
不堪重負的頂會（們）
無論是之前爆出的「本科畢業生成為 NIPS 2018 論文同行評審」，還是如今的「近半數 ICLR 審稿人未在該領域發過論文」，其本質上反映的都是一個基本矛盾，即大會日益增長的投稿需求與審稿人數量有限之間的矛盾。
今年 ICLR 的截稿日期是 9 月 25 日。截至當日，ICLR 的投稿量達到了 2600 篇，比去年多出 65%。而在 2017 年，這一數字僅為 490，三年時間增長 4 倍還要多。
當然，面臨這一情況的可不止 ICLR 一場大會。今年的 NeurIPS 2019 大會收到了 6743 篇有效論文，比 2018 年（4856）增長了近 40%；CVPR 2019 大會共收到 5165 篇有效提交論文，比去年增加了 56%；ACL 2019 接收的有效論文數近 2700 篇，相比去年的 1544 篇增加了 75%。
壓力都是相似的，出的問題自然也是相似的。早在去年 5 月份，NeurIPS 大會就被曝出啟用一名本科剛剛畢業的學生擔任審稿人。這位年輕的「審稿人」在 reddit 上發帖提問，「我從來沒有提交或者評審過這個大會的論文。所以我該如何選擇論文？需要先從閱讀舊 NIPS 論文開始學習其中的規律嗎？最重要的是，如何寫好評審意見？」
面對激增的投稿量，「降低審稿人選擇標準」似乎是各大頂會不約而同的一個選擇，這也解釋了為什麼每次評審結果出來之後都有人吐槽，「我覺得審稿人沒有看懂我的論文。」也許，他/她真的沒有看懂。
ICLR 2020 論文評審整體情況
雖然評審工作一地雞毛，但我們還是可以看一下今年論文的整體情況。畢竟，論文該投還是要投的……
今年評審得分的分佈：均分 3.91，中位數 3.84。
數據來源 [1]
Top5 得分論文的分數範圍在 8.20-8.91 之間：
此外，Github 網友從 ICLR OpenReview 的網頁上抓取了數據，在 2594 篇提交論文的基礎上，對本次 ICLR 論文提交情況進行了可視化的呈現；
投稿關鍵詞中，深度學習、強化學習、表示學習、生成模型、圖神經網絡等是熱門話題。
所有論文中常用關鍵字的 Top50，以及它們出現的頻率如下：
