近日,CVPR 2020 論文 review 結果放出,一些讀者們是不是開始為 rebuttal 做準備了?在此文章中,曠視南京研究院負責人魏秀參博士介紹了論文 rebuttal 那些事,相信能為讀者們提供全新的洞見。
學術論文是發佈自己或團隊最新研究進展正式且最快捷的途徑,也是和同行交流想法最方便、高效的方式。當同行評議(Peer review)作為學術成果正式發佈的必經之路已運行 200 餘年 [1] 時,用正確的姿勢進行 review rebuttal 便成為提高論文錄用機率甚至扭轉乾坤的最後一搏。
本文從「What is peer review?」、「How to rebuttal?」及「Does rebuttal matter?」三部分來聊聊學術論文(主要針對人工智能領域會議和期刊)rebuttal 的那些事。
What is peer review?
要想寫好 rebuttal,必然要先了解 peer review 是怎麼一回事。
「Peer review」趣圖(原圖來自網絡)。
Peer review 是一種學術成果審查程序,即作者的學術著作或 proposal 被同一領域的其他專家學者評審,並根據評審意見決定是否予以錄用(Accept)和後續正式發表(Publish)。對於計算機學科特別是人工智能領域的學術會議和期刊,其均有相對成熟和流程化的同行評議(即審稿)機制。
會議審稿
對於會議審稿流程而言,由於會議論文往往有比較嚴格的截止日期(Deadline),作者們通常會根據這一時間來 rush 自己的 paper(關於論文寫作的一些 tips 請戳筆者早年的《LaTeX 寫作新手須知》),所謂「Deadline 就是第一生產力!」。待 deadline 一過,大會的程序委員會主席(Program Committee Chair 或 Program Chair)首先會剔除一批不符合會議投稿政策的論文,如:篇幅不合要求、一稿多投、未匿名、未註明 Conflict Domain 等,這些論文會直接作「Desk Reject」處理。處理之後的投稿(Submission)便為有效投稿。
這些稿件會由 PC Chair 根據一定規則(如 TPMS[2] 或 bidding[3])分配給高級程序委員會委員(Senior PC,IJCAI/AAAI 一般是這個叫法)或領域主席(Area Chair,CVPR/ICCV/ECCV 一般用此稱謂),這些人便是論文最終命運的判決者,也是在審稿最後時刻書寫 meta review 的 meta reviewer——一般會由領域內頗有建樹、有判斷力的專家學者擔任。而後,這些 meta reviewer 會繼續分配稿件給到實際操刀審稿、給出具體審稿意見的審稿人(Reviewer)。
對於 CVPR/ICCV/ECCV 等 CV 領域會議,近幾年每個 AC 負責的文章大約在 30-50 篇左右,而普通審稿人分配的稿件一般不超過 10 篇/人。以 CVPR 2019 為例,針對 5160 篇有效投稿,全球共召集了 132 位 AC 和 2887 位審稿人 [4],一共提交了超過 15000 條審稿意見,做到了平均一篇文章至少 3 條,其中一篇文章甚至有 7 條審稿意見之多。
在 reviewer 各自獨立提交審稿意見並經由 AC 檢查質量之後,絕大多數會議會將首輪意見開放給作者(目前 Data Mining 領域的 KDD、ICDM 等仍保持不設 rebuttal 環節的傳統),作者可根據意見內容進行 rebuttal 來更正審稿人理解的錯誤、解釋/澄清審稿人的疑慮、提供更多方法和實驗細節等信息。在收回作者 rebuttal 之後,同一篇文章的首輪意見、作者 rebuttal 信息均會開放給所有審稿人和責任 AC,進入 paper discussion 環節。
Discussion 時,AC 會主持每篇文章的討論,每位審稿人根據其他審稿人意見和作者 rebuttal 會留言給其他審稿人。經過幾天系統線上討論,所有審稿人需更新自己最終意見。更新的意見以及整個討論過程,再加上 AC 自己的判斷會作為 AC 給予每篇論文生殺予奪的重要依據:若多數審稿人在 rebuttal 後提高了論文得分或保持 accept 認為可以接收,則文章有較大概率可被錄用;若多數審稿人在 rebuttal 後降分或保持 reject,則這篇文章命運便岌岌可危。可以看到,rebuttal 在整個論文錄用過程中起到了舉足輕重的作用——
特別的,CV 領域的會議如 CVPR/ICCV/ECCV 等在 AC 給予最終決定時,有開線下 AC meeting 的傳統,即在 paper discussion 之後會選在某個城市線下召集所有 AC 共同決定了投稿的最終命運。一般而言,一篇文章是否錄用由三位(有時兩位)沒有 conflict domain 的 AC 共同決定,稱作「AC Triplet」。到此,每篇會議論文最終結果(錄用與否以及 oral、poster、spotlight)便蓋棺定論,等待著 PC Chair 公佈給如坐針氈的作者們。
期刊審稿
與會議論文相似,期刊論文也是由其他研究者進行同行評議之後決定是否予以錄用。不過期刊審稿由於沒有 deadline(期刊的 special issue 除外),通常不會在較短時間集中接收到的非常多稿件。一般而言,接收到的稿件會由期刊主編(Editor-in-Chief)分配給副主編(Associate Editor),之後副主編會聘請一些相關的研究者作為審稿人進行評審,有時副主編本身也會負責論文的評審意見和推薦等工作。而最終決定論文是否錄用的仍然是期刊主編。
與會議論文不同的是,正是由於沒有明確的 deadline,期刊審稿意見的「出爐」時間往往極不確定且普遍週期較長(3-8 個月不等),第一輪評審之後審稿人一般會給出如下四種推薦意見之一:1)接收(Accept);2)接收但需要微幅修改(Accept with a minor revision);3)接收但需要大幅修改(Accept with a major revision,有些期刊如 TNNLS 則稱作 Reject & Resubmit);4)拒稿(Reject)。之後,副主編會根據若干審稿人的結果綜合評定給出 meta review,若 meta review 意見為 2)和 3)中其一,作者便需要準備一個詳盡的 revision list 來對每位審稿人的意見逐條進行 response 和 rebuttal,同時還需要提供修改過的文章供審稿人進行下一輪評審。
同樣,和會議論文不同的是,會議論文這一的 rebuttal 過程最多隻有一次。而期刊論文如此過程可以反覆多次,更像一場你一言我一語的「交談」,最終直到全部審稿人均認為達到「Accept」的程度。但需注意,有的期刊 major revision 只有一輪,若經過一次 major revision 後的文章仍未達到錄用或 minor revision 標準,有時便會做拒稿處理。可見,有效的 rebuttal/response 對於期刊論文的錄用仍很關鍵。
How to rebuttal?
以上過程可看出,正規的會議和期刊同行評議過程非常嚴格、專業。更顯然的是,從論文提交時開始,作者們便處於弱勢,文章的主動權則全部移交給審稿人和 AC 聽憑其「處置」。Rebuttal 作為整個 peer review 過程中少有甚至唯一的發聲機會,作者們可要牢牢把握!
知彼解己原則
不論會議還是期刊,筆者以為,「知彼解己」——「首先去了解對方,然後再爭取讓對方瞭解自己」,是整個 rebuttal 過程中最為重要的一條原則。
作者在收到審稿意見後,通常情況不應將情緒和注意力完全放在抱怨和吐槽審稿人上(遇到不專業的審稿人除外,但更多情況中肯地講多為自己文章的問題),且不應站在審稿人的對立面,相反,更多的應去領會審稿人某句話背後的意圖,體會其心意,應試圖站在 ta 的角度去揣摩提出意見時的想法和心境,同時不要侷限在可見審稿意見中寫的那麼寥寥幾筆。
而且,從第一節的同行評議過程的描述可以看到,一個審稿人面對的稿件(尤其會議稿件)非常之多,需要 ta 在短短几周且不影響本職工作的情況下完成高質量評審,這對於每位審稿人都是個不輕鬆的任務。事實上,許多審稿人(約 50% 以上 [5])會在審稿意見提交 deadline 的最後三天內完成評審,每篇工作在審稿人處花費的時間一定非常有限。如此,我們便需要根據有限的審稿意見來「管中窺豹「,對審稿人的喜好和傾向一探究竟、琢磨一二,這對於作者如何在 rebuttal 時「排兵佈陣」、「設定應對戰略」尤為重要。
比如,若某期刊審稿人說「文章相對會議版本唯一區別僅在於增加了 xxx,而 xxx 這部分帶來的性能增益非常有限」,實際背後含義是「嫌棄」作者僅 incremental 式增加不多的新東西就投遞到期刊,顯然不是審稿人沒有看懂新加的 xxx 部分內容的價值,或不瞭解作者的技術做法;對此,可以澄清「我們工作並不是 trivial/simply 的增加了 xxx,它有自己的 intuition 和 insight,基於這樣的獨特設計 blabla「,同時還要針對性能質疑有所回應,做到有問必答:「增加 xxx 之後效果提升也較顯著,並不有限,blabla(列出證據說明增益是 significant 的,並不 marginal)」。
再比如,若某會議審稿人簡單指出「novelty 有限」,同時並沒有提出更多細節性缺點,則說明可能 ta 挑來挑去並沒有找到非常明顯的「硬傷」。要知道每位審稿人預設的身份全是 paper killer,他們總在千方百計尋找論文的漏洞和不足,找夠了便足以寫出 review 來宣判文章「死刑」。對於上述情況,便說明文章可能就是不對該審稿人的胃口,找不到具體的不足,只好拿 novelty 來說事。
審稿意見趣圖(來自 Ming-Hsuan Yang's slides)。
Rebuttal 形式
如今眾多會議提供了非常多樣的 rebuttal 形式,會議 rebuttal 形式主要分為以下三種:
其中,第三種 rebuttal 形式更像期刊,只是 rebuttal 輪數也僅控制在了一輪。作者需根據不同會議的政策規定提前調研和熟悉 rebuttal 形式,從而在 rebuttal 時應對自如。
具體實操
本節提供一些針對具體問題和情況的實操建議,供君參考:
AC Message
還記得上文中提到的只噴 novelty 而沒有其他細節問題的審稿人嗎?還記得在審稿意見中暴露 factual error 的審稿人嗎?……針對這些情況,作者手中仍有一件利器應對,即 AC message(或 Confidential comments to AC)。
Rebuttal 時除了作者提交的 rebuttal file 之外,多數會議和期刊還為作者提供了一個直接與 senior reviewer(如 AC 和 AE)對話的渠道,在 AI 會議中通常被稱為「AC message」,這部分內容對普通 reviewers 是不可見的。作者如果在審稿意見中發現了審稿人的「問題」,如不專業、對文章涉及領域不熟悉、自我矛盾等,均可指出,從而引起 AC 注意。在期刊審稿過程中,遇到類似的問題還可通過 AC message 來嘗試更換審稿人。
以下列舉一些可能的 AC message 的寫法:
常用句式
以下列舉一些 rebuttal 中的常用句式,供大家選擇使用:
Does rebuttal matter?
廢了好大功夫寫好了 rebuttal,大家一定很忐忑這玩意兒到底能否奏效?
下圖是 CVPR 2019 總計超過 15000 條 review 在 rebuttal 前後的狀態對比統計。
很顯然:
「逆天改命」:首輪 Strong Reject 改為 positive 評分的僅佔所有 review 的 0.8%;
「力挽狂瀾」:首輪 Borderline 改為 positive 評分的有 33.6%;
「錯失良機」:首輪 Borderline 改為 negative 評分的約 56%;
「畫蛇添足」:首輪 Weak Accept 改為 negative 評分的有 15.5%;
「弄巧成拙」:首輪 Strong Accept 改為 negative 評分的有 5.2%;
可見,rebuttal 也乃盡人事聽天命之謂也。但小概率事情(如「逆天改命」)發生在自己身上那就是 100% 的獎賞,因此,下次拿到 review 後還是一門心思的想著怎麼好好 rebuttal 吧:)
後記
工作後,筆者鮮有整塊時間來寫類似的公開 tutorial,藉著這次舉國閉關的時艱又恰逢 CVPR 2020 rebuttal 之前,筆者將自己若干年來的相關經歷和思考整理下來供諸君參考,不恰之處還望不吝指出。盼春回大地,祖國康泰。
2020.1.30 夜於南京望春齋
一些會議和期刊的 rebuttal 模版地址鏈接:http://www.weixiushen.com/tutorials.html
參考Aliaksandr Birukou, Joseph Wakeling, Claudio Bartolini, Fabio Casati, Maurizio Marchese, Katsiaryna Mirylenka, Nardine Osman, Azzurra Ragone, Carles Sierra, and Aalam Wassef. Alternatives to peer review: Novel approaches for research evaluation. Frontiers in Computational Neuroscience, 2011, 5:56.CVPR/ICCV/ECCV 等會議在使用 Toronto Paper Matching System 作為準則之一進行論文分配:http://www.cs.toronto.edu/~zemel/documents/tpms.pdf指審稿人或 AC 在投稿池子中申請審稿,按程度不同可大致分為:eager、willing、in a pinch、not willing 等。AAAI/IJCAI 等會議在沿用此方式。http://cvpr2019.thecvf.com/files/CVPR%202019%20-%20Welcome%20Slides%20Final.pdfYang Gao, Steffen Eger, Ilia Kuznetsov, Iryna Gurevych, Yusuke Miyao. Does My Rebuttal Matter? Insights from a Major NLP Conference. NAACL-HLT 2019