ACL 2020 錄用結果出爐,投稿破3千,史上最火NLP頂會你中了嗎?

ACL 2020 錄用結果出爐,投稿破3千,史上最火NLP頂會你中了嗎?

作者 | 蔣寶尚

ACL作為國際計算語言學協會是是自然語言處理領域影響力最大、最具活力的國際學術組織之一。

昨日ACL2020 錄用結果落幕,超過3000篇的投稿數量,可以說是歷史以來最盛大的一屆ACL。

ACL 2020 录用结果出炉,投稿破3千,史上最火NLP顶会你中了吗?

據ACL官推介紹,關於ACL2020論文是否錄用的通知已經給作者發了郵件,沒有收到消息的作者可以給會務組發郵件詢問情況。

關於整體的錄用率,錄用論文領域的分佈,官網尚未有更多信息放出。不過,對比ACL 2019的25.8%的錄用率,ACL 2020 想必也不會相差太多。

網友評論:審稿人很負責,意見很中肯

據知乎話題《如何看待ACL 2020錄用結果?》中答者披露,很多作者的論文,原本是拒絕的狀態,但是經過精心準備的rebuttal,評分在邊緣的論文得分也有小小的提高。

每個回答問題的網友也都對這次ACL的評審工作稱讚不絕,即使文章未被錄用的作者也評論:審稿人很負責,意見很中肯。

ACL 2020 录用结果出炉,投稿破3千,史上最火NLP顶会你中了吗?

例如,網友廷羽經過rebuttal,最終將3.5,3.5,2.5的得分爭取到能夠錄取的4,3.5,3.5。

ACL 2020 录用结果出炉,投稿破3千,史上最火NLP顶会你中了吗?

當然,也有些作者,經過rebuttal之後得分下降的~

ACL 2020 录用结果出炉,投稿破3千,史上最火NLP顶会你中了吗?

有網友建議,遇到沒看懂或者找茬的評審意見,要以耐心解釋為主~

ACL 2020 录用结果出炉,投稿破3千,史上最火NLP顶会你中了吗?

還有,因為中了ACL,男女朋友感情出現危機的~

多級評分的ACL2020,為質量保駕護航

此次ACL2020的審稿週期從19年的12月9日一直到20年的4月3日接近4個月時間,比往年的2個月宙稿時間幾乎加倍。ACL在審稿規範、質量方面都算如今AI會議的翹楚之一。能通過ACL的評審的工作,在實驗嚴謹性、思路創新性上是有很不錯的保證的,這無疑是對科研人員工作的一個肯定。

據ACL官網介紹,在評審員在評審過程中會主要回答四個問題:1、這篇論文的主要內容是什麼,有什麼樣的貢獻,優缺點是什麼?2、接收理由3、 拒絕理由4、整體評價

其中整體評價分為多個檔次:5=開創性、4.5=令人興奮、4=強烈、3.5=傾向於錄用、2.5=傾向於拒絕、2=平庸、1.5=弱、1=糟糕。

沒有3分這個檔次,也就是說評審人員必須對論文采取傾向性的評價。 打分之後,評審員要再次確定自己的評審意見,這一步也稱為評審人的置信度,置信度分為5個檔次:

5=我確信我的評價是正確的。我仔細閱讀了論文並且對相關工作非常瞭解。

4=非常確定。我試著去仔細檢查重要點。我不太可能會漏掉一些影響評價的要點。

3=比較確定。不過我有可能會漏掉一些內容。雖然我整體上對該領域有所瞭解,我沒有仔細檢查論文細節。

2=願意為我的評價辯護,但很可能我漏掉了一些細節,沒能理解論文中心點,或者不太確定本文的創新性。

1=不是我所熟知的領域,或者論文對我來說難以讀懂。我的評價基於經驗性猜測。

ACL官網:7月份的會議線上舉行

ACL 2020 录用结果出炉,投稿破3千,史上最火NLP顶会你中了吗?

同樣,據4月4日官網新聞介紹,計劃2020年7月5日在美國西雅圖舉辦的線下會議,全部搬到網上來舉行。

原因是為了應對COVID-19,更多細節並未公佈,不過會在接下來的幾周內公佈註冊事項以及在線會議的情況。

親愛的ACL2020社區:

希望您和您的家人都能平安無事。

我們現在可以確認,為了應對COVID-19,我們計劃7月5日-10日的ACL 2020會議,將在線上舉行。

我們知道,社區裡有很多人正在因這場大流行病而遭受巨大的困難。我們希望在這個困難的時刻,我們可以一起努力,建立一個新型的ACL會議。今年的ACL會議將聚焦更多的可持續性,擴大知識交流的機會,並更多地納入來自全球各地的不同貢獻。

我們將有預先錄製的講座和全套的tutorials和研討會,並策劃各種現場活動,如答疑會、輔導、招聘會和走廊對話空間等。這將是一次挑戰,但也是一次無形中走到一起的機會,我期待著與ACL2020組委會的全體成員一起努力,舉辦一次富有啟發性和意義的會議。

我們會從其他在線會議主席那裡獲取建議(他們已經提供了巨大的幫助),並從現在和過去的在線會議中吸取所有的經驗教訓。在即將舉辦的線上會議中,我們會看到每個人的堅韌、熱情和積極向上的精神,以及整個ACL社區的配合精神。

我很感謝能夠和大家一起努力,讓ACL2020成為我們所有人的夢想!我們將在接下來的時間裡發佈更多的細節。

我們將在未來幾周內公佈更多的註冊細節,並在不久後公佈更多關於虛擬會議的細節。

祝願大家身體健康。

Dan Jurafsky,總主席,代表ACL2020組織委員會全體成員。

ACL 2020 投稿破三千,有多少人在做NLP呢?

ACL是語言學協會,這個會議的爆火本身就代表了自然語言處理的研究熱度,那麼歷屆 ACL 都接收了多少文章呢?當前做NLP的研究人員數量在什麼量級呢?目前最熱的研究領域是什麼呢? 雷鋒網曾經報道了《ACL 2020投稿破 3 千,到底有多少人在做 NLP 研究?》回答了這個問題。 1、歷屆 ACL接收情況 下圖是近 20 年來 ACL 大會論文投遞數量、評審人員數量和(高級)領域主席數量變化趨勢圖,可以清楚的看到,就投稿量,在近幾年呈現的變化是指數級別的。評審人員也是與論文投稿數量呈現正相關關係。

ACL 2020 錄用結果出爐,投稿破3千,史上最火NLP頂會你中了嗎?

2、NLP領域每年發多少論文?

ACL 2020 录用结果出炉,投稿破3千,史上最火NLP顶会你中了吗?

截至2019年6月,AA擁有約50,000個條目,但其中包括一些並非真正的研究出版物的條目(例如,前言、序言、目錄等),將這些捨棄後,還剩44,896篇文章。

上圖中顯示了從1965年到2018年期間,每年發表的論文數量。從圖中可以看出:

1、1990年之後,NLP的研究開始突飛猛進,特別是在2000年之後,AA文章數量開始破千;2、隔年出版的影響在圖中可以清晰看到,特別是1998年以來,類似LREC、COLING這樣的會議。 2、哪個會議/期刊的論文最多?

當然是各種 workshop 了!這張圖展示的是不同會議或期刊的收錄論文情況。

ACL 2020 录用结果出炉,投稿破3千,史上最火NLP顶会你中了吗?

從中可以看出,除了各種workshop論文外,LREC已經成為NLP會議論文的最大單一來源(儘管LREC是一個相對較新的會議,每兩年召開一次,但它的接受率往往很高,約60%)。其次則是主會ACL/4839,COLING/3142,NAACL/1479……

3、哪個領域最熱?

1980年到2019年的論文,如下圖

ACL 2020 录用结果出炉,投稿破3千,史上最火NLP顶会你中了吗?

從術語分佈來看,NLP論文標題中最常用的術語是language,其次是translation。如果考慮bigram的話,如下圖:

ACL 2020 录用结果出炉,投稿破3千,史上最火NLP顶会你中了吗?

最常出現的術語是machine translation,毫無疑問,機器翻譯是NLP領域最受關注的研究領域之一。我們再來看不同的研究領域隨著時間線的變化:

ACL 2020 录用结果出炉,投稿破3千,史上最火NLP顶会你中了吗?

(雷鋒網)(注:圖中有個小錯誤,parsing對應於淺綠線)

從這張圖中可以看到一個非常有意思的現象,即,在1980年-2008年之間近三十年的時間裡,language、translation、parsing在80年代炙手可熱,而現在已經遠不如當年受歡迎了;而另一方面,neural在80年代經歷了一段高潮之後,迅速下降,但近年來卻又突破重圍,再次超越而出。我們可以把parsing的時間線單拎出來:

ACL 2020 录用结果出炉,投稿破3千,史上最火NLP顶会你中了吗?

(雷鋒網)

真的是不復當年!

另一個有意思的是,可以對比statistical machine, neural machine 和 machine translation在近40年裡的變化趨勢:

ACL 2020 录用结果出炉,投稿破3千,史上最火NLP顶会你中了吗?

統計機器經歷過一段高潮之後,現在已經基本銷聲匿跡了;而神經機器則隨之崛起。正所謂“沉舟側畔千帆過,病樹前頭萬木春”!

(雷鋒網)參考文獻:

https://www.leiphone.com/news/201912/geduMitD8YzkIEch.htmlhttps://acl2020.org/reviewers/


分享到:


相關文章: