賴可 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
一位丹麥科技大學碩士畢業的機器學習研究生，沒有申請到博士學位，也沒有找到合適的工作。
他決定給自己8個月的時間，在頂會上發表一篇論文，不然就去做程序猿。
最終他做到了！
他收到了超過100條私信，來問怎樣像他一樣做個「獨立研究者」。
於是他把自己的經歷詳細寫了下來，還給了忠告：這條路太苦了，能不走就別走。
申請碰壁
在distill.pub發表了一篇論文之後，Andreas小哥天真地以為，有了獨立發表的論文，加上自己的碩士學位，就可以申請到一個博士學位了，不然也能申請到軟件工程師、ML工程師之類的職位。
他以唯一作者的身份在distill.pub上發表了論文《在RNN中的可視化記憶》，展示了兩個準確度相似的模型在NLP的顯著交互可視性有很大不同。
他一邊寫信給教授，一邊寫給各種大廠，像谷歌、微軟、Rakuten、ElementAI，英偉達、Hypefactors，英特爾，京東，亞馬遜，三星，Shift Technology，Corti都試了，還請認識的人幫忙推薦。最後得到的結果是：
沒有一篇頂會發表的文章，很難申請到好的AI博士項目。
而這位小哥在丹麥大學完成碩士學業，學校並不鼓勵他們發論文。
當然他也沒有收到任何公司的offer，連一個面試電話都沒有。
碰了一圈壁之後，小哥明白了：
想做博士，又沒有圈內人推薦，你需要提前做等同於博士學位一半的工作。
申請季過去，2019年4月，他決定背水一戰：
到2020年1月前，如果沒有在NeurIPS或ICLR上發表文章，就去做JavaScrip程序猿。
一邊賺錢養自己一邊做研究
此前的一年，小哥是一個自由職業者。因此找到活幹養自己並不太困難。
之前他就通過朋友接到了一個NearForm項目。要求是：瞭解Node.js的內部結構，統計背景 ，Web可視化技能。他既滿足這些要求，又能獲得不錯的薪水。
到了2019年，原來的項目又給了他新的活，開發在NodeConf EU 2019上發佈的IoT智能手錶及胸牌的TensorFlow部分。這讓他保持在2019年繼續有收入。
生活問題解決了，想發表論文的第一個困難是要確定研究方向。
機緣總是會提前埋下伏筆。
畢業後，他曾經到自己學校AI學生協會的開幕式上找導師談博士學位的事情，卻沒有成功。不過，他遇到了後來的貴人：助理研究員Alexander。
和對方的通信中，Alexander告訴他，有幾個學生試圖複製DeepMind的論文「 NALU」（神經算術邏輯單元），但沒有成功。問他是不是可以試一試這個方向，也許可以成為NeurIPS論文。
他想起自己之前的論文也一直在優化別人的研究。這樣的工作他也挺感興趣。
幾乎所有出版物都誇大了它們的表現。改善他人的工作是一種可行的研究策略。
孤獨前行
人是社會動物，需要來自環境的支持和鼓勵。博士寫論文很苦逼，但是至少周圍還有一群跟你一樣苦逼的人。
而一個人做研究寫論文，可以想象有多孤獨。孤獨到走過這條路的小哥建議大家不要再這麼做：
沒有支持網絡，經歷作為第一作者寫論文的掙扎痛苦，這是我不建議做獨立研究員的第一個原因。不要以為你可以連續7個月沒有任何鼓勵。
那Andreas是如何撐過這7個月的呢？
1、每週一次和Alexander見面，討論研究。這對他幫助很大，Alexander有很好的批判性思維，會對他的研究提出質疑。這樣的督促作用是，讓自己不要想偷懶走捷徑。
2、同時做一些其它的小項目。不把所有的時間都押注在研究上。編寫一個開放源代碼的工具，實現一個已知的論文，等等。這樣階段性的小成就，更容易獲得其它研究員的鼓勵，讓自己有一些正反饋。
不要怕拒絕，反覆投，反覆改
論文初稿完成後，Andreas進行了三波投稿。
第一波，投石問路。他把論文投給了他發表過論文的distill.pub，被拒絕了。
修改了以後，再次投給distill.pub，這次他得到了非常有價值的評審建議。他覺得，如果沒有來自distill.pub兩位評審的意見，論文最後可能就不能進入ICLR。
至於他的目標是NeurIPS或ICLR，那就一個一個試。
於是第二波，他投了NeurlPS,也被拒絕了。
研究本身是對來自Deepmind的NALU的優化，質疑的意見也大多與此有關：
1、一些評論者認為新研究無法成功複製 NALU的結果。一個反覆出現的問題是“為什麼原始論文的結果要比你提案中的結果好得多”。
2、一些評論者還提議，做NALU論文聲稱要做的所有事情。但是論文中提供了明確的證據，表明NALU模型並不能令人滿意地完成所有工作。
小哥從被拒絕的經驗中總結：
評審員傾向於支持已經發表的結論。他們會嚴格地對待你提交的內容，但不會對先前發表過的內容這樣。尤其是已發表的內容來自DeepMind的時候。
再接再厲，小哥再次把論文進行了修改，增加了更多證據和實例，投了ICLR。
此外，他還做了一件為自己的研究爭取好評的事情：
將實驗設定和復現結果投給了 NeurlIPS 2019的SEDL workshop。然後他發了一條twitter，標記了NALU的第一作者A. Trask，結果對方回覆了：Great work! 有了好的基準，才能繼續提升。
在ICLR評審上，小哥的論文得到了4條評審意見，分別是3，6，6，8。
其中一位評審人之前在NeurIPS就讀過他的研究，對他研究的接受度也增加了，從NeurIPS的Weak Reject 到ICLR的Weak Accept ，最後變成了Accept。
最終，區域主席給的決定是接受（spotlight）。
評語是：
本文擴展了關於NALU的工作，提供了一對性能優於NALU的單元，審稿人廣泛贊成該論文。儘管修訂中已解決了要點，一位異議的審核者似乎沒有時間重新考慮他們的分數。我很樂意在這裡保持樂觀，並假設他們會對討論所帶來的變化感到滿意，並建議接受。
經驗總結
小哥認為，自己的經歷有一個重要的背景：
在2017年以後，碩士申請博士的門檻提高了，不再像之前那樣隨隨便便就可以申請到。申請到博士學位甚至比完成博士還要難。
申請博士需要1到2篇在頂會發表的論文，最好還要有著名的合作者。同樣，對相關行業從業者的要求也在提高。小哥在碩士畢業沒有申請到合適的大廠職位，而在2013～2015年，碩士學位也可以應聘成為google的研究員。
最後，小哥總結出三條經驗：
1、與別人合作。找到可以對研究提出建設性意見的人很重要，此外，在大學裡找到可以使用大量計算資源人的人也很必要。作為助理研究員的Alexander給小哥的研究提供了計算資源。
2、不要灰心， 也要給自己留備選項。目前投稿的接收率大概是20%，做獨立研究，被接受的機會可能更少，但是不要因為一次拒絕就灰心。同時也要進行其它項目，這樣即使失敗了，也不會感到完全浪費時間。
3、說一千道一萬：有別的選擇，就不要走這條路。
One more thing
有人問他：要取得spotlight，還需要額外做什麼？
小哥回：說實話，我覺得主要是運氣。
他還回答了別的問題：
Q：你這些漂亮的圖是什麼做的？
A：我所有的圖都是用 R 庫的 ggplot2 繪製的。
Q：你的工作沒有什麼用，你就是個笑話。
A：謝謝你，你有想過成為一名評審者嗎？
Q：你花了多長時間？
A：在這篇論文上，我每週大約花 48 個小時，有時候達到 100 個小時。但要記住一點，我也做了業餘項目和自由工作。
Q：你的計算資源來自哪裡？
A：Alexander 可以為我們提供計算資源，因為他是一名助理研究員。
Q：我的導師要給我一個讀博的機會，我是否應該接受？
A：如果你真的想做研究，也許你應該接受。現在競爭很激烈，我認為你應該接受你所能得到的。
Q：我現在正在實習，但我感覺什麼都學不到，因為我的導師不管我。
A：你要對自己負責，不要指望你的導師主動來找你。很高興你能得到實習機會，我之前沒有得到。可以開始著手安排會面，但也要記住，除了導師，你還可以向別人請教。
Q：我是碩士在讀，要怎麼為發論文做準備？
A：如果你能找到一位對此持開放態度的導師，那就嘗試發表。同時，注意在學習期間找實習工作。大多數實習工作只對學生開放。我曾經得到過實習機會但卻去不了，因為我已經畢業了。
Q：我要如何提升自己的編程技巧？
A：我多年來一直在堅持寫開源代碼，在此過程中，得到了一些優秀程序員的指導。
Q：我看到一些人拿到碩士學位就進了谷歌當研究員，他們是怎麼做到的？
A：是有這種情況，而且黃金時期是 2013 年到 2015 年。如果當時你拿到了碩士學位並且足夠幸運，你就可以走得很遠。
機器學習之路對任何人而言都漫長。然而，如果你不著手開始，就似乎不可能。如果你真的想，就花精力來尋找其它方法。
聽了Andreas小哥的故事，是不是有所觸動呢？
https://openreview.net/forum?id=H1gNOeHKPS
https://medium.com/@andreas_madsen/becoming-an-independent-researcher-and-getting-published-in-iclr-with-spotlight-c93ef0b39b8b
https://arxiv.org/abs/1912.11980
— 完 —
量子位 QbitAI · 頭條號簽約
關注我們，第一時間獲知前沿科技動態
閱讀更多 量子位 的文章
