【新智元導讀】NeurIPS 2018最佳論文公佈，4篇最佳論文中有一篇一作是陳天琦。本屆大會參會人數超過了8000人次，錄取率為21%，三個最熱門投稿領域依次為算法、深度學習和應用。
NeurIPS 2018終於開始，主會場排滿了6500人的座位，旁邊還有能容納1500人的房間。
直播鏈接：https://www.facebook.com/nipsfoundation/
今年的大會主席是谷歌大腦的Samy Bengio，他也是“深度學習三巨頭”之一Yoshua Bengio的弟弟。程序主席是微軟研究院的Hanna Wallach，同樣擔任聯席程序主席的還有谷歌大腦的Hugo Larochelle、奧斯汀大學及Facebook AI的Kristen Grauman，以及米蘭大學的Nicolò Cesa-Bianchi。幸與不幸，這屆NIPS——“NeurIPS”，中國或者華人學者並無出任大會組織或管理層。
全新的NeurIPS大會Logo
但是，中國公司依然活躍在大會贊助商名單裡，無論怎麼說，畢竟是人工智能領域一年一度最負盛譽的學術會議之一。
根據大會主席在Opening Remarks透露，本屆會議參會（註冊）人數直逼9000人大關，投稿超過5000篇，論文錄取率為21%，最熱門的投稿領域是算法，其次是深度學習，再次是應用。
本屆大會有一天的Expo Day，9場Tutorial，39個Workshop（從118個提交方案中選出），8場競賽（提交了21個），20個Demo（提交了76個），還有專為女性、拉丁人、黑人和LGBT人群設立的分會場。
陳天琦等人獲得最佳論文獎
還是先來看最佳論文獎。今年的最佳論文一共有4篇。值得慶賀的是，陳天琦等人的Neural Ordinary Differential Equations也在其中。
Neural Ordinary Differential Equations
Tian Qi Chen · Yulia Rubanova · Jesse Bettencourt · David Duvenaud
鏈接：https://arxiv.org/abs/1806.07366
摘要：我們提出一種新的深度神經網絡模型。我們使用神經網絡參數化隱藏狀態的導數，而不是指定一個離散的隱藏層序列。利用黑盒微分方程求解器計算網絡的輸出。這些連續深度模型具有恆定的存儲成本，可以根據每個輸入調整其評估策略，並且可以顯式地以數值精度換取速度。我們在連續深度殘差網絡和連續時間潛在變量模型中證明了這些性質。我們還構建了continuous normalizing flows，這是一個可以通過最大似然進行訓練、而無需對數據維度進行分區或排序的生成模型。對於訓練，我們展示瞭如何在不訪問任何ODE求解器內部操作的情況下，可擴展地反向傳播。這允許在更大的模型中對ODE進行端到端訓練。
Non-delusional Q-learning and Value-iteration
Tyler Lu · Dale Schuurmans · Craig Boutilier
鏈接：https://papers.nips.cc/paper/8200-non-delusional-q-learning-and-value-iteration.pdf
摘要：在Q-learning和其它形式的動態規劃中，我們確定了一個基本的誤差來源。當近似體系結構限制了可表達的貪婪策略類時，就會產生偏差。由於標準Q-updates對可表達的策略類做出了全局不協調的動作選擇，因此可能導致不一致甚至衝突的Q值估計，從而導致病態行為，如過高/過低估計、不穩定甚至分歧。
為了解決這個問題，我們引入了新的策略一致性概念，並定義了一個本地備份流程，該流程通過使用信息集來確保全局一致性，這些信息集記錄了與備份後的Q值一致的策略約束。我們證明使用此備份的基於模型和無模型的算法都可消除妄想（delusional）偏差，從而產生第一種已知算法，可在一般條件下保證最佳結果。此外，這些算法僅需要多項式的一些信息集即可。最後，我們建議嘗試減少妄想偏差的Value-iteration和 Q-learning的其它實用啟發式方法。
Optimal Algorithms for Non-Smooth Distributed Optimization in Networks
Kevin Scaman · Francis Bach · Sebastien Bubeck · Laurent Massoulié · Yin Tat Lee
鏈接：https://arxiv.org/abs/1806.00291
摘要：在這行工作中，我們利用計算單元網絡，研究了非光滑凸函數的分佈優化問題。我們在兩個正則性假設下研究這個問題：(1)全局目標函數的Lipschitz連續性，(2)局部單個函數的Lipschitz連續性。在局部正則性假設下，我們提出第一個最優一階分散算法——多步原對偶算法(MSPD)，並給出了相應的最優收斂速度。值得注意是，對於非光滑函數，雖然誤差的主導項在O（1/根號t）中，但是通信網絡的結構隻影響O（1/t）的二階項，其中 t 為時間。也就是說，即使在非強凸目標函數的情況下，由於通信資源的限制而產生的誤差也會快速減小。在全局正則性假設下，我們提出了一種基於目標函數局部平滑的簡單而有效的分佈式隨機平滑算法(distributed smooth, DRS)，並證明了DRS在最優收斂率的d 1/4乘因子範圍內，其中d為底層維數。
Nearly Tight Sample Complexity Bounds for Learning Mixtures of Gaussians via Sample Compression Schemes
Hassan Ashtiani · Shai Ben-David · Nick Harvey · Christopher Liaw · Abbas Mehrabian · Yaniv Plan
鏈接：https://papers.nips.cc/paper/7601-nearly-tight-sample-complexity-bounds-for-learning-mixtures-of-gaussians-via-sample-compression-schemes.pdf
摘要：我們證明
樣本對於學習
中的k高斯混合是必要且充分的，直到整體偏差距離誤差ε。這改善了該問題已知的上限和下限。對於軸對齊高斯分佈的混合，我們證明
樣本足夠，匹配已知的下界。上限是基於一種基於樣本壓縮概念的分佈式學習新技術。任何一類允許這種樣本壓縮方案的分佈也可以通過很少的樣本來學習。我們的主要結果是證明了
中的高斯類具有有效的樣本壓縮。
權衡近似最優化算法獲經典論文獎（Test Of Time Award）
The Tradeoffs of Large-Scale Learning
Leon Bottou, Olivier Bousquet
獲得經典論文獎的這篇論文發表於2007年，作者是普林斯頓NEC實驗室的Leon Bottou和Google的Olivier Bousquet。
Léon Bottou 因在機器學習和數據壓縮方面的工作而著名，他提出了 Stochastic gradient descent 這個最基本的機器學習算法，這個算法本身就是一種近似最優化算法，他也是 DjVu 圖像壓縮技術的發明者之一。Olivier Bousquet 任職於 Google，從事機器學習的相關研究。
這篇論文主要提出了一種理論框架，來衡量機器學習中近似最優化方法的效果。分析結論發現，對於小規模數據和大規模數據，近似最優化算法的 tradeoff 是不相同的。
論文摘要
這篇論文的貢獻是開發了一個理論框架，該框架考慮了近似優化對學習算法的影響。分析表明，對於小規模和大規模的學習問題，有明顯的權衡。小規模學習問題受制於近似-估計的權衡，大規模學習問題需要在質量上作出不同的權衡，涉及底層優化算法的計算複雜性。例如，一個普通的優化算法——隨機梯度下降，已經被證明在大規模學習問題上表現得很好。
12年論文數據：最強機構是MIT，最高引用作者是喬丹
看完今年的NeurIPS論文數據，接下來自然想知道歷年來的數據。正好，微軟學術（Microsoft Academic）對12年的NeurIPS做了分析。
NeurIPS論文產出
下表顯示了會議從1996年開始，每年論文的數量：
在下圖中，黑色條形代表了每年論文的平均參考文獻數量，從數據中可以看出，參考文獻數量呈增長趨勢；綠色條形代表了每年論文被引用的平均次數：
Memory of references
例如，在下表中，2016年，NeurIPS論文共引用了2015年發表的2033篇論文；2014年發表論文1392篇，以此類推。
Outgoing Conferences
下表顯示了NeurIPS論文被引用的十大“場所”。NeurIPS、ICML、Journal of Machine Learning Research和CVPR名列前四。下面的餅狀圖顯示，在NeurIPS的論文中，最常被引用的10個“場所”幾乎佔了全部被引用文獻的40%。
Incoming Citations
下表顯示了按地點劃分的引用分佈情況。
下面的餅狀圖顯示，引用NeurIPS論文最多的前10個場所佔全部引用量的24%。下面的條形圖顯示了引用NeurIPS論文最多的十大“場所”。同樣，NeurIPS位於頂部，其次是CVPR和ICML。
學術機構排名
下面的氣泡圖通過NeurIPS論文中的引用計數，來可視化NeurIPS的頂級學術機構排名。
作者排名
接下來的三個圖表顯示了不同標準下的作者排名。
氣泡圖顯示了按引用計數排序的NeurIPS作者，氣泡顏色飽和度相對於發表計數。
下面的氣泡圖將作者排名進行了可視化。
作者排名是根據Microsoft Academic的一個公式計算出來的。X軸代表作者的級別。作者的排名越高，他們就越靠右。Y軸按發表次數對排名進行了標準化，夠發現那些可能沒有發表過大量文章但卻有影響力的作者。作者離頂端越近，其標準化排名就越高。當然，圖表區域的右上角代表了“最高等級”。
NeurIPS論文引用最多的學者
下表對被引用最多的學者進行了排名。
在NeurIPS被引用最多的學者中，誰將是後起之秀？
下面100%堆疊的條形圖顯示了前20位學者每年的NeurIPS被引用的情況。
7場受邀報告看今年大會關鍵：AI Safey
受邀報告在一定程度上反映了大會組織者對會議主題及重點的判斷。從以下7場報告中不難看出，在追求技術進步的同時關注可靠性，強調研究的程序正義，例如對開發魯棒的AI以及AI Safety相關問題，是如今學界關注的焦點。
1、技術創新中多樣性和包容性的必要性(The Necessity of Diversity and Inclusivity In Tech）
演講人：Laura Gomez (Founder, Atipica)
Laura Gomez
2、機器學習遇到公共政策：期望什麼和如何應對（Machine Learning Meets Public Policy: What to Expect and How to Cope）
演講人：Edward Felton，普林斯頓大學
Edward Felton
AI和機器學習已經對世界產生了巨大的影響。政策制定者已經注意到這點，開始制定法律法規，並開始討論社會應當如何管理這些技術的發展。本演講將概述決策者如何應對新技術和AI/ML的發展過程，以及為什麼建設性地參與政策過程將為該領域、政府和社會帶來更好的結果。
3、身體在想什麼：神經系統外的生物電計算，原始認知和合成形態學
(What Bodies Think About: Bioelectric Computation Outside the Nervous System, Primitive Cognition, and Synthetic Morphology)
演講人：Michael Levin，塔夫茨大學
Michael Levin
大腦的計算能力並非獨一無二。細菌、植物和單細胞生物都表現出學習能力和可塑性；神經系統加速了信息處理的優化，這些信息處理在生命之樹中無處不在，在神經元進化之前就已經存在了。在這次演講中，我將介紹發展生物電學(developmental bioelectricity)的基礎知識，並展示新的概念和方法的進步如何使重寫模式記憶成為可能，指導形態形成而無需基因組編輯。實際上，這些策略允許重新編程實現多細胞模式目標狀態的生物電軟件。我將展示再生醫學和認知神經可塑性的應用實例，並說明未來對合成生物工程、機器人和機器學習的影響。
4、可重複、可重用和可靠的強化學習(Reproducible, Reusable, and Robust Reinforcement Learning)
演講人：Joelle Pineau，麥吉爾大學
Joelle Pineau
近年來，我們在深度強化學習方面取得了顯著的成績。然而，最先進的深度RL方法的復現結果很少是直接的。當環境或獎勵具有很強的隨機性時，一些方法的高度差異會使學習變得特別困難。此外，在特定領域或實驗過程中，即使是很小的擾動，結果也可能是脆弱的。在這次演講中，我將回顧在deep RL中實驗技術和報告過程中出現的挑戰。我還將描述一些最近的結果和指導方針，旨在使未來的結果更具可重複性、可重用性和可靠性。
5、人類-AI信任現象的調查(Investigations into the Human-AI Trust Phenomenon)
演講人：Ayanna Howard，佐治亞理工學院
Ayanna Howard
隨著智能系統在日常活動中與人類的互動越來越充分，信任的作用必須得到更仔細的審視。信任傳達了這樣的概念：當與智能系統交互時，人類往往表現出與其他人類交互時相似的行為，因此可能會誤解遵從機器的決策所帶來的風險。偏見會進一步影響信任或過度信任的潛在風險，因為這些系統通過模仿我們自己的思維過程、繼承我們自己的隱含偏見來學習。在這個演講中，我將透過智能系統的鏡頭來討論這一現象。
6、使算法值得信賴：統計科學可以為透明度、解釋和驗證做出哪些貢獻？
(Making Algorithms Trustworthy: What Can Statistical Science Contribute to Transparency, Explanation and Validation?)
演講人：David Spiegelhalter，劍橋大學
David Spiegelhalter
對自動化諮詢系統的透明度、可解釋性和經驗驗證的要求並不新鮮。早在上世紀80年代，基於規則的系統的支持者與基於統計模型的系統的支持者之間就有過激烈的討論，爭論的焦點就是哪個系統更加透明。
7、為軟件2.0設計計算機系統（Designing Computer Systems for Software 2.0）
演講人：Kunle Olukotun，斯坦福大學
Kunle Olukotun
使用機器學習從數據生成模型正在取代許多應用程序的傳統軟件開發。我們開發軟件的方式發生了根本性的變化，稱為Software 2.0，它極大地提高了這些應用程序的質量和部署的易用性。Software 2.0方法的持續成功和擴展必須得到為機器學習應用程序量身定製的強大、高效和靈活的計算機系統的支持。這個演講將描述一種優化計算機系統以滿足機器學習應用需求的設計方法。全棧設計方法集成了針對應用程序特性和現代硬件優勢進行優化的機器學習算法，為可編程性和性能設計的領域特定語言和高級編譯技術，以及同時具備高靈活性和高能效的硬件架構。
贊助商覆蓋行業明顯增多，傳統企業和創業企業數量增多
介紹贊助商也成了會議報道的慣例，畢竟是一票難求、人才濟濟的會議。今年的贊助商如果說有變化，那麼最大的變化就是——公司覆蓋的行業類型增多了。可以發現，除了谷歌、微軟、亞馬遜、Facebook和BAT等傳統的AI巨頭，越來越多的傳統企業，比如投行、銀行，以及創業企業出現在了贊助商名單裡，這說明AI的影響確實擴大了。
鑽石贊助商：
鉑金贊助商：
黃金贊助商：
白銀贊助商：
閱讀更多 新智元 的文章
