作者 | Just
大會開幕在即，主辦方於近日公佈了三篇最佳論文，這三篇論文關注的分別是Adam 的收斂性、球面 CNN、以及元學習方法。它們在 OpenReview 上的評分都比較高，均排在前十五名。
上一屆 ICLR 大會，MIT 博士張馳原的成果“Understanding Deep Learning Requires Rethinking Generalization”獲得了最佳論文獎，但可惜的是，今年的三篇獲獎論文中並未出現華人的身影。
以下是獲獎論文簡介，人工智能頭條編譯：
▌論文 1：Adam 及其同類算法的收斂性
簡介：最近提出的一些已經成功用於訓練深度網絡的隨機優化方法，例如 RMSPROP，ADAM，ADADELTA，NADAM 是基於使用梯度平方的指數移動平均值的平方根比例對梯度更新做縮放。在許多應用中，例如具有很大輸出空間的學習中，研究者已經實證地觀察到，這些算法無法收斂到最優解（或在非凸設置中收斂到極值點）。
我們證明了導致這種失敗出現的一個原因是算法中使用的指數移動平均值。我們提供了一個簡單的凸優化設置示例，其中包括 ADAM 不能收斂到最優解，並描述以前 ADAM 算法分析的精確問題。我們的分析表明，收斂問題可以通過賦予這些算法此前梯度的“長期記憶”來解決，並提出 ADAM 算法的新變體——它不僅可以解決收斂問題，而且還可以提高實證表現。
▌論文 2：球面卷積神經網絡
簡介：卷積神經網絡（CNNs）已成為涉及二維平面圖像問題的最優方法。然而，最近一些有意思的問題已經對可以分析球形圖像模型有了需求。例如無人機、機器人和自動駕駛汽車的全方位視角問題，分子迴歸問題以及全球天氣和氣候建模問題。將卷積網絡簡單地應用於球面信號的平面投影註定會失敗，因為由這種投影引入的空間變化的扭曲會使平移權重的共享失效。
在本文中，我們介紹了用於構建球面 CNN 的構件。我們提出了一個既具有表達性又具有旋轉等變性的球形互相關定義。這種球形相關性滿足廣義上的傅里葉定理，它允許我們使用廣義（非交換）快速傅立葉變換（FFT）算法來進行有效計算。我們解釋了應用於 3D 模型識別和霧化能量回歸的球面 CNN 的計算效率，數值準確性和有效性。
▌論文 3：在非穩態和競爭性環境中通過元學習方法的持續適應
簡介：不斷學習和適應非穩態環境下的有限經驗是實現通用智能的重要里程碑。在本文中，我們將持續適應問題置於 learning-to-learn（學會學習）框架中。我們開發了一個簡單的基於梯度的元學習算法，適合在動態變化和對抗性情況下進行適應。此外，我們設計了一個新的多智能體競爭環境 RoboSumo，並定義了一些迭代適應性遊戲，用於測試連續適應的諸多方面。我們展示了，與小樣本響應式基線的方法相比，元學習驅動的方法的適應效率更高。我們對很多智能體做了學習和競爭實驗，基於元學習的學習者有最強的適應能力。
閱讀更多 AI科技大本營 的文章
