一年一度的ICLR剛剛結束，本屆共有2594篇投稿，687 篇被接收。其中：48篇 oral 108篇，spotlights 531篇， poster 錄取率為 26.5%，相比去年的 31.4% 略有降低。
值得關注的是，受疫情影響，今年的ICLR大會轉到了線上舉行，成為了首個完全線上舉行的人工智能領域頂會，並且參會人數暴增了一倍。
深度學習一直是ICLR投稿的熱點，近日，國外一研究者精選了10篇深度學習領域的論文，供大家研讀：
1. On Robustness of Neural Ordinary Differential Equations
簡而言之，是對神經常微分方程或NeuralODE的魯棒性的深入研究。將其用作構建更強大網絡的基礎。
論文：
https://openreview.net/forum?id=B1e9Y2NYvS
ODENet的體系結構，神經ODE塊用作保維非線性映射。
2.Why Gradient Clipping Accelerates Training: A Theoretical Justification for Adaptivity
可證明的是，對於非平滑的非凸函數，漸變修剪可加速梯度下降。
論文：
https://openreview.net/forum?id=BJgnXpVYwS
代碼：
https://github.com/JingzhaoZhang/why-clipping-accelerates
沿PTB數據集上AWD-LSTM的訓練軌跡的對數刻度上的梯度範數與局部梯度Lipschitz常數。顏色條指示訓練期間的迭代次數。
3.Target-Embedding Autoencoders for Supervised Representation Learning
目標嵌入自動編碼器或TEA的新通用框架，用於監督預測。作者給出了理論和經驗上的考慮。
論文：
https://openreview.net/forum?id=BygXFkSYDH
（a）特徵嵌入和（b）目標嵌入自動編碼器。實線對應於（主要）預測任務；（輔助）重建任務的虛線。共享的組件都參與其中。
4.Understanding and Robustifying Differentiable Architecture Search
通過查看架構的驗證損失的Hessian特徵值來研究DARTS（可區分架構搜索）的失敗模式，並在分析的基礎上提出穩健性。
論文：
https://openreview.net/forum?id=H1gDNyrKDS
代碼：
https://github.com/automl/RobustDARTS
標準DARTS的不良細胞在空間S1-S4上找到。對於所有空間，DARTS大多選擇無參數操作（跳過連接），甚至選擇有害的Noise操作。圖中顯示的是CIFAR-10上的正常細胞。
5.Comparing Rewinding and Fine-tuning in Neural Network Pruning
除了在修剪後進行微調外，還可以在訓練中更早地將權重或學習率調度到它們的值，然後從那裡進行再訓練，以在修剪神經網絡時獲得更高的準確性。
論文：
https://openreview.net/forum?id=S1gSj0NKvB
代碼：
https://github.com/lottery-ticket/rewinding-iclr20-public
通過一次修剪即可在再訓練時間內實現最佳的精度。
6.Neural Arithmetic Units
神經網絡雖然能夠逼近複雜函數，但是在精確的算術運算中卻很差。對於深度學習研究人員而言，這項任務是一項長期的挑戰。在這裡，介紹了新穎的神經加法單元（NAU）和神經乘法單元（NMU），它們能夠執行精確的加法/減法（NAU）並乘以向量的子集（MNU）。
論文：
https://openreview.net/forum?id=H1gNOeHKPS
代碼：
https://github.com/AndreasMadsen/stable-nalu
NMU的可視化，其中權重（W i，j）控制1（同一性）或x i之間的門控，然後將每個中間結果顯式相乘以形成z j。
7.The Break-Even Point on Optimization Trajectories of Deep Neural Networks
在深度神經網絡訓練的早期階段，存在一個“收支平衡點”，它確定了整個優化軌跡的屬性。
論文：
https://openreview.net/forum?id=r1g87C4KwB
使用CGD優化的簡單CNN模型在CIFAR-10上訓練軌跡的早期部分（在達到65％的訓練準確度之前）的可視化，學習率η= 0.01（紅色）和η= 0.001（藍色）。訓練軌跡上的每個模型（顯示為一個點）由使用UMAP嵌入到二維空間中的測試預測表示。背景顏色表示梯度K的協方差的光譜範數（λ 1 ķ，左）和訓練精度（右）。對於較低η，達到我們所說的盈虧平衡點後，軌跡向著特點是較大的λ區域轉向1 ķ對於相同的訓練精度。
8. Hoppity: Learning Graph Transformations To Detect And Fix Bugs In Programs
一種基於學習的方法，用於檢測和修復Javascript中的錯誤。
論文：
https://openreview.net/forum?id=SJeqs6EFvB
示例程序說明了現有方法的侷限性，包括基於規則的靜態分析器和基於神經的錯誤預測器。
9.Selection via Proxy: Efficient Data Selection for Deep Learning
通過使用更小的代理模型執行數據選擇，可以顯著提高深度學習中數據選擇的計算效率。
論文：
https://openreview.net/forum?id=HJg2b0VYDr
代碼：
https://github.com/stanford-futuredata/selection-via-proxy
SVP應用於主動學習（左）和核心集選擇（右）。在主動學習中，遵循與傳統方法相同的訓練和選擇標記點的迭代過程，但是將目標模型替換為便宜的計算代理模型。對於核心集選擇，使用代理模型學習了數據的特徵表示，並使用它來選擇點以訓練更大，更準確的模型。在這兩種情況下，發現代理模型和目標模型具有較高的等級相關性，從而導致相似的選擇和下游結果。
10.And the Bit Goes Down: Revisiting the Quantization of Neural Networks
使用旨在更好地進行域內重構的結構化量化技術來壓縮卷積神經網絡。
論文：
https://openreview.net/forum?id=rJehVyrKwH
代碼：
https://drive.google.com/file/d/12QK7onizf2ArpEBK706ly8bNfiM9cPzp/view?usp=sharing
我們的方法的說明。我們近似一個二元分類器ϕ，通過量化其權重將圖像標記為狗或貓。標準方法：使用標準目標函數（1）量化s會產生分類器ϕb standard，該standard試圖在整個輸入空間上近似ϕ，因此對於域內輸入可能表現不佳。我們的方法：用目標函數（2）量化s可以促進分類器ϕb activations，該activations對於域內輸入表現良好。位於輸入空間的陰影區域的圖像被正確地分類φ activations但是φ standard的結果錯誤。
原文鏈接：
https://neptune.ai/blog/iclr-2020-deep-learning
