雷鋒網 AI 科技評論按：大多數機器學習任務——從自然語言處理、圖像分類到翻譯以及大量其他任務，都依賴於無梯度優化來調整模型中的參數和/或超參數。為了使得參數/超參數的調整更快、更簡單，Facebook 創建了一個名叫 Nevergrad（https://github.com/facebookresearch/nevergrad）的 Python 3 庫，並將它開源發佈。Nevergrad 提供了許多不依賴梯度計算的優化算法，並將其呈現在標準的問答 Python 框架中。此外，Nevergrad 還包括了測試和評估工具。
Nevergrad 現已對外開放，人工智能研究者和其他無梯度優化相關工作者馬上就可以利用它來協助自己的工作。這一平臺不僅能夠讓他們實現最先進的算法和方法，能夠比較它們在不同設置中的表現，還將幫助機器學習科學家為特定的使用實例找到最佳優化器。在 Facebook 人工智能研究院（FAIR），研究者正將 Nevergrad 應用於強化學習、圖像生成以及其他領域的各類項目中，例如，它可以代替參數掃描來幫助更好地調優機器學習模型。
這個庫包含了各種不同的優化器，例如：
差分進化算法（Differential evolution）
序列二次規劃（Sequential quadratic programming）
FastGA
協方差矩陣自適應（Covariance matrix adaptation）
噪聲管理的總體控制方法（Population control methods for noise management）
-
粒子群優化算法（Particle swarm optimization）
在此之前，使用這些算法往往需要研究者自己編寫算法的實現，這就讓他們很難在各種不同的最新方法之間進行比較，有時候甚至完全無法比較。現在，AI 開發者通過使用 Nevergrad，可以輕易地在特定的機器學習問題上對不同方法進行測試，然後對結果進行比較。或者，他們也可以使用眾所周知的基準來評估——與當前最先進的方法相比，新的無梯度優化方法怎麼樣。
Nevergrad 中所包含的無梯度優化方法可用於各類機器學習問題，例如：
多模態問題，比如說擁有多個局部極小值的問題。（如用於語言建模的深度學習超參數化。）
病態問題，通常在優化多個具有完全不同的動態特性的變量的時候，該問題就會出現（如，未對特定問題進行調整的丟棄和學習率）。
可分離或旋轉問題，其中包括部分旋轉問題。
部分可分離問題，可以考慮通過幾個變量塊來解決這類問題。示例包括深度學習或其他設計形式的架構搜索，以及多任務網絡的參數化。
離散的、連續的或混合的問題。這些問題可以包括電力系統（因為有些發電站具有可調連續輸出，而其他發電站則具有連續或半連續輸出）或者要求同時選擇每層的學習速率、權值衰減以及非線性類型的神經網絡任務。
有噪聲的問題，即針對這一問題，函數被完全相同的參數調用時可以返回不同結果，例如強化學習中的不同關卡。
在機器學習中，Nevergrad 可用於調整參數，例如學習率、動量、權值衰減（或許每一層）、dropout（丟棄）算法、深度網絡每個部分的層參數及其他等。更為普遍地，非梯度方法同樣被用於電網管理（https://www.sciencedirect.com/science/article/pii/S0142061597000409）、航空（https://www.sciencedirect.com/science/article/pii/S0142061597000409）、鏡頭設計（https://www.researchgate.net/publication/222434804_Human-competitive_lens_system_design_with_evolution_strategies）以及許多其他的科學和工程應用中。
為什麼有無梯度優化的需求
在某些場景中，例如在神經網絡權重優化中，以分析法去計算函數的梯度是簡單的。然而，在其他場景中，例如當計算函數 f 的速度慢，或者域不連續的時候，函數的梯度就無法預估出來。在這些應用實例中，無梯度方法提供瞭解決方案。
一個簡單的無梯度解決方案是隨機搜索，它由隨機採樣大量的搜索點、對每個搜索點進行評估、選擇最佳搜索點三個步驟組成。隨機搜索在許多簡單場景中表現很好，但在高維場景中卻表現不佳。通常被用於機器學習參數調整的網格搜索，也面臨類似的限制。不過，也還有許多替代方法：其中一些來自應用數學，如序列二次規劃，它對模擬器的二次近似進行更新；貝葉斯優化也建立目標函數模型，其中包括不確定性模型；進化計算包含大量關於選擇、變異以及混合有前景的變體的工作。
這個示例展示了進化算法如何運行。在函數空間中採樣搜索點，並選擇最佳點的群落，然後在已有點的周圍推薦出新的點來嘗試優化當前的點群落。
使用 Nevergrad 生成算法基準
Facebook 研究團隊使用了 Nevergrad 實現幾個基準測試，來展示特定算法在特定情況下的表現最佳。這些眾所周知的示例對應著各種不同設置（多峰或非多峰，噪聲或非噪聲，離散或非離散，病態或非病態），並展示瞭如何使用 Nevergrad 來確定最佳優化算法。
在每個基準測試中，Facebook 研究團隊對不同的 X 值進行了獨立實驗。這確保了在幾個 X 值上的各個方法之間的一致排序在統計上是顯著的。除了下面的兩個基準示例，這裡（https://github.com/facebookresearch/nevergrad/blob/master/docs/benchmarks.md）還有一份更全面的清單，並附上了如何使用簡單的命令行重新運行這些基準的指南。
這個圖展示了一個噪聲優化示例
這個示例展示了使用 pcCMSA-ES 噪聲管理原理（https://homepages.fhv.at/hgb/New-Papers/PPSN16_HB16.pdf）的 TBPSA 如何在表現上勝過幾種替代方案。Facebook 研究團隊在這裡只將 TBPSA 與算法的一個有限示例進行了對比，不過，比起其他的方法，它的表現同樣更好。
Nevergrad 平臺還可以執行在很多機器學習場景中都會出現的離散目標函數。這些場景包括，舉例來說，在一組有限的選項中進行選擇（例如神經網絡中的激活函數）和在層的各個類型中進行選擇（例如，決定在網絡中的某些位置是否需要跳過連接）。
現有的替代平臺（Bbob 和 Cutest）並不包含任何離散的基準。Nevergrad 可以執行經過 softmax 函數（將離散問題轉換成有噪聲的連續問題）或連續變量離散化進行處理了的離散域。
Facebook 研究團隊注意到在這個場景中，FastGA（https://arxiv.org/abs/1703.03334）的表現最好。DoubleFastGA 對應的是 1/dim 和 (dim-1)/dim 之間的突變率，而不對應 1/dim 和 1/2。這是因為原始範圍對應於二進制域，而在這裡，他們考慮的是任意域。在幾種場景中，簡單一致的突變率混合（https://arxiv.org/abs/1606.05551）表現良好。
為研究者和機器學習科學家擴展工具箱
Faacebook 將會持續為 Nevergrad 增加功能，從而幫助研究者創建和評估新算法。最初的版本擁有基本的人工測試功能，不過 Facebook 計劃為其增加更多功能，其中包括表示物理模型的功能。在應用方面，他們將繼續讓 Nevergrad 變得更易用，並嘗試用它來對無法很好地確定梯度的 PyTorch 增強學習模型中的參數進行優化。Nevergrad 還可以幫助 A/B 測試以及作業調度等其他任務進行參數掃描。
via：https://code.fb.com/ai-research/nevergrad/，雷鋒網 AI 科技評論編譯。雷鋒網
閱讀更多 雷鋒網 的文章
