這是一篇來自第四範式（4Paradigm）公司的關於 AutoML 的綜述文章。

本篇綜述文章系統地對 AutoML 領域給出了綜述，從出現原因、問題定義、問題構成、基本策略、高級策略、應用、及總結等方面進行了全面的介紹。下面是一些簡要的筆記。

AutoML出現原因

機器學習的應用需要大量的人工干預，這些人工干預表現在：特徵提取、模型選擇、參數調節等機器學習的各個方面。AutoML 試圖將這些與特徵、模型、優化、評價有關的重要步驟進行自動化地學習，使得機器學習模型無需人工干預即可被應用。

AutoML問題定義

作者從機器學習和自動化兩個角度給出了定義：

1. 從機器學習角度講，AutoML 可以看作是一個在給定數據和任務上學習和泛化能力非常強大的系統。但是它強調必須非常容易使用；

2. 從自動化角度講，AutoML 則可以看作是設計一系列高級的控制系統去操作機器學習模型，使得模型可以自動化地學習到合適的參數和配置而無需人工干預。

一個通用的 AutoML 定義如下：

AutoML的核心任務：

• Better performance
• No human assistance
• Lower computation budgets

AutoML問題構成

AutoML 的主要問題可以由三部分構成：特徵工程、模型選擇、算法選擇。

特徵工程

特徵工程在機器學習中有著舉足輕重的作用。在 AutoML 中，自動特徵工程的目的是自動地發掘並構造相關的特徵，使得模型可以有最優的表現。

上述這些步驟也伴隨著一定的參數搜索空間。第一種搜索空間是方法自帶的，例如PCA自帶降維參數需要調整。第二種是特徵生成時會將搜索空間擴大。

模型選擇

模型選擇包括兩個步驟：選擇一個模型，設定它的參數。相應地，AutoML的目的就是自動選擇出一個最合適的模型，並且能夠設定好它的最優參數。

算法選擇

對於算法選擇，AutoML 的目的是自動地選擇出一個優化算法，以便能夠達到效率和精度的平衡。常用的優化方法有 SGD、L-BFGS、GD 等。使用哪個優化算法、對應優化算法的配置，也需要一組搜索空間。

從全局看

將以上三個關鍵步驟整合起來看，一個完整的 AutoML 過程可以分成這麼兩類：一類是將以上的三個步驟整合成一個完整的 pipeline；另一類則是 Network Architecture Search，能夠自動地學習到最優的網絡結構。在學習的過程中，對以上三個問題都進行一些優化。

基本的優化策略

一旦搜索空間確定，我們便可以實用優化器（optimizer）進行優化。這裡，AutoML 主要回答三個問題：

• 選擇的優化器可以作用在哪個搜索空間上？
• 它需要什麼樣的反饋？
• 為了取得一個好的效果，它需要怎樣的配置？

簡單的優化搜索方式包括 Grid Search 和 Random Search。其中 Grid Search 被廣泛使用。

從樣本中進行優化的方法主要包括啟發式搜索、derivative-free 優化、以及強化學習方法。梯度下降法是一種重要的優化策略。

評價策略

基本評價策略

在設計評價策略時，AutoML 主要回答三個問題：

• 這種策略能能夠快速進行評價嗎？
• 這種策略能夠提供準確的評價嗎？
• 這種策略需要怎樣的反饋？

基本的評價策略包括：

1. 直接評價：直接在目標數據上進行評價，這是被使用最多的策略；

2. 採樣：當數據樣本量非常大時，採樣一些樣本進行評價；

3. Early Stop：當遇到一些極端情況使得網絡表現效果不好時，可以考慮進行 early stop；

4. 參數重用：將之前學習過的參數重複利用在新任務上，這在兩種任務配置差不多時可用；

5. 共軛評價：對於一些可量化的配置，可以用共軛評價法進行。

高級評價策略

1. Meta-learning 法：從先前的學習經驗中提煉出基本的參數和結構配置；

2. Transfer learning 法：從先前的學習經驗中提煉出可以重用的一些知識。

應用

• 使用 Auto-sklearn 進行模型選擇；
• 使用強化學習進行 Neural Architecture Search；
• 使用 ExploreKit 進行自動特徵構建。

展望

未來可能的研究方向：

• 提高AutoML的效率；
• 更明確的問題定義；
• 發展基本和高級的搜索策略；
• 找到更適合的應用。

原創： 王晉東 PaperWeekly

學校丨中國科學院計算技術研究所博士生

研究方向丨遷移學習和機器學習

閱讀更多 產業智能官 的文章

關鍵字: 科技 學習 模型