作者 | 李垠橋

單位 | 小牛翻譯 / 東北大學自然語言處理實驗室

李垠橋，東北大學自然語言處理實驗室 2018級博士生，研究方向：神經網絡結構搜索、機器翻譯、模型加速等，在ijcai、nlpcc、中文信息學報等會議、雜誌發表學術論文若干。

前言

伴隨著人工智能技術的飛速發展，語音識別、機器翻譯等各項科技名詞已不是傳統意義上被企業家束之高閣的前景應用，更不是研究人員諱莫如深的複雜概念，它們已經伴隨著大數據時代的來臨走入了尋常人的身邊。如今的生活中我們無處不在享受著人工智能技術帶給我們的便利，從前在科幻電影《星際迷航》中使用的通用翻譯器，已然成為了現在人們出行途中能夠使用的小型翻譯機。而撥開這些實際應用的面紗，它們背後所使用的技術往往是這些年來備受關注的神經網絡模型。

通俗來講，它是一種對外部輸入信息進行學習的數學模型或計算模型。它能夠通過對自身內部結構的調整來擬合輸入數據，憑藉著算法廣泛的通用性，其在語音、圖像、自然語言處理等眾多領域得到了廣泛的應用。

電影《星際迷航》里科克船長和老骨頭所使用的實時翻譯設備

而對於目前的基於神經網絡技術的各項任務而言，主要的過程依舊是由研究人員手動地探索新的網絡結構，比如我們常見的循環神經網絡（Recurrent neural network; RNN）、卷積神經網絡（Convolutional Neural Network; CNN）等。但這樣做實際上是一個非常系統工程的方式，我們把研究人員束縛在崗位上不斷地去“設計”所謂的更好的結構，而模型的好與壞則往往取決於人對任務的理解以及模型設計上的想象力，整個過程需要研究人員對相關領域有著充分的認知，間接提高了從業人員的入門門檻，與此同時通過人工不斷地對模型結構進行改良也非常耗費時間。

隨著近年來計算機設備的算力以及存儲能力逐年遞增，人們逐漸開始去思考是否我們可以讓計算機像學網絡參數一樣學習神經網絡模型的結構？希望能通過這種方式將研究人員從模型結構設計者的位置上“解救”出來，於是就有了這樣一個機器學習領域的研究分支——網絡結構搜索（Neural Architecture Search; NAS）。

實際上目前神經網絡結構搜索技術已經在各個領域中嶄露頭角，如谷歌團隊在Searching for Activation Functions^【1】論文中通過對激活函數空間進行搜索發現了Swish函數，相對諸如Relu等傳統人工設計的激活函數具有更快的收斂速度。而微軟團隊在WMT19機器翻譯評測任務中同樣也採用了其團隊提出的NAO

可以看到網絡結構搜索技術的使用已經為各項任務中模型結構的設計起到非常好的助力，那麼其背後究竟使用了怎樣的技術？如何能夠讓神經網絡自動地對自身結構進行改良？雖然目前網絡結構的搜索技術依舊方興未艾，但已然存在很多來自工業界以及學術界的團隊在不斷努力探索更好的方法。

可以預計在不遠的將來，隨著科研人員的努力以及計算資源的進一步提升，網絡結構搜索的技術將大幅降低模型結構的更迭所需要的時間週期，同時能夠讓研究人員有更多地精力去探索有趣的應用或討論神經網絡背後的可解釋性。當然在這個過程中，我們需要審視這門技術的發展歷史，同時對未來的發展趨勢進行展望。

微軟團隊在WMT19機器翻譯評測任務中英語-芬蘭語任務的提交信息

從“人工”到“自動”的突圍

人類對於自動化的追求從未停止，這一點從三次工業革命的目標即可看到端倪，它們無一不在為了將人們從繁複的工作中解放出來不懈努力。而對於機器學習任務而言，人們也依舊在不斷地探索，希望能夠讓機器在無需人類過多幹預的情況下，真正地替代人去完成更多的工作，而在這個過程中研究人員始終在不斷嘗試，努力做好這次從“人工”到“自動”的突圍。

機器學習方法的演化與變遷

傳統機器學習

如果我們將機器學習所處理的任務建模為一種從輸入到輸出的映射學習，那麼在初代的機器學習算法中，我們不僅需要設計一種適用於當前任務的方法（如廣泛使用的決策樹、支持向量機等），同時還要為其提供人工設計的特徵集合，在完成這些工作之後，才能使用數據對模型中的參數進行調優。

以情感分析為例，我們可以向模型中輸入詞性、詞頻及其情感屬性等信息，然後通過支持向量機的模型來對情感分析任務進行建模，其中詞性、詞頻以及情感屬性即為我們從句子中提取出的人工設計的模型特徵，支持向量機則是我們選擇來解決當前問題的機器學習算法。

我們可以看到，不管是輸入的特徵還是模型自身，均為研究人員歸納總結而得，這個過程就很容易造成對有效特徵的忽視以及模型設計上的不合理，因此基於這種傳統機器學習算法的情感分析任務在IMDB Movie Reviews^【3】集合上的準確率一般很難超過92%（如斯坦福大學的工作Baselines and Bigrams: Simple, Good Sentiment and Topic Classification^【4】

深度學習

隨著深度學習技術的廣泛普及，人們開始嘗試將提取特徵的過程交由模型來自動完成，通過數據驅動的方式減少傳統方法中特徵遺漏的問題。比如說對於圖像處理任務而言，我們無需根據人工經驗對圖像中的局部特徵進行設計，只需要直接將畫面完整地送入模型中進行訓練即可。

下圖中為人臉識別任務中不同層的神經網絡對圖像信息的抽取，我們可以看到在學習過程中底層網絡主要是對圖像中局部紋理進行捕捉，而隨著層數的遞增，模型開始根據下層中收集到的紋理信息對人臉中的局部結構（如眼睛、耳朵等）進行建模，而頂層將綜合上述局部特徵對人臉在圖像中的位置進行確定，最終達成人臉識別的目的。

人臉識別任務中不同層對圖像信息的提取差異

此外，對於前文提到的情感分析任務而言，同樣是可以使用深度學習的方式對語言進行建模。相對基於傳統機器學習算法的模型而言，深度學習的方式直接接收文本的輸入，將詞彙以高維向量的方式建模為詞嵌入（word embedding）。這種方法利用高維空間對詞彙中語義信息進行捕獲，從而為下一步的情感分析提供了非常充足的信息。

基於深度學習的情感分析模型在IMDB Movie Reviews數據集上遠遠超越了傳統的機器學習方法，在卡內基梅隆大學與谷歌團隊在NIPS 2019上合作發表的論文XLNet: Generalized Autoregressive Pretraining for Language Understanding^【5】中，準確率達到了96.8%。

從上述例子中可以看到，深度學習技術在如今的機器學習領域已然達成諸多優異成績，其中非常重要的一個貢獻在於通過使用自動提取的方式對初始輸入信息中的有效資訊進行捕獲，大幅度降低了手動設計特徵所帶來的信息折損，為下游任務提供了更堅實的基礎。

深度學習&網絡結構搜索

深度學習技術的到來使得原本由人工進行的特徵提取過程交由機器自動完成，允許模型根據自身需求從原始數據中進行特徵的捕獲，通過這種數據驅動的方式有效降低了人工抽取所帶來的信息丟失風險。但當我們回顧整個深度學習系統，實際上其依舊並非我們期望的完全自動化的過程，在模型結構的設計上仍然非常依賴行業專家面向任務對模型結構進行設計。

以機器翻譯任務為例，研究人員在模型結構上的探索腳步從未停止，從最初基於RNN^【6】對文本序列進行表示發展到之後注意力機制^【7】的引入，乃至更近一段時間的基於CNN^【8】的翻譯系統以及目前備受關注的Transformer^【9】系統，科研人員始終在不斷地針對任務進行模型結構的設計與改良。但有了深度學習初期的發展，研究人員也期望著有朝一日能夠讓模型結構設計的過程同樣不再過分依賴人工設計，能夠採用同特徵選擇類似的方式自動進行學習，因此在深度學習方法的基礎上，人們開始嘗試網絡結構搜索的方式來自動得到模型結構。

實際上網絡結構搜索的任務並非起源於近些年，早在上世紀80年代，斯坦福大學的Miller, Geoffrey F.等人在Designing Neural Networks using Genetic Algorithms^【10】論文中就提出使用進化算法對神經網絡結構進行學習的方式，在此之後也有很多研究人員沿著該思路進行了相關的探索（如Representation and evolution of neural networks^【11】一文對進化算法的編碼格式進行改良，J. R. Koza等人在Genetic generation of both the weights and architecture for a neural network^【12】

但受限於當時計算資源，針對神經網絡的結構搜索的應用場景較少，因此這方面的工作並沒有受到很多研究者的關注。而隨著近些年來神經網絡以及深度學習的技術的廣泛應用，對於網絡結構自學習的需求也越來越大，與此同時發展迅猛的半導體技術也使得設備的算力、存儲能力大大提升，為網絡結構搜索任務提供了必要的支持。

縱觀整個機器學習算法的發展過程，網絡結構搜索任務的出現可以看作是歷史的必然。無論是數據資源的累積還是計算能力的提升，無一不在催生著數據驅動下的網絡結構設計。雖然目前的網絡結構搜索技術尚且處於比較初級的階段，其高資源消耗、模型結構不穩定等問題始終困擾著研究人員，但是其發展勢頭迅猛，在圖像、自然語言處理等領域均開始嶄露頭角。

可以預見的是，深度學習&網絡結構搜索的組合將是把研究人員從模型工程的泥淖中救起的稻草，我們也相信網絡結構搜索技術會終將為機器學習完成這場從“人工”到“自動”的終局突圍。

本期我們主要對網絡結構搜索任務的起源及其歷史發展進行介紹，下一期我們將具體對該任務所使用的整體框架進行深入探討。

參考文獻：

[1] Ramachandran P, Zoph B, Le Q V. Searching for activation functions[J]. arXiv preprint arXiv:1710.05941, 2017.

[2] Luo R, Tian F, Qin T, et al. Neural architecture optimization[C]//Advances in neural information processing systems. 2018: 7816-7827.

[3] Maas A L, Daly R E, Pham P T, et al. Learning word vectors for sentiment analysis[C]//Proceedings of the 49th annual meeting of the association for computational linguistics: Human language technologies-volume 1. Association for Computational Linguistics, 2011: 142-150.

[4] Wang S, Manning C D. Baselines and bigrams: Simple, good sentiment and topic classification[C]//Proceedings of the 50th annual meeting of the association for computational linguistics: Short papers-volume 2. Association for Computational Linguistics, 2012: 90-94.

[5] Yang Z, Dai Z, Yang Y, et al. Xlnet: Generalized autoregressive pretraining for language understanding[C]//Advances in neural information processing systems. 2019: 5754-5764.

[6] Sutskever I, Vinyals O, Le Q V. Sequence to sequence learning with neural networks[C]//Advances in neural information processing systems. 2014: 3104-3112.

[7] Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[J]. arXiv preprint arXiv:1409.0473, 2014.

[8] Gehring J, Auli M, Grangier D, et al. Convolutional sequence to sequence learning[C]//Proceedings of the 34th International Conference on Machine Learning-Volume 70. JMLR. org, 2017: 1243-1252.

[9] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Advances in neural information processing systems. 2017: 5998-6008.

[10] Miller G F, Todd P M, Hegde S U. Designing Neural Networks using Genetic Algorithms[C]//ICGA. 1989, 89: 379-384.

[11] Mandischer M. Representation and evolution of neural networks[C]//Artificial Neural Nets and Genetic Algorithms. Springer, Vienna, 1993: 643-649.

[12] Koza J R, Rice J P. Genetic generation of both the weights and architecture for a neural network[C]//IJCNN-91-seattle international joint conference on neural networks. IEEE, 1991, 2: 397-404.

雷鋒網雷鋒網雷鋒網

閱讀更多 雷鋒網 的文章

關鍵字: 人工智能 電腦 設計