作為 Google Brain 的創始成員，Quoc Le 是一個天生的 AI 才子。2014 年，他利用深度學習技術和自動轉換單詞的端到端系統推動了機器翻譯性能，為谷歌隨後在神經機器翻譯方面的突破奠定了基礎。自 2014 年以來，Le 將目光投向自動化機器學習（AutoML）。2016 年，Le 與 Google 研究員合作，發表了開創性論文《Neural Architecture Search with Reinforcement Learning》，該研究推動了 Google Cloud AutoML 的創建，並使 AutoML 迅速成為熱門話題。
在這一次的採訪對談中，Quoc Le 解讀了關於 AutoML 以及 Google Brain 發展進程背後的故事。
您覺得 AutoML 在過去一年中取得了哪些進展和突破呢？
首先，據我所知，AutoML 最大的成功是圍繞計算機視覺的。最近我做了一個演講，回顧了計算機視覺領域的一些最新技術，結果發現 ImageNet 數據集中最好的三個或四個模型實際上是由 AutoML 生成的，而 ImageNet 可能是目前計算機視覺領域最難的競賽之一。我們自動生成的模型已經比人工設計的模型更好了。
您覺得 AutoML 具有什麼特別的意義呢？
我認為機器學習的許多應用領域都存在著這樣一個真實的現象：NLP 和語音模型都是由人類專家手工調整和設計的，這需要付出很多努力、投入大量時間。AutoML 所做的基本上是能夠自動設計模型並且比人類設計的模型更好。雖然你必須進行大量的計算，但是進入循環的人力減少了。這屬於其中一個部分，關於架構生成和模型生成。
第二部分是關於數據增強方面。今年我們進行了大量研究，使用機器學習來進行自動化數據處理和數據增強的過程。例如，讓模型做得更好的一種方法是豐富你的數據。如果你有一隻貓的圖像，你相信如果你稍微旋轉那個圖像，它仍然是一隻貓；或者你放大這個圖像，它仍然是一隻貓，然後你便可以豐富你的數據，這個過程稱為數據增強。
這很難。人們多年以來都在全力以赴地做到這一點。我們的項目會自動化這個過程。我們採用一個函數庫來獲取圖像並對其進行處理。例如，它會使圖像變亮、變暗或均衡圖像，然後選取其中一個函數，讓我們在處理該圖像的小程序中進行組合從而豐富我們的數據集。當進行了很多計算時，我們就可以自動化該過程，並且非常成功。我們有一篇名為《Improving Deep Learning Performance with AutoAugment 》的論文，對於我們應用的每一個數據集，它都帶來了很大的改進，這讓我看到了很大的希望。
您能總結一下您在 2018 年的研究和工作嗎？
我在過去一年的工作可以劃分為不同的垂直領域。我從事計算機視覺、結構數據和 NLP 方面的研究。如果從技術上來分，2018 年我主要關注模型生成和數據生成兩方面。
與其他公司相比，您認為 Google Brain 對人工智能的追求有何不同？
也許我可以先告訴你我起初為什麼會選擇在這類項目上工作。人工智能的發展經歷了四代。第一代被稱為 Good Old-fashioned AI。Good Old-fashioned AI 意味著你用手工製作一切，什麼都不學。第二代是淺層學習。在淺層學習中，你手工製作了一些特徵並學習瞭如何分類。第三代，深度學習，也就是到目前為止很多人都享受其中的。基本上你手工編寫算法，但是你學習了這些特徵，你學習了預測，端到端，其中涉及了比淺層學習更多的學習。第四代，這是新的東西，也是我現在的工作，我稱之為 Learning-to-learn (學會學習)。在這一代，我們應該學習一切。我們應該同時學習架構、數據處理、算法和預測等功能。目前我們正處於第四代的開始，所以在谷歌大腦，我們確實致力於 Learning-to-learn 這個方向。這是 Google Brain 正在研究的眾多領域之一。我們的使命是努力建立智能，讓生活更美好。因此，我們會確保我們構建的技術可以使很多人受益。因此，我們在遊戲 AI 上沒有投入太多，但我們在嘗試開發技術來改善類似醫學成像、自動駕駛這些不同領域的應用效果。最近，Waymo 撰寫了關於我們在 AutoML 和他們自動駕駛汽車項目合作的博客文章，我們為他們的自動駕駛汽車項目實現了一系列模型的自動化。因此，我們雖傾向於進行早期研究，但我們也非常努力地使我們的技術對用戶產生價值。
2019 年您的研究工作重點是什麼呢？
就像我說的那樣，目前是在 Learning-to-learn 的初期。我相信我們正在進入第四代機器學習，這一代機器學習你不需要做太多，它自己會學到一切。我在架構研究和 AutoML 方面的一些工作還處於初期階段，因此我將繼續擴展並進一步研究如何從端到端學會一切。
2019 年，您對 AutoML 相關技術和應用的發展有何期望？
我認為大多數雲平臺，或商業雲平臺將以一種形式或另一種形式運用 AutoML，因為我認為這對最終用戶來說會產生很大的影響。可以編寫機器學習程序的人實際上非常少，但想要實際使用機器學習的人卻非常多。AutoML 是研究人員將其技術實際轉移到許多其他公司的絕佳機會，所以我希望很多雲公司都會使用 AutoML。在研究中，我認為它將開始獲得很大的動力。我已經看過許多來自學術界的那些非常令人興奮的論文。在 Google 之外，他們在這個領域做了非常有趣的工作，其中一些重要的突破也來自中國。
如果 AutoML 想達到更好的性能表現，目前所遇到的技術挑戰是什麼？
我認為目前很多 AutoML 的問題仍然是需要在搜索空間中進行一些手工操作。因此，為了讓 AutoML 工作，一種方法是搜索所有可能的程序，但這是一個非常大的搜索空間。因此，我們傾向於限制一下，比方說在許多 TensorFlow 函數中進行搜索等。如果不必花太多時間在搜索空間上，我認為會很棒，這是第一。第二是我們擁有的許多搜索方法仍然有點貴，資源僅適用於大公司。所以你才看到大公司能從這個領域中做出很多非常正確的研究。不過我認為最近已經有一些方法可以使用來自學術界和其他一些看起來非常有希望的公司的高效搜索方法，所以我對此抱有希望。但我認為這是 AutoML 未來需要改進的兩個關鍵部分。
您認為未來還有哪些其他新的技術方向需要探索呢？
在 AutoML 之外，無監督學習的出現讓我覺得非常興奮。我認為無監督學習將釋放大量已激活數據的巨大潛力，並且我們在過去幾年中已經開始看到很多進展。所以我特別要提出這篇名為 BERT 的論文，我想很多人都熟悉 BERT。我們已經在 Google 上發佈了使用預訓練語言模型來改進下游應用程序的想法，這非常酷。它建立在早期許多團隊的其他非常好的研究之上，它積累到了令人興奮的模型輸入的那一刻，這很酷。我期待看到更多像無監督學習這樣的發展，因為它將釋放另一種潛力，如未標記的數據。另外，我在設計可擴展模型方面也看到了巨大潛力。這樣的模型非常大，你可以利用大量數據，但在同時推理成本卻很低。所以我們的想法是你可以訓練非常大的模型但是你不需要花費太多的計算來評估這個模型。這也是令人興奮的另一個方向。
在過去的一年中，人工智能領域出現了包括數據洩漏、人才稀缺、模型偏見、可解釋性、執法等方面的問題。您最關心哪一個問題？能否就此問題談談您的看法？
預測中的偏見可能是我最擔心的事情。我們擁有的許多機器學習模型取決於訓練數據。很多時候，由於某種原因，我們似乎對我們的訓練數據不夠了解。如果預測存在偏見，可能會影響很多人，然而我們似乎沒有在這方面取得足夠的進展。不過我想我們會取得進展的，因為目前很多研究人員都在積極思考這個問題。
在過去七年中，Google Brain 取得了非凡的成功，很少有其他 AI 研究實驗室可以超越。而且您也為 TensorFlow、AutoML 和 Google Neural Translate 的開發做出了貢獻，所以您能說說 Google Brain 成功將實驗室技術應用到產品中的秘訣是什麼嗎？
首先，其實我們還有很多需要向其他研究實驗室學習的地方，他們做得非常棒。至於我們的秘訣，我認為 Google Brain 其中一個獨特之處在於，在我們的環境中，研究人員有很多機會與非常優秀的工程師合作。在許多其他研究實驗室中，研究人員和工程師往往要麼在不同的地方工作，要麼在不同的團隊中工作，諸如此類。但在 Google Brain 中，這兩者能非常好地融合協作。我和非常有才華的工程師一起工作，他們看了我們做的一些研究，然後能找出一種不同的方式，做出比我們最初想要的更好的產品。另一方面是我們的環境非常自下而上。我們辦公室的許多研究人員確實對如何應用他們的技術以及應用於什麼產品非常有創造力。有時你最終會以非常有創意的方式為你的產品找到你從未見過的應用程序或探索到不同的方向。我認為這些都是 Google Brain 做的非常好的事情。因此，第一個秘訣是要做非常綜合的研究模型，將工程和研究結合起來，這也是 TensorFlow 能夠迅速開發和谷歌翻譯能夠快速啟動的原因。第二個秘訣實際上是一個自下而上的研究模型，使工程師和研究者可以找到一種方法來創造性地將他們的技術應用到產品當中。
閱讀更多 AI先鋒號 的文章
