作者 | Khari Johnson
出品 | AI科技大本營（ID：rgznai100）
人工智能已經不再是隨時準備改變世界的狀態，而是已經在改變世界。在邁入2020年這新的一年、以及新的20年代之際，筆者請到了AI方面最敏銳的觀察者，請他們回顧2019年取得的進展，並展望2020年機器學習將如何進一步走向成熟。
我們與PyTorch的創建者Soumith Chintala，加州大學教授Celeste Kidd，Google AI負責人Jeff Dean，NVIDIA機器學習研究負責人Anima Anandkumar，以及IBM研究主管Dario Gil，一共五位嘉賓進行了交流。
每個人對未來的一年，都有自己的預測。而這些人是正在塑造未來的一群人——他們在AI社區中是有權威的，也是有科學追求的，他們的個人經歷已為其贏得了可信度。
一些人預測了半監督學習和神經符號方法等子領域的進步，但幾乎所有我們採訪的ML界傑出人物都同意2019年基於Transformer的自然語言模型，取得了巨大進展，並預測像面部識別這樣的技術，會繼續引起爭議。他們還希望AI領域不再只看重準確性。
那麼他們具體是怎麼說的？一起往下看！
PyTorch董事、首席工程師和創建者Soumith Chintala
不管您採用何種評估方式，PyTorch都是當今世界上最受歡迎的機器學習框架。PyTorch是2002年引入的Torch開源框架的衍生產品，於2015年投入使用，並且在擴展和庫的方面有穩步增長。
2019年秋天，Facebook發佈了帶有量化和TPU支持的PyTorch 1.3版本，以及一個深度學習可解釋性工具Captum和PyTorch Mobile。還有諸如PyRobot和PyTorch Hub之類用於共享代碼並鼓勵ML實踐者擁抱可復現性的東西。
Chintala於2019年秋天，在PyTorch Dev Con與筆者的一次對話中表示，2019年他在機器學習界，幾乎沒有看到什麼突破性進展。
“實際上，我認為我們沒有創造出什麼顛覆性的東西……基本上從Transformer以後就沒有了。ConvNets在2012年達到頂峰，而Transformer則是在2017年左右。當然這只是我的個人看法。”他說。
他繼續說，DeepMind的AlphaGo，在強化學習方面的貢獻是開創性的，但他表示，結果很難應用於現實世界中的實際任務。
Chintala還認為，像PyTorch和Google的TensorFlow這樣在當今的ML實踐者中廣受歡迎的機器學習框架的發展，已經改變了研究人員探索他們的想法和開展工作的方式。
他說：“它使研究者們的速度，比以前快了一兩個數量級，從這個意義上來說，它算是一個突破。”
今年，谷歌和Facebook的開源框架引入了量化，用於提高模型訓練的速度。Chintala預計，在未來的幾年中，PyTorch的JIT編譯器、和像Glow這樣的神經網絡硬件加速器的重要性和採用率都會有一個“爆炸式增長”。
“從PyTorch和TensorFlow身上，可以看出框架的融合趨勢。出現量化、以及出現其他許多較低級別效率的原因是，框架之戰的下一場發生在編譯器界——XLA，TVM，Glow，很多創新即將發生，”他說， “在未來的幾年中，你將看到如何更智能地量化，更好地融合，更有效地使用GPU，以及對新硬件進行自動編譯。”
像筆者採訪的大多數其他行業領導者一樣，Chintala也預測AI社區將在2020年，更加看重AI模型性能，而不僅僅是準確性，並開始將注意力轉移到其他重要因素上，比如創建模型所需的電力，如何向人類解釋輸出結果，以及如何用AI來更好地反映人們想要構建的社會。
“如果想想過去的五六年，我們其實只關注了準確性，以及像‘NVIDIA的模型更準確嗎？Facebook的模型更準確嗎？’這樣的原始數據，”他說， “我實際上覺得2020年，將是我們開始以更復雜的方式去思考的一年，這種情況下，如果模型不具備良好的可解釋性機制（或者滿足其他條件），那就算準確率高出3%也沒什麼用。”
加州大學伯克利分校發展心理學家Celeste Kidd
Celeste Kidd是加州大學伯克利分校Kidd實驗室的主任，她和她的團隊在那裡探索兒童的學習方式。他們的見解，可以幫助神經網絡的創建者們，嘗試以與培養孩子類似的方式來訓練模型。
她說：“人類嬰兒沒有用到標記的數據集，但他們仍然能成長得很好，瞭解這其中的原理對我們來說很關鍵。”
讓Kidd在2019年感到驚訝的是，很多神經網絡創建者有時會輕易貶低自己、或其他研究人員的工作，因為他們的網絡無法做到嬰兒都能做的事情。
她說，當你將嬰兒的行為綜合分析時，你會看到有證據表明他們確實能理解某些東西，但他們絕對不是完美的學習者，而上述創建者的那種說法，對嬰兒的能力過於美化。
她說，“人類嬰兒很棒，但他們也會犯很多錯誤，而且我經常看到人們的許多比較都太隨便，把嬰兒的表現理想化了。我認為人們將會更加重視當前瞭解的內容和接下來想要了解的內容之間的聯繫”。
在人工智能界，“黑箱”一詞已經存在多年，這個詞語曾經用來批評神經網絡缺乏可解釋性，但Kidd認為，2020年可能成為神經網絡不可解釋觀念的終結。
她說，“黑箱的論點是虛假的，大腦也是黑箱，但我們在理解大腦如何工作方面仍然取得了巨大進展。”
在揭開這種對神經網絡認識的神秘面紗時，Kidd著眼於MIT-IBM Watson AI Lab的執行總監Aude Oliva等人的工作。
“我們當時正在討論這件事，我說覺得該系統是黑箱，她有理有據地批評了我，說當然不是黑箱。當然，你可以將它們分解，將它們分割開來，看看它們如何工作，進行實驗，就像我們理解認知的過程那樣。”Kidd說。
近日，Kidd在NeurIPS會議上發表了開幕式主旨演講，這是世界上最大的年度AI研究會議。她的演講重點在於人腦如何固守自己的信念、注意力系統、以及貝葉斯統計。
她說，適於傳遞信息的區域，介於一個人以前的興趣和理解，以及讓他們感到驚訝的東西之間。人們傾向於較少參與太多令人驚訝的內容。
然後，她又說中立的技術平臺並不存在，她將目光轉向內容推薦系統的創建者們，是如何操縱人們的信念的。追求用戶最大參與度的系統，可能會對人們形成信念和觀點的方式有著重大影響。
Kidd在演講中以機器學習界男性群體中的一種的誤解為結尾，即與女性同事單獨相處，會導致性騷擾指控，從而結束一個男人的職業生涯。她說，這種誤解會損害女性在該領域的職業發展。
由於曾在羅切斯特大學公開發表反對性不端行為的言論，Kidd與其他女性一起被評為2017年度“年度人物”，這些女性幫助實現了要求平等對待女性的#MeToo運動。那時，Kidd以為勇敢發聲會結束她的職業生涯。
她希望在2020年，看到人們能更加清醒地意識到技術工具和技術決策對現實生活的影響，並不再認同創造工具的人，不用對工具如何被使用負責任的觀點。
她說，“我聽到很多人試圖用‘我不是真理的仲裁者’來為自己開解。我認為必須清醒認識到這是不誠實的立場。對於社會，尤其是對於開發這些工具的人們來說，真的需要直接正視隨之而來的責任。”
Google AI負責人Jeff Dean
Dean領導Google AI已有近兩年的時間，他在Google工作了二十年，是該公司許多早期搜索和分佈式網絡算法的架構師，也是Google Brain的早期成員之一。
Dean近日在NeurIPS上與筆者有過交流，當時他就應用於ASIC半導體設計的機器學習以及AI社區如何應對氣候變化做了演講，他說氣候問題是我們這個時代最重要的問題。
在關於氣候變化的演講中，Dean討論了AI可以盡力成為零碳行業這一想法，以及AI可以被用來幫助改變人類活動。
他預計多模式學習領域將在2020年取得進展。多模式學習是一種依靠多種媒體來進行訓練的AI，而多任務學習則包含用於一次完成多個任務的網絡。
毫無疑問，2019年最顯著的ML趨勢之一，就是基於Transformer的自然語言模型的持續增長和擴散，該模型在上文中被Chintala稱為近幾年來人工智能最大的突破之一。Google在2018年開源了基於Transformer的模型BERT。根據GLUE排行榜，2019年發佈的許多性能高超的模型，都基於Transformer，比如Google的XLNet、微軟的MT-DNN和Facebook的RoBERTa。公司發言人向筆者透漏，XLNet 2將於近期發佈。
Dean指出了已經取得的進展，並說“我認為在實際產生機器學習模型方面，已經取得了相當豐碩的成果。畢竟這些模型，讓我們現在能比過去做更精細的NLP任務”。但他補充說，還有增長的空間，“我們仍然希望能夠做更多上下文類型的模型。像現在一樣，BERT以及其他模型可以很好地處理數百個單詞，但不能將10000個單詞作為一段上下文來處理。所以這是一個挺有趣的方向”。
Dean 說，他希望不要太看重最新技術的微小進步，而把重心更多地放在創建更健壯的模型上。
Google AI還將致力於推進新的研究，比如DailyRobot，這是一個於2019年11月推出的內部項目，旨在製造能夠完成在家庭和工作場景下共同任務的機器人。
NVIDIA機器學習研究總監Anima Anandkumar
Anandkumar曾在AWS擔任首席科學家，後加入了GPU製造商NVIDIA。在NVIDIA，人工智能研究在多個領域持續進行，從醫療保健的聯合學習到自動駕駛，超級計算機和圖形學等等。
Anandkumar在2019年的重點研究領域之一，是強化學習的仿真框架，這些框架變得越來越受歡迎，並逐步成熟起來。
在2019年，我們看到了NVIDIA的Drive autonomus駕駛平臺和Isaac機器人模擬器的崛起，可以從模擬中生成綜合數據的模型，以及生成對抗網絡（也可以稱為GAN）的興起。
2019年還迎來了像StyleGAN（可以使人們懷疑自己看到的究竟是計算機生成的人臉、還是真實的人臉）和GauGAN（可以用畫筆生成風景）這樣的人工智能，並且StyleGAN2已經於近期首次亮相。
GAN是可以模糊現實界限的技術，Anandkumar認為，GAN可以幫助AI社區處理很多主要挑戰，例如抓握機器人和自動駕駛。
Anandkumar還希望新的一年能在迭代算法、自我監督和訓練模型的自訓練方法（這些模型可以通過對未標記數據，進行自訓練來改進自己）等方面看到進展。
“我認為，各種各樣的的迭代算法就是未來，因為如果只做一個前饋網絡，那麼健壯性就會成為問題”。她說，“如果進行多次迭代，並根據所需的數據類型或精度要求對迭代進行調整，那麼實現這一目標的幾率就更大了”。
Anandkumar預見到了2020年AI社區要面臨的眾多挑戰，比如需要與領域專家一道創建專門針對特定行業的模型。政策制定者，個人和AI社區也將需要應對代表性問題，以及確保用於訓練模型的數據集能夠覆蓋到不同人群。
她說，“我認為面部識別問題本身很容易掌控，但是在很多其他領域，人們沒有意識到對數據的使用涉及隱私問題。”
Anandkumar說，面部識別領域得到的關注度最大，是因為面部識別是如何侵犯個人隱私這一點是易於理解的，但是AI社區在2020年還面臨許多其他道德問題。
Anandkumar補充說：“我們將在數據收集和使用方式方面，進行越來越嚴格的審查。我認為歐洲現在已經在這樣做了，但在美國，我們當然有理由認為將來會迎來更嚴格的審查，比如說，由美國國家運輸和安全委員會和聯邦運輸管理局這樣的組織進行。”
在Anandkumar看來，2019年的最大驚喜之一，便是文本生成模型的發展速度。
“2019年是語言模型之年。現在，我們第一次實現段落長度和連貫性的更優化，這在之前是不可能的，真是太棒了。” Anandkumar說。
在2019年8月，NVIDIA推出了Megatron自然語言模型。Megatron擁有80億個參數，是全球最大的基於Transformer的AI模型。Anandkumar說，人們開始為模型附加上獨特的個性和脾氣，她對此感到驚訝，並期待看到更多針對特定行業的文本模型（Transformer即變形金剛，其中Megatron譯為威震天）。
“我們仍未達到可以進行上文記憶、以及自然對話的交互式對話階段。因此，我認為2020年將會有人朝這個方向進行更認真的探索。”她說。
此外，她還表示，開發用於控制文本生成的框架，要比識別人像或物體的圖像之類的框架，更具挑戰性。文本生成模型，還可能面臨像“為一個神經模型定義一個事實”這樣的挑戰。
最後，Anandkumar說，她很高興看到人們在Kidd在NeurIPS的演講結尾集體起立鼓掌，並感到被機器學習社區變得越來越成熟和包容的跡象所鼓舞。
她說，“我覺得現在這個時期是分水嶺，剛開始的時候要取得一點小進步都很難，可總有一天洪水會決堤。我希望是這樣，因為在我看來，我希望這種勢頭持續下去，進行更大的結構性改革，並使領域裡的所有人的事業都取得成功。”
Dario Gil：IBM研究總監
Gil領導著一組研究人員，他們為白宮以及世界各地的企業提供諮詢服務。他認為，2019年的重大飛躍，包括圍繞生成模型的進步、以及不斷增長的產生通順語言的能力。
他預測在降低精度的體系結構上，更高效的訓練將繼續進步。更高效的AI模型開發，是NeurIPS的重點，在大會上，IBM Research介紹了用到8位精度模型的深度學習技術。
他說，“使用具有GPU架構的現有硬件，來訓練深度神經網絡的方法，效率仍然普遍低下。因此，對這個基礎進行重新思考就顯得非常重要。我們必須提高AI的計算效率，只有這樣我們才能用它來做更多的事情。”
Gil引用了某研究的結果，該結果表明，人們對機器學習訓練的需求量，每三個半月就翻一番，這比摩爾定律預測的增長速率要快得多。
Gil也對AI幫助加快科研進展這一點感到興奮，但是IBM Research將主要專注於機器學習的神經符號方法。
Gil希望2020年AI從業者和研究人員，在考慮部署模型的價值時，能把注意力轉到準確性以外的指標。將領域重點轉移到對受信任系統的構件上，而不再將準確性放在首位，這將是AI能被繼續使用的決定性力量。
“社區中有些人可能會繼續說，‘不用擔心，只需提供準確性即可。沒關係，人們會習慣這個東西比較像一個黑箱這個事實’，或者他們會提出這樣的論點，即人類有時不會對自己做出的某些決定給出解釋。我認為，非常非常重要的一點是，我們要集中社區的腦力能量，從而在這方面做得更好。在任務應用程序上，AI系統不能成為一個黑箱。”
Gill相信，我們需要擺脫只有少數ML天才才能從事AI這樣的觀念，以確保更多具有數據科學和軟件工程技能的人也能採用AI。
他說，“如果我們把AI作為一個神話領域，只有此專業的部分博士才能進入的話，那對AI的應用是沒有好處的。”
在新的一年，Gil對神經符號AI特別感興趣。IBM將尋求神經符號方法，來增強諸如概率性編程之類的功能。他們還將研究AI如何操作一個程序，以及如何操作可共享決策原因的模型。
“通過採用這種混合了各種新方法的方式，以及通過這些神經符號方法，來把學習和推理結合在一起，其中的符號維度被嵌入到了學習一個程序的過程中。我們已經發現，人類可以利用需求量的一小部分數據進行學習，由於學習了程序，我們最終得到一些可解釋的東西，又因為有可解釋的東西，所以我們就有了更受信任的東西。”
他說，公平性、數據完整性和數據集選擇等問題，將繼續獲得廣泛關注，而“任何與生物識別技術有關的東西”也是如此。面部識別技術廣受關注，但這僅僅是開始而已。語音數據以及其他形式的生物識別技術，將變得越來越敏感。
Gil說，“我舉這個例子是想說，與身份、人的生物特徵、以及人工智能在分析方面取得的進步有關的一切，將繼續處於話題的前沿和中心。”
除了神經符號和常識推理，以及MIT-IBM沃森實驗室的一項旗艦計劃以外，Gil表示，2020年IBM Research還將探索AI的量子計算、以及降低精度架構之外的AI模擬硬件。
最後的思考
機器學習正在持續性地為當今的商業和社會塑形，筆者採訪的研究人員和專家們預見到了許多趨勢：
- 隨著Transformers提供的巨大動能，自然語言模型的進步，是2019年的重大事件。2020年，在基於BERT和Transformer的模型上，可能會有更多新意出現。
- 人工智能行業應該尋找準確性以外的指標，來評估模型的輸出。
- 諸如半監督學習、機器學習的神經符號方法、以及多任務和多模式學習之類的子領域，可能會在2020年迎來進步。
- 與生物特徵數據（如語音記錄）相關的倫理道德問題，可能會繼續引起爭議。
- 像編譯器和量化之類的方法，可能會在PyTorch和TensorFlow之類的ML框架中，作為優化模型性能的方式而流行起來。
作者：Khari Johnson，撰寫人工智能類文章，現居舊金山東灣。
https://venturebeat.com/2020/01/02/top-minds-in-machine-learning-predict-where-ai-is-going-in-2020/
閱讀更多 AI科技大本營 的文章
