來源：新智元
本文約2608字，建議閱讀7分鐘。
本文介紹圖靈獎得主Yoshua Bengio和Yann LeCun在本屆2020 ICLR大會上發表觀點稱，自監督學習有望使AI產生類人的推理能力。Bengio相信機器最終將習得關於這個世界的各種知識，不需要機器去親身體驗，而是通過習得語言化的知識來實現。
在2020的ICLR線上大會上，蒙特利爾學習算法研究所主任、圖靈獎得主Yoshua Bengio和Facebook 的副總裁兼首席人工智能科學家Yann LeCun，坦率地談到了未來AI的研究趨勢。
根據兩位大咖的說法，自我監督學習可能使AI產生類人的推理能力。
自監督學習，像人一樣自覺觀察世界
監督式學習需要在有標註的數據集上訓練AI模型，而 LeCun 認為隨著自我監督學習的廣泛應用，這種訓練模式的作用將逐漸減弱。自監督學習算法不再依賴標註，而是通過揭示數據各部分之間的關係，從數據中生成標籤 。
自監督學習是一種機器學習的「理想狀態」，重點在於如何自動生成數據標籤，這一步驟被認為對於實現人類水平的智能至關重要。舉一個例子，例如輸入一張圖片，把圖片隨機旋轉一個角度，然後把旋轉後的圖片作為輸入，隨機旋轉的角度作為標籤。
很多網友比較關注的一個問題是，自監督學習和無監督學習是一個意思嗎？
自監督類似無監督學習，都是從沒有明確標籤的數據中進行學習。但無監督學習側重於學習數據的內在關係、結構，比如clustering、grouping、density estimation, or anomaly detection等等，而自監督是根據數據集本身生成標籤。
為了進一步解釋自監督學習，LeCun做了類比，「不管是我們人類，還是動物，在學習大多數事物時，都是在自我監督的模式下進行的，
而不是強化學習模式。這個模式本質上就是觀察這個世界，然後不斷與之增進互動，這種觀察是自發的，而不是在測試條件下完成的。」LeCun表示， 「這種學習方式，比較難以用機器來複制。」其中，不確定性是阻礙自監督學習成功的主要障礙。
連續分佈和離散分佈
數據的分佈是這樣一個表，它將變量所有可能的值與其出現的概率聯繫起來。在變量是離散的情況下，它們可以很好地表示不確定性，這就是為什麼像Google BERT這樣的架構如此成功。但目前，研究人員尚未找到一種方法來有效地表示連續變量的分佈。
在斯坦福對話問答數據集上測試時，BERT 實現了93.2% 的準確率，分別優於最先進的機器學習水平和人類水平 。斯坦福問答數據集是一個閱讀理解的數據集，包含了一組維基百科文章中提出的問題。在通用語言理解評估基準測試（一個用於培訓和評估NLP系統的資源集合上，BERT的準確率達到了80.4% 。
解決連續分佈問題
LeCun認為，找到一種能表示連續分佈的模型，就會有新突破。
Lecun 指出，連續分佈問題的一個解決方案是利用基於能量的模型（EBM），它能夠學習數據集中的數學元素，並生成類似的數據集。
此前，OpenAI開發了一種基於能量的模型，可以快速學會識別和生成概念，例如附近，上，中，最近和最遠等，並表示為2D點集。模型僅在五次演示後學習了這些概念。
從過去的研究中看，這種形式的建模一直難以應用到實際當中，但Open AI 2019年的研究表明，這種基於能量的模型可以支持複雜的拓撲（topologies）。
Bengio 在研討中表示，他相信人工智能研究可以從神經科學領域受益頗多，特別是意識和意識處理的探索方面。當然收益也是雙向的，一些神經科學家正在使用卷積神經網絡作為視覺系統的腹側通路。
Bengio預測，新的研究將闡明高級語義變量與大腦如何處理信息（包括視覺信息）之間的關係。而這些變量是人類語言交流所用的，它們可能會衍生出新一代的深度學習模型。
「通過與基礎語言學習相結合，我們可以取得很多進展，歸根結底我們都在打造能夠理解這個世界的模型，以及高層次的概念是如何相互關聯的。這是一種聯合式的分佈，」Bengio 說。「我相信，人類的意識處理過程，利用的是有關世界如何變化的假設，這些假設可以理解成為一種更高層次的表達方式。簡單來講，就是我們看到世界的變化，然後想到一句話來解釋這種變化。」
達到人類智力的另一難題：背景知識
想要實現人類智力，另一大難題就是背景知識。正如 LeCun 所解釋的，大多數人可以在30小時內學會駕駛汽車，因為他們已經憑藉直覺構建了一個關於汽車行動方式的物理模型。相比之下，現在無人駕駛汽車所採用的強化學習模型要從零開始學起---- 他們必須犯上成千上萬次的錯誤，才能做出正確的操作。
LeCun表示，「顯然，我們需要能夠構建模型來學習世界，這就是進行自監督學習的原因——運行預測世界模型，能夠讓系統進行更快地學習。從概念上講，這相當簡單，除非是在那些我們無法完全預測的不確定環境中。」
LeCun 認為，想要實現通用人工智能（AGI），就算有自監督學習和神經科學學習的加持，也是不夠的。
通用人工智能（AGI ）是指機器獲得人類水平的智能。一些研究人員將通用人工智能稱為強AI（strong AI）或者完全AI（full AI），或稱機器具有執行通用智能行為（general intelligent action）的能力。
他表示，這是因為智力，尤其是人類的智力，是非常特殊的。「AGI 是不存在的，根本沒有通用人工智能這回事。我們可以談論老鼠水平的智力、貓的智力、狗的智力，或者人類的智力，但還根本談不上通用人工智能。」LeCun說。
但是Bengio相信機器最終將習得關於這個世界的各種知識，這個過程不需要機器去親身體驗，而是通過習得可以語言化的知識來實現。
「我認為這也是人類的一個巨大優勢，相比於其他動物來說，」他說。「我認為，人類之所以聰明，是因為我們有我們自己的文化，讓我們能夠解決這個世界的問題。要想讓人工智能在現實世界中發揮作用，我們需要它不僅僅是能夠翻譯的機器，而是能夠真正理解自然語言的機器。」
自監督學習是AI的未來
自監督學習背後的核心想法，是開發一種深度學習系統，可以通過學習填補AI未知的領域。
LeCun曾在今年四月份AAAI會議演講中談到，「我認為自監督學習是AI的未來。這將使我們的AI系統，深度學習系統更上一層樓，或許AI可以通過觀察獲取有關世界足夠多的背景知識，從而形成一些基本常識。」
自我監督學習的主要好處之一是AI能夠主動輸出巨大的信息量。在強化學習中，訓練AI系統是在標量級別執行的，模型會收到一個數值作為對其行為的獎勵或懲罰。在監督學習中，AI系統為每個輸入結果預測類別或數值。
在自監督學習中，輸出結果將涉及到整個圖像或是一組圖像，「自監督學習輸出的信息量很大。要讓AI學習相同量的有關世界的知識，自監督學習需要的樣本量也更少。」 LeCun說。
我們必須弄清楚不確定性問題是如何運作的，當尋到解決方案時，我們將會解鎖AI未來的關鍵。
LeCun說，「如果說人工智能是一塊蛋糕，那麼自監督學習就是其中最大的一塊。」
參考鏈接：
https://venturebeat.com/2020/05/02/yann-lecun-and-yoshua-bengio-self-supervised-learning-is-the-key-to-human-level-intelligence/
—完—
想要獲得更多數據科學領域相關動態，誠邀關注清華-青島數據科學研究院官方微信公眾平臺“ 數據派THU ”。
