作者 | Florian Douetteau
譯者 | 香檳超新星
出品 | CSDN（ID：CSDNnews）
一段平行歷史——歷史上的先例
在過去的幾年中，深度學習的熱度持續升級，並且也取得了一些實質性的成功。但這是否真的能說明在未來幾年內AI會呈指數級增長？
未來學家羅伊·阿瑪拉（Roy Amara）提出的阿瑪拉定律（Amara’s law）指出：
“人們總是會高估一項科技帶來的短期效益，卻低估它的長期影響。”
想要了解未來會發生什麼，我們不僅需要弄清楚自己在深度學習之路上發展到什麼程度了，更要看人工智能領域的整體情況。
Gartner炒作週期曲線
“Gartner炒作曲線”能在某種程度上預測未來五到十年內企業對於某種技術的採用率。但目前尚不清楚這個模型是否適用於AI行業——AI不僅是“另一種企業級技術而已”，而本身就是一個科學領域，所以它的週期更傾向於在50到100年的範圍內。
看待AI的一種合適的眼光是，不再把AI看成一個能讓我們無休止地發明新技術的領域，而更多地將其視為一項發現，而人類正在慢慢地（且非常經驗主義地）逐步在其中發掘自我學習系統的行為模式。
在這一點上，我們可以將AI比作以前的科學發現，尤其是那些與複雜系統有關的發現：太陽系，進化論，電力的發現等……而且為什麼不能比作原子的發現呢？
在這個尋找先例的歷史小課堂中，我將盡力回答的首要問題是：人工智能會在哪裡發展？它現在已經相當先進，接近成熟了嗎？還是說仍處於嬰兒時期？30年後，當我們的後代們回顧我們現在這個歷史時期的時候，是否會覺得在我們有限的技術工具前提下，在AI方面做的實驗已經很了不起了？或者也許會覺得有點天真，或者危險？又或者換種說法：Yann Le Cun會是新時代的理查德·費曼（Richard Feymann），或者居里夫人 （Marie Curie）嗎？又或者是兩者兼而有之？
核物理簡史
放射現象是貝克勒爾（Becquerel）於1897年發現的。這一發現本身有相當大的偶然性——貝克勒爾最初研究的是鈾鹽的磷光現象及其在光下發出X射線的能力。但他很快發現，鈾不需要外部能源的參與即可發出X射線。
居里夫人（Marie Curie）接手了他的研究，並更加細緻地對放射性進行研究，取得了一系列成果，其中就包括在鈾之外還分離出了其他天然放射性化合物。
對放射現象的發現引發了公眾的熱情。我們發現了一種能神奇地發射出一種新光束的新物質：X射線。它能賦予你“超能力”！（請注意，這是漫畫出現之前的時代，因此當時實際使用的詞彙並不是“超能力”）。
同時，放射性是一種需要通過針對理論和原子本質的研究來解釋的新現象。愛因斯坦在1905年提出了著名的質能方程，幾年後，盧瑟福用電子轟擊金屬板（通常是金）並研究了碰撞軌跡，從而建立了原子的第一個模型（有一個原子核且電子繞軌道而行）。
我們應該注意到，科學界有整整十五年之久都缺乏一個好的模型來描述原子究竟是什麼——而那時中子仍未被發現。
“自旋”模型目前仍然是我們對原子結構和強大核力量的現代觀點，這兩項假說也僅僅是分別在1929年和1935年才被提出而已。
在繼續這一理論進步的同時，工程和化學的發展也使放射性化合物的精度提高，並促進了它們的實際（有益的）運用。1939年，使用同位素進行的第一例癌症療法成功了。1942年第一座研究型核反應堆問世，促成了1956年第一座大型核電站的落成。
人工神經網絡：起始
神經網絡已經挺老的了……很老很老。它發源於那種，連伍德斯托克音樂節都還沒出現的古老年代。它最初的目的是編寫一種算法，用來模仿神經突觸的行為（他們覺得可以模仿）。1957年第一個感知器（perceptron）產生，1965年第一個多層感知器產生。
在60年代神經網絡的概念剛剛萌生時，計算機運行還非常緩慢，因此即使非常簡單的網絡可能也需要花費數天來訓練。基本上來說，神經網絡沒有其他技術有效，因此在隨後的幾十年中，它們並沒有被大量投入使用。
但這並沒有阻擋人們測試和思考它的性能。Werbos於1974年發現了反向傳播（back-propagation），這是神經網絡領域的第一個突破。反向傳播使用了神經網絡操作具有差異性（differiable）和可投資性（investible）這一思想，因此當網絡出錯時，你就可以將錯誤本身回溯到網絡的各個層，以幫助其自我糾正了。
反向傳播標誌著人工神經網絡與生物神經元分道揚鑣——因為對於生物神經元來說反向傳播的存在是不合理的（Yoshua Bengio等人的論文對此進行了介紹）——而從某種意義上講，這就標誌著今天我們所謂的深度學習的開端。
幾年後，Kunihiko Fukushima推出了Neocognitron。這項工作的靈感來自於對視覺皮層中感知細胞的研究。這引入了我們今天所說的卷積網絡（CNN）。
由於缺失能實際應用此類技術的土壤，加之在（已訓練好的）數據和算力方面的缺乏，深度學習（以及廣義的AI）消失了好幾年。深度學習一直在等待著現代GPU（以及Google）的出現。
Yann Le Cun＆Al：一束光
Yann Le Cun將反向傳播和CNN應用於對信件上郵政編碼的識別上，並進行郵件路由，這成為了AI寒冬裡的第一束曙光。重要的是：它好用，並且可以應用於實際！但是，要使深度學習真正成為主流，還需要再等起碼20年左右的時間。
CSDN 下載自東方 IC
三個G：Google，GAN和GPU
2014年，在一個酒吧裡，伊恩·古德費洛（Ian Goodfellow）與一些在蒙特利爾大學的同事進行了一場激烈的爭論。他們討論的是自動生成逼真圖像的可能性，以及如何教會教神經網絡這樣做。伊恩一邊喝啤酒一邊產生的瘋狂想法是，讓兩個神經網絡相互“打架”，讓其中一個神經網絡負責生成圖像，而另一個負責“訓練”第一個神經網絡。
他的朋友們（激烈而又有些生氣地）駁回了他的觀點。他們認為，這永遠都不可能work的，因為這就像“不使用材料地去訓練”一樣——不管怎麼說，你無法從“虛無”中生成一個神經網絡。
（想象一下這個畫面：一個世紀以前，一些物理學家可能也曾在某個巴黎的酒吧裡有過類似關於放射現象的激烈爭論，爭辯說能量不能從“虛無”中產生。）
從某種意義上說，我們尚不清楚為何生成對抗網絡（GAN）（Goodfellow的“打架”神經網絡在現代的稱呼）會work。讓兩個神經網絡並行運行（與讓一個大型神經網絡同時執行兩個任務相較而言）會是一個好主意的理論原因尚不明確，仍然有待辯論，研究和爭議。
GAN是近幾年出現的一種機器學習技術的例子，但還有很多其他技術：
- 善於探索和好奇心的機器學習（Learning with exploration and curiosity）。機器學習方面的問題是，從本質上講，人工智能系統傾向於不去探索太多的可能性，因此不會去學習新的東西。諸如隨機網絡精餾（Random Network Distillation）之類的新技術通過激勵網絡探索（用另一個網絡）“難以預測”的情況來彌補這一點。這挺厲害的，而且能work（但不清楚為什麼）。
- 深度雙Q學習（Deep Double Q-Learning ，DDQN），其中深度學習網絡嘗試學習一項策略（例如打Atari Pong）。在雙重網絡的前提下，每個網絡分別評估特定步驟是否明智，然後兩個網絡互連結果。因為如果只有一個“大腦”，你往往會過於樂觀（這是我更好的那一半頭腦告訴我的）。
- YOLO（You Look Only Once）對象檢測算法，以一種奇怪的方式檢測圖像中的物體。這個算法不是檢測對象的邊界然後盡力識別每個對象，而是“只”盡力對給定的固定網格中的物體的部分進行分類。YOLO是第一個能以視頻（> 40幀/秒）速度實現一般對象識別的算法。
當你回頭看圍繞著基本神經元產生的各種想法（例如反向傳播，CNN，GAN，RNN，LTSM等）時，會產生很想將之與原子的發現進行類比的衝動。我們研究化學概念，嘗試以不同的方式將它們組合、重組，然後將它們上傳到我們的GPU上，等待著看它們是否會在夜裡發光。
未來會變成什麼樣？
讓我們想象一下20或30年後AI會是什麼樣子。也許我們那時已經建成了某種形式的通用AI，也許還沒有。事實是，這個問題的廣度遠遠不是這篇簡單的博文能夠涵蓋的。
但是，讓我們試著立足於過去的科學發現做一些假設，並搞明白要真正實現AI領域的重大進步都需要什麼：
- 我們需要更多理論。當前我們的AI心理地圖就類似於缺失了自旋和中子的原子核模型。也許將來的研究會建立一種適用的學習理論，其中將包含驅動因素（例如好奇心，泛化），並將這些概念整合到“什麼是可以被學習的”的理論中。
- 我們需要更多的工程量，而工程領域則需要可重用的組件。如果沒有零件和工具的廣泛和重複使用，就不可能建立核工業，比如先從靜電計這種簡單的東西開始。在深度學習中，嵌入和可重用表示正在成為一種趨勢，但距離超級容易使用的程度還差得遠（值得注意的是，訓練，共享，重用等仍然很困難）。就好像我們缺少管道和橡膠，缺少能讓我們更自動地接入，重新接入神經網絡的東西，這會是個難題。會很不容易。但是，請想象一下在未來的某個時刻，神經網絡將學習如何理解語音，什麼是“好”的概念，顏色情感聯想，常見的審美觀，以及對人體形狀的喜好，顏色和諧度等。現在來想象一個實際的應用，在其中你可以把所有這些學到的知識都結合起來，建立一個服裝購物助手。
- 我們需要一個能通向現實生活的連接。放射性的工程部分的挑戰性在於如何使其以受控制的方式起作用，讓人們不僅能獲得X射線，而且能獲得實用的，受控制的電力。而對於AI而言，對應的挑戰是如何實現對現實生活元素的規範描述。人工智能主要在數字世界中運作，而非現實世界，而這對它在現實生活中的某些應用設置了障礙。當你建立特定領域的AI（例如汽車）時，傳感器，相機和精心設計的人機界面能夠搭建現實世界和虛擬世界之間的橋樑。但這會導致概念上覆雜的系統受到一些限制，例如製造過程（無論該過程是什麼，不管是製造漢堡包還是製造汽車都一樣）。該製造過程本身無法以數字或邏輯形式呈現，因此在這個過程中簡單地應用AI是不可能的。一些新概念出現了，例如“工廠數字孿生子”，為工廠創建一個虛擬孿生的孿生兄弟，AI可以在它上面運行，以提供有關優化的見解。將來，你可以想象到大多數業務流程（以及支持它們的軟件）都將自帶一些“ AI界面”，用來描述流程或軟件的工作方式，以便AI可以理解這些流程，並運作其上。
- 我們需要硬件。放射現象的發現發生在一個做出靜電計都能算得上重大科學進展的時代（其實這是瑪麗居里夫人的丈夫，皮埃爾·居里所做的事情）。AI能夠在當前的硬件（包括GPU和TPU）上發展嗎，還是說，我們需要一種新型的硬件（基於量子或相關的硬件）才能實現AI的發展？
想象一下，如果上述的“預測”中有任意兩條以上成為現實，30年後的AI專家們將如何看待我們？他們可能會想：“他們在不瞭解神經網絡運行原理的前提下就將多個神經網絡連接在一起了”，“他們每個項目都是從零開始的！可真煩！”，“因為他們在大多數事情上都沒有數字形式主義，所以他們就像在一個虛假的世界中操作一樣，並試圖以一種奇怪的方式將結果輸入真實世界”，“該死，他們沒有真正的硬件。我搞不懂他們是怎麼用這麼少的算力完成工作的！而且我覺得這位著名的科學家甚至還搭建出了自己的計算機！”，或“這很有趣，他們那時候在嘗試為學習圖的不同變體申請專利！居然是直接寫在紙上的，你能想象得到嗎？”。
所以，是的，當他們回顧21世紀初的深度學習研究時，可能會覺得既欽佩又驚訝。而也許，Yann Le Cun真的會是新時代的居里夫人吧。
原文鏈接：
https://medium.com/ai-musings/is-yann-le-cun-the-new-marie-curie-52538f87237c
本文為 CSDN 翻譯，轉載請註明來源出處。
閱讀更多 CSDN 的文章
