深度學習已經觸到天花板了嗎


深度學習已經觸到天花板了嗎


大數據文摘出品

編譯:小蔣、lvy、王嘉儀

經過了多波浪潮的人工智能這次能夠有新的突破嗎?還是,歷史依然會重演呢?歲末年初,本文作者Thomas Nield從歷史上的英國講起,進而探討了人工智能到底是什麼,以及這一波人工智能浪潮又有哪些不同。

許多人認為算法將會超越人類的認知意識:機器可以在沒有人為干預的情況下辨別和學習任務,並將大規模地替換掉工人;他們完全可以“思考”;許多人甚至提出了我們是否可以將機器人作為配偶的問題。

但這不是什麼新穎的想法,早在20世紀60年代,當時的人工智能先驅Jerome Wiesner、Oliver Selfridge和Claude Shannon已經很堅信,這種情況會在不久的將來發生。

快進到1973年,AI的炒作給英國帶來了適得其反的結果。

在這種AI熱潮下,英國議會不會無動於衷,他們委任當時的人工智能專家,James Lighthill爵士撰寫一份英國的AI研究現狀報告。

在這份研究報告中,James Lighthill非常激烈地批評了當時被給予厚望的人工智能研究。Lighthill還指出,專業程序(或人)是如何比他們的“AI”同行表現得更好的。

這份報告被稱為Lighthill Report,也正因為這份報告,當時的英國政府取消了所有人工智能研究經費(英國的研究在20世紀80年代再次興起,Alvey項目是對日本的第五代計算機項目的回應)。

點擊查看當時關於Lighthill報告的辯論

https://youtu.be/03p2CADwGF8


深度學習已經觸到天花板了嗎


1965年突破性的“MAC Hack VI

同一時間在大西洋彼岸,美國國防部在人工智能研究上投入了大量資金,隨後由於同樣的挫折,幾乎取消了所有資金:人工智能能力的誇大,高成本且無回報,以及在現實環境中價值前景存疑。

在20世紀80年代,日本積極嘗試用第五代計算機項目大膽刺激“AI”。然而,這最終也是一次耗資8.5億美元的失敗。

第一輪AI寒冬

20世紀80年代末迎來了第一輪AI寒冬。這是計算機科學的一個黑暗時期,組織和政府面臨“人工智能”研究失敗和沉沒成本,也由此導致人工智能研究停滯了數十年。

到了1990年代初,“AI”變成了一個骯髒的詞,這一狀況持續到了2000年。人們普遍認為“人工智能不起作用”。編寫看似智能程序的軟件公司使用了“搜索算法”、“業務規則引擎”、“約束求解器”和“運籌學”等術語。值得一提的是,這些寶貴的工具確實來自人工智能研究,但由於未能實現更宏大的目的,它們現在被重新命名。

但在2010年左右,情況開始發生變化。人們對AI的興趣再次迅速增長,關於圖像分類的競賽引起了媒體的關注。硅谷第一次通過使用足夠大的數據使神經網絡發揮作用。

深度學習已經觸到天花板了嗎

深度學習已經觸到天花板了嗎

到2015年,“AI”研究獲得了許多財富500強企業的鉅額預算。通常情況下,這些公司是由FOMO(fear of missing out)驅動而不是實際的案例,擔心他們會被自動化的競爭對手所拋棄。畢竟,讓神經網絡識別圖像中的物體真是令人印象深刻!對於非專業人士來說,SkyNet的能力肯定是下一個。但這真的是邁向真正的人工智能的一步嗎,或者是歷史重演?

所以,什麼是AI呢?

很長一段時間,我一直不喜歡“人工智能”這個詞。

它太模糊且深奧,這還更多的是由營銷人員而不是科學家定義的。當然,市場營銷和流行語可以說是促進改變和接受新思維的必要條件。然而,流行語的混雜不可避免地導致了混亂。我的新華碩智能手機就被稱作具有“AI鈴聲”功能,而也就是可以動態調整鈴聲音量,使其在環境噪音中足夠響亮。我猜想一些可以用一系列“if”條件或簡單的線性函數進行編程的東西,都被稱為“AI”。

有鑑於此,“AI”的定義受到廣泛爭議也就不足為奇了。我喜歡Geoffrey De Smet的定義,該定義指出AI解決方案適用於具有不確定性答案和/或不可避免的誤差範圍的問題。這將包括從機器學習到概率和搜索算法的各種工具。

也可以說人工智能的定義不斷髮展,只包括突破性的發展,而過去的成功(如光學字符識別或語言翻譯)不再被視為“AI”。所以“人工智能”可以是一個相對術語,而不是絕對的。

近年來,“AI”經常與“神經網絡”聯繫在一起,這也是本文將重點關注的問題。還有其他“AI”解決方案,從其他機器學習模型(樸素貝葉斯,支持向量機,XGBoost)到搜索算法。然而,神經網絡可以說是目前最熱門的技術。

人工智能的“復興”?

2010年之後,人工智能的興起僅僅是掌握了一類新的任務:分類。更具體地說,由於神經網絡的存在,科學家已經開發出有效的方法來分類大多數類型的數據,包括圖像和自然語言。即使是自動駕駛汽車也是分類任務,其中周圍道路的每個圖像都可以轉化為一組離散動作(加油,剎車,左轉,右轉等)。如果想要簡單瞭解其工作原理,請觀看這個如何製作一個視頻遊戲的AI的教程。


在我看來,自然語言處理比純粹的分類更令人印象深刻。很容易相信這些算法是有感知的,但如果你仔細研究它們就可以說它們依賴於語言模式而不是有意識構建的思想。

谷歌Duplex可能是最令人印象深刻的自然語言處理技術,它允許你的安卓手機替你撥打電話,特別是預約什麼。谷歌訓練、結構化、甚至可能硬編碼了“AI”。可以肯定的是,假呼叫者聽起來自然有停頓。有“啊”和“嗯”......但是,這也是通過對語音模式的操作來完成的,而不是實際推理和思考。

這一切都非常令人印象深刻,而且肯定有一些有用的應用程序。但我們確實需要調整我們的期望並停止炒作“深度學習”的能力。如果我們不這樣做,我們可能會發現自己處於另一輪的AI寒冬。

歷史總在重演

紐約大學的Gary Marcus寫了一篇關於深度學習侷限性的文章,並提出了幾個令人警醒的觀點(在文章傳播開之後,他又寫了一篇同樣有趣的續篇)。Rodney Brooks將時間線放在一起,並通過引用的研究跟蹤他的AI炒作週期預測。

對此持懷疑態度的人通常有幾個共同點。神經網絡需要的數據量非常大,即使在今天,數據仍然是有限的。這也是為什麼你在YouTube上看到的“遊戲”AI示例通常需要幾天不斷地輸掉遊戲,直到神經網絡找到對應的獲勝模式。

我們確實需要降低我們的期望並停止誇大“深度學習”的能力。如果我們不這樣做,我們可能會發現即將又會迎來AI的另一個寒冬。

神經網絡“深度”是在於它具有多層節點,而不是因為它對問題產生了深刻的理解。這些層也使神經網絡難以理解,對於開發人員也是是如此。最重要的是,當神經網絡進入其他問題空間時,例如旅行推銷員問題,它會出現回報遞減的問題。為什麼在搜索算法更加直接、有效、可擴展且經濟的情況下,我還要使用神經網絡來解決旅行商問題呢?


當然,有些人希望使用神經網絡解決更多其他複雜的問題,雖然這很有趣,但神經網絡似乎很難超越任何專門的算法。

Luke Hewitt 在《The Unreasonable Reputation of Neural Networks》文章中給出了最好的解釋:

憑直覺在單項任務上判斷機器有多高的智能或有多大的能力不是好事。20世紀50年代玩跳棋的機器讓研究人員驚奇,許多人認為這是人類層面推理的巨大飛躍,但我們現在意識到,在這個遊戲中實現人類或超人的表現遠比實現人類一般智能要容易得多。事實上,即使是最優秀的人也很容易被簡單的啟發式搜索算法打敗。在一項任務中,人類或超人的表現並不一定是在大多數任務中接近人類表現的墊腳石。

需要指出的是,神經網絡需要大量的硬件和軟件才能進行訓練。對我來說,這是不可持續的。當然,神經網絡的預測精度比訓練時要高得多。然而,為了提高神經網絡的精度,它需要不斷的被訓練,因此訓練時消耗的能量和成本成指數級增長。當然,現在計算機的速度越來越快,但芯片製造商能否繼續維持摩爾定律呢?

這是有道理的。為什麼在搜索算法更加直接、有效、可擴展且經濟的情況下,我還要使用神經網絡來解決旅行商問題呢?

正是由於這些原因,我認為另一個AI寒冬即將來臨。越來越多的專家和博主正在指出這些侷限。公司依舊花費大價錢招聘最好的“深度學習”和“人工智能”人才,但我認為許多公司認識到深度學習並不是他們所需要的只是一個時間問題。更糟糕的是,如果你的公司沒有Google的研究預算、博士人才或從用戶那裡收集的海量數據,你很快就會發現你實際的“深度學習”前景非常有限。

在每一個人工智能的寒冬之前,科學家們都在誇大和鼓吹他們創造的潛能。僅僅說他們的算法能很好地完成一項任務是不夠的,他們希望它能解決任何任務,或者至少給人一種它可以的印象。例如,AlphaZero特別擅長於下棋,於是媒體的反應是“哦,天哪,通用智能時代來了!機器人來了!”然而科學家們並沒有去糾正它們,而是鼓勵他們使用這些詞彙。畢竟,降低預期並不能幫助風投融資。但是,儘管人工智能研究人員的機器人能力有限,但他們仍然將算法擬人化,他們為什麼會這麼做呢,這比起科學問題,倒更像是一個哲學問題。


深度學習已經觸到天花板了嗎


Garry Kasparov在1997年對陣Deep Blue時表示:Rex功能

接下來會面臨什麼呢?

當然,並不是所有使用“機器學習”或“人工智能”的公司實際上使用了“深度學習”。

一個好的數據科學家可能被僱傭來構建一個神經網絡,但當她真正研究這個問題時,她覺得構建一個樸素的貝葉斯分類器可能更合適。對於那些成功使用圖像識別和語言處理的公司來說,他們將繼續鑽研下去。但我認為神經網絡並沒有在這類問題空間以外的地方取得進展。畢竟,緩和預期對風投融資沒有幫助。

過去的人工智能寒冬在推動計算機科學的發展方面是毀滅性的。但是人工智能研究確實產生了一些有用的東西,比如搜索算法可以在國際象棋中奪冠,也可以將運輸問題的成本最小化。簡單來說,創新性的算法往往只擅長於一個特定的任務。

我想說明的是,許多問題都有都有很多相對應的有效的解決方案。為了不在人工智能的寒冬中凍死,你最好專注於你想要去解決的問題並且理解它的本質。在這基礎上,為這個特定問題提供一個直觀的解決方案路徑。如果你要對文本消息進行分類,可能需要使用樸素貝葉斯分類器。如果你試圖優化你的運輸網絡,可能需要使用離散優化。不管周圍的研究者怎麼說,你都可以對卷積模型持有懷疑態度,並質疑它的理論是否正確。

如果你不認同畢達哥拉斯派的哲學,那麼你能想到的最好方法就是讓人工智能“模擬”一些行為,創造出它產生了情感和思想的錯覺。

希望這篇文章能讓你清楚的意識到,深度學習並不是解決大多數問題的正確方法。不要為所有問題尋求一個通用人工智能解決方案,因為你不可能找到的。

哲學vs科學

我想在這篇文章中提出的最後一點是,這個問題比科學更具有哲學意義。我們的每一個想法和感覺都僅僅是一堆數字以線性代數的方式被乘法和加法嗎?難道我們的大腦僅僅是一個神經網絡,整天只是在做點積嗎?這聽起來像是畢達哥拉斯的哲學把我們的意識降維到了一個數字矩陣。也許這就是為什麼如此多的科學家相信通用人工智能是可能存在的,因為人類和計算機沒有什麼差別(我只是在這指出了這一點,並不是評論這個世界觀是對還是錯)。

不管周圍的研究者怎麼說,你都可以對卷積模型持有懷疑態度,並質疑它的理論是否正確。

如果你不認同畢達哥拉斯的哲學,那麼你能想到的最好方法就是讓人工智能“模擬”一些行為,創造出它產生了情感和思想的錯覺。翻譯程序並不懂得中文,只不過它可以通過尋找概率模式來“模擬”理解中文的假象。當你的智能手機“識別”狗狗的圖片時,難道它真的能識別出狗狗嗎?還是它只是看到了它以前學習過的數字模式?

相關報道:

https://towardsdatascience.com/is-deep-learning-already-hitting-its-limitations-c81826082ac3


分享到:


相關文章: