「腦洞未來11」深度學習03:AI對抗網絡顛覆了深度學習的範式

【觀點】在人工智能的各種學習中,或許生成對抗網絡的對抗學習,是繼深度學習、增強學習之後的下一個熱點。它幾乎在一定程度上顛覆了深度學習的範式,打亂了機器學習之前範疇及其類別的劃分。 關注人工智能的前沿,很有必要了解一下生成對抗網絡(下文定義為對抗學習)——《新未來簡史》如是說。

「腦洞未來11」深度學習03:AI對抗網絡顛覆了深度學習的範式

在包括深度學習、增強學習、對抗學習與遷移學習(如今基本無法實現)等機器學習算法中,“生成式對抗網絡”的對抗學習法很重要,這一開創性的全新學習思路,很可能會成為深度學習的下一個熱點。這裡有必要深入討論一下。

顛覆深度學習範式

自從伊恩·古德費洛(Ian Goodfellow)在2014年發表了論文《生成式對抗網絡》(Generative Adversarial Nets,縮寫GANs)以來,對抗學習便廣受關注,加之全球學界大牛,Facebook人工智能研究中心FAIR負責人、深度學習三駕馬車之一的揚·勒丘恩(Yann LeCun )在知乎網上答疑時曾說:

“他最激動的深度學習進展是生成式對抗網絡”,使得對抗學習(GAN)成為近年來在機器學習領域的新寵。

「腦洞未來11」深度學習03:AI對抗網絡顛覆了深度學習的範式

2017年6月18日,揚·勒丘恩在Facebook上轉發了一條動態,介紹了他作為合作者之一的一項研究成果:

幫助對抗學習使用離散數據的“對抗性正則化的自動編碼器”,該算法被評價有一種厲害的用法,可以在對抗性的設定下生成離散性的結構(比如文本)。

由於對抗的過程是發生在(連續)編碼上的,而不是輸出上,這就可以緩解對抗性鑑別器直接用在離散輸出上時可能會遇到的問題。看來,對抗學習真的受到學界的高度重視,其意義非同凡響。

「腦洞未來11」深度學習03:AI對抗網絡顛覆了深度學習的範式

對抗學習這一算法的出現,似乎打亂了之前機器學習的範疇及其劃分。如今,機器學習也可以劃分成如下兩類:生成式模型(generative model)和判別式模型(discriminative model)。

其中,近兩年來流行的生成式模型主要分有三種方法,分別是生成對抗網絡、變分自編碼器和自迴歸模型。

對抗學習可以簡單的理解為,培養一個對手(對抗網絡),給自己(生成網絡)的學習隨時找茬。

這樣,用不同的目標分別訓練對抗網絡與生成網絡進行競爭,一段時間後,生成方就會變得非常厲害以至於即使給定足夠的線索和時間,其對抗網絡也無法分辨它給的答案是真實的還是合成的。

看看,對抗學習有多厲害!

下面瞭解一下對抗網絡的訓練。

「腦洞未來11」深度學習03:AI對抗網絡顛覆了深度學習的範式

小知識:如何訓練 對抗網絡(GAN)

概括來講,包括兩個階段:

第一階段:訓練鑑別器,凍結生成器(凍結意思是不訓練,神經網絡只向前傳播,不進行 Backpropagation 反向傳播)。

第二階段:訓練生成器,凍結鑑別器。

即交換著訓練,以同時提升彼此的能力。

訓練對抗網絡(以下用英文簡稱GAN) 的步驟:

(1)定義問題。你想生成假的圖像還是文字?你需要完全定義問題並收集數據。

(2)定義 GAN 的架構。GAN 看起來是怎麼樣的,生成器和鑑別器應該是多層感知器還是卷積神經網絡?這一步取決於你要解決的問題。

(3)用真實數據訓練鑑別器 N 個 epoch。訓練鑑別器正確預測真實數據為真。這裡 N 可以設置為 1 到無窮大之間的任意自然數。

「腦洞未來11」深度學習03:AI對抗網絡顛覆了深度學習的範式

(4)用生成器產生假的輸入數據,用來訓練鑑別器。訓練鑑別器正確預測假的數據為假。

(5)用鑑別器的出入訓練生成器。當鑑別器被訓練後,將其預測值作為標記來訓練生成器。訓練生成器來迷惑鑑別器。

(6)重複第 3 到第 5 步多個 epoch。

(7)手動檢查假數據是否合理。如果看起來合適就停止訓練,否則回到第 3 步。這是一個手動任務,手動評估數據是檢查其假冒程度的最佳方式。當這個步驟結束時,就可以評估 GAN 是否表現良好。

假設你有一個功能完整的生成器,可以複製幾乎任何東西。給你一些例子,你可以生成假新聞、不可思議的書籍和小說、自動應答服務等等。你可以擁有一個近乎現實的人工智能,一個真正的人工智能!這就是夢想。

延伸與昇華

上文節選自《新未來簡史:區塊鏈、人工智能、大數據陷阱與數字化生活》。

該書以30多門前沿科技、學科展開深度推演,與《今日簡史》《未來簡史》《人類簡史》至少分別有80項、100項與50項對立觀點。其中,該書用了8萬多字從50多個角度深刻分析人工智能AI,幾乎摧毀了神話大數據、AI、算法等數十個觀點。如圖:

「腦洞未來11」深度學習03:AI對抗網絡顛覆了深度學習的範式

該書以特有近乎刁鑽的視覺、博雜的知識、激情的文風和嚴密的邏輯,聯動前沿科技(如區塊鏈、人工智能、大數據等黑科技)與社會、自然、經濟、金融、人文、歷史以及人性驅動下的人類競爭、價值創造等進行了深入的思考與推演,展現出"氣勢恢宏、磅礴瑰麗”的未來價值場景,極具吸引力。

其中,本書率先提出"大數據悖論、算法“馬甲”、科技道德定律、資本科技悖論、大生態人力論、分工悖論,互聯網將被替代、人工智能讓人最終擺脫無用階級、追算你的9倍價值、未來人類演進9大範式”等獨到的觀念或理論,極具"顛覆”性,刷新人們的五官。有利於人生、事業的未來佈局。

特別推薦:

人類的終極理想與終極社會,就是區塊鏈的社會,所以人人都應瞭解區塊鏈。《區塊鏈實用解碼730問》(上下合集):32大專題、260多項細分主題、47萬字、730問,實用、全面、系統,囊括區塊鏈基礎理論、運行機制、核心算法,以及從1.0到3.0等幾乎所有、全鏈條式的知識操作、實踐應用的圖書如圖:

「腦洞未來11」深度學習03:AI對抗網絡顛覆了深度學習的範式


分享到:


相關文章: