蒲慕明:腦科學與類腦機器學習

蒲慕明:腦科學與類腦機器學習

轉自 中國人工智能學會


中國人工智能大會是我國人工智能領域規格最高、規模最大、影響力最強的專業會議。時隔一年回顧CCAI 2018大會,我們不難印證,演講者提出的很多設想與展望都正逐漸成為現實,他們的寶貴經驗為產、學、研等領域引領了發展方向。


蒲慕明:腦科學與類腦機器學習


CCAI 2018《腦科學與類腦機器學習》主題演講實錄摘編

蒲慕明 中科院神經科學所所長,中國科學院院士,美國國家科學院院士


關注公眾號“墨玫人工智能”,後臺回覆關鍵詞“蒲慕明”,即可下載獨家演講PPT資料。資料僅供內部學習研討使用,請勿外傳。


腦科學與類腦智能研究的關係

歷史上人工智能出現了三次浪潮,每次往上的推動都是從神經科學裡得到的啟發。例如,McCulloch和Pitts在1943年提出MP神經元模型,以及80年代Hopfield算法、BP算法。最近的深度網絡學習,它包括多個層次,每個層次具有不同的功能,這也是從視覺系統得到的啟發。

2018年3月

北京腦科學與類腦研究中心掛牌成立。北京大學、清華大學、北京師範大學、中國醫學科學院、中國中醫科學院等8家研究單位共同簽署了《北京腦科學與類腦研究中心建設合作框架協議》。腦科學與類腦研究被納入“科技創新2030—重大項目”,將“以腦認知原理為主體,以類腦計算與腦機智能、腦重大疾病診治為兩翼,搭建關鍵技術平臺,搶佔腦科學前沿研究制高點”。


要理解大腦需從三個層次上分析

第一個是宏觀層次。通過核磁成像的技術可以得到粗略的神經束的走向,但單單隻瞭解神經束的走向對於理解腦功能並沒有太大貢獻。我們要進一步瞭解大腦必須要達到神經元水平。第二個就是介觀層面,空間分辨率要達到微米。用特殊方法來標記不同的神經元種類,瞭解不同神經元的功能。介觀神經連接圖譜是目前神經科學的主要方向。第三個是微觀層面,微米到納米尺度。在微觀層面對神經元軸突和樹突的分佈以及突觸產生規律的研究可以得到很多有用信息的。

蒲慕明:腦科學與類腦機器學習


解讀整個神經網絡的難點

第一個難點就是每一種腦功能都有大量神經元集群參與,簡單的視覺輸入就有百萬千萬的神經元被激活。我們非常缺乏非干擾性大量觀測神經元集群活動的技術。美國腦計劃主要就是在開發腦研究新技術,新技術主要是觀測技術,還有能夠分析大量神經元動態信息的大數據分析方法。大數據分析不是盲目分析,我們需要有理論指導,用數據去檢測這個理論的準確性。

2017年

在論文Automated synaptic connectivity inference for volume electron microscopy中,研究人員介紹了一種自動化突觸連接的推論流程(SyConn),該模型需要使用所生成的神經突起骨架以及分類器訓練數據作為輸入,並提供了一張有著豐富註解信息的接線圖或是某個連接組的組件。在該推理流程模型中,第一步是對神經突起骨架進行體積重建。然後是對圖像數據中的突觸及其它超微結構對象(比如囊泡、線粒體)進行轉換。對超微結構的檢測可進一步增強神經突起的重建效果。


突觸可塑性與Hebb假說

可塑性是大腦認知功能的基礎,可塑性使得大腦網絡形成新的狀態,就會產生新的行為。大腦是不斷在變的,每一個活動都引起功能和結構的變化。Hebb(DonaldHebb是加拿大的心理學家)認為:同步的電活動可造成突觸加強或穩固。如果兩個神經元同時發放,他們之間的突觸聯接就會加強;如果不同步,那麼突觸前後的連接就會削弱。

可塑性的現象最早是由中國科學家馮德培發現。馮德培在英國拿到博士學位回國之後,在協和的生理系建立了實驗室,專門研究神經肌肉接頭的功能。1946年,在他的系列論文的26篇中報告了一個現象:在神經肌肉接頭的突觸,通過高頻的刺激,可以引起突觸後肌肉電活動的加強,這個加強長達十分鐘之久。突觸的效率因為電活動而改變,很快的幾秒鐘高頻刺激,產生的後果是十幾分鐘的突觸增強,這就是可塑性。馮德培1941年發現的現象,是可以拿諾貝爾獎的,但是馮德培先生90年代過世了。到20世紀70年代,人們才在中樞神經系統中發現了類似的現象,被稱為長時程增強(LTP)和長時程減弱(LTD)。電活動過後,在腦網絡裡留下了長期的痕跡,就是記憶,記憶就是儲存在神經傳遞的效率變化之上。

突觸可塑性除了突觸效率的改變,還有突觸結構的變化。為什麼軸突不直接把信息送到樹突上而是傳遞到樹突棘上呢?其中原因一直沒有人知道。在耶魯大學做教授的時候,張香桐提出了一個假說:樹突棘(微小的突起)可以作為調節突觸傳遞效率的結構。現在,學界公認樹突棘可以作為調節突觸權重的結構。

蒲慕明:腦科學與類腦機器學習


赫伯(Hebb)細胞群假說

赫伯認為改變連接強度就是儲存記憶——記憶儲存在網絡中,並不由單獨的位置儲存;把已經儲存記憶的細胞群再激活,電活動再出現,記憶就會被提取。比如說我們從小時候開始,祖母面孔就不斷的激活我們的細胞,眼睛、嘴巴、鼻子等都會特定激活一群細胞,整個大細胞集群在祖母面孔出現時候集體放電。通過這個超級赫伯細胞群,我們長大了以後,只要看到祖母的眼睛,部分的細胞群激活了,就可以喚起祖母面孔的記憶。

赫伯細胞集群假說可以做進一步補充。祖母是一個概念,這個概念包含了她的面孔,還包含了聲音、唱的歌、名字,我看到這些所有的特徵,任何其中一個特徵,都可以換起對整個祖母全部特徵的反映。這個概念是一個超級超級細胞群,她唱的歌也許儲存在聽覺區,她的面孔在視覺區,味道在嗅覺區,這些信息在跟祖母相關的事情出現的時候,都會同步被激活。這是一種多腦區同步放電活動,是一種超級超級赫伯細胞群的放電。


赫伯學習法則的新轉折

赫伯認為同時放電的神經元連在一起,不同步放電就網絡連接,但是20年前出現了新的轉折——強化或者弱化不只是同步,而且有時序性。突觸前放電先於突觸後放電,突觸強化,反過來就弱化,這種有時序信息的現象我們稱為時序信息依賴的可塑性(STDP)。現在已經有人在人工網絡上運用STDP。

我們可以做一個簡單的遊戲,把貝多芬的《致愛麗斯》正序彈奏每個人都會聽出來,反過來彈卻沒人會聽出來是什麼曲子,這是因為記憶是有時序性的。

2018年8月

普渡大學納米電子研究實驗室Chankyu Lee等人發表了文章Training Deep Spiking Convolutional Neural Networks With STDP-Based Unsupervised Pre-training Followed by Supervised Fine-Tuning。在本文中,他們提出了一種對於脈衝神經網絡(SNN)使用生物學上可信的無監督學習的預訓練方案,即Spike-Timing-Dependent-Plasticity(STDP),以便在監督優化之前更好地初始化多層系統中的參數。

蒲慕明:腦科學與類腦機器學習


可塑性對人工智能發展曾有過關鍵性貢獻

Hopfield人工神經網絡,每一個突觸點賦予某一權重,單元將所有輸入加合,各突觸的權重可以用赫伯學習法則調節。BP(反向傳播)算法可以用來學習說話,Francis Crick對此做出了高度評價,在“The recent excitement about neural networks”文章中認為BP算法非常驚人,但是也提出大腦中似乎沒有這種機制,大腦的是軸突的信息送到樹突的單向過程,而沒有反饋信息。幾年以後,我們通過記錄多個神經元來驗證這種說法是否真實。我們發現突觸前神經元內存在逆向傳播和側向傳播,突觸後只有側向傳播,沒有前向傳播。軸突終端產生的LTP可以在突觸前神經元往回傳,但不能往在突觸後往前傳,我們稱這種現象叫做natural BP。現在在自動化所,我們將natural BP應用到人工神經網絡上面,希望對非監督或者半監督學習有點幫助。

2018年10月

在Physical Review發表的文章Quantum Hopfield neural network中,Patrick Rebentrost等人提出了採用Hopfield網絡的量子算法,它可以用於模式識別,重建和優化,作為內容可尋址存儲系統的實現。文章表明,通過將網絡編碼成量子態的幅度,可以將指數大的網絡存儲在多項式數量的量子比特中。通過引入用於操作Hopfield網絡的經典技術,可以利用量子算法來獲得量子計算複雜度,該複雜度在數據維度中是對數的。


關注公眾號“墨玫人工智能”,後臺回覆關鍵詞“蒲慕明”,即可下載獨家演講PPT資料。資料僅供內部學習研討使用,請勿外傳。


薦:

【中國風動漫】除了《哪吒》,這些良心國產動畫也應該被更多人知道!


蒲慕明:腦科學與類腦機器學習

免責聲明:部分文章和信息來源於互聯網,不代表本訂閱號贊同其觀點和對其真實性負責。


蒲慕明:腦科學與類腦機器學習


分享到:


相關文章: