信息論之父——克勞德·香農|致敬先驅

信息論之父——克勞德·香農|致敬先驅

如日中天的人工智能正在或即將引爆整個世界,而那些在上個世紀就預知到人工智能的未來的先知們,雖然早就在歲月的漩渦裡消失不見,但他們的天才般的智慧和意義非常的碩果,卻將被後人們萬世傳承、永遠銘記。

4月30日,是香農誕辰的102年(1916.04.30-2001.02.26),就讓我們一起來懷念這位與馮·諾伊曼、圖靈並稱的人工智能領域的先知。

20世紀50年代,圖靈與馮·諾伊曼兩位大師相繼離世後,香農成為人工智能領域承上啟下的關鍵人物。

1940年,香農博士畢業後曾在普林斯頓高等研究院工作過一年,和馮·諾伊曼有過不少的交流。“熵”(entropy)是香農創立的信息論中最核心的概念,代表了一個系統的內在的混亂程度。香農本來打算用“不確定性”(uncertainty)來表達這個概念,當他和馮·諾伊曼討論這個問題時,馮·諾伊曼對香農建議說:“你應該把它稱之為‘熵’。”並給出兩個理由,一是“不確定性”這個概念已被用於統計力學,二是沒有人知道“熵”到底是什麼,不致引發爭論。“熵”這個經典的概念,跨越了信息論、物理學、數學、生態學、社會學等領域,至今仍在人工智能領域給人帶來新的啟迪。

信息論之父——克勞德·香農|致敬先驅

互信息、條件熵與聯合熵

與馮·諾伊曼和圖靈一樣,香農也在反法西斯戰爭中立下了不朽的功勳,它研究的通信理論和保密系統被美軍採用,他參與制作的通信加密設備,被用於二戰中盟軍最高領袖羅斯福、丘吉爾、艾森豪威爾、蒙哥馬利等人之間的絕密通信,保護了盟軍的情報安全。在“二戰”期間,因為負責盟軍中通信加解密的工作,圖靈和香農有多次機會見面交流,成了通信和密碼學,他們也多次探討了他們的共同愛好——人工智能以及機器下棋。1949年,香農發表了著名文章《編程實現計算機下棋》(Program a Computer for Playing Chess),這篇文章是萌芽期人工智能領域的一篇傑作,後來擊敗國際象棋世紀冠軍的“深藍”和擊敗圍棋世界冠軍的AlphaGo,都是後人在香農開拓的機器下棋領域創造的巔峰傑作。

1956年夏天,在著名的達特茅斯會議上,偉大的先知香農見證了“人工智能”學科的誕生,完成了與麥卡錫、明斯基、西蒙、紐厄爾等新一代人工智能學術領袖的傳承。

信息論之父——克勞德·香農|致敬先驅

克勞德·艾爾伍德·香農(Claude Elwood)

視頻加載中...
-->


分享到:


相關文章: