人工智能源自數學之美:賈里尼克的故事和現代語言處理

“我每開除一名語言學家,我的語音識別系統錯誤率就降低一個百分點。” 這句話後來在業界廣為流傳,為每一個搞語音識別和語言處理的人所熟知。說出這句話的人就是本文主角——語言識別專家賈里尼克。

人工智能源自數學之美:賈里尼克的故事和現代語言處理

事實上,現代語音識別和自然語言處理確實是和它的名字是緊密聯繫在一起的。

本文主要介紹賈里尼克本人,弗裡德里克·賈里尼克博士是成功將數學原理應用於自然語言處理領域的大師。賈里尼克博士生於1932年11月18日,卒於2010年9月14日。他生於捷克,少年時經歷了二戰,父親是名醫生,戰爭期間死在了集中營,1946年母親帶著全家移民美國。在這裡我不想列舉他的貢獻,而想講一講他作為一個普普通通的人的故事。這些事要麼是我親身經歷的,要麼是他親口對我講的。弗萊德里克.賈里尼克(Fred Jelinek)出生於捷克一個富有的猶太家庭。他的父母原本打算送他去英國的公學(私立學校)讀書。為了教他德語,還專門請的一位德國的家庭女教師,但是第二次世界大戰完全打碎了他們的夢想。他們先是被從家中趕了出去,流浪到布拉格。他的父親死在了集中營,弗萊德自己成天在街上玩耍,完全荒廢了學業。二戰後,當他再度回到學校時,他的成績一塌糊塗, 全部是 D,但是很快他就趕上了班上的同學。不過,他在小學時從來沒有得過 A。1949年,他的母親帶領全家移民美國。在美國,賈里尼克一家生活非常貧困,全家基本是靠母親做點心賣錢為生,弗萊德自己十四五歲就進工廠打工補助全家。賈里尼克最初想成為一個律師,為他父親那樣的冤屈者辯護,但他很快意識到他那濃厚的外國口音將使他在法庭上的辯護很吃力。

賈里尼克的第二個理想是成為醫生,他想進哈佛大學醫學院,但經濟上他無法承擔醫學院 8 年高昂的學費。與此同時麻省理工學院給於了他一份(為東歐移民設的)全額獎學金。賈里尼克決定到麻省理工學電機工程。在那裡,他遇到了信息論的鼻祖香農博士,和語言學大師賈格布森 Roman Jakobson (他提出了著名的通信六功能)[註釋一],後來賈里尼克又陪著太太聽最偉大的語言學家喬姆斯基(Noam Chomsky)的課。這三位大師對賈里尼克今後的研究方向–利用信息論解決語言問題產生的重要影響。

賈里尼克從麻省理工獲得博士學位後,在哈佛大學教了一年書,然後到康乃爾大學任教。

他之所以選擇康乃爾大學,是因為找工作時和那裡的一位語言學家談得頗為投機。當時那位教授表示願意和賈里尼克在利用信息論解決語言問題上合作。但是,等賈里尼克到康乃爾以後,那位教授表示對語言學在沒有興趣而轉向寫歌劇了。賈里尼克對語言學家的壞印象從此開始。加上後來他在 IBM 時發現語言學家們嘴上頭頭是道,幹起活來高不成低不就,對語言學家從此深惡痛絕。他甚至說:”我每開除一名語言學家,我的語音識別系統錯誤率就降低一個百分點。” 這句話後來在業界廣為流傳,為每一個搞語音識別和語言處理的人所熟知。

人工智能源自數學之美:賈里尼克的故事和現代語言處理

賈里尼克在康乃爾十年磨一劍,潛心研究信息論,終於悟出了自然語言處理的真諦。

1972年,賈里尼克到IBM華生實驗室(IBM T.G.Waston labs)做學術休假,無意中領導了語音識別實驗室,兩年後他在康乃爾和IBM之間選擇了留在IBM。在那裡,賈里尼克組建了陣容空前絕後強大的研究隊伍,其中包括他的著名搭檔波爾(Bahl),著名的語音識別 Dragon 公司的創始人貝克夫婦,解決最大熵迭代算法的達拉皮垂(Della Pietra)孿生兄弟,BCJR 算法的另外兩個共同提出者庫克(Cocke)和拉維夫(Raviv),以及第一個提出機器翻譯統計模型的布朗。

七十年代的 IBM 有點像九十年代的微軟和今天的 Google, 給於傑出科學家作任何有興趣研究的自由。

在那種寬鬆的環境裡,賈里尼克等人提出了統計語音識別的框架結構。 在賈里尼克以前,科學家們把語音識別問題當作人工智能問題和模式匹配問題。而賈里尼克把它當成通信問題,並用兩個隱含馬爾可夫模型(聲學模型和語言模型)把語音識別概括得清清楚楚。這個框架結構對至今的語音和語言處理有著深遠的影響,它從根本上使得語音識別有實用的可能。 賈里尼克本人後來也因此當選美國工程院院士。

賈里尼克和波爾,庫克以及拉維夫對人類的另一大貢獻是 BCJR 算法,這是今天數字通信中應用的最廣的兩個算法之一(另一個是維特比算法)。

有趣的是,這個算法發明了二十年後,才得以廣泛應用。IBM 於是把它列為了 IBM 有史以來對人類最大貢獻之一,並貼在加州 Amaden 實現室牆上。遺憾的是 BCJR 四個人已經全部離開 IBM,有一次IBM 的通信部門需要用這個算法,還得從斯坦福大學請一位專家去講解,這位專家看到 IBM 櫥窗裡的成就榜,感慨萬分。

賈里尼克和波爾、庫克以及拉維夫對人類的一大貢獻是BCJR算法,這是今天數學通信中應用最廣的兩個算法之一(另一個是維特比算法)。不過在這個算法發明20年後,才得以廣泛應用。IBM把它列為IBM有史以來對人類的最大貢獻之一,並貼在加州阿莫頓實驗室牆上。不過,後來BCJR的四個人全部離開了IBM。

賈里尼克和IBM一批最傑出的科學家在上個世紀90年代初離開了IBM,他們中的大多數後來都成為了千萬甚至億萬富翁,但賈里尼克不是個能閒下來的人,1994,他去約翰·霍普金斯大學建立了世界著名的CLSP(Center for Language and Speed Processing)實驗室。在賈里尼克到約翰·霍普金斯大學之前,這所以醫學聞名的大學在工程領域並不拔尖,也完全沒有語音識別和自然語言處理這樣的新興學科。賈里尼克從零開始,在短短兩三年內就將CLSP變成了世界上一流的研究中心。

賈里尼克和 IBM 一批最傑出的科學家在九十年代初離開了 IBM,他們大多數在華爾街取得了巨大的成功。

賈里尼克的書生氣很濃,於是去約翰霍普金斯大學建立了世界著名的 CLSP 實驗室。每年夏天,賈里尼克邀請世界上 20-30 名頂級的科學家和學生到 CLSP 一起工作,使得 CLSP 成為世界上語音和語言處理的中心之一。

賈里尼克治學極為嚴謹,對學生要求也極嚴。

他淘汰學生的比例極高,即使留下來的,畢業時間也極長。但是,另一方面,賈里尼克也千方百計利用自己的影響力為學生的學習和事業創造方便。賈里尼克為組裡的每一位學生提供從進組第一天到離開組最後一天全部的學費和生活費。他還為每一位學生聯繫實習機會,並保證每位學生在博士生階段至少在大公司實習一次。從他那裡拿到博士學位的學生,全部任職於著名實驗室,比如IBM, 微軟,AT&T 和 Google 的實驗室。為了提高外國人的英語水平,賈里尼克用自己的經費為他們請私人英語教師。

賈里尼克生活儉樸,一輛老式豐田車開了二十多年,比組裡學生的車都破。

他每年都邀請組裡的學生和教授到家裡做客,很多畢業了的學生也專程趕來聚會。在那裡,他不再談論學術問題,而會談些鞏俐的電影(他太太是哥倫比亞大學電影專業的教授),或是某著名教授被拉斯韋加斯的賭館定為不受歡迎的人等等。但是他聚會的食物實在難吃,無非是些生胡蘿蔔和芹菜。後來賈里尼克掏錢讓系裡另一個教授承辦聚會,那個教授每次請專業大廚在家作出極豐盛的晚宴,並準備許多美酒,從此這種聚會就轉移到那個教授家了。

除了鞏俐的電影,賈里尼克對中國的瞭解就是清華大學和青島啤酒了。他有時會把兩個名字搞混,有兩次被香港科技大學的 Pascale 馮教授抓住。

賈里尼克說話心直口快,不留餘地。

在他面前談論學術一定要十分嚴謹,否則很容易被他抓住辮子。除了剛才提到的對語言學家略有偏見的評論,他對許多世界級的大師都有過很多“刻薄”但又實事求是的評論,這些評論在業界廣為流傳。賈里尼克在四十多年的學術生涯中居然沒有得罪太多的人 ,可以說是一個奇蹟。

賈里尼克在70多歲以後仍然頭腦敏銳,並且每天按時上班。

2010年9月14日,他在辦公桌前因心臟病發作而不幸離世。他在別人退休、安度晚年的年齡開始創立當今世界學術界最大的語音和語言處理中心,並且工作到了生命的最後一天。由於他有大量的學生和朋友在Google工作,這些人和Google公司為約翰·霍普金斯大學捐贈了一筆錢,創立了賈里尼克獎學金。

參考文章:

《賈里尼克的故事和現代語言處理》

維基百科


分享到:


相關文章: