呂律德語老師本今日頭條號：呂律德語老師，中的所有文章，均是我——呂律原創或編譯。我所有文章中採用的圖片，除少數我自己拍攝外，均出自網絡免費的版權公開圖片。
如果喜歡，歡迎轉發微信朋友圈。如有媒體或者其他自媒體想轉載我的文章到其他平臺，請聯繫我授權並標明我這個作者的姓名及職業——呂律德語老師，及標明文章出處：即“出自呂律德語老師的微信公眾號：律一德語學習室（lvlvgerman）”，以及“出自呂律德語老師本今日頭條號：呂律德語老師'。本人版權所有， 違者必究！
——聲明人：呂律（北外網絡與繼續教育學院多語種部德語培訓教師，兼編輯翻譯和寫作者，篤信終身學習。我的聯繫方式：電話：0086-18101072751，電子郵件：[email protected]，2019年底升級為[email protected], 微信號：nickel0321(呂律），微信公眾號：律一德語學習室（lvlvgerman）。
這幾天我又簡單介紹了機器翻譯的發展歷程。機器翻譯和人工智能的發展息息相關，和計算機技術的不斷進步密不可分。今天我簡單介紹一下人工神經網絡機器翻譯的發展。
人工神經網絡（Artifical Neural Network，縮寫ANN，Kuenstliche Neuronale Netze, 縮寫 KNN ）的建構理念是受到生物（人或其他動物）神經網絡功能的運作啟發而產生的。通常經過一個基於數學統計學類型的學習方法（Learning M ethod）加以不斷建模（Modelbildung）優化，是數學統計學方法的一種實際運用。
神經網絡由大量的人工神經元（Nervenzelle, Neuron）聯結進行計算，大多數情況下人工神經網絡能在外部信息的基礎上改變內部結構，是一種自適應系統。
構建神經網絡的起源和歷史，可以追溯到1943年沃倫-麥卡洛克（Warren S.McCulloch，1908-1969）和瓦爾特-皮茨（Walter Pitts,1923-1969）寫的一篇期刊論文“A logical calculus of the ideas immanent in nervous activity”（神經活動中思想內在性的邏輯演算），發表在《The bulletin of mathematical biophysics》（數學生物物理學通報）上。
一般而言，這篇文章被稱為神經網絡的開山之作。至今，神經元的數學模型被稱為McCulloch-Pitts模型（麥卡洛克-皮特斯模型，簡稱MP 模型），即利用神經元網絡對信息進行處理的數學模型，從此，人們開始了對神經元網絡的研究。
皮茨和麥卡洛克閱讀了英國數學家後被稱為計算機科學之父和人工智能之父的圖靈（Alan Turing，1912-1954）的論文——
圖靈寫了《機器能思考嗎？》證明了建造一種可以在有限步驟裡完成任何函數計算的機器的可能性。他們相信大腦正好就是這樣一種機器，它用編碼在神經網絡裡的邏輯來完成計算，認為神經元可以用邏輯規則來連接起來，這樣就構建了更加複雜的想法鏈（Chains of Thoughts）。
這篇論文引起了數學家、物理學家和計算機先驅馮諾依曼（John von Neumann）的注意並深受影響。在由維納和馮諾依曼為核心的“控制論學家圈子”裡，還有皮茨、麥卡洛克、萊特文等核心人物。他們之間頭腦的相互碰撞和衝擊，帶給科學界一個又一個的創新和開拓性的人類智能的飛躍在現實應用領域的再現。只可惜後來，天才神童皮茨成為當時在麻省理工任教的天才神童“控制論之父”維納（Norbert Wiener）的學生多年後又分道揚鑣。
1945年6月，馮諾依曼撰寫了一份歷史性文件《EDVAC報告書的第一份草案》（First Draft of a Report on the EDVAC） ，這是第一份公開發表的關於存貯程序概念的二進制計算機器，即現代計算機。
1946年，人類第一臺計算機誕生，ENIAC（電子數值積分計算機）更像是一臺巨大的電子計算器，需要不斷優化，人類的智能飛躍在包括馮諾伊曼這樣的全能天才們的努力下已經勢不可擋。馮諾伊曼我之前介紹過，以後再介紹一些。
1947年，圖靈（Alan Turing）在一份交給英國國家物理實驗室的報告中談到他建造計算機的計劃時就指出，“Machine Translation”(機器翻譯) 可以現實計算機的智能（intelligence）。
1949 年，加拿大心理學家，認知心理生理學的開創者唐納德-赫布（Donald Olding Hebb，1904－1985）提出了一個假設，來說明經驗如何塑造某個特定的神經迴路。受巴甫洛夫著名的條件反射實驗的啟發，赫布的理論認為在同一時間被激發的神經元間的聯繫會被強化。他以這個“赫布律”（Hebbian Rule， Hebbsche Lernregel）而聞名。
唐納德-赫布的一個老師是20世紀上半期最著名的神經心理學家卡爾-萊施裡（Karl Lashley,1890-1958），萊施力是美國心理學家和行為主義心理學的創始人約翰·華生(John Broadus Watson，1878—1958）的學生。萊施力的記憶試驗認為，大腦構築一條新的神經通道需要2l天，習慣的形成大致分為三個階段。1950年，萊施力提出信息存儲的過程在大腦中的分佈已經實現。
1954年，第一次機器翻譯實驗（把幾個俄語句子翻譯成英文）的成功標誌著機器翻譯具有從理論走入實踐的可能性，並取得了藉助機器達成了具有實際準確意義的語言轉化。
1956年，達特茅斯(Dartmouth)會議上“Artificial Intelligence”（簡稱AI， Kuenstliche Intelligenz, 簡稱 KI，人工智能）概念的提出，標誌著人工智能作為一個行業，伴隨著電子計算機的發明和大發展，具備了在各領域包括語言轉換領域與人類智能相輔相成發展的基礎。人類智能和機器智能的進一步合作和高質量合作在幾起幾落之後又一次拉開了序幕。他們是John McCarthy, Marvin Minsky, Claude Elwood Shonnon, Nathaniel Rochester, Allen Newell, Herbert Simon, Oliver Selfridge, Ry Solomoniff, Arthur Samuel, Terenchard More。
其中西蒙和明斯基我之前都介紹過了。其他人我以後有時間再介紹。當時他們的專業包括數學，心理學，信息論和電腦科學，標示著人工智能從一開始就是一個跨學科的新興專業。
心理學家羅森布拉特（ Frank Rosenblatt， 1928-1971）的研究也是在McCulloch和Pitts形式神經元思想的啟發下開始的。
從1957年到1958年，羅森布拉特和查爾斯-維格曼（Charles Wightman） 研發出了名為Mark 1 Perceptron的第一個成功的具有學習能力（lernfaehig）的神經計算機（Neurocomputer），具有開拓性的貢獻。感知器（Perceptron）是第一個從算法上完整描述的神經網絡，驗證了人類智能不是由符號而是由神經元決定的。
明斯基曾經大力抨擊羅森布拉特的感知器理論，在他在20世紀80年代以後逐漸也轉向了羅森布拉特的神經網絡理論，並承認了其對人工智能發展的巨大作用。
但是到了20世紀60年代末期和70年代初期，受政策影響和電子計算機計算能力不足等各方面因素的影響，對人工智能和機器翻譯的研究陷入了低潮。
到了20世紀70年代末，機器翻譯研究的實用性成果逐漸被得以應用，如加拿大研發的Taum-Metro機器翻譯系統，可以正式向公眾提供天氣預報服務。
20世紀80年代，人工智能在數學模型方面提出了多層神經網絡（multilayer neural network）和反向傳播算法（back-propagation algorithm， "backpropagation"-Algorithmus）。
雖然在 20 世紀 80 年代，研究者就引入了人工神經網絡幫助計算機識別模式、模擬人類智能，三位“深度學習之父”約書亞·本吉奧(Yoshua Bengio)、傑弗裡·辛頓(Geoffrey Hinton)和楊樂昆(Yann LeCun) 等一部分研究者堅持這種方法幾十年，如今他們的想法帶來了重大的技術進步，他們的方法也已成為該領域的主導範式。他們獲得2018年圖靈獎。
20世紀80年代後期，IBM 公司推出了個人計算機（personal computer:PC ）進入千家萬戶，計算機的使用開始逐漸普及。同時，隨著語料庫建設在機器翻譯中的逐漸流行，從大規模文本中獲取有用語料來進行機器訓練，基於規則的機器翻譯逐漸轉化成依靠大量平行語料庫，雙語語料庫，多語語料庫和可比語料庫的統計機器翻譯。
到了 20世紀90年代，人工智能的神經網絡技術（KNN: kuenstliche neuronale Netze）和深度學習(Deep Learning)的成功應用，被引入到機器翻譯中，神經機器翻譯逐漸普及起來。克服了符號主義（Symbolism, Symbolismus）的一些弊端。
1982年以來，依據聯結主義和網絡架構（connectionism, Konnektionismus）等理論具有自組織和自學習能力的神經網絡技術的大發展，使得機器在處理自然語言的過程中有了更好的語言訓練工具。
1987年，神經網絡國際會議的召開標誌著神經網絡（Neural Network，neuronale Netze,縮寫NN）這一新興方向的正式開始。
期間，一些國家開始研發人工智能計算機，計算機的運算能力等得到了極大的提高。
2016年年底, Google公佈了神經網絡機器翻譯(簡稱GNMT：Google Neural Machine Translation)。
近年來，Facebook提出了卷積神經網絡（Convolutional Neural Network,簡稱CNN），其重要組成部分是注意力機制（Attention Mechanism），並推出了基於卷積神經網絡理論的語言模型。
目前許多科學家正在研究脈衝神經網絡（Spiking neural networks，簡稱SNN）。學習是人工智能領域的核心問題，脈衝神經網絡的學習方式主要包括無監督學習（unsupervised learning）、監督學習（supervised learning）和強化學習（reinforcement learning）等。
人工神經網絡分類有以下分類方式：
按照算法（Algorithm）進行分類,有：
監督式學習網絡（Supervised Learning Network）
無監督式學習網絡 (Unsupervised Learning Network)
混合式學習網絡( Hydrid Learning Network)
聯想是學習網絡(Associate Learning Network)
最適化學習網絡 (Optimization Application Network)
按照聯結主義原理（Connectionism）分類有：
前向式網絡架構（Feed Forword Network）
回饋式網絡架構(Recurrent Network)
強化式網絡架構 (Reinforcement Network)
部分內容參考：馮志偉：機器翻譯與人工智能的平行發展， 外國語，2018.11
_______________________________________
以下是我給我自己總結一下，也提醒我自己要規劃好時間，不能拖拉，在2020年這個不平靜的一年裡也要沉下心來，紮紮實實做好每件事（進展不斷更新）：
我已完成，已交初稿和修改稿給出版社，但是還需要不斷修改完善的一部獨著專著是：
“呂律 著：日耳曼文化譜系下的德國——多維度比較思辨分析，呂律2020年3月19日已交初稿給河南人民出版社的編輯老師，2020年4月19日和24日呂律已經把近45萬字的修改稿和刪減後的近30萬字的修改稿交給河南人民出版社的編輯老師。4月26日呂律經與編輯老師協商，呂律保留原近45萬字的修改稿，不做大量刪減。預計2020年底前出版”
我還沒完成，爭取2020底之前會陸續交稿給各出版社的三部獨著專著和一部譯著是：
“呂律 編著：人工智能時代主題型德語學習——學科視野下的德語二十主題， 呂律推遲到2020年底交給相應出版社。預計2021年出版
呂律 編著：德語TestDaf 和DSH寫作思路和模擬題分析，呂律推遲到2020年底交給相應出版社。預計2021年出版。
Lu Lu （呂律 著）：Christa Wolfs Kein Ort. Nirgends. und Kassandra. 呂律2004年在德國寫的德語碩士論文。預計2021年找一個德國出版社出版
Thomas Rappold: Peter Thiel，呂律待譯，[德] 托馬斯-拉波爾特：彼得-蒂爾傳記，呂律2020年6月10日之前要交譯稿給出版社。預計2020年下旬出版”
預計2020年各出版社會出版的我的一本獨著專著，一本譯著和一本合譯譯作及一本我參與翻譯了三個篇文章並撰寫三篇綜述的譯文集共五本書是：
“呂律 著：日耳曼文化譜系下的德國——多維度與比較思辨分析，鄭州：河南人民出版社。預計2020年出版（呂律已寫完2020年3月19日交了初稿給出版社，2020年4月19日和24日呂律已經把近45萬字的修改稿和刪減後的近30萬字的修改稿交給河南人民出版社的編輯老師。4月26日呂律經與編輯老師協商，呂律保留原近45萬字的修改稿，不做大量刪減。預計2020年底前出版）
[德] 托馬斯-拉波爾特（Thomas Rappold）：彼得-蒂爾傳記，譯者：呂律，北京：北京卓文天語文化公司，預計2020年出版（呂律待譯，2020年6月前交稿給出版公司）
[英]亨利·吉爾貝（Henry Gilbey）：《釣魚》，譯者：呂律，林敦來，唐銘，王晨光，北京：旅遊教育出版社， 本來預計2019年出版， 受疫情影響，推遲到2020年出版（呂律已翻譯完統稿完2018年下半年已交稿給出版社）
吳璟薇主編：德國媒介思想精粹，預計由上海復旦大學出版社出版，預計2020年出版，呂律2019年中旬和下旬開始參加此翻譯項目後，翻譯了其中的三篇德譯中文章（Assmann, Hoeflich，Weber。還有一篇Schaeffle 的文章是花體字呂律因為時間有限，所以推辭不翻譯了），並寫了三篇綜述（Hoeflich,Weber,Schaeffle）（呂律已翻譯完，寫完，2020年1月下旬前全部交稿給項目負責人）”
預計2021年各出版社會出版的我的一本參與翻譯了兩期報紙的譯文集和我的三本獨著專著是：
“陳力丹主編：新萊茵報編譯，第一集（1到25期），北京：人民出版社， 預計2020年或2021年出版，呂律2019年中旬開始參加此翻譯項目並翻譯了其中的21和22期報刊（呂律已翻譯完21和22期並於2020年2月中旬前全部交稿給項目負責人）。（呂律2020年4月已詢問項目負責人，該書因編輯量大，可能2020年出版困難）
呂律 編著：人工智能時代主題型德語學習——學科視野下的德語二十主題， 呂律推遲到2020年底交給相應出版社，預計2021年出版
呂律 編著：德語TestDaf 和DSH寫作思路和模擬題分析，呂律推遲到2020年底交給相應出版社，預計2021年出版。
Lu Lu （呂律 著）：Christa Wolfs Kein Ort. Nirgends. und Kassandra. 呂律2004年在德國慕尼黑大學讀書時寫完的德語論文，呂律預計2021年找一個德國出版社出版”
每一年我總有各種計劃，有的拖來拖去，時間越拖越久。一定要規劃好時間，不要拖拖拉拉。總結一下，也是催促我自己。今年要加速度了。
歡迎閱讀我近幾日寫的微信公眾號文章：
[德語語言] 最早的平行語料庫和最早的機器翻譯系統是什麼
[德語語言]再談機器翻
[人物介紹]戴蒙德的《劇變》:這些國家如何自救
[德語語言] 基爾克的“法人有機體”說，是什麼
[德語語言]“國際法”起源，基本原則和機構，及德語表
[德語語言]甲方和乙方，德語怎麼說
[德語語言]負油價！？及相關德語表達
[德語語言] Peter Thiel 和其
[德語語言] 終於又交稿
[德語語言] 什麼是世界視角？
[德語語言] 一個德國人從生到老的權利和義務-節選
[德語語言] 聽聽這些德國人怎麼說“教育”
[德國國情] 保守主義和（新）自由主義
[外國國情]一個國家的這些
[德語語言]硬實力，軟實力，巧實力，銳實
[我國我家] 如何削減篇幅，是個難
[我國我家] 總結一下，我要加油，不能拖拉了！
[德語語言]我如何在德國出版我這本德語獨著書籍
[德語語言]我這三本獨著書稿的目錄
[德語語言] 我這樣上德語DSH寫作課，以及我預計2020要完成的四本獨著書稿和
[德國國情] 我這樣上德國國情和國際關係理論
[我國我家]七律-懷念姥姥
[德語語言] 德語中“清明節”怎麼說？
[人物介紹] 羅薩的加速度中的集體減速
[德語語言] 多區域產業鏈中心？
[德語語言] 有限的全球化？！
[我國我家] 我的新書稿我推遲到四月初交稿 [我國我家] 我待交稿的新書稿-前言和最新目錄
[我國我家] 我待交稿的新書稿-前言
[德國國情] 歐盟是聯邦，邦聯還是國家聯盟？
[德國國情] 托馬斯-曼的入世宣言，及曼式兄弟和“德國問題”
[德語語言] 糧食保護主義？守好大糧倉和小糧倉
[國情對比] 指數！從“卡爾達肖夫指數”到“基尼係數”，及中美德英新等國“採購經理指數”簡單比較
[人物介紹] 行動者氣質
[我國我家] 我的新計劃-補充
[我國我家] 我的新計劃 [人物介紹] 阿克洛夫的《動物精神》和泰勒的《錯誤行為學
[我國我家] 四十四歲生日
[德語語言] “鬆散社會”和“緊密社會
[我國我家] 世時難料，努力生活！
[德國國情] 再提世界偏見地圖
[德國國情] 我待交稿的新書稿目錄-還在不斷修改
[國情對比]防疫戰疫！——中美歐德日法英新等地“防疫機構”簡單介紹
[人物介紹]囚徒困境和群體免疫——合作的進
[國情對比] 國家緊急狀態法！——中美德日英俄國“緊急狀態法”簡單比較
[德語語言] 什麼週期？——"經濟週期"的幾個重要理論
[德語語言] "牛市"和"熊市"的來源及德語表達
[德語語言] 你是“生存主義者”嗎？“生存主義”德語怎麼說？
[國情對比] 德語中“熔斷機制”怎麼說？中美英韓日新“熔斷機制”簡單比較
[國情對比] 中美印巴德英日等國“棉花”種植發展歷史簡單對比
[國情對比] 中美德英日等國“綠色建築”評價標準及政策簡單對比
[德語語言] 什麼是西域三十六國？
[德國國情] 怎麼德國觀察？
[德語語言] 德語中“合同”怎麼說？
[我國我家] 出版經費解決了！
[德國國情] 德國是不是移民國家
[人物介紹] 特拉諾瓦的造物還原——改變世界的37種物品
[德語語言] 德語中“熔噴布”怎麼說？
[國情對比] 為什麼“比較”很重要？
[德語語言] 德語中“閏年”怎麼說？
[國情比較] 日耳曼文化譜系下的德國觀察——多維度與比較視角分析
[我國我家] 我待交稿新書的目錄
[外國國情] 一個國家的“矛盾”
[外國國情] 一個國家的 "過去和現
[外國國情] 一個國家的"地位提升"
[人物介紹] 格里什的智能機器如何思考[德國國情] 19世紀上半期的各種“主義” [德語語言] 斯賓塞的社會有機體理論 [人物介紹] 舍夫勒的著作 [人物介紹] 彼得蒂爾的從零到壹 [外國國情] 為什麼1848年英國沒有爆發 [德語語言] 1844年政治經濟學書稿簡介 [德語語言] 資本論 [德國國情] 馬克思朋友圈裡的NO1 [德國國情] 德國的未來？
歡迎大家關注我的微信公眾號：律一德語學習室(lvlvgerman)，歡迎掃碼關注，謝謝！歡迎在微信朋友圈轉
載。——呂律
如想把我的文章轉載分享到其他網絡平臺，請務必標明“出於呂律德語老師的微信公眾號：律一德語學習室(lvlvgerman)”以及我的姓名及職業。
有任何問題，請聯繫我——呂律德語老師：
電話：18101072751
電子郵件：[email protected](2019年12月4日升級為[email protected])
微信號：nickel0321(呂律)
我的個人網絡平臺賬號及我的其他主要用來轉載我微信公眾號：律一德語學習室（lvlvgerman）部分文章的個人網絡平臺賬號，歡迎關注！
個人微信公眾號：律一德語學習室（lvlvgerman）（2016年申請，2017年2月開始寫文章，每日更新）
個人微信公眾號備用號：呂律德語老師 (lvlv-Life-Leben)（2018年2月新建，備用，不定期更新）
個人喜馬拉雅電臺：律一德語學習室（2017年3月申請，主要是初級德語會話音頻）
個人微博號：呂律德語老師（2017年8月申請）
個人頭條號：呂律德語老師（2017年8月申請）
個人知乎賬號：呂律（2017年10月申請）
個人知乎專欄：呂律：律一德語學習室 （2017年10月申請）
個人豆瓣閱讀專欄：呂律：我的德國生涯系列（我的豆瓣賬號：nickel0321） （2018年1月申請，4月初電子書已在“豆瓣閱讀”出版上架，歡迎購買。還會繼續寫）；呂律：一個北京德語老師的生活感悟；呂律：一個沒有孩子的“孩子王”的前半生；呂律：我的德國生涯系列（續）
個人每日德語聽力頻道：呂律：新編德語語音和入門（2019年底申請入駐）
歡迎關注，一個人的力量是有限的，多提意見！
