阿里巴巴司羅暢談自然語言智能技術，兩平臺四應用助力商業落地

在 5 月召開的第二屆世界智能大會上，由新一代人工智能產業技術創新戰略聯盟承辦的新一代人工智能核心技術論壇在天津舉行。

新一代人工智能產業技術創新戰略聯盟由科技部指導成立，潘雲鶴院士擔任聯盟名譽理事長和專家委員會主任，高文院士擔任聯盟理事長，北京大學黃鐵軍教授擔任聯盟秘書長，AVS 產業聯盟秘書長張偉民和科大訊飛副總裁兼訊飛 AI 研究院聯席院長李世鵬任聯合秘書長。旨在推動新一代人工智能技術在各行業的研發應用。阿里巴巴達摩院機器智能自然語言首席科學家司羅博士在會上做了演講，本次報告主要專注於 NLP 領域的相關技術。

目前阿里巴巴在自然語言智能方面主要研究方向包括自然語言智能基礎技術、機器翻譯、文本挖掘、語義計算、文本搜索和推薦等，司羅表示電子商務是阿里巴巴發展的主動脈，其他客戶對產品的評價是刺激用戶消費的最好手段，通過阿里巴巴自然語言智能，用戶可以最快的找到自己想要的商品，以及對該商品最符合預期的評價。做好自然語言智能的開發，是電子商務行業的核心競爭力。

司羅在卡內基梅隆大學獲得博士學位，美國普渡大學計算機系終身教授。專注於自然語言處理、機器學習、深度學習等人工智能基礎技術的研究。

阿里巴巴達摩院機器智能技術實驗室在自然語言處理領域也有著突出表現。在雷鋒網學術頻道 AI 科技評論旗下數據庫項目「AI影響因子」中，阿里巴巴達摩院機器智能技術實驗室憑藉刷新 SQuAD 紀錄獲得加分。

達摩院機器智能技術實驗室

今天非常榮幸有這個機會和大家交流一下我們所做的工作，希望借今天這個機會向大家介紹一下阿里巴巴在自然語言智能方面的工作，得到大家的建議和指正。

首先，什麼是自然語言智能？自然語言智能是研究實現人與計算機之間用語言進行的有效通信手段，是綜合了語言學、心理學、計算機科學、數學和統計學於一體的綜合性學科。它涉及到自然語言和形式化語言的抽取、分析、理解、產生和轉化。自然語言技術從計算機誕生的 20 世紀 40 至 50 年代開始就被科學家所涉獵。計算機處理跟人相關文本的信息，最開始的技術是用簡單的規則來實現；而隨著時代不斷的進展，自然語言智能也取得了突飛猛進的發展。

智能的四個層次

從我個人的角度和一些同行的角度，我把智能分為四個層面，計算智能、感知智能、認知智能和創造智能。

計算智能指的是計算機可以利用大量的計算的能力，遠遠超過人類的計算能力來幫我們做很多計算上覆雜度很高的事情，比如說這兩年非常流行的 AlphaGo，它做的工作實際上是用計算機超強的計算能力在圍棋領域優化空間中做有效的搜索，來產生出超越人類圍棋競技能力的智能。但是，我認為它本身還是屬於計算智能層面，是屬於比較基本的智能。

下一個層面是感知智能。計算機能夠在複雜的世界當中抽象出具體的實體。比如說，在自然語言理解方面，我們能不能把文本當中的人名、地名、時間、地點等重要信息抽取？又比如說在視覺裡面，我們能不能鑑別出有沒有人臉、室內、室外等等場景？這是感知智能的範疇。

進一步，是認知智能的層面。我們不僅能夠抽象出實體，而且能發現它們之間的關係，從而在實體和關係之間進行推理，從而找出更多有價值的信息。比如在自然語言處理上，我們可不可以把很多信息報道所提到的人物和事件串聯起來，能夠抽象出事件的發生、發展、高潮的過程？又比如在視覺的自動監控，我們能不能把不同場景中相同的人的軌跡抽取出來？這些屬於更深層的認知層面。

建立在複雜的認知能力上，我們希望能夠實現創造智能，比如由計算機自動產生邏輯自恰的長篇小說，甚至有一天自然語言智能能自動產生出我今天演講的內容，這屬於更高層面的創造智能的範疇。

自然語言智能的技術使命

在感知智能、認知智能和創造智能之下，我們一定要解決「更好地理解知識，更好地分析語義」的工作，這就是自然語言處理所肩負的重要技術使命，阿里巴巴是一家技術公司，有遠大的技術抱負和期望，阿里巴巴很早就認識到自然語言智能的重要性，在自然語言智能研發方面有很大的投入，我們的使命是：

第一，構建阿里巴巴的自然語言技術體系，支撐整個阿里經濟體，關於自然語言的需求和應用，我們的目標是讓商業沒有語言障礙。

第二，我們的技術是開放的，不是封閉的，所以我們希望能夠發展普惠的自然語言技術，能夠賦能阿里巴巴的合作者。

第三，我們的目標是仰望星空，希望能夠做開拓性的技術的工作，我們非常希望能夠和業界的同事、學術界的朋友一起創新自然語言技術，探索未來智能。

我們阿里巴巴組成的自然語言智能團隊，是一個國際化的團隊，我們有近百名研究者分佈在中國、美國、新加坡、俄羅斯等地，30% 以上有博士學歷，包括清華、北大、Berkeley、CMU、Princeton 等等。多位國際著名院校的終身教授，研究院研究員，所從事的工作也是非常豐富多樣，從基礎的自然語言技術，到機器翻譯、文本挖掘語義計算、文本搜索和推薦等。所以我們有遠大的目標，仰望星空，同時我們也希望腳踏實地。

AliNLP 技術平臺

我們這個團隊最近一年多所做的幾件事情，主要是圍繞搭建和創建阿里巴巴自然語言技術平臺、技術體系，創建了阿里巴巴的 NLP 技術平臺，自然語言處理平臺，叫 AliNLP。它是服務於整個阿里巴巴生態系統的大規模自然語言技術平臺，包含了從數據抽取、數據處理到語義、語法、篇章、分析、文本表示等多項技術。

我們從 2016 年底開始研發技術平臺，中間經歷了多次版本優化和迭代，到今天它已經在阿里巴巴內部發生了巨大的作用，每天有超過 240 個活躍的業務方使用這個平臺，每天的活躍的調動量超過 3000 億次，產生很大的價值和影響力。

這個平臺不僅有非常大的規模應用，同時有很鮮明的技術特點。

首先從事自然語言研究的同行們一定知道，傳統的自然語言技術都是需要大量的人工標定的語料數據，基於此之上再開發相應的自然語言算法。但是在阿里巴巴極其複雜和多變的場景下，這往往是不現實的。比如我們每天都有新的商家、商品、品牌這些實體不斷的浮現出來，不可能經常用人工的成本來進行數據標定，

第二，阿里巴巴這麼複雜的生態系統，涉及到成百上千上萬的各種複雜的任務，我們把這個看作既是挑戰又是機遇，我們希望能夠同時對多個相關的任務進行建模，同時提高每一個單獨任務的本身的效果和效應。

AliNLP 平臺的整體框架，包括從底層的數據到 NLP 基礎的算法，到 NLP 垂直的技術，如問答、文本理解，反垃圾情感分析等等，支撐了阿里內部所有重要的新零售、電商、廣告、金融、客服等等領域的工作。

阿里巴巴機器翻譯平臺

第二個平臺是阿里巴巴機器翻譯平臺，坦誠地講，我認為阿里巴巴機器翻譯平臺是世界上最有價值的機器翻譯平臺。為什麼這麼說呢？我們很多互聯網平臺同事們都做了非常優秀的技術工作，但是阿里巴巴的技術平臺是整個阿里國際化戰略的技術生命線，會直接在國際化電商的場景產生巨大的價值和影響力，它本身產生的價值非常巨大，在這個平臺上有非常非常多的問題需要我們去解決。

去年一年，我們全面支持了阿里巴巴的速賣通，B2B，阿里巴巴.com，LAZADA 是東南亞的平臺，關於機器翻譯的需求非常大，全年有幾千億次的調用量，這些調用量不僅產生了很大的價值，同時對我們的數據和算法進行優化，極大地提升了用戶的體驗，也對整體的電商技術平臺的升級起到了很大的作用。

語料是機器翻譯非常重要的環節，在這個環節上我們做了大量工作，包括用技術的手段減少語料的需求量，包括用眾包的方式尋找語料等等，有效地達到高效取得語料的效果。

接下來是機器學習訓練的框架到核心的機器翻譯模型。這既包括了現在流行的 NMT 神經翻譯、機器翻譯模型，也包括了 SMT 等比較傳統的統計機器翻譯模型。我們所做的創新工作是把這些模型結合起來能夠產生更有效的效果。

一個比較具體的例子是阿里巴巴比較獨特的場景，即 B2B 買賣加溝通的場景。我們很多供貨方是中方的供貨方，母語是中文，我們要做到全球買全球賣，而世界上的需求往往是說英語或者其他語言的需求方來完成交易、購買交易的，兩者之間是需要大量的交流工作來確定交易中支付、物流、賠款等等重要的環節，所以提供實時溝通翻譯支持買賣家實時溝通是至關重要的。

今年在美國的 CES 消費展上，我們第一次展示了買賣家實時溝通的系統，現在也已經在阿里巴巴的平臺上大規模應用，我們相信這是非常有價值的手段，能幫助我們更好地突破商業的語言障礙。

以上是兩個阿里巴巴內部關於自然語言智能的主要平臺技術，接下來我花一點點時間向大家介紹一下我們所做的具體的技術工作。希望能夠傳遞出我們所設想的一些場景，或者設計算法的一些初衷。

應用一：利用用戶搜索意志改進商品標題壓縮

首先一個具體的問題是，如何利用用戶搜索意志改進商品標題壓縮。我們都知道，現在電商場景下，大家越來越多地用 APP 來購買而不是用 PC 來購買，所以這就存在一個問題，即如何把商家原來輸入的非常冗長的標題進行壓縮，從而能夠在移動端屏幕上展現出來的問題。如何進行有效的標題改寫和壓縮，這是一個很重要的、有很大價值的技術手段。

傳統的方法有基於規則的方法和基於序列學習的方法，但是它們都有一個非常大的缺點，就是他們並沒有考慮生成的短標題對於轉化率的影響。由於用戶體驗和轉化率對於一個電商平臺是至關重要的指標，所以我們必須能夠想出新的辦法，能夠把這兩者加入到商品標題改寫的這項任務中。

所以我們所做的工作在於，通過多任務學習的方式在序列學習的過程中加入對轉化率的影響。

一方面，我們用傳統的序列學習的方式來學習人工產生的短標題；

第二方面，我們用最終引導成交的用戶搜索進行過渡。

如果用戶有一個查詢，這個查詢產生了點擊或者購買的行為，我們可以想象到用戶比較短的查詢和商品的長標題實際上形成了很好的商品標題的壓縮，也標誌著這個用戶的查詢可以看作是商品標題比較好的改寫。

所以基於這樣的想法，我們設計了多任務學習的方式。第一用比較傳統的標題改寫的方式，序列改寫的方式來實現標題改寫。同時我們也加入了用戶查詢、用戶生成的模型，這個模型就是把用戶本身的轉化率、用戶的投票加入到我們模型的考慮情況之中。

最終將這兩個任務一起進行訓練，就能更好地實現商品短標題重新的改寫。這一工作發表在 AAAI 2018 上。

我們也做了大量的研究和線上線下的檢測，無論在線下的關於可讀性、準確和信息完整性的檢測，還是在線上能夠提高點擊率，提高轉化率，也就是直接提升商業價值方面都有很大的提升。這是我們商品短標題方面的工作，我們可以看到它利用了大量用戶行為的數據，同時也利用相關的任務綜合起來，以提升每個單獨任務的效率。

應用二：問答文本的情感分析

第二個問題我想介紹的是關於面對問答文本的情感分析。評價情感分析是電商平臺的生命線，很多用戶在購買之前都會看評價，評價本身傳統的情感分析是句子情感分析，也就是單獨看這句話所代表的正面或負面的情感，但是在現在的電商平臺之中，往往已經不是這麼簡單，因為有很多關於問答、用戶之間問答的信息，比如說在阿里巴巴平臺上，我們是允許一個消費者向已經購買某個產品的其他消費者發出問題，根據這些反饋來做自己購買的決策，這裡面就涉及到問答的問題。

比如說一個消費者可能會問這款筆記本的鍵盤怎麼樣？回答是鍵盤不錯但是耗電太快了。如果我們仔細分析問答對的話，我們可以看到，其實對於問題來講用戶是正面的，但是耗電太快是負面的，我們要分析問題和答案關係從而作出對於問題的情感分析。

基於這個新的問題我們提出了一種新的深度學習的的方式，從四個角度對於這個問題進行建模，包括從單字的角度、句子的角度、問題和答案之間的關係等角度，最終產生情感分析的結果。

這是我們的機器深度學習框架，其中一個重要的環節就是用來匹配問題和答案之間子句的相應的匹配程度。我們也做了比較全面的測試，來看我們整個 4D Approach 的結果，最終的結果相對於傳統的情感分析方式有著非常大的優勢，它的優點就來自於它能夠精確地分析問題和答案之間的語義關係從而產生結果。

應用三：機器閱讀理解

接下來要介紹的是機器閱讀理解。機器閱讀理解是近一、兩年自然語言處理信息搜索等領域一個非常火爆的課題。機器閱讀理解屬於智能問答的範疇。智能問答我們大家都知道，在自動客服等等場景有著廣泛的巨大的商業應用和價值。傳統的智能問答一般由兩種方式解決，一種是常見問答對的方式，一種叫做知識庫構建的方式。

• 常見問答對的方式是指，對於某一個領域，我們事先要收集大量這個領域典型的問題和相應的答案，然後如果有一個用戶提了一個新的問題，我們需要把這個新的問題和問答數據庫中已有的問題進行語義匹配，再把相應的答案展現給用戶。

• 基於知識庫的方式是需要做更多預處理的工作，它要把這個領域之中的實體和它們的關係都抽取出來，對於用戶所提出的問題也要進行相應的處理，在這個基礎之上才能夠進行回答。

這兩個方法如果有充分的人工標定的數據，是可以取得比較好的效果的，但是在複雜多變的場景下，它們數據準備的成本都非常高，冷啟動的成本非常高，維護的成本和語義的開創程度都有相對的缺點和弱點的。

基於這樣的觀察，機器閱讀理解最近一兩年內成為智能問答領域內最重要的新穎的創新技術，機器閱讀理解是針對用戶的問題，我們不需要產生預先收集某個領域的典型問題，我們只需要把相關的文本比如說產品說明書，比如說活動說明書有關的文本收集起來，有了用戶的問題，我們再把用戶的問題和文檔當中的信息進行比對、進行抽取和理解，就可以回答客戶的問題，我們可以看到，

另外一方面，我們沒有很多事先收集的用戶數據，這對於自然語言算法設計的挑戰是非常大的，我們必須精準地理解這些文字背後所代表的意義。

我們的一些相關工作已經發表在 ACL 上。就本身的技術效果來看，我們在 2018 年 1 月份在斯坦福大學機器閱讀理解領域頂級賽事 SQuAD 比賽中，我們歷史上第一次用計算機算法的實現超越了人類的成績，這應該看作是機器閱讀理解史上里程碑式的成果。但是 SQUAD 數據級跟實際應用有很大的偏差，因為 SQuAD 有很強的假設，比如首先，所有的問題文案中都有答案；第二，文案都比較短，這跟實際的應用場景是不一樣的。

所以我們把我們的重心轉換到更實際的場景，比如這個名為 TriviaQA 的數據集，集中於信息抽取、信息搜索和機器閱讀理解，是一個綜合性的更接近於實際應用場景的數據集，我們在數據集上取得了比較好的效果。我們真正的研究重點是在廣闊的實際應用場景中。

在阿里巴巴內部問答場景中，我們支持了非常多的活動和規則方面的支持，節省大量的人力、產生了大量的價值。同時我們現在正在服務賦能阿里巴巴的商戶、店家，我們希望把機器閱讀理解的功能開放給商家，比如說商家的客服往往要回答關於他們商品、關於他們付款、關於他們活動的問題，如果這些商家能夠提供給我們他們相關的文檔，我們就可以幫助他們做自動的客服。這個叫店小秘場景，阿里巴巴店鋪上的客服笑咪場景已經開始支持很多著名的廠商，比如 Playboy 和森馬等等。

同時在新零售和電商以外的場景，我們也開始支持稅務法規、醫藥等等更多的行業。當然機器閱讀理解不止限於中文，我們在英文電商場景中也有很廣闊的應用。

應用四：電商搜索

最後我想講一下關於電商搜索方面的課題，我們都知道亞馬遜、淘寶是非常大的電商搜索引擎，有的幾億級的商品目錄，在這些大的電商平臺進行搜索，我們既需要提供好的用戶體驗，同時我們也希望儘可能地提高效能減少計算資源的消耗。

我們提出的解決方案叫級聯式電商搜索方式，想法非常簡單，我們在不同的階段有不同的模型，在初始階段，用簡單的模型能夠過濾到大量不相關的內容，在後面的階段用更復雜的模型，來產生更精準的排序，我們所做的工作主要在於能夠把多項用戶體驗的指標如搜索的延時，搜索是否產生足夠的結果和計算資源聯合建模能夠產生整體的既有效率又能產生用戶體驗的解決方案。

同時我們也分析了多種用戶行為比如說點擊購買等等來構建更有效的電商搜索。這也是一些具體的實現，具體的工作在 KDD 2018 的論文中。

我們做了大量的實驗證明它的效果，包括離線的和在線的，特別是在 2016 年雙 11 的應用，這個層級式的搜索方案節省計算機消耗達到 45%，節省出來的資源更有效地實現新的實時特徵，取得了 22% 的定級率的提升，這個產生的價值是幾億、幾十億的量級。

上面是我們所介紹一些具體的應用案例，最後我也想交流一下自然語言智能理解的廣闊的應用場景。

廣闊應用場景

在新零售電商領域，比如說情感和輿情分析，這對於電商是至關重要的，我們提供的情感分析每天服務百萬級的商家，近億級的 DAU，每天阿里繫有超過一億人關注商品的評價幫助他們進行商品的決策。

智能消費、信息流是最近流行的手段，和今日頭條不同的是我們產生的頻道叫淘寶頭條，不只是關於資訊的推薦，更多的是消費資訊的推薦，更好地幫助人們做商業的決策。我們把用戶內容的相關性和商業的轉化率更好地結合起來，提供更好的用戶體驗。

還有智能無線推送，我們的目標是能夠在正確的人在正確的地點、在正確的時間推送正確的內容，每天為淘寶阿里系電商進行大量的引流，產生億級以上的 GMV。

最終，自然語言智能的應用遠遠超越新零售電商這一領域。我們在醫療信息管理、在地址信息管理、文本信息等等方面都和我們的合作伙伴有著廣泛、大量的合作，如果在座哪位有對這些方向感興趣的，我們也非常希望歡迎大家和我們線下交流。謝謝。

更多資訊敬請關注雷鋒網AI科技評論。

閱讀更多 雷鋒網 的文章

關鍵字: 人工智能 亞馬遜公司 機器學習