自然語言處理(NLP):離我們生活最近的十大應用

通訊,書籍,消息,短信,歌曲,電影……我們很難想象沒有語言的世界。我們每天要面對非常多的文本和語音數據。而NLP要做的,就是如何理解這些數據中並做一些有趣的事情?本篇文章主要給大家整理和介紹了NLP在日常生活中最常見的十大應用。

計算機如何理解語音文本?

自然語言處理(NLP):離我們生活最近的十大應用

對於只能理解0和1的計算機來說,單詞和短語意味著什麼?教機器理解我們的交流似乎不是一件容易的事。簡而言之,使用自然語言處理算法的機器理解過程如下所示:

1.一個人對機器說些什麼。

2.機器記錄這些聲音。

3.機器將音頻轉換為文本。

4. NLP系統將文本解析為組件,瞭解對話的上下文和人的意圖。

5.根據NLP的結果,機器確定應執行哪個命令。

簡而言之,這是一個創建算法的過程,該算法根據句子中單詞的位置和功能將文本轉換為標記它們的單詞。其中,單詞嵌入是解決許多NLP問題的靈丹妙藥。它將人類語言有意義地轉換為數字形式。這使計算機能夠理解隱式編碼到我們的語言中的細微差別。

單詞嵌入的主要思想是每個單詞都可以轉換為一組數字-一個N維向量,用於存儲有關單詞含義的信息。儘管每個單詞都分配有唯一的向量/嵌入,但相似的單詞最終會獲得彼此更接近的值。例如,單詞“ Man”和“ Boy”的向量比“ Boy”和“ Lion”的向量具有更高的相似性。所以進行向量距離計算之後,會發現“ Man”和“ Boy”的向量的距離更近。

自然語言處理的十大應用

NLP可以解決哪些任務?範圍很大,並且每天的任務數量都在增加。以下是NLP最日常的應用:

1.機器翻譯

每個人都知道什麼是翻譯-我們將信息從一種語言翻譯成另一種語言。當機器完成相同的操作時,我們要處理的是如何“機器”翻譯。機器翻譯背後的想法很簡單-開發計算機算法以允許自動翻譯而無需任何人工干預。最著名的應用程序可能是Google Translate。

Google翻譯基於SMT-統計機器翻譯。這不是單字逐字替換的工作。Google翻譯會蒐集儘可能多的文本,然後對數據進行處理來找到合適的翻譯。這和我們人類很相似,當我們還是孩子的時候,我們從給詞語賦予意思含義,到對這些詞語的進行組合抽象和推斷。

但並非所有閃光的都是金子,考慮到人類語言固有的模糊性和靈活性,機器翻譯頗具挑戰性。人類在認知過程中會對語言進行解釋或理解,並在許多層面上進行翻譯,而機器處理的只是數據、語言形式和結構,現在還不能做到深度理解語言含義。

2.語音識別

自然語言處理(NLP):離我們生活最近的十大應用

語音識別技術已經存在了50多年了。半個世紀以來,科學家一直在解決這個問題,直到最近幾十年,語音識別才取得了巨大的進步。現在,我們擁有各種各樣的語音識別軟件程序,這些程序可以使我們解碼人的語音。它的應用包括移動電話,家庭自動化,免提計算,虛擬輔助,視頻遊戲等。

總而言之,這項技術已被用來替代其他輸入方式,例如以任何的鍵入,單擊或選擇文本。如今,語音識別已成為眾多產品中的一個熱門話題,例如語音助手(Cortana,Google Assistant,Siri等)。每個人都知道這些應用不是那麼完美。對於更復雜的任務,NLP和神經網絡無法很好地應對其任務。但是誰知道呢,也許這個問題會隨著時間很快就會解決?

3.情感分析

情感分析是一種有趣的NLP和數據挖掘任務,用於衡量人們的觀點傾向。例如,我們可以對電影評論或由該電影引起的情緒狀態進行分析。

情感分析有助於檢查顧客對商品或服務是否滿意。傳統的民意調查早已淡出人們的視線。即使是那些想要支持品牌或政治候選人的人也不總是願意花時間填寫問卷。然而,人們願意在社交網絡上分享他們的觀點。搜索負面文本和識別主要的投訴可以顯著地幫助改變概念、改進產品和廣告,並減少不滿的程度。反過來,明確的正面評論會提高收視率和需求。

4.問答系統

問答系統(QA)是一種涉及到構建能夠用自然語言自動回答人類提出的問題的系統。下面是一些真正的問答應用程序:Siri、OK谷歌、聊天框和虛擬助理。雖然之前也提到過這些應用程序,但是理解語音只是其中的一半,另一個自然是給出響應與回答。

5.自動摘要

回到我們每天面對的文本數據量,信息過載是一個巨大的挑戰,但是現在NLP技術讓我們擁有了自動過濾和彙總的能力。這是為較長的文本文檔創建簡短,準確且流利的摘要的過程。使用自動摘要的最重要優點是可以減少閱讀時間。以下是可以嘗試的一些API:Aylien文本分析,MeaningCloud摘要,ML分析器,文本摘要。

6.聊天機器人

第一個聊天機器人出現在1960年代,經過幾十年的發展,NLP已經成為創建聊天機器人的基礎,儘管這樣的系統並不是那麼完美,但它們可以輕鬆地處理標準任務。聊天機器人當前可在多種渠道上運行,包括Internet,應用程序和消息傳遞平臺。

7.市場預測

營銷人員還使用NLP來搜索有可能或明確打算購物的人。Internet上的行為,維護社交網絡上的頁面以及對搜索引擎的查詢提供了許多有用的非結構化客戶數據。Google可以充分利用這些數據來向互聯網用戶銷售合適的廣告。每當訪問者點擊廣告時,廣告客戶就要向Google付費。點擊的成本從幾美分到超過50美元不等。

市場情報的核心是使用多種信息源來全面瞭解公司的現有市場,客戶,問題,競爭以及新產品和服務的增長潛力。用於分析的原始數據來源包括銷售日誌,調查和社交媒體等。

8.文本分類

文本分類用機器對文本集(或其他實體或物件)按照一定的分類體系或標準進行自動分類標記。通過使用NLP技術,文本分類器可以自動分析文本,然後根據其內容分配一組預定義標籤或類別。

9.字符識別

自然語言處理(NLP):離我們生活最近的十大應用

字符識別系統還具有許多應用程序,例如收據字符識別,發票字符識別,支票字符識別,合法開票憑證字符識別等。是現在最常用的NLP應用之一

10.拼寫檢查

拼寫檢查器是一種軟件工具,可識別並糾正文本中的所有拼寫錯誤。大多數文本編輯器允許用戶檢查其文本是否包含拼寫錯誤。最直接的例子之一是Grammarly。這是一個在線語法檢查器,可掃描您的文本以查找所有類型的錯誤,從錯別字到句子結構問題等等。

總結:是什麼讓NLP變得困難?

自然語言處理(NLP):離我們生活最近的十大應用

人類自然語言的本質使一些自然語言處理任務變得困難:不是所有的規律都能有效地形式化,有些現象非常抽象。例如,自動檢測文本中的諷刺、反諷和隱含性的任務尚未得到有效解決。NLP技術仍在與語言元素(如明喻和暗喻)固有的複雜性作鬥爭。

但是,我認為我們不應該從一開始就苛求完美的結果。今天,NLP非常適合解決與詞法處理相關的任務:確定單詞的初始形式和所有可能的單詞形式。NLP非常適合解決分類問題。針對特定服務領域的私人助理的任務或多或少得到了很好的解決:比如在餐館預訂座位、買機票等等。讓我們不斷的探索,看看接下來會發生什麼~


分享到:


相關文章: