人工智能應用得最多的場景——推薦系統

聰明人喜歡用思維模型

聰明的人總是喜歡找各種思維模型,然後將其應用到各種現實中的場景。

比如達爾文的“進化論”,不僅用來解釋地球上生物的演化,還用來解釋個人、公司、組織、國家等的發展。

由熱力學第二定理產生的最大熵、信息熵等理論被用來解釋物理的封閉系統、經濟發展、對沖基金的運作、投資理財、區塊鏈、人工智能等方向。

人工智能有算法模型

先理清楚人工智能、機器學習、深度學習之間的關係。如下圖:

人工智能應用得最多的場景——推薦系統

人工智能:為機器賦予人的智能

機器學習:一種實現人工智能的方法

深度學習:一種實現機器學習的技術

目前,人工智能研究方向主要集中在機器學習領域,更進一步說,是集中在深度學習的研究上。

而人工智能中的算法模型,即希望一個算法可以應用到各種應用場景,比如廣告的點擊率預估,搜索引擎排序、機器翻譯、語音識別、圖像識別、推薦系統排序、下圍棋(AlphaGo)等各種場景。現在的任意一種人工智能算法都可以應用於上面的大部分甚至所有的場景,不過在不同的場景,不同的算法效果上有較大的差別。

推薦系統

推薦系統是通過人工智能算法解決如下問題:

快速找到用戶感興趣的內容(廣告、新聞、音樂、視頻、商品等) 發現長尾內容

經常,別人在問起我的職業時,我都會說“(推薦系統)算法工程師”,當看著對方迷茫的眼神時,我都會再進一步解釋:“就是當下最火的人工智能”,然後對方使勁的點了點頭。其實我知道,他並不知道我在說什麼。

如果對方聊天意願很足,我會繼續給他解釋,人工智能解決效率問題,而推薦系統則是解決內容[廣告、新聞、音樂、視頻、商品等]分發效率的問題。推薦系統是人工智能的一個極為重要的應用,也可以說是最成功、應用最廣泛的一個應用,其中包含了大量人工智能的技術,包括深度學習、圖像識別、語音識別、自然語言處理、情感分析、搜索排序、標題黨黃色內容識別等技術。

第一,推薦體統解決的就是信息過載問題,幫助人們更快發現自己感興趣的內容 [廣告、新聞、音樂、視頻、商品等]。第二,解決了長尾內容無法被展示的問題,例如亞馬遜的商品,如果許多商品用戶看不到,就賣不掉積壓在庫存裡面;另外就是內容推薦系統,長尾內容得不到展示,會導致一些創作者無法獲得流量而離開。

具體案例:目前大部分主流APP都集成了推薦系統,包括微信朋友圈部分按照點擊率付費的廣告(朋友圈的廣告還是以品牌廣告為主);淘寶天貓京東亞馬遜等購物平臺首頁都有部分位置都是算法推薦的結果,還有購物車和支付完成頁面等等地方都有系統推薦的結果;今日頭條等新聞推薦系統,即包含新聞文章推薦,廣告推薦,還有圖集、短視頻等;亞馬遜買書的時候下面出現的相關書籍等等;網易雲音樂首頁的推薦歌單。例子太多,此處省略1萬個APP的名字。

很多人每天都在用,但是並不知道,這些APP背後都有一個叫做推薦系統的東西,而且不知道他給公司帶來了多少收入。亞馬遜的30%幾的收入來自於推薦系統(即有超過30%的訂單是系統推薦用戶購買的商品)。某新聞推薦系統由於政策上的一些要求,打開app默認不是推薦頻道,導致各種指標(點擊率,停留時長等)跌幅超過一半。根據我的經驗,在一個沒有算法的系統突然加入一個簡單算法,就能夠使公司收入翻倍,簡單算法進一步優化或者採用更復雜的算法,收入又能增長百分之幾十,不過再往後就可能就只有百分之幾的提高了,這也是為什麼各個大公司都在大量招聘算法工程師的原因。

AlphaGo與推薦系統

最近,我們公司準備把應用在AlphaGo Zero上的強化學習技術應用到推薦排序上來。非算法的朋友可能會問,下圍棋的算法怎麼能夠應用到推薦排序、廣告CTR預估上呢?

進一步解釋:下圍棋是將所有可以落子的地方的概率算一遍(圍棋落子可能性太多,所以AlphaGo只選擇一部分可能落子的地方進行計算概率),然後選擇勝率(獲勝概率)最大的地方落子。這個過程就是在一個有限的空間裡面(棋盤大小固定,可落子的地方有限),去搜索一個最可能贏琪的地方落子。

而推薦系統(包括推薦新聞、廣告、商品等等)也是做類似的事情,即在系統所有的item [新聞、音頻、視頻、廣告or商品] 中(系統中item太多,跟AlphaGo一樣,只選擇一部分的文章出來計算概率),然後計算單個用戶對每篇文章點擊的概率進行排序,最終得到用戶看到的排序結果。

為了儘可能講述簡單,很多步驟都被簡化了,比如在模型算出點擊率的排序之後還需要Rerank等等。

總結

從畢業開始工作之後,我一直都在思考,如何工作一年獲得別人工作十年的經驗,後來在混沌大學發現了李善友教授將的“思維模型”的課程,感覺突然發現了新大陸。

但是後來仔細想想,這不就是我讀研的時候學習的人工智能的思維方式嗎。一個算法就能夠解決大部分人工智能場景的應用(AlphaGo下圍棋、廣告點擊率預估,圖像識別,推薦排序,情感識別,標題黨黃色內容識別等等)。如果你能夠掌握各種好的思維模型,就能夠很好處理工作中的大部分問題,甚至是你之前沒有遇到過的問題。


分享到:


相關文章: