強化學習處理自適應碼流播放,愛奇藝AI推薦提升觀看率15%

強化學習處理自適應碼流播放,愛奇藝AI推薦提升觀看率15%


新智元報道

【新智元導讀】5月18日,愛奇藝世界·大會智能視頻高峰論壇召開,愛奇藝CTO劉文峰向世界展現了AI在愛奇藝的全貌。新智元創始人兼CEO楊靜女士作為論壇特邀主持人,主持圓桌論壇環節,對話重量級嘉賓,探討AI技術如何在視覺、聽覺、創作、體驗上帶來顛覆性升級。

強化學習處理自適應碼流播放,愛奇藝AI推薦提升觀看率15%

AI已經深入到愛奇藝所有生產、運營領域。

5月18日愛奇藝世界·大會智能視頻高峰論壇上,愛奇藝CTO劉文峰向世界展現了AI在愛奇藝的全貌,從創作、生產、標註到分發、播放、變現等,AI貫穿愛奇藝的每一個流程。

強化學習處理自適應碼流播放,愛奇藝AI推薦提升觀看率15%

在會上,Akamai全球解決方案副總裁Dev Gupta介紹了在線視頻行業發展中面臨的挑戰,hulu全球副總裁諸葛越介紹了AI視頻應用的現狀和未來。

新智元創始人兼CEO楊靜女士作為論壇特邀主持人,主持圓桌論壇環節,對話重量級嘉賓,探討AI技術如何在視覺、聽覺、創作、體驗上帶來顛覆性升級,詮釋AI娛樂的內核。

劉文峰:智能明星庫納入超2萬明星,強化學習處理自適應碼流播放

劉文峰認為,AI娛樂包括智能、交互、開放三個部分。

強化學習處理自適應碼流播放,愛奇藝AI推薦提升觀看率15%

愛奇藝CTO劉文峰

智能又包括創作智能化、運營智能化、體驗智能化。具體來說:

強化學習處理自適應碼流播放,愛奇藝AI推薦提升觀看率15%

智能明星庫:簡單地理解就是明星的數據庫。數據庫不只是包含明星的信息,愛奇藝海量的數據裡挖掘每一個明星不同的表現,通過人臉識別,可以將明星的表情、情緒、行為、著裝以及演不同類型內容的信息匯聚在數據庫中。目前,在數據庫的明星已經超過兩萬位。

強化學習處理自適應碼流播放,愛奇藝AI推薦提升觀看率15%

智能明星庫可以不斷地擴展,機器可以將明星所有的片段找出,愛奇藝有“只看TA”的產品,通過機器將明星的鏡頭摘出來,用戶只需要看自己喜歡明星的鏡頭就可以,不需要把整個視頻全部看一遍。

同時愛奇藝對全部的視頻做人臉處理,分析後可以計算出每一個明星在每一天曝光的時長有多長,曝光的時長越長,意味著熱度越高,這就是大數據+AI計算的價值。

智能選角:選角系統主要針對的是選配角。通過人工智能信息提取的技術,將非結構化的信息處理成可以用於挑選的標籤,稱之為角色標籤。再通過愛奇藝大腦AI技術到海量視頻裡挖掘每一個明星的特點,特點能夠形成藝人標籤。加上經紀人對他的定義和描述,以及專家對他的定義和描述也會形成(藝人)標籤。這兩類的標籤通過匹配可以得到一堆候選者。

強化學習處理自適應碼流播放,愛奇藝AI推薦提升觀看率15%

將候選者放在一塊,同時又經過AI將所有侯選者演過劇的片段挖取出來,在不同維度的比較,AI可以很清晰地進行選角,選角導演的時間可以節省。

智能生產:包括情節場景分析和智能剪輯等。把長視頻拆成非常多的小場景,每一個場景可以拆成鏡頭,然後對這些鏡頭做非常準確地標籤,實現整個視頻從非結構化、不可描述的信息變成機器可以理解的可描述的信息。

這些數據信息可以用於裁成短視頻,從而實現智能剪輯。智能剪輯有重要的應用場景——封面圖。用AI將視頻內部的精彩鏡頭找到,並且將它放在海報上,收視率會大幅度提升。大家一看就知道是什麼類型的視頻,裡面有怎樣的鏡頭。

智能推薦:愛奇藝私人影院會根據觀影記錄給推薦用戶沒有看過的,可能最想看的電影。私人影院上線以後,觀看提高了15%。短視頻聯播是另外一套推薦的方式,電影的喜好和短視頻喜好不一樣,短視頻聯播的推薦和用戶的習慣有很大的關係,給用戶做短視頻聯播以後發現播放時長大量增加。

體驗智能化包括三方面。

8K VR串流播放。因為VR看的視角有限,通過編碼技術和傳輸技術,使得用戶在任何時刻看到內容都可以提前準備好;通過應用預測的技術,來預測用戶頭部的變化。當用戶頭轉向一個方向的時候,會提前將數據準備好。

強化學習處理自適應碼流播放,愛奇藝AI推薦提升觀看率15%

AI ABS自適應碼流播放

,能夠判斷網速的變化從而選擇最適合播放的碼流。這個功能時利用了強化學習根據網絡的變化來判斷如何做進一步的處理,使之獲得最大的收益——當前的網速下播放最清晰的內容。我們目前的wifi和蜂窩可能不穩定,AI ABS更加適合當前無線網絡下,如何給用戶提供當前限制條件下最好的體驗方式。

強化學習處理自適應碼流播放,愛奇藝AI推薦提升觀看率15%

ZoomAI超分辨。用人工智能對清楚的照片學習足夠多以後,愛奇藝形成了一套模型,用它來處理那些不清楚的內容,使之可以變清楚。ZoomAI研發用於圖片,再進一步應用於視頻,使用ZoomAI處理老視頻,可以獲得比較好的體驗。下圖中,左邊是標清的,右邊是ZoomAI的結果。

強化學習處理自適應碼流播放,愛奇藝AI推薦提升觀看率15%

交互和開放兩個部分如表所示:

強化學習處理自適應碼流播放,愛奇藝AI推薦提升觀看率15%

值得注意的是,愛奇藝視頻大數據集是全球最大的影視明星的開放數據集,可以進行多模態的人物識別競賽,將與中國自動化學會、計算機學會、人工智能學會以及中國圖像學會一起,在PRCV2018的會議會發布競賽,獎金高達35萬。網址:

http://challenge.ai.iqiyi.com

強化學習處理自適應碼流播放,愛奇藝AI推薦提升觀看率15%

接下來,Akamai全球解決方案副總裁Dev Gupta介紹了在線視頻行業發展中面臨的挑戰。

強化學習處理自適應碼流播放,愛奇藝AI推薦提升觀看率15%

Akamai全球解決方案副總裁Dev Gupta

Dev Gupta認為,技術會繼續引領在線視頻行業,有三方面是要關注。第一方面是能夠提供的內容,減少延遲。第二方面是緩衝,觀眾希望可以獲得非常好的緩衝功能,否則每次緩衝的時間會減少觀眾的參與度,減少14分鐘左右。第三方面,比特率變化太多也會失去觀眾,用戶的放棄率超過4倍以上。

hulu全球副總裁諸葛越介紹了AI視頻應用的現狀和未來。hulu在封面推薦、視頻信息標註、廣告中都應用到AI技術,這三個層次又可以把廣告和視頻連接起來,實現視頻內容和廣告內容的高匹配度。

強化學習處理自適應碼流播放,愛奇藝AI推薦提升觀看率15%

hulu全球副總裁諸葛越

楊靜:AI延伸進視頻軟硬件領域,未來一切人、物、景都可以變成數字資產

近年來,AI在視頻領域的應用除了覆蓋包括視頻生產與創作,語音、手勢等指令的交互等“軟件”外,還在高複雜度的拍攝過程中,向燈光、攝影等“硬件”領域延伸。

在愛奇藝世界·大會智能視頻高峰論壇上,新智元創始人兼CEO楊靜女士作為圓桌論壇主持人,對話來自智能軟硬件領域重量級嘉賓,探討AI技術如何在視覺、聽覺、創作、體驗上帶來顛覆性升級。

強化學習處理自適應碼流播放,愛奇藝AI推薦提升觀看率15%

新智元創始人兼CEO楊靜女士(左一)與圓桌論壇嘉賓對話

楊靜認為,目前4K大有超越1080P成為主流視頻分辨率的趨勢,但AI如何應用到4K智能硬件,實現內容與交互的結合仍然面臨挑戰。

今年4月11日,電視果正式發佈電視果4K創新的智能硬件,也是全球首款AI投屏的產品,在內容與交互上進行了大膽探索。

小果視訊CEO、電視果負責人譚濤認為,4K產品能在兩個方面應用人工智能技術,一個是交互,一個是內容分發。人工智能語音的操作包括語音識別、自然語言處理,視頻內容的分發包括通過HoomAI,加入大量的針對場景化的內容識別,針對用戶的自身使用特性標籤進行推薦。

除了上述軟件領域,AI在硬件、系統集成中都已經開始滲入。

今年平昌冬奧會結尾出現了特別精彩的“北京8分鐘”,這個節目是由北京電影學院科研信息化處副主任劉軍牽頭策劃。

AI系統解決成本和效率問題,北京電影學院科研信息化處與北京理工大學開發了一套“預演模擬仿真系統”,包括投影的燈光、演員的表演、可以透視的冰屏等,一切的都仿真化。模擬仿真系統可以對前期所有預演的數據進行保留,後期直接輸入數據跟冰屏計算機接口對接,演員按照系統訓練就可以。

在大型節目製作現場,AI已經開始解決問題。

愛奇藝副總裁

車澈介紹,《中國有嘻哈》有一百多個機位,所有角度不同的空間上百臺攝像機同時工作,AI解決自動化的音視頻對位問題,讓剪輯前的準備工作時間大幅度縮小,效率非常高,成本會降低很多。

同時,視頻的處理往往對CPU或GPU都要求比較高,特別是大規模、大場面的製作。楊靜認為,AI算法的出現是讓視頻製作、運營效率提升的機會,這也對底層處理能力提出要求。

作為底層計算能力的提供商,英特爾針對傳統視頻的分發、編解碼提供非常好的解決方案。英特爾全球軟件合作部中國區總監介紹,英特爾還針對AI框架進行深度的優化。

“我們也會提供相應的產品,比如最近剛推出的CVSDK,它可以提供跨平臺的視覺推理引擎,不用在意計算平臺到底CPU還是GPU還哪一個架構的計算單元。它提供了統一的平臺,希望把編程者從軟件編程中解脫。”

從臺前到幕後,AI現在接手越來越多的“苦力活”,也是幕後英雄。展望未來,AI怎樣才能在視頻領域發揮更多作用、給觀眾更好的體驗?楊靜向現場嘉賓提出最後一個問題。

譚濤:AI能夠幫助中國人重新回到大屏,享受最身臨其境的臨場體驗。今天的中國人很忙,70%都是在手機上快速看視頻,希望用AI的技術給大家帶來完美的大屏體驗。

諸葛越:我們想知道還有什麼更有創意的場景,並且希望技術解決與人交流的問題。

李眈:AI將來一定能夠讓每個人生活變的更好,讓每個人把自己的精力放在自己真正認為有價值投入的地方。我們相信機器今天或在不遠的將來不會只滿足做所謂低附加值的事情,一定會提供人類都無法企及的事情,改善我們的生活。

劉軍:當一切的人、物、景都可以變成數字資產進入到加工世界的時候,每位用戶拿起手機可以在很短的時間用自己或者你喜歡的明星做非常精彩的電影,AI自己可以拍關於自己的電影。讓我們一起期待未來的智能影像時代。

車澈:

之前很多做創意工作的人,特別是做內容創意的人對AI不是特別感冒,因為聽起來好像有一點被替代的感覺。但在實際的工作和應用中,我會覺得做創意的人不是被替代,而是被輔助。AI可以輔助你做更多有創意的事或者把你的精力關注在創意上。


【加入社群】


分享到:


相關文章: