左為虎牙AI基礎技術部總經理許佳，右為音視頻網絡技術部總經理譚舜文
隨著《英雄聯盟》S10比賽如火如荼地進行，即將迎來的半決賽、總決賽熱度也肉眼可見的節節攀升。
在虎牙直播觀看S10的一些朋友可能會發現：在直播進度條上，出現了一個個以一血、團戰、勝利等為標註的點，用戶可以十分方便地回溯不小心錯過的精彩瞬間，或者是整局比賽；
而喜歡看彈幕、享受直播觀賽現場感的玩家會發現，現在的海量彈幕，不會遮天蔽日到“吵到眼睛”了，它們遇到各色英雄、不同皮膚、技能、大龍等等就會主動隱去，甚至全圖大招還能像掃把一樣在重重彈幕中開出一條路的效果。
此外，有些玩家跟身邊的朋友對比的話可能會發現，虎牙直播好像比其他直播平臺“快一秒”，直播進度更靠前一點。
實際上，所有的這些用戶能感知到的變化，都是虎牙為今年S10賽事所做出的技術創新和突破。而幕後的這些“黑科技”新功能——AI智能回放、防遮擋彈幕，以及做到“快一秒”領先技術的後臺架構，都致力於為用戶提供一種“不一樣”的觀看體驗。
那麼這次S10期間，虎牙重點推廣的這三大功能，到底是怎樣的？背後有著什麼樣的考量和設想？手遊那點事在S10決賽前夕，請來了虎牙AI基礎技術部總經理許佳、音視頻網絡技術部總經理譚舜文，與他們聊了聊遊戲賽事直播的進化。
一、拒絕同質化，虎牙如何引領賽事直播從“溫飽”奔“小康”
儘管在今天的S10賽事中我們才切實地感受到虎牙在賽事直播上的迭代，但其實早在兩年前，他們就已經開始啟動了這一技術。
許佳表示“早期我們也和其他同行一樣，專注於解決可用性的問題，第一，不要卡；第二，畫質夠高清。基本上3、4年下來，直播平臺已經將基礎問題解決了，相當於搞定了“溫飽”。
但隨著技術的逐步發展，用戶會認為觀看直播不出現卡頓已經是基本要求，我們的下一步就是實現“小康”，也就是如何讓觀眾有更好的觀賽體驗。同時我們發現，S賽事有一個問題在於內容同質化。為了與其他直播平臺打出差異化，我們在內容的生產和加工上下了一番功夫。”
於是從2018年開始，虎牙就把AI技術加入到了賽事直播當中，而“打點回放”和“AI智能彈幕”便是AI技術團隊今年拿出的兩個大招。
數據證明他們這一步走對了。在虎牙平臺上，在開啟彈幕效果的情景下，高達98%的用戶都開啟了防遮擋彈幕功能。而AI智能打點回放，目前也有10%的使用率。
許佳告訴我們，“98%的防遮擋彈幕開啟率，意味著絕大多數用戶對這一功能都非常喜歡，甚至是依賴。而AI智能回放的10%使用率，其實也是符合我們預期的，目前我們還沒有刻意去宣傳這一功能，我預計，在之後的比賽，或者明年的同期時候，當有更多的用戶瞭解這一功能後，使用率會有進一步提升。”
從過去穩定、不出錯地完成直播；到去年S9虎牙將賽事直播源做了4K的超分，實現超高清直播；再到今年做更多個性化的功能，虎牙在S賽的直播上已經完成了又一次的突破。
二、AI智能打點回放，解決硬核玩家痛點
實際上，在觀看線上比賽時，回放並不是一個新的功能，過去不管是導播切畫面、還是拖動進度條，都能實現“回放”的效果。但現在，虎牙加入AI技術之後，能夠完成打點回放，自動識別精彩瞬間，並以此作為節點讓用戶實現一鍵回放。
這一功能的出現大大滿足了硬核玩家的需求。“我們利用積累的技術去識別那些精彩的時刻，比如一血、擊殺、防禦塔摧毀，甚至團滅，從而幫助用戶精確地定點到這個時刻，為用戶帶來更好的觀看體驗。”
對於目前這一功能的設定，許佳提到：“現在一局比賽平均10次左右，太多了就等於沒打，太少又會忽略一些精彩環節，所以我們會通過AI數據分析關鍵節點，找到折中的尺度。我們也在補充和豐富數據，抽象出一些種類，比如彈幕量很大、觀眾反映很激烈的時刻，後面會考慮擴展打點類型，目前主要是擊殺、團戰、推塔的這種勝利時刻。”
對用戶來說，這無非就是給不同的精彩瞬間設置起始的節點，但就是這樣一個看似很簡單的功能，要想精準實現這一效果，背後卻有著不少技術上的難點。
“首先是‘精彩瞬間’的實時判斷，如何做到滿足觀眾的需求，其次是從計算機視覺角度去識別複雜的動態畫面，數據的多樣性對我們AI算法準確性帶來很大的挑戰。這是我們面對的兩個最大的難點，也是不斷突破的地方。目前我們識別的準確度大概在95%左右，但我們一直在不斷迭代和補充數據。目前已經比較接近上限了，但是還有一定的提升空間。”
後來許佳也告訴我們，“打點回放”這一功能他們會持續地優化和升級下去。
“未來我們還會往兩方面進行升級，首先是“精彩時刻”的定義，我們現在已經定義了一些類別，未來還需要繼續完善。另外一點，我們希望把打點回放的這套系統更加規模化，除了S10這些我們已經可以覆蓋的賽事之外，我們也希望在像《和平精英》、《QQ飛車》等其他賽事，甚至主播的直播間也支持這個功能，能夠把這個功能更大地輸出，進一步拓展影響力，並提升用戶黏性與觀賽體驗。”
三、防遮擋彈幕——兼顧線上狂歡氛圍和比賽細節
那麼，防遮擋彈幕功能研發的出發點又是什麼？許佳說：“防遮擋彈幕跟智能回放是從兩個緯度解決觀眾體驗問題：回放是從時間上，智能防遮擋彈幕是在空間上，它們都是為了給觀眾呈現精彩的節點，精彩的區域，是互補的。”
像S10這種大型的賽事直播，很多硬核玩家可能會看的很細緻，會看比如英雄何時放大招以及操作的細節。但另一個問題在於，S10這類大賽事，彈幕一般都是海量的，尤其是“精彩時刻”。如果用戶開了彈幕，就看不到英雄和操作，如果關閉彈幕，就無法瞭解其他觀賽者的想法，就缺少了“現場感”。
為了兼顧觀賽的“現場感”與捕捉選手的操作、賽場上的細節，許佳團隊結合了以前做的檢測和分割的技術，開發出了智能防遮擋彈幕功能。
自然，這當中也有許多技術難點。
許佳在談到技術難題的時候告訴我們，他們在保證防遮擋彈幕功能開啟下畫面的穩定性，和功能的準確率上做了多次迭代，以保證最佳的體驗。同時在與準確性相關的實時性上，許佳團隊也盡力做到不滯後：“彈幕分割區域必須跟著英雄、技能走。這方面我們做了很多優化的工作。”
但他也表示，現在的功能還沒有盡善盡美，接下來的優化方向主要有兩點：“第一，在抖動平滑上面儘可能地準確，追求極致，同時會根據用戶反饋，來調節遮擋的範圍和時間。”
“第二，像AI智能彈幕，從我們內部來看是首次嘗試，也是行業首次。我們也希望將其擴展到其他的賽事上和很多的主播直播間，畢竟，讓觀眾在我們的平臺上有更好的觀看體驗，就是我們的目標”。
許佳表示，虎牙公司在技術上也重視對直播數據的數據挖掘，通過大數據挖掘配合運營策略，實現虎牙的業績連年翻翻，特別是在主播的運營層面，通過數據挖掘發現新主播的價值，構築了虎牙的腰部主播生態。在大數據方面，虎牙公司部署了40幾個發明專利，在公司也注重對數據的利用，將數據利用的理念進行執行層面的灌輸。
他說：“虎牙公司另外一個比較重視的方向就是AI基礎技術研發，虎牙除了有數字人技術平臺外，還打造了AI中臺，海聰機器學習平臺等。比如，2020年，虎牙在CVPR，ICML，Siggraph Asia， ACCV等行業頂會上發表多篇論文，在人臉結構化和場景結構化等基礎AI技術上取得新的突破性進展。而在專利方面，虎牙公司部署了超過60項國內發明專利，20項以上的國際發明專利。”
四、持續追求“快一秒”的直播體驗！
除了很多功能上的創新，虎牙也有著技術的升級。音視頻網絡技術部總經理譚舜文講到，相比於去年的S9，今年虎牙在S10直播的技術上主要有兩大方面的升級。
首先，就是前文中提到的智能打點、防遮擋彈幕，拒絕同質化。其次，除了4K超分、畫質上基本觸達行業天花板的更深層次優化外，在直播延時上做了較大的優化——較為直白的說法是“快一秒”，但實際操作上技術能力讓直播延期降低了40%左右。
在達到4 K 、20M 的前提下，虎牙做了整套內容加工系統之後，為滿足“低延時”這種基礎需求也會有一定的壓力。
“我們的系統不僅承載了用戶基本訴求，還嵌入了媒體加工，這意味著引入多一個環節就會多一點延時。整套系統下來，儘管加工變得更加複雜，但是我們確保延時比以前還低了40%。”譚舜文在講到虎牙面對的這種壓力的時候解釋道。
“我們進行了全鏈路的延時優化，從端到端，其中包括源端、後臺的傳輸、加工節點、觀眾端，才達到了目前的效果。”
而談及更長遠的願景，譚舜文說，在核心上，虎牙未來是要打造更沉浸式的觀賽體驗。
“沉浸式的直播體驗是我們的一個願景，從現在的AI美顏、虛擬主播，走到類似《頭號玩家》的沉浸式體驗。現在我們做的超分、AI標記打點這種技術，就是朝著這個願景而開發的初級版內容生產網絡。”
“最終我們要做到一個超大帶寬、超低延時的內容生產網絡，兼顧非常豐富、複雜的AI處理能力，我們希望搭建一個更偏內容生產的音視頻直播系統。”
最後，對於即將到來的S10總決賽，譚舜文和他的團隊感到有壓力，但更多的是對自身能力的信心。
“S賽事對直播研發人員來說，像每年一次的大考，但我們團隊在類似的用戶擴容、基礎質量保障上面花了非常多功夫，有著豐富的經驗。” 譚舜文說。
“具體到整個S10賽事質量上，我們還做了一些創新性質的優化，比如P2P的分發網絡分發彈幕。我們在底層的技術上做了很多工作，所以信心十足。”
作為一家以遊戲直播為核心業務、致力於打造業內領先直播平臺的技術驅動型內容公司，可以看出虎牙在技術層面的投入為用戶不斷提升的觀賽感受和體驗，並在未來繼續通過技術能力為平臺內容作支撐，做到無論面臨哪種賽事“大考”，都能交出一份滿意的答卷。
