根據Cisco VNI數據，預計到2022年，全球CDN流量規模將達到252EB/m，其中，互聯網視頻流量佔比呈逐年上升趨勢。在視頻行業高速發展的過程中，帶寬、網絡得以豐富，視頻的高清體驗不斷提升，分辨率從1k、4k到8k，甚至到超高清。從生物學角度，滿足人眼真正的沉浸式需要50k分辨率。高清視頻的發展使得用戶對視頻/圖像質量的要求永無止境，其真實體驗感受評測難度也相應增加，如何全面客觀評價視頻畫質的質量是否得到提升?
“針對以上難題，金山雲發佈圖像視頻感知評價指標Kingsoft Cloud Perceptual Assessment(KPA)，希望以此助力行業實現‘讓視頻更高清’的目標。”金山雲高級研發總監樊鴻飛在近日的LiveVideoStackCon 2020北京(音視頻技術大會)上表示。
比VMAF應用範圍更廣
當下，主觀質量評價和客觀質量評價是行業內兩大類圖像視頻質量評價方法，其中客觀質量評價分為全參考評價指標、半參考評價指標和無參考評價指標。據樊鴻飛介紹，目前，能夠達到商用級的評價指標非常少，學術界的評價指標主要都是針對有非常明確邊界條件約束的場景。商用級的全參考評價指標目前除了PSNR和SSIM之外，就是Netflix在2016年發佈的VMAF了，VMAF是第一個開源的商用評價指標，也是高清視頻領域的並經之路。無參考評價指標主要有BRISQUE、NIQE和VSFA，金山雲KPA選擇了無參考這個賽道。
KPA與VMAF的區別在於，一方面VMAF是全參考的畫質視頻指標，而KPA是一組無參考的畫質視頻指標，KPA可以應用在全參考來計算DMOS，同時KPA除了通用的整體質量評價外，還包括子維度質量、局部質量等細分評價指標，應用範圍更廣泛;另一方面，VMAF針對高清PGC視頻有比較強的能力，針對UGC沒有進行特殊優化，而KPA主要針對UGC視頻。
金山雲KPA主要希望用客觀指標來衡量人眼的主觀感受。“然而在畫質評測行業，用客觀指標來衡量主觀質量一直以來都是一個世界難題。由於設備分辨率、觀測距離、屏幕大小的區別等，觀看同一段視頻的主觀質量體驗會存在差距。此外，除了整體分數以外，還有各個子維度的分數，比如色彩、亮度、清晰度、畸變等。另外還涉及到網絡卡頓問題、VR視頻......，問題非常複雜。因此，金山雲KPA並不是用一個算法來解決所有的事情，目前發佈的KPA主要針對於UGC視頻，對於播放場景的映射也是針對於常用場景，同時我們也在探索包括子維度評價、局部評價、評價映射等主觀評價的各細分業務場景指標。”樊鴻飛表示。
在UGC場景排名問鼎
針對現有評價指標算法，尤其是無參考評價算法精度較低的問題，金山雲KPA主要從兩個方向進行了重點研究和優化：一個是數據篩選，另一個是模型攻防。
在數據層面，通過收集各種場景下UGC及PGC視頻，並保證至少50以上的專業評測人員對每個視頻進行主觀評測，從源頭上避免數據主觀評測波動和精度問題。同時，對收集到的數據，從內容、場景、質量等多個維度進行平衡篩選，在確保數據規模遠超業界開源數據的基礎上，提升數據的多樣性。在模型層面，通過攻防設計、協同學習、困難樣本挖掘等方法，提升模型的魯棒性和精度，在UGC場景中SROCC和gMAD分數均優於業界知名的有參考算法VMAF。
金山雲KPA可以有效應用於編碼及AI方向，避免或減少畫質損失，提升視頻或圖像主觀質量。在編碼方向，通過KPA對視頻進行場景級、幀級等全局質量預測分析，塊級局部質量預測分析，結合JND模型作為其最小可察覺主觀失真衡量，並由此自動決策出編碼所需要的CRF、QP等參數，能更好地匹配人類視覺主觀系統，消除視覺感知冗餘，在保證主觀質量相同的情況下降低碼率或者在相同碼率下提升主觀質量;在AI增強方向，通過將KPA的全局/局部/子維度評價作為不同側重點的loss或者判別器加入到模型訓練中，指導模型朝更好的畫質方向進行優化，進一步提升主觀畫質。
“在近幾年對AI的研究中發現，這項技術可在眾多領域廣泛應用，且能大幅度提升各領域的原有性能。在畫質評測相關的任務中，AI也幫助我們大幅度提升了SROCC和PLCC等指標。未來，我們的重點研究方向包括：1.進一步提升KPA泛化性，完善對各分辨率視頻映射能力;2.提升視頻編碼中JND、RDO等模塊算法主觀質量;3.利用KPA進行更好的超分辨率、去噪等AI算法研發;4.針對相機拍攝所需要的偏色、暗場、畸變等維度研究評價指標。一方面，我們希望KPA能夠拋磚引玉，吸引更多學術界的學者來關注企業應用中真正的訴求;另一方面，希望KPA能夠幫助視頻行業進一步提升視頻質量，推進視頻高清應用的發展。”樊鴻飛在演講最後表示。
