手指畫圈「穿越」足球場,QQ推出世界首個「手勢AI識別跟蹤」玩法

6月20日,手機QQ正式上線“QQ-AR穿越賽場”活動,打開手機QQ掃一掃進入活動,用指尖在攝像頭前或屏幕上的指定區域“畫圈”,即可開啟“AR任意門”,在現實場景與虛擬賽場之間穿梭,360度全景觀看虛擬賽場。這種玩法應用手機QQ和騰訊音視頻實驗室共同研發的畫圈手勢AI識別跟蹤技術、VIO(視覺慣性里程計)、全景視頻播放等多項黑科技,在技術解決方案、功能體驗兩個方面均實現了世界首創。

畫圈召喚“任意門” QQ-AR穿越球賽現場

擁有“世界第一運動”美譽的足球,一直以來都是深受年輕人喜愛的熱門運動。QQ選擇將足球運動與AR黑科技結合,並通過“穿越賽場”、“360度全景體驗”以及虛擬互動的打造,再一次刷新了用戶對於AR玩法的體驗。

據瞭解,觸發“QQ-AR穿越賽場”玩法需要通過一個核心手勢——“畫圈”,這是基於手機QQ與騰訊音視頻實驗室聯合推出的“手勢AI識別跟蹤”技術支持實現的。打開最新版本手機QQ掃一掃,點擊“QQ-AR穿越賽場”圖標進入玩法界面,根據手機屏幕提示,伸出手指在後置攝像頭前或手機屏幕上的指定區域,完成“畫圈”動作即可開啟“任意門”。

手指畫圈“穿越”足球場,QQ推出世界首個“手勢AI識別跟蹤”玩法

透過“任意門”,隱約可以看到綠茵球場、紅衣隊員、現場觀眾,手持手機向前走就能在現實場景與虛擬賽場來回穿梭。“邁過”任意門進入虛擬世界後,還能調整手機攝像頭360度全景觀看,很真實具有代入感。

手指畫圈“穿越”足球場,QQ推出世界首個“手勢AI識別跟蹤”玩法

以“QQ全明星隊員”身份進入虛擬賽場後,點擊“加入球賽”還可以參與趣味互動:在一段激烈比賽後,你的一個任意球罰球將決定最終勝負…互動之後還會生成關於此次球賽的魔法報快訊以及精彩進球視頻,可以分享給好友或者保存本地。

手指畫圈“穿越”足球場,QQ推出世界首個“手勢AI識別跟蹤”玩法

玩法、技術雙首創 QQ任意門“圈住”年輕人

近年來,隨著AR技術識別文字、圖像、手勢等能力的不斷增強,各種新的內容、玩法層出不窮。“QQ-AR穿越賽場”玩法將手勢AI識別跟蹤技術、VIO(視覺慣性里程計)技術以及全景視頻播放AR技術等多項黑科技結合,帶來跨越現實和虛擬世界的AR體驗,實現了技術上的世界首創。

具體來說,“QQ-AR穿越賽場”玩法基於手機QQ和騰訊音視頻實驗室聯合推出的、業內首次“手勢AI識別跟蹤”技術實現:當用戶手指在攝像頭前揮動時, 通過在終端運行級聯神經網絡計算,獲取用戶指尖的位置信息,得到指尖的運動軌跡,並記錄和擬合判斷是否畫圈成功。判斷畫圈成功後,再採用三維重建定位跟蹤技術,將虛擬的魔法門增強顯示到現實場景中,讓用戶可以穩定、準確的在真實世界和虛擬世界來回穿梭。

音視頻實驗室的手勢AI識別跟蹤技術在模型設計與前饋計算兩個層面對體驗進行優化。模型層面,通過蒸餾、剪枝等多種方法優化網絡模型,在最大限度保證高精度的前提下降低模型複雜度,在性能、準確率和誤識別之間取得了一個較好的平衡;在前饋計算層面,通過在CPU指令級別優化終端前饋計算性能,最終結合模型,實現了具有良好精度,實時的性能表現以及最大程度設備兼容性的指尖運動軌跡追蹤。

不僅在技術上進行了創新突破,“QQ-AR穿越賽場”玩法在創意玩法上將多項黑科技與體育運動結合創造“穿越賽場”的效果,將熱愛運動的年輕用戶從體育賽事的旁觀者轉變為賽場的參與者,也尚屬世界首例。

作為國內重要的年輕人社交平臺,QQ擁有超過六成的年輕用戶,他們追求個性、科技的玩法體驗。因此,QQ運用平臺、科技優勢,首次把多項黑科技與體育運動結合,打造“任意門”穿越、趣味互動等體驗,符合他們對於AR體驗科技、炫酷的期待,以及將黑科技融入日常生活的需求。一方面,QQ的AR任意門能夠“圈住”求新的年輕人;另一方面,年輕人樂於分享的特點,也讓“AR任意門”這一玩法通過社交關係鏈,迅速拓展到更多的領域和群體,反哺整個AR行業的發展。


分享到:


相關文章: