計算機視覺技術深度解讀之視頻動作識別

視頻的理解與識別是計算機視覺的基礎任務之一。隨著視頻設備和網絡的普通，視頻理解也吸引了越來越多研究者的關注。而識別視頻中的動作則是其中一個充滿挑戰而又具有較高實際應用價值的任務。相比圖像來說，視頻內容和背景更加複雜多變，不同的動作類別之間具有相似性，而相同的類別在不同環境下又有著不同的特點。此外，由於拍攝造成的遮擋、抖動、視角變化等也為動作識別進一步帶來了困難。在實際應用中，精確的動作識別有助於輿情監控，廣告投放，以及很多其他視頻理解相關的任務。

與圖像識別相比，視頻分析需要更大量數據。早期的數據集KTH[1]，Weizmann[2]等僅由演員表演固定的幾個動作，如走路，慢跑等。之後，較大規模的數據集如UCF101[3]等由網絡視頻組成，具體動作類別則由志願者人工標註完成。目前，研究者發佈了更大規模的數據集，例如Kinetics[4]包含了上百類動作以及幾十萬視頻（如圖1所示示例），雖然相比實際情況仍不夠全面，但也對動作識別的研究有了極大的幫助。

圖1. Kinetics數據集的示例視頻幀

視頻動作識別目前常用的技術可以大致分為如下幾類：

1. 基於人工特徵的視頻動作識別

早期的動作識別主要基於興趣點的檢測和表示。梯度直方圖[5]，時空興趣點檢測[6]，以及光流直方圖[7]等都用於提取圖像和時序的特徵表示。與圖像相比，視頻蘊含了大量的運動信息，為了更好的利用運動信息，Heng等人提出了密集軌跡的特徵[8]，密集的提取和追蹤光流中每個像素特徵，編碼後進行分類。然而，當面臨大規模數據集時，這些特徵缺乏一定的靈活性和可擴展性。

2. 基於雙流的神經網絡

近年來，神經網絡在圖像識別、物體檢測等計算機視覺任務上取得了幾乎超越人類的成果，研究者在視頻任務中也越來越多的開始使用神經網絡。然而，直接將用於圖像分類的神經網絡用於視頻分類會忽略視頻的時序特徵，而時序特徵對於視頻分類尤為重要。介於此，研究者提出了基於雙流的動作識別方法。Simonyan et al. 提出了一個融合網絡[9] ，該論文首次將視頻分成空間和時間兩個部分，分別將RGB圖像和光流圖像送入兩支神經網絡並融合最終分類結果。如圖2所示，利用雙流神經網絡，可以同時得到視頻中人或物體外表和運動的信息，該方法在當時各個基準數據集上取得了領先的識別水平。

圖2. 雙流神經網絡結構圖

之後，又有許多研究針對雙流網絡這種框架進行了一些改進，例如Temporal Segment Network則提出了一種可以捕捉較長時序的網絡結構[10]。Xu 提出了基於密集擴張網絡的框架[11]，並探討了空間和時間分支的不同融合方式。

3. 基於三維卷積的神經網絡

除了雙流網絡，還有一些研究者針對視頻將神經網絡優化為三維卷積神經網絡，以此來捕捉更多的時空信息。如圖3所示，Tran等人首次提出了在視頻動作識別中使用三維神經網絡(C3D)代替二維的神經網絡[12]。此後，由於ResNet在圖像識別任務中取得的較好效果，Hara等人提出了基於三維網絡的ResNet[13]，Qiu等人也提出了用二維模擬三維神經網絡的偽3D網絡(P3D)[14]。

圖3.三維神將網絡示意圖。

最近，deep mind團隊提出了Inflated 3D ConvNets (I3D)[15]，具體方法是利用了2D網絡權重展開作為3D網絡的預訓練權重，同時藉助大規模的Kinetics數據集進行預訓練，在基準數據集上效果得到明顯提升。

4. 其他

此外，仍有很多研究者在探索其他更有效的視頻動作識別方法，如基於長短記憶網絡(LSTM)的識別框架[16]，基於對抗神經網絡(GAN)[17]的框架等。

雖然目前動作識別已經取得了快速的發展，但距離人類識別水平仍有很大的差距，在實際應用中也面臨著各種各種複雜的問題。我們期待著今後的研究中能夠出現更具有可擴展性，魯棒性的算法和框架。

參考文獻：

[1]. C. Schuldt, I. Laptev, and B. Caputo, “Recognizing human actions: a local svm approach,” in ICPR, 2004, pp. 32–36.

[2]. M. Blank, L. Gorelick, E. Shechtman, M. Irani, and R. Basri, “Actions as space-time shapes,” in International Conference on Computer Vision (ICCV), vol. 2, 2005, pp. 1395–1402.

[3]. K. Soomro, A. R. Zamir, M. Shah, "UCF101: A dataset of 101 human actions classes from videos in the wild", arXiv:1212.0402, 2012.

[4]. W. Kay, J. Carreira, K. Simonyan, B. Zhang, C. Hillier, S. Vijayanarasimhan, F. Viola, T. Green, T. Back, P. Natsev, M. Suleyman, and A. Zisserman, “The kinetics human action video dataset,” arXiv: 1705.06950, 2017.

[5]. N. Dalal and B. Triggs, “Histograms of oriented gradients for human detection,” CVPR, 2005, pp. 886–893.

[6]. I. Laptev, “On space-time interest points,” International Journal of Computer Vision, vol. 64, no. 2-3, pp. 107–123, 2005.

[7] I. Laptev, M. Marszalek, C. Schmid, and B. Rozenfeld, “Learning realistic human actions from movies,” CVPR, 2008.

[8]. Wang, Heng, and Cordelia Schmid. "Action recognition with improved trajectories." ICCV. 2013.

[9]. K. Simonyan, A. Zisserman, "Two-stream convolutional networks for action recognition in videos", NIPS, pp. 568-576, 2014.

[10]. L. Wang et al., "Temporal segment networks: Towards good practices for deep action recognition", ECCV, pp. 20-36, 2016.

[11]. Xu, Baohan, et al. "Dense Dilated Network for Video Action Recognition." IEEE Transactions on Image Processing (2019).

[12]. D. Tran, L. Bourdev, R. Fergus, L. Torresani, M. Paluri, "Learning spatiotemporal features with 3D convolutional networks", ICCV, pp. 4489-4497, Dec. 2015.

[13]. Hara, K., Kataoka, H., & Satoh, Y. Can spatiotemporal 3d cnns retrace the history of 2d cnns and imagenet?. CVPR, 2018 , pp. 6546-6555.

[14]. Z. Qiu, T. Yao, T. Mei, "Learning spatio-temporal representation with pseudo-3D residual networks", ICCV, pp. 5534-5542, Oct. 2017.

[15]. Carreira, Joao, and Andrew Zisserman. "Quo vadis, action recognition? a new model and the kinetics dataset.", CVPR 2017.

[16]. Donahue, Jeffrey, et al. "Long-term recurrent convolutional networks for visual recognition and deion.", CVPR. 2015.

[17]. Yu, Feiwu, et al. "Exploiting Images for Video Recognition with Hierarchical Generative Adversarial Networks.", IJCAI. 2018.