離開了遊戲公司，卻給遊戲帶來了新的技術。
假如有一項新技術，不僅能成倍數提高3D動作製作效率，還能節省幾十萬甚至幾百萬的成本，甚至可以讓玩家給自家遊戲一鍵製作出大量的UGC內容，你信嗎？放在一年前葡萄君是完全不信的。
但有時候，技術突破給遊戲帶來的改變，能輕鬆超出我們的想象。
2017年，在藍港互動擔任SVP、曾製作《王者之劍》的梅嵩，與同在藍港互動擔任CTO的陳敏，都覺得做遊戲遇到了瓶頸。用梅嵩的話說，做遊戲需要更多的文化造詣，而他們刻在骨子裡的，是對技術的追求。
儘管早在2014年的時候他們就為藍港引入瞭如今熱門的PBR技術，並實現了DEMO，但幾款產品的嘗試不成之後，他們對製作遊戲的熱情漸漸消退了。
於是在2017上半年，梅嵩覺得是時候去做一些遊戲研發之外的事情了。很快，他和陳敏找到了當時熱門的AI深度學習方向，並對其中AI的人體姿態識別產生了濃厚的興趣。
就像人臉識別的普及一樣，他們希望把姿態識別跟3D遊戲的製作結合起來，解決以往動捕的高成本問題。隨後，梅嵩和陳敏離職創業，成立了小K動捕，開始研究和嘗試視頻動捕的技術。
然而，事情的進展並沒有他們想象的那麼順利，一方面，他們需要從頭學習AI技術的基礎內容，距離用技術解決問題差了太多的積累，另一方面，這項技術還停留在理論的階段，實現出來的效果對遊戲而言幾乎沒法應用。
經歷兩年多的研發，小K的視頻動捕技術總算是從同行口中的“挺有趣，但用不了”，逐漸完善到了可以讓遊戲美術傳一個視頻，等一會兒就生成一套可以用的3D動作基礎數據。比起美術自己手工做3D動作，用這些數據修整後使用的效率要快上4~5倍。
不僅如此，梅嵩和陳敏還開發了一些更貼合遊戲訴求的功能、工具，直接在服務器上對動作數據進行二次應用。只要一名玩家自拍一個全身視頻，上傳到小K的服務器，就能生成一套遊戲角色模仿玩家動作跳來跳去的視頻。
在功能完善的過程中，很快有大廠盯上了小K的技術。從營銷、內容製作、付費上都做了嘗試。
2019年中，騰訊，完美與小K動捕合作了一期《完美世界》手遊的UGC活動。鑑於這次活動傳播效果超出預期，後續騰訊的自研產品《一起來捉妖》，也陸續應用了這套技術。甚至，《一起來捉妖》基於小K的技術，做出了新的付費點。
《一起來捉妖》靈動坊
從同行婉拒到大廠願意連續合作，小K動捕這一路的堅持並不容易，如今梅嵩和陳敏的堅持終究是有了結果，而在技術這條路上，這一走就是3年。
用3年時間落地一項新技術有多難？
在遊戲研發方向摸爬滾打很多年之後，梅嵩和陳敏覺得有點累了。
2014年在藍港，他們針對一個IP項目做研發，陳敏提議引入PBR技術，實際運用之後做出來的DEMO的確讓人眼前一亮，然而做著做著他們發現，味道不太對。“有些遊戲人就像電影導演，他拍起電影來可以拍幾十年、拍各種類型，可我們對文化的理解沒那麼透徹。”
在他們看來，自己沒辦法像米哈遊那樣，對二次元理解有這麼透徹，也沒法對武俠等國有文化拿出精確的把握，做遊戲的過程中，他們總是容易代入一些技術向的東西。
2012年他們在製作《王者之劍》2D動作手遊時就實現了實時PVP，引入了一些新技術點，但嘗試來嘗試去，終歸還是卡在了遊戲的文化造詣上。等到2017年回過頭來看的時候，遊戲技術方面能做的圖形、引擎、服務器、客戶端，幾乎都被同行研究得差不多了。
不過這時他們發現，遊戲之外的行業，技術正在發生巨大的變革。比如AR、VR的發展、人工智能的火熱，作為重度的技術控，這些新鮮的東西非常吸引他們。
梅嵩和陳敏反覆思考，覺得似乎到了該創業的時候，於是他們離開了藍港，在2017年下半年成立了小K動捕，決定不再做遊戲研發，而是做遊戲相關的技術服務。
原因很簡單，當時AI深度學習技術有了突破，給視頻動捕提供了可實現的理論依據，他們知道做3D遊戲的動作捕捉成本很高，少則20~30萬起步，多則大幾百萬，並不是所有遊戲公司都能負擔得起的。於是他們想到了用AI技術來降低傳統動捕的門檻，覺得這可能非常有價值。
不過擺在他們面前的困難並不少，最大的難點就是新技術的研發。當時，研究人體姿態識別的論文有一些，但都停留在理論研究層面，沒有真正討論實際應用的問題，更不用說用到遊戲3D動作這麼垂直的領域。
首先，AI很難通過普通視頻識別出3D的位移數據，因為視頻圖像是2D的，識別的誤差很大。其次，哪怕識別出了數據，用到3D模型上，人物會顯得非常抖動，就像沒站穩到地面上一樣。最後3D人物的建模風格差異巨大，識別真人數據以後再套用，很容易出錯。
幾經周折之下，他們終於發現了問題的核心：(1)AI訓練數據不夠；(2)光靠AI識別捕捉的效果達不到實際使用要求。
深度學習的原理是讓AI通過大量的數據積累經驗，來應對各種各樣的識別場景，做到最大程度的減少誤差，通俗一點講，就是要調教，調教需要大量的數據進行訓練，後來他們建立了自己的數據中心，進行了大量的數據標註，一點點積累自己的數據集。
同時他們還運用了大量以往遊戲動畫研發的經驗，來優化和調整各項實際應用的效果和功能，最後終於在2019年下半年，得到了一份階段性的成熟版本。
技術是有了，但該怎麼用呢？
對小K動捕來說，如果只做純技術，那和注重理論的論文可能就沒什麼區別了，所以如何落地的重要程度，至少佔到整個項目的一半。
小K的團隊成員都不質疑視頻動捕的潛力，就好比人臉識別，它顯然能帶來巨大的改變。但具體來看，又該怎麼去應用這項技術，這個細節層面的問題成了大家爭論最多的部分。這些路沒人走過，想起來痛苦，實現起來也經常碰壁。
2018年底的時候，梅嵩拿著早期版本去找動漫公司做推廣，但動漫公司大都有了自己的動捕設備，覺得當時的版本也不太適合做3D動畫。梅嵩也設想過為專業美術提供服務，可當時的版本還不完善，業內的朋友看過以後說：“你這個確實挺有趣的，但用不了。”
轉機出現在梅嵩、陳敏和朋友的一次飯局上，聊到視頻動捕之後，大家突然靈感迸發，這種低門檻的動捕方式可以作為玩家UGC玩法做到遊戲裡呀。他們一番討論下來覺得，可以在遊戲中代入動捕數據作為玩家一種全新的個性化展示的特色玩法，也可以直接生成遊戲角色短視頻，做到遊戲外，用於宣傳推廣使用。
短視頻功能實現了以後，不少公司開始嘗試起了這個玩法，大家都沒見過，都覺得很有趣，不久後就有大公司看上了小K。2019年年中，《完美世界》手遊跟小K合作，在6月份的時候上線了一期UGC活動“舞林大會”，用戶可以自由使用小K的功能，上傳自己的舞蹈，生成遊戲角色模仿自己的場景和舞蹈。
很快這個活動的數據爆炸了，由於玩法新奇，玩家們的UGC短視頻很快走紅，用戶的微信分享率成為當期遊戲活動類數據最好的，遠超其它活動類信息的用戶分享。
小K動捕1.0版本的效果
嚐到這一波紅利之後，騰訊旗下的《一起來捉妖》也馬上跟小K達成了合作。《一起來捉妖》上線的不僅僅是一個活動，而是將UGC玩法代入遊戲，並嘗試與付費內容做了結合。由於這款遊戲是AR遊戲，自帶場景UGC的能力，用了小K之後，部分妖靈角色的動作也有了UGC的空間。
比如在守擂玩法裡，玩家可以給妖靈自定義動作，讓它守在地圖中的擂臺，被其他玩家看到。而這個時候，玩家自定義的動作就會有更豐富的表現力，除了搞怪的奇怪姿勢、尬舞，還可以實現一些挑釁的動作，激起其他玩家的競爭心。
除此之外，妖靈本身可以跟在玩家的身後，顯示在地圖上，而它們的跟隨動作也可以由玩家自行製作、設置。而玩家想要獲得自定義動作，除了在地圖中隨機獲得動捕券，還可以直接購買動捕券，也就實現了新內容、新玩法的付費功能。
這樣一來，千人千態的效果就非常突出了。如今，與小K達成合作意向的遊戲廠商，已經有近10家，除了騰訊，完美的幾款產品之外，還有一些MMO類遊戲也找到了與視頻動捕技術的結合點。
其實仔細研究，我們不難發現這套技術還有很多的應用空間。比如個性化展示，在MMO類遊戲的好友界面、角色界面可以配置自定義動作，在廣場等社交環境下可以加入互動動作，在副本等待時也可以與隊友互動，更立體一些的情況下，甚至可以實現吃雞類遊戲的尬舞玩法。
可以想象一下《堡壘之夜》的音樂會
更復雜一些來看，在MMO遊戲裡還可以應用到UGC商城中。UGC內容付費已經是很多沙盒遊戲的主流付費趨勢，而MMO可以很好地兼容這種模式。
比如《冒險島2》等MMO產品已經有過自定義皮膚商城的模式，當玩家自制的內容被其他玩家看到、點贊、使用、付費的時候，創作者也更有動力去製作新鮮好玩的內容。只是對於一般用戶來說，皮膚的製作門檻並不低。
而使用小K的技術後，玩家自制動作的成本，就只剩下自拍一段視頻和上傳下載了，這樣他們很容易快速製作出一個有意思的動作、舞蹈、互動效果。遊戲內部的UGC自產自銷循環，也就更容易形成了。
除了一些商用的合作項目、合作形式在增多，自來水的玩家、用戶也越來越多了。
小K動捕的專業版目前在小K網上進行內測，最近梅嵩發現，在沒有做任何外部推廣的情況下，漸漸地固定使用人群達到了1000多人。每當網絡上有什麼新的舞蹈動作或者歌曲，就有用戶將它傳到小K的後臺，生成各種自定義的視頻，傳到用戶的社群中，或者自行使用。
不僅如此，有的遊戲愛好者為了安利其他愛好者，甚至在B站上傳了視頻動捕到3D動作的製作教程，用劍網三的素材，在幾分鐘內製作了一個翹著二郎腿吃爆米花的動作效果。
評論區裡，其他用過的玩家也在自發地安利小K，對這些二次元愛好者來說，自己利用MMD製作動作，相對來說還是門檻太高、速度太慢了，而視頻動捕的確是方便了太多。
事實上，小K專業版的效果已經達到了可供專業美術使用的標準，生成的動作數據可以直接支持導入3D動作工具中進行調試修整，很快就可以調整出達到遊戲美術標準的3D動作。
而且由於藉助了AI算力，視頻的數據提取時間往往在1:2~1:4之間，而當提取出動作數據之後，需要優化的時間就很少了，梅嵩提到：“一段30秒的舞蹈動作，靠動畫師純手工製作需要兩週的時間，而用小K導進去修一修，兩天就完事了，相當於工作效率提高了4~5倍。”
在越來越多合作廠商、業內夥伴、專業用戶以及玩家的建議和引導下，小K動捕逐漸抓準了幾個應用的方向：
首先是面向用戶UGC內容的應用，重點是遊戲，短視頻，虛擬直播等方向。
針對遊戲項目的合作，他們會提供一些以往的合作經驗，來指導廠商選擇前期營銷活動、UGC玩法定製，以及其他付費點定製等不同的嘗試手法，找到符合自身遊戲的特定模式。此外，還會提供一些如小程序製作等配套服務，來方便不同項目快速上線活動。
其次是面向PGC方向的應用，提供專業美術、遊戲美術使用專業版的動作數據識別、提取功能。上傳視頻，就可以快速獲得相應的動作數據文件，以供進一步的調優。梅嵩透露，目前已經有不少固定的用戶，每天都會使用小K提取動作數據。
這樣一來，不管是大型廠商、中型團隊，還是小型開發商甚至個人，都可以輕鬆地使用這項技術，做自己想做的內容。
目前他們已經將專業版和娛樂版的入口放到了小K網，直接基於網絡協議就能實現，梅嵩說，沒有做成SDK的原因在於，他自己也知道SDK接起來麻煩，合作方會有顧慮，用網絡協議就好很多。
伴隨著逐漸完善的功能，小K也在嘗試完善更多的細節、實現更強的效果。比如目前他們已經實現了物理效果，根據遊戲提供的素材，生成的視頻可以直接表現出飄帶等特效。接下來，他們還計劃在今年內攻克手指動作識別、表情動作識別等技術難點。
技術一樣能為遊戲帶來巨大價值
這些年，有不少從業者都離開了遊戲圈，似乎這個圈子少了些活力，往前走得也慢了下來。像梅嵩和陳敏這樣，一些遊戲人創業之後，都放棄了繼續做遊戲的這條路。
然而創業伴隨著痛苦與折磨，尤其當創業的目標是做一件新事物的時候，小K在剛成立的頭一兩年，也因為摸不著門道而吃了不少的閉門羹。直到現在，他們也只有十幾名成員，擺在這個小團隊面前的困難還有很多。
有意思的是，儘管梅嵩和陳敏對做遊戲感到了疲憊，但出來闖著闖著，似乎心又不由自主地飄回了遊戲上。梅嵩跟說，現在他們還有很多要做的事，任務非常重，但大家每天都很興奮，“就好像從前做遊戲的日子那樣。”
在考慮視頻動捕實際應用方式的過程中，或出於對遊戲的瞭解，或因為與業內朋友的交流，他們考慮的答案，總是又繞回“怎麼做才能讓遊戲變得更好”的問題上。當發現兩者的結合點之後，團隊成員自己，甚至都會玩上頭。
葡萄君用自己喜歡的遊戲錄屏試了一下，的確容易上頭
有了這種動力，有了一些實在的案例，他們越來越迫不及待地去腦洞更多的玩法。比如團隊成員把每個遊戲品類都拿過來找結合點，發現個人展示、3D場景互動、開放式小玩法、UGC商城等等，都可以做。
梅嵩也堅信，技術同樣能為遊戲帶來巨大的價值，只要小K能繼續提高視頻動捕的質量，那麼它的應用空間還會越來越廣。因為玩家喜歡更高品質的內容，從業者需要更高的效率，廠商也需要提高自己的產能，所以現在他們還在尋找更多類型的產品和IP，嘗試不同的創意。
看到梅嵩和陳敏兩個“技術控”的創業之路，這讓葡萄君有些感慨，在不到3年的時間裡，光靠這十幾個人，就能做成一項新的技術，並且樂在其中，或許遊戲人的熱愛從來就不是研發遊戲這一種。用技術改變遊戲，為遊戲服務又有何不可呢。
甚至連“小K”這個名字的來源，都如此具有程序員的風格：“在遊戲行業裡面，做動作叫做K幀，然後在AI行業裡面，大家都喜歡把產品擬人化，體現它人性的一面，比如小度小愛，所以我們覺得我們的產品可以叫做小K呀。”
遊戲公會20年｜美國市場出海成績｜版號
劍與遠征｜2020年重磅產品｜字節跳動
閱讀更多 遊戲葡萄 的文章
