騰訊遊戲之名，如雷貫耳。在其盛名的背後，騰訊遊戲也有著專門的團隊進行遊戲內容處理和創作的研究和探索工作。為了解騰訊在相關領域的種種實踐及獲得的各種經驗，InfoQ 採訪了騰訊專家研究員孫子荀老師。另外，孫子荀老師還將會在今年 11 月 21 日舉行的 AICon 全球人工智能與機器學習技術大會（北京站）2019 上分享相關方面的重要技術和經驗。
以下是 InfoQ 對孫子荀老師的採訪：
InfoQ：孫子荀老師您好，請簡單介紹一下您和您目前所在團隊的業務和主要的技術研究領域是什麼？
孫子荀： 我過去幾年一直在負責信息流類產品的內容算法工作。目前我們團隊是面向騰訊遊戲的內容技術團隊。
團隊當前主要職責是騰訊遊戲在內容體系的全流程建設，幫助遊戲業務提升遊戲內容運營效率。包括對創作者和內容的管理 、挖掘、分析、分發，以及對遊戲內容素材的處理、生產、創作等。
技術團隊在能力建設上用到的技術主要是數據挖掘，多模態內容的處理、理解和生成相關的算法。因為我們主要面向騰訊遊戲業務，所以團隊會更加專注做好遊戲世界的內容分析。
在我們看來，一款遊戲就是一個小世界。就內容分析方面而言，由於不同遊戲的物理渲染、材質紋理風格以及最終的美術視覺效果表現不同，所以很難說會有一個通用的算法能夠應用於所有遊戲圖像（比如 U-Net Family，可以很好處理生物醫療圖像的 Spatial Detail，但損失了 Global Content）。遊戲中的 NLP 任務非常依賴領域知識，需要通過對預訓練模型 fine-tune 和遊戲本身構建的知識圖譜融合進行增強。
由於用戶每天所進行的遊戲、創作的視頻以及產生的直播流都是海量的，面對龐大的數據，團隊往往需要更加實時的處理和高效的並行化調度，而且這對模型和工程來說也是一項巨大挑戰。
InfoQ：目前您所在技術團隊的人員組成是什麼樣的？他們是如何進行“角色”分工的？研究人員是否需要具備很強的工程能力？
孫子荀： 因為團隊的整體業務相對整體，團隊內有直接面向業務的研發同學，也有偏平臺建設的後臺工程同學，而算法團隊在方向上可以分為語音、計算機視覺、圖形處理和自然語言處理等應用研究方向，現在有十多位博士。在落地上則按照進行業務專項來分成各個小組。
關於學術，團隊會給有需要的同學時間投入到研究工作上，以進行沉澱和提升，其產出形式，則可以是開源代碼、文章、期刊論文等。我們的研究同學也需要去參與算法對應的工程開發，能抽象優化掉開發中重複低效率的部分，對團隊乃至公司的基礎框架做貢獻。避免因為對整體目標的忽視導致局部選型不合理。
InfoQ：談及內容創作，便不自覺的會聯想到自己的編輯工作 ，考慮到自己的“飯碗”問題，想要請孫老師大致闡述一下，現階段 AI 技術在內容自動化創作方面達到了什麼程度？我距離被 AI 取代還有多久？
孫子荀： 內容自動化創作是一個工程系統和模型並進的工作。工程需要構建整個生產的 Pipeline，算法模型在這個問題上的努力就是不斷去拆分，解決內容創作的各個部分以及每個部分中的不同成分。
從當前內容自動化創作已經落地的系統來看，在可以結構化描述的場景下（如敘述型的內容）, 人們是可以進行自動化內容創作的，比如財經新聞、天氣預報等類似 Data2Text Studio 進行的工作。在用戶對創作品質具有容忍度的場景，一些生成技術如圖像風格轉換，特定人語音合成已經有了落地點。可能當前來說，人機結合是一個相對可實施的方向。
而在內容創意的部分， 人們則需要去收集更多的數據，人工並結合一些無監督算法的手段分析，如 RPCA ，AAE。把整體任務分成子維度，再分解成不同數據特徵的任務，在每個維度尋找可落地的技術（包括算法和工程結合）去逼近這個維度人能產生的數據效果。
另外，關於人類被取代還是很未來的事情。拿 ChatBot 來說，從最早出現在 60 年代的 ZLIZA，到現在微軟小冰作為通用的聊天機器人，它們與人類相比，在通用場景依舊存在著各種各樣的不足。不過，必須認同的一點是，技術一直在進步，內容創作自動化也很有可能在越來越多相對封閉的問題場景下得到落地。
InfoQ：AI 在內容自動化創作方面肯定存在著許多不同的應用方向，這些方向具體包括哪些？又分別運用了什麼 AI 技術？
孫子荀： 現在已經有很多的技術可以直接應用於內容生產的某些環節，如 NLP 的 GPT-2，CV 中的 ProGAN 等，它們都已經有了很好的落地場景。方向上除了內容領域的文章，視頻生產可以應用，在遊戲視頻創作中的音效素材，場景，字體素材都可以提供輔助能力來提升效率。
但是類似 Deepfake，或 Voice Conversion 方向的工作，要生成非常自然的效果還需要結合多種技術進行逐個環節的優化，而且每個任務所面臨的優化點都是有所不同的。
另外，雖然單一模型是重要生產力，但是想要變得業務可用，並且能夠上線提供服務，這整個過程還需要解決非常多的問題，而且往往二次處理“潤色”的算法和工作是更加複雜的。
InfoQ：關於遊戲內容自動化創作，騰訊有哪些具體的應用實踐，這些應用實踐都運用了哪些領先的 AI 技術或是算法？
孫子荀： 這裡介紹一個團隊正在做的工作：自動生成遊戲精彩對局視頻。
為了這個工作，我們需要充分的解析遊戲視頻的元素，將視頻序列還原至用戶操作流水的粒度，只有這樣，才可以讓下一階段的工作更加高效。
團隊在工作過程中，需要使用到的有 CV 算法模型，結合檢測、識別、跟蹤目標的特點，來進行反覆模型實驗和改進。其中，就檢測而言，就有可能出現很多不同的狀況：有的確定性目標，直接多尺度模板匹配算法就可以；有的目標因為跟蹤攝像機的視角變化，則需要合成大量角度的樣本才能更好的檢測；有的目標外貌風格遷移太大（如多人戰鬥場景，技能渲染場景），可以通過 I3D 輔助其他任務提取的特徵信息去融合識別。
再然後，團隊還會根據結構化好的標籤和原始的視頻連續幀，音頻等模態信息，一起進行下一階段的素材生成工作。在這個過程中，文字素材包括了 NLG 任務、Image Caption 任務任務；圖片，文字素材會嘗試 GAN、VAE 進行遊戲風格化轉換，OpenGL 等工具進行繪製；語音則通過聲學模型及 WaveNet 來加工合成。
InfoQ：在遊戲內容自動化創作落地實踐過程中，您的團隊遇到的最大的挑戰是什麼？又是怎樣克服這些困難的？
孫子荀： 對於團隊來說，最大的挑戰就是“如何把挑戰落地”。
在團隊的工作過程中，我們需要分析已有的人工創意，並嘗試對這些人工創意進行多個維度的分析，然後討論當前哪些部分可以用程序實現，算法能做到的侷限性又是什麼。同樣的，團隊在內容創作部分的工作，往往不是憑藉一個模型就能完成的，比如自動生成遊戲解說，就需要我們構建很多不同角色的 bot，而且每個 bot 背後的數據依賴，算法原理、工作流也都有所不同。
再舉個例子，當我們需要去聚合一類叫做“越塔強殺”的王者榮耀集錦時，首先能夠分解到的一個子問題就是“分析英雄當前是否在塔的攻擊範圍”，這就要求我們把看到的相機座標系還原迴游戲世界的座標系，並進一步結合標定數據等對全局的場景建模去計算塔的攻擊區域。
對於這些挑戰，我們很難說有一個方法能克服所有困難，但如果說收益最大，我們過去很長時間在遊戲圖像、視頻、文本分析上的積累是整個技術團隊最大的收穫。通過這些來之不易的經驗，我們可以顯式的還原整個遊戲戰場的劇情，進而使得我們下一階段的工作更加順利。
InfoQ：是否能介紹一下，當前的計算機視覺生成和其他技術的結合點？
孫子荀： 隨著深度學習圖像生成技術的發展，模型從過去的輸出不可預期，發展成了現在的可操作可干預。如 StarGAN 可以做到把圖像轉化到指定的目標域圖像，實現對面部屬性轉移操作；谷歌 NeurIPS 2018 上的工作可以通過 GAN 合成 3D 模型，支持形狀和紋理編輯、3D 視角調整等。
然而當前的計算機視覺合成數據的主要原理，還是在於能夠更好的解釋海量樣本數據，其穩定性和效果相比 CG 模型渲染出來的工業級效果還有很大距離。
現階段，我們計算機視覺方面的 AI 技術已經能在遊戲海報、遊戲內容配圖，視頻增加特效等要求不高的場景中落地。另外，我們還在嘗試通過多視點和單目 3D 姿態估計，在某些場景中做到平民化姿態捕捉，以生成視頻人像元素。
同時，使用 U3D 和 UE4 引擎生成視頻和圖片訓練樣本，這相比於其他的數據增強技術更加直接，也是我們在騰訊遊戲的優勢。同樣的，在這裡計算機視覺工作借力引擎能更好提升效率。
InfoQ：在遊戲內容自動化創作方面，您認為騰訊未來的發展方向是什麼？又會在哪些 AI 技術領域持續深耕？
孫子荀： 去年 9 月 30 日，騰訊成立了技術委員會，作為技術人員的我們切實感受到公司的技術氛圍越來越濃，我們團隊不僅參與到開源共建中，還和其他研究團隊一起成立了多模態內容分析的開源協同小組。
未來，團隊主要會立足於遊戲內容處理，我們希望能夠更多的去和遊戲內容運營的各個階段相結合，針對不同遊戲品類去優化我們的算法。也嘗試和兄弟團隊合作，通過強化學習的遊戲 AI，設計出多樣的價值函數，生成各類目標導向的遊戲對局，進一步豐富我們的視頻素材，做好遊戲內容自動化創作這一工作。
採訪嘉賓介紹
孫子荀，騰訊專家研究員，負責騰訊遊戲內容的算法工作。連續三年公司優秀講師，在百度和騰訊期間多次獲得公司級最高技術獎。
2009-2011 年 從事分佈式的算法研究工作，2011 年在百度從事 HPC 並行化算法的落地。2012 年加入騰訊，2015 年起從無到有帶領團隊構建了信息流的內容工程和算法平臺。一直從事負責內容處理，內容理解與生成的算法研究和落地工作。個人在內容質量、AI 內容生成上有較好的落地經驗。和團隊一起在 KDD，ICCV 等學術會議上有多篇論文發表，並作口頭報告；在內容算法場景也有 30 多篇授權專利。
閱讀更多 未來工業互聯網 的文章
