近期公佈的第14期微信創意小遊戲中有這樣一款產品，看似推理競技遊戲的外衣，卻沒有任何“嘴遁”環節，緊張刺激的推理投票在2分鐘即可讓玩家體驗到“狼人殺”、“阿瓦隆”等遊戲的快感，它就是圍繞AI設計的推理小遊戲《輪到你了揭秘篇》。
這款遊戲是超參數科技旗下SERES GAMES遊戲工作室的首款小遊戲產品，超參數科技成立於2019年初，初始團隊來自騰訊AI Lab和IEG，專注於探索如何將深度學習AI這一前沿技術賦能於遊戲這個巨大又成熟的行業，目前已經和一些頭部遊戲廠商建立了AI技術層面的合作。
SERES GAMES遊戲工作室成立於2019年底。不唯商業盈利論，團隊積極嘗試用AI賦能遊戲內的多種場景，希望用真實的遊戲應用案例而不僅是技術論文，讓行業認識到AI對遊戲的巨大價值、以及超參數在遊戲AI上的技術實力。
本期創造者欄目，遊戲茶館請到了超參數科技的SERES GAMES遊戲工作室團隊，他們將從《輪到你了揭秘篇》的設計邏輯、AI設計和具體應用上進行深度闡述。
為什麼要在遊戲中加入AI 《輪到你了揭秘篇》創意何來？
作為一家精通AI技術的公司，期初團隊想用個實驗性產品，快速驗證一下AI陪玩對玩家體驗和遊戲數據的影響，順便磨合一下團隊。抱著“什麼類型的遊戲最需要陪玩服務呢？”的初衷，團隊調研了各種各樣的遊戲市場，發現桌遊是各種遊戲品類中對陪玩服務需求度最高的品類。
桌遊的核心玩法多為玩家之間的策略博弈，相比手遊這種數值對抗為主的品類，玩家的能力強弱，更多的體現為策略優劣而非數值強弱。在眾多“競技類”桌遊中，團隊挑選了一款名為“阿瓦隆”的遊戲，因為它上手簡單又不乏深度，易懂難精。結合自身對於桌遊玩法的理解，團隊選擇了這麼一款多人推理遊戲進行AI化的改造。
桌遊玩法都面臨著冷啟動匹配的問題：一是在遊戲初期很難保證有足量玩家加入讓遊戲生態運轉起來，二是在遊戲成熟期很難保證玩家及時匹配到合適的對手、獲得理想的遊戲體驗。而深度學習AI通過較高的擬人性、差異化的段位和風格，能夠很好地解決冷啟動匹配的問題。事實上，《輪到你了揭秘篇》也正是由於AI的加持，才能快速突破冷啟動的瓶頸，並且維持了較好的玩家對局體驗。
遊戲的策略性越強、玩家的行為空間越複雜，AI的作用就越大。舉例來說，在《輪到你了揭秘篇》中，當玩家對另一個玩家進行監控投票時，他可能在懷疑這個玩家、也有可能在保護他、還有可能在向其他玩家釋放線索...同一個行為下，玩家背後的目的不同，他接下來可能產生的行為也大不相同。這種問題，如果讓傳統的行為樹來解決，那將是一個不可能完成的任務。而深度學習AI就可以很好地解決這個問題。
SERES GAMES遊戲工作室簡化和微調了“阿瓦隆”的一些規則，並且讓玩家不用說話、僅基於事實線索就能完整進行遊戲，一方面是便於AI訓練，另一方面也可以節約投入。在選擇遊戲包裝時，正巧碰上推理日劇《輪到你了》的熱播，於是便誕生了這樣一款產品。最終選擇微信小遊戲平臺上線，是出於方便迭代進行考慮的。
通過三個方面的深度學習 讓AI成為具有複雜推理能力的合格“陪玩”
對於《輪到你了揭秘篇》這樣一款推理遊戲來說AI的設計充滿挑戰，在這款非對稱性、非完美信息的博弈類遊戲中，AI不僅要學習在沒有直接通信下的合作能力，甚至還要學習應該與誰進行合作、與誰進行對抗。同時，AI還需要學習偽裝、欺騙等高級策略，以及複雜的推理能力，因為團隊從三個方面讓AI進行了深度學習。
一是提出了從小樣本中進行模仿學習的深度學習算法。在遊戲正式上線前我們無法獲得大量玩家數據，於是團隊招募了100多個玩家進行了2000多局對局，基於這些小樣本通過模仿學習先建立了一個初步AI版本。它能夠進行一些簡單的、符合邏輯的操作，但還不會推理和玩套路，只能對標一個新手玩家的水平；
二是在強化學習算法中引入了預測學習，來解決隱藏信息的問題。遊戲中最大的玄機在於身份的隱藏，人類在玩遊戲的時候會事先在心裡對其餘玩家的身份有一個估計，並以此為基礎來進行下一步的行動。於是團隊讓AI也做了類似的工作，預測學習模塊會根據當前可見信息實時預測可能的身份組合，並將預測結果輸入到強化學習模塊中，從而引導模型的訓練。這樣的AI已經可以觀測到一定的智能度；
三是提出了一種基於種群的多智能體強化學習算法，來解決傳統左右互搏的自對戰方法難以收斂的問題。團隊在訓練時會從種群中挑選對手，該種群中的每個個體在訓練過程中挑選的對手均不相同，從而演化出具有不同風格特點的、相生相剋的AI。通過對種群中的所有個體舉辦聯賽，並進行排名，從而獲得不同段位等級的AI。經過這一步的訓練，最強的AI已經可以達到比較高段位人類玩家的水平，能打出比較多的套路了。
團隊為了讓我們更好理解，舉了一個石頭剪刀布的例子，假設把10個人關在一個房間裡，由於每個玩家有自己的打法思路、擅長/不擅長處理的情況，他們其實是具備各自的風格的。通過他們互相之間的對戰，我們可以有一個大致的勝率排名，假設排在前5位的是“經常出石頭”的人、排在後5位的是“經常出剪刀”的人。這時候，有第11個人加入，如果他以戰勝前5位玩家為目標，他可能會學成“經常出布”；如果他以戰勝後5位玩家為目標，他可能會學成“經常出石頭”的；而如果他以戰勝全部10位玩家為目標，則可能會學出一套更棒的打法，根據對手策略來調整自己。隨著越來越多的玩家加入，通過為不同的玩家挑選不同的對手，我們就能讓玩傢俱備不同的風格特點和段位水平。這就是基於種群的AI學習方式。
AI設計要以優化玩家體驗為第一奧義 競技類桌遊將通過AI煥發活力
團隊設計AI是為了讓玩家通過網絡隨時找到合適的對手，始終是以優化玩家體驗為第一要義。團隊為AI設計了這樣一套調用機制：按照玩家段位針對性地匹配與其實力接近的AI，且玩家段位越低匹配到AI的概率越高。目的是當新手玩家對遊戲理解還不夠深時，能保證該玩家和其匹配到的其他玩家的對局體驗；而隨著玩家段位提升，又能逐步體會到“與人鬥其樂無窮”。
這樣的設計還是比較剋制的，目前並沒有觀察到引發玩家的反感，但玩家實際上已經享受到了由這些AI帶來的福利，包括更快的匹配速度、更好的對局體驗等。
玩家確實會猜測對面是否是AI，還經常會發在粉絲群裡引起討論。但實際上AI的表現已經和人類非常接近了，現在即使是遊戲開發人員，也不能100%確定是否是AI。
那麼AI設計究竟適用於什麼樣的遊戲呢？SERES GAMES遊戲工作室研究了BGG上的一百多款桌遊，我們把他們分為“娛樂型”和“競技型”兩類，娛樂型桌遊的強調的是社交氛圍的創造，達成破冰或者鞏固社交關係的作用，因此這類遊戲是無法做到電子化的；而另一類競技型桌遊，強調的是有深度的策略博弈，因此也被很多廠商挑為電子化的對象。
但普遍的問題是，這類遊戲上手門檻高、受眾小，玩家無法通過網絡隨時找到合適的對手，而複雜的策略又讓行為樹AI無法滿足玩家的挑戰要求。在以往，這類遊戲最終只能無疾而終。而今後，隨著深度學習AI的加入，相信能讓更多的“競技類”桌遊在電子化後，通過AI化煥發出新的活力。
團隊也總結了獲得微信創意小遊戲認可的原因，創意小遊戲對於內容創新是有要求的，同樣也需要運營數據進行支撐。在內容創新之外，《輪到你了揭秘篇》做了一種不需要“嘴遁”，通過投票等行為直接來推理身份的玩法，也是一種創新。從運營數據角度，深度學習AI為產品冷啟動保駕護航，讓PVP產品不需要“堆量”階段，也能保證玩家的對局體驗，從而夠擁有較好的數據表現。微信官方提供了一定的流量支持，在程序優化方面也提供了些幫助。
團隊將重心放在用戶長尾運營上 未來會推出更多線上線下AI挑戰賽模式
團隊坦言對於《輪到你了揭秘篇》這款小遊戲，並沒有嚴格的商業化目標，重心一直都在用戶的長尾運營上，一方面，團隊一直在做社群運營，定期組織圈內的玩家進行比賽，效果還不錯；另一方面，越來越多的優質玩家被沉澱下來，也讓團隊能夠訓練出更優秀的AI，從而不斷推陳出新，與玩家的實力成長做匹配，帶來持續的成長體驗。
在未來，《輪到你了揭秘篇》一方面會增加天梯賽這種傳統的活躍玩法，以及AI挑戰賽這種新型的遊戲模式。另一方面，在樂逗遊戲發行團隊的幫助下，也會有更加豐富的社群和賽事活動。
採訪的最後，團隊表示會繼續在AI和遊戲結合的道路上進行探索，多做一些商業化遊戲團隊不敢進行的嘗試。除了匹配陪玩之外，也會在其他環節進行試錯，像內容自動生成、數值自動平衡、智能NPC，甚至圍繞AI進行設計、讓AI在前臺直接面對玩家等，團隊都會去做積極探索。超參數科技希望能扮演好排頭兵的角色，為行業趟出更多更新鮮更靠譜的道路和方向。
商業合作方面，對於其中適合商業化的應用，超參數也會積極尋求各方面的合作，用實際的商業價值為AI技術提供背書，團隊也非常歡迎有興趣的團隊一起來投入探索（在遊戲茶館公眾號內回覆“超參數科技”，即可獲得團隊聯繫郵箱）。
- 風雨同舟 湖北地區招聘需求徵集中
- 細分市場勝利 維語棋牌遊戲出海沙特表現佳
- 把上架10年的桌遊變成微信創意小遊戲
- 休閒新遊賺錢類受歡迎 重度H5頭部替換率高
- 3月第2周25款手遊開測表
每一個「在看」，都是鼓勵
閱讀更多 遊戲茶館 的文章
