01.17 渡鴉科技創始人再創業,「rct studio」用AI引擎做沉浸式全互動娛樂

2018年12月,互動電影《黑鏡:潘達斯奈基》(Black Mirror: Bandersnatch)在Netflix上線,允許玩家代替主角在不同事件中做出選擇,選擇不同的故事線。

新奇的交互模式引起了觀眾的很大興趣,猛增的用戶流量甚至一度讓Netflix服務器宕機。2019年以來,谷歌、亞馬遜、BBC紛紛宣佈製作並推出自己的互動作品,在國內,愛奇藝、騰訊、B站等互聯網巨頭也開始佈局互動劇。

rct studio是36氪最近接觸到的一家新型創意娛樂工作室,成立於2018年,致力於通過人工智能研發下一代沉浸式交互娛樂體驗,公司曾入選美國最大創業孵化器 Y combinator, 同時是YC China第一批學員。

從交互的角度看,rct studio創始人呂騁認為,拿著遙控器在僅有的幾個選項中選擇劇情,並不是互動電影的最終的形態,這對觀眾體驗而言,是割裂的

在rct studio的設想中,用戶需要完全沉浸在故事環境中,自然語言和動作成為影視畫面的連接點,參與者可以自由進行決策,每一次動作都能被即時繪製成相應的3D視圖,推動故事發展。這從形式上來說,無法具體被定義為電影或者遊戲,rct studio將其統稱為沉浸式全互動娛樂。

那麼,如何做到?

rct studio自主研發的一款基於AI的Morpheus引擎,核心能力有機器學習能力(Machine Learning),自然語言程序(NLP)、文字實時轉3D圖像程序(Text-to-3D render)和基於深度神經網絡計算的動作預測生成 (Motion prediction generation system)。

通過對大量劇本的學習,Morpheus可以將所輸入的單一故事劇情拓展成一個開放世界,從文字中理解情節、人物之間的內在邏輯和關係,根據這些,豐富每個角色的思維、行動方式。相當於為每個人物後都是有一個獨特的AI模型,這些算法都會在這個故事線裡面理解出自己應該做什麼,然後他們會在角色和角色之間交叉驗證,最終可視化出來的所有可能的結局。

這樣可以提供的價值是,在觀眾參與進劇情之後,所作出的每一個選擇,只要是符合故事環境邏輯的,其他NPC都會據此開始作出反應。也就是說,AI可以自動完成故事線的構造,這解決了人工編劇在互動劇前期大量的故事分支工作。

渡鸦科技创始人再创业,「rct studio」用AI引擎做沉浸式全互动娱乐

故事分支

通過輸入文字,文字實時轉3D圖像程序可實時快速生成人和物體的物理表現及運動關係。

渡鸦科技创始人再创业,「rct studio」用AI引擎做沉浸式全互动娱乐

以實時推流的方式,算法在人物運動的每一幀會預判並推出下一幀的預渲染結果,達到一個可以實時動態的過程,不需要在本地進行操作,也不需要在電腦端做額外的渲染。

以走路為例,利用動作預測生成可以任意規劃路徑,在它走路的過程中也可以任意調整,假設在路徑中突然放置一個石頭,人會直接在動態的過程中避障,然後重新規劃路徑。

渡鸦科技创始人再创业,「rct studio」用AI引擎做沉浸式全互动娱乐

左側可自動避障

這是一種新的數字內容生產方式,呂騁稱,可以將製作週期大幅縮減。還是以走路為例,在傳統的製作流程中,需要先做三維建模、骨骼綁定、以及動態調整。利用這個程序,原本可能需要8-9月完成的工作,只需要3-4天就可以完成。

並且,這個程序可以支持多物體間的運動關係,考慮到物理層面的意義。譬如,杯子扔在沙發上和扔在桌子上,後者會碎,前者不會。在互動娛樂環境中,這可以為即時人物的反饋提供物理支撐。

總體來說,運用Morpheus引擎,製作一部互動娛樂產品的流程,只需要輸入一個好萊塢標準劇本,或描述一個足夠清晰的場景,機器就可以自動拓展故事節點、完善人物決策模型、生成場景物理表現和人與物的運動關係。

用戶戴著帶麥克風的VR眼鏡以及體感設備,扮演自己的角色,就可以開始與劇中人物進行語音對話交互,和動作交互了。

呂騁稱,rct studio核心希望解決的是如何將文字快速生成有內部邏輯的開放世界以及如何變成實時的動作,不論是Morpheus還是其他的技術手段,都只是為了最終提升虛擬數字內容生產效率的工具,rct studio希望做到的做虛擬數字世界的“水電網”。

與南京大學人工智能創新研究院合作,將推出用戶級體驗產品

根據rct studio聯合創始人馬欣潔的介紹,rct studio目前已與南京大學人工智能創新研究院達成戰略合作,雙方將圍繞強化學習(Reinforcement Learning, RL)進行課題合作,研究成果將幫助rct studio優化人物決策模型。

2020年,rct studio會推出一款用戶級別的娛樂體驗產品,以銀行搶劫案作為情景主題,主要面向海外市場。

渡鸦科技创始人再创业,「rct studio」用AI引擎做沉浸式全互动娱乐

在內容上, 呂騁表示,rct studio會偏好選擇先與成熟IP進行合作,目前與科幻內容發行商未來事務管理局已經達成合作,後者曾簽約的作家人數約達200人,包括《三體》作者劉慈欣,之後兩者或將合作推出交互式電影。

商業模式上,呂騁稱,比起面向B端直接提供工具,rct studio對C端市場更加感興趣。除了整體產品售賣, 在體驗的過程中的增值服務也在想象空間內。

目前rct studio團隊十餘人,總部位於美國洛杉磯,創始人呂騁畢業於英國利物浦大學,曾創辦人工智能智能操作系統渡鴉科技,被百度收購後曾出任百度智能家居硬件總經理,向百度集團總裁和首席運營官陸奇彙報。rct studio曾獲星瀚資本和 Y Combinator的數百萬美元種子輪融資,以及Makers Fund 千萬美元的 A 輪投資。


分享到:


相關文章: