在《遇見你》（너를 만났다）這部紀錄片中，製作方一共用到了包含照相建模技術，動作捕捉，自然交互、虛擬現實以及人工智能語音合成 在內的各項技術，讓母親與娜妍得以重逢。那麼下面就讓我們一一道來。
一、照相建模技術
傳統的建模技術大多靠人工進行修改，費時費力，並且模型精度對建模師的技術水平要求較高。然而隨著VR/AR技術的發展和3D影像需求的增多，傳統的3D建模方式越來越難以滿足大規模的應用需求。越來越多的全新建模技術都在投入使用和嘗試，照相建模就是一種相對成熟且建模質量較高的技術。
製作方利用照相建模技術重建娜妍的模型
照相建模的原理是建立一個相機矩陣，將建模物體放置在正中進行照片採集，再通過AI算法將拍到的多張各角度的照片進行圖像處理，最後生成3D模型的方式。目前相關技術已經十分成熟，其拍攝速度可以縮短到1/200s甚至更低，數秒內就能完成模型的初步創建。通過高質量相機的拍攝，模型的精度也能夠達到經驗豐富的建模師甚至數週才能完成的的工作水平。
二、 動作捕捉技術
動作捕捉技術與照片建模技術相輔相成，可以說兩者將動畫製作的流程提高了至少五到十倍。照片建模技術優化了動畫師模型建模的過程，而動作捕捉技術則提高了動畫製作的效率。傳統的動畫製作是通過手動修關鍵幀，然後軟件自動對關鍵幀之間做平滑處理從而形成動畫，這樣的話，關鍵幀的數量就會極大影響動畫製作的質量。而動作捕捉設備，可以把虛擬的模型與真人直接鏈接在一起，動捕演員做什麼樣的動作，模型就會跟著做什麼樣的動作。
利用慣性動作捕捉系統完成虛擬角色
除此之外，人的運動是一個十分複雜的過程，涉及到全身各部分肌肉的協調。要製作出優質的動畫內容，需要經驗和時間的沉澱，網上有不少調侃動畫師門檻的短片，其實向我們描述了一個合格的動畫師的養成到底有多大的難度。但是通過動捕，即便是一個建模新手，也可以快速讓建好的3D模型動起來，並且和真實的人體運動一模一樣，全身的每一處微小動作，都和人運動的過程一致，這就是動作捕捉的魅力。
虛擬數字人娜妍，就是MBC請一位小女孩，穿好動捕服之後，根據導演寫好的劇本，做出各種鼓掌、揮手、奔跑等動作，然後記錄下來，傳輸到模型中去的。也正是因為使用了動作捕捉+照片建模，MBC才能在短短八個月內完成真人模擬這種龐大的工作量。
三、自然交互
虛擬現實面世以來，新的交互形態一直是大家所討論的核心話題之一，因為當我們的信息媒介從一個小小的顯示器變成了一個360度無死角的大場景後，現有的鼠標、手柄、鍵盤等工具就再也不是最適合我們的交互手段了。人們肯定希望能更流暢精準地進行自然交互，就像鋼鐵俠那樣。
在電影《鋼鐵俠》中所展示的手部自然交互
MBC選用的交互方式，是諾亦騰的動作捕捉手套Hi5。在視頻中可以看到，媽媽在戴上手套之後，撫摸了虛擬娜妍的臉頰，拉起她的小手，並且給娜妍的生日蛋糕插上了蠟燭。這也是整個視頻中，讓人淚目的瞬間之一。
《遇見你》中母親為娜妍插蠟燭的畫面
四、MR拍攝技術
視頻中我們可以看到，媽媽站在一個全都是綠色幕布的地方，旁邊的攝影師拿著相機進行拍攝，但是拍攝出來的畫面卻是娜妍最喜歡的公園。
這個技術在影視拍攝中經常使用，實際上這是兩段視頻流的疊加，虛擬的娜妍和虛擬的公園是一段視頻流，而媽媽作為真人，去除綠幕背景後，是作為另一段視頻流疊加到虛擬場景中的。綠幕使用的熒光綠色在電腦系統中更容易與前景分離，同時這種顏色較為明亮，不易產生黑邊，這是選擇這種顏色作為背景色的原因。
將媽媽在綠幕的視頻拍攝下來之後，傳到電腦中，再通過實時摳像去除綠幕背景，最後將 “摳”下來的視頻放到另一個背景中去，就形成了我們看到的畫面。例如下圖是，左邊顯示器裡頭是拍攝效果，右邊是拍攝場地。
五、虛擬現實
關於虛擬現實的科普想必大家這些年也聽的不少了，但是其實虛擬現實的基礎原理是我們高中物理所瞭解到的：雙眼視差。
簡單來說，人眼對3D感的識別來源於兩路不同的視覺信號，這兩路信號記錄了不同角度物體的反光、陰影、背景等信息。當兩路信號到達大腦之後，大腦就會對這些信息進行處理，從而產生所謂的立體感，而虛擬現實的兩路信號，就是通過虛擬現實頭盔裡面雙眼對應的顯示器顯示出來的。那麼為什麼單眼也能有強烈的3D感呢？那是因為大腦會對光影關係、透視關係、空間遮擋等進行識別。例如帶上頭盔靠近物體的時候，這個物體會變大，遠離它則會變小，這種情況下，我們的大腦也會默認這是個立體的物體。例如下面這張圖，大家都會認為這是個立方體，但是實際上，我們也可以說它們是2D的三個平行四邊形
六、人工智能語音合成技術
為了從多方面還原娜妍的虛擬形象，VIV Studio（MBC找的技術團隊） 還引入了 AI 語音合成技術，讓這個虛擬人物能夠發出和娜妍一樣的聲音，讓媽媽可以和娜妍展開簡單的對話。這項技術需要足夠數量的樣本，好在由於對女兒的思念，張媽媽保留了非常多女兒的視頻記錄。技術人員從娜妍的聲音樣本中提取了她聲音的核心，並且另外請到了五位小朋友進行錄音，作為娜妍聲音樣本庫的補充。最終，技術人員成功還原出了相似度極高的娜妍聲音，並且將其應用在娜妍的虛擬形象上。
無獨有偶，今年的一月份，國內一位失去15歲女兒的媽媽就找到阿里人工智能實驗室，希望製作一個女兒的AI程序和自己進行對話。但是最終因為倫理問題，阿里僅僅為其還原了女兒的聲音，但並未製作人工智能產品。
隨著科技的進步與發展，虛擬現實和真實世界的邊界正在逐漸縮小，也許未來的某一天，我們真的可以像《頭號玩家》一樣去暢遊在虛擬世界裡面，我們也可以同這位媽媽一樣，去完成人生的遺憾，再看一眼那些自己思念的人。但是不論如何都要記住，技術永遠是為了讓真實的世界更加美好而存在的。
閱讀更多 新浪VR 的文章
