專業篇｜《復聯3》製作流程揭祕攝影頭條網

影丨視丨制丨作

Audio & Video Production

轉自 | NUKE自習室

最新的復仇者聯盟電影最顯著的一個方面是對手塔諾斯有多少焦點，放映時間和同理心。小人被批評為一維或缺乏動機並不罕見。通常，情節提供的動機和性格很少，反過來也很少見到任何微妙之處。在復仇者聯盟無限戰爭中， 塔諾斯是一個遠離典型的啞劇漫畫惡棍的角色。相反，我們認為Thanos是一個複雜的角色，具有基於Josh Brolin表演的細膩表演。

Brolin可以提供如此細微的測量性能的主要原因之一是，他在原理攝影開始時看到了Digital Domain首次進行的複雜Thanos測試（見下文），並且認識到該過程可以在保持他的微妙性整個管道的性能。

在影片中，Thanos角色主要由Digital Domain製作，他曾拍攝超過400張照片。他們和瓦塔一起處理泰坦諾斯與奇怪博士，星際主義者，蜘蛛俠，曼圖斯，德拉克斯和鐵人三人之間的泰坦之戰。

Digital Domain面對邪惡

視覺特效總監Kelly Port領導數字領域團隊，為復仇者聯盟：無限戰爭開發了新面孔。

其實從這部電影的開頭就非常清楚，在屏幕上有超過40分鐘的塔諾斯，如果角色不工作，電影將無法工作。因此，他們在拍攝前三四個月聘請Digital Domain進行廣泛的測試和開發。

喬什布洛林的測試

Marvel的這種早期承諾在Josh Brolin扮演Thanos的方式上是至關重要的。

這次測試涉及喬希布洛林的三或四個鏡頭，這些鏡頭是演員一起與導演商定的。Digital Domain拍攝了這部影片，並將Thanos放置在Throne室內（酷刑室旁邊），以完全渲染和最終質量的拍攝順序播放。

此測試序列由Digital Domain在原理攝影的第一天準備完成。“這是拍攝的第一天，我們在預告片中，是Kevin Feige和這些Marvel高管，還有Russo兄弟（導演）和Brolin。我們站在角落，Josh Brolin正在審查測試，而漫威和俄羅斯兄弟已經對它興奮不已，但我們需要將它展示給布洛林。“回憶起Port。該測試顯示了可通過管道進行的低關鍵績效水平。從測試中可以清楚地看出，Thanos的數字化表面上仍然會讀到小而明智的選擇。“對於他來說，作為一名演員，因為他正在扮演一個非常大的CG角色，這真是太棒了。

今天回顧一下這個測試，大約18個月後，Port和團隊驚訝地發現他們進一步改進了這個過程。這部分是由於新方法的迭代學習本質以及團隊在生產過程中提煉的技巧。

在設置

原則拍攝開始後，這個過程就開始於任何將被數字化替換的演員，穿著身體套裝。喬什布洛林在動作捕捉式套裝中拍攝，但並不總是處於捕獲量。有時候，這個團隊在動畫中稍後會依靠他的身體表現來配合他的身體表現，因為那時候的腳本需要太多額外的元素才能使整個身體獲得相關。這仍然意味著Brolin動作捕捉的大約90％是在膠片上完成的，運動捕捉相機和傳感器內置於精巧的套裝中。“對於演員來說，這是非常好的工作，而不是在一個空白的拍攝數量階段”，Port說。

對於他們的臉，演員們穿著頭盔相機鑽機（HMC）以48 fps的高清分辨率拍攝立體聲。這些被垂直安裝在演員面前。包括Brolin在內的每一位演員都將以數字方式重新創作，並在他們的臉上追蹤標記。

一旦剪輯建立起來，團隊就獲得了動作捕捉，面部捕捉和平板攝影的時間碼。在這一點上，團隊將開始追蹤臉部。直到這一點，管線與許多製作中建立的大多數類似水平面部管線相匹配。正是在這一點上，Digital Domain創新了它如何處理素材和輸入數據。

Digital Domain創建了一個全新的兩步系統，使用其內部的Masquerade和Direct Drive軟件工具處理面部動畫。這兩種工具協同工作以創建Thanos的高質量生物臉部動畫，始終根據演員的現場表演進行構建。

假面舞會

立體頭枕凸輪提供Brolin臉部的低網格重建。但不僅僅是試圖從這個低分辨率網格解決到一組FACS AU，Digital Domain管線智能地將標準低分辨率網格內插到高分辨率網格。它使用新的Masquerade軟件來完成。

“假面舞會是一個全新的專有應用程序，它使我們能夠以比過去所看到或做過的任何事情更靈活，更少的限制來捕捉面部表演”，數字人類負責人Darren Hendler解釋說。假面舞會大大提高了Digital Domain能夠從演員身上獲得的品質和微妙之處。

美杜莎掃描平臺由迪士尼蘇黎世研究中心開發，它採用多個攝像頭拍攝兩個靜止姿勢（很像LightStage）的演員，但也在移動。這種基於時間或4D捕捉的數據通過數據顯示人臉在關鍵姿勢之間如何移動，以及關鍵姿勢本身的極高分辨率3D網格。

該程序使用機器學習算法“將網格轉換成具有與我們使用高質量，高分辨率採集設備時所獲得的相同保真度的高分辨率網格”。評論端口。

本質上，DD採用頭盔式相機系統中的幀，並使用AI輸出更高分辨率，更精確的演員臉部數字版本。假面舞會使用機器學習從Medusa掃描會話中採集先前收集的高分辨率跟蹤數據，並將從動作捕捉HMC會話中採集的150個面部數據點轉換為大約40,000點高分辨率3D演員臉部運動數據。

儘管HMC單元非常有用，但高清攝像機所提供的細節遠不如一位演員剛坐在美杜莎設備上的細節。美杜莎鑽機的缺點是演員坐在特殊的照明裝置上，保持頭部相對靜止，但拍攝了一系列高質量的計算機視覺相機。一方面，HMC攝像機為演員提供了一個更好的演出環境，因為他們在真實場景中使用，同伴演員可以自由交互，但這是以較少的跟蹤細節為代價的。這與美杜莎掃描相比，數據更豐富和更詳細，但演員僅限於一個特殊的座位單位，燈光受控，移動受限。

以下是假面舞會的工作原理

從高分辨率掃描中收集的訓練數據準確地顯示了演員的臉部通過面部動作團隊能夠做什麼。這允許計算機看到許多細節，包括演員的臉部如何從表情到表情移動，演員的臉部範圍的限制以及演員的皮膚如何起皺。這種4D數據非常有價值，因為其他管道只是捕捉關鍵姿勢，然後軟件留下來映射姿勢之間的轉換，以及皮膚如何移動和延伸以從一個姿勢轉換到另一個姿勢。

來自SIGGRAPH 2017論文的Masqueade測試鏡頭

“在與演員的動作捕捉過程中，他們會穿戴帶頭盔攝像頭系統的動作捕捉套裝，並與其他演員一起現場表演。在此期間，我們可以對演員進行身體捕捉和麵部捕捉同時“評論Hendler。這不僅對演員表演有幫助，而且臉部數據是準確的，並且與身體運動相匹配以便傳送。如果演員在行走和走線時要快速轉動，則由行走和轉動引起的面部的二次運動都會與該身體動作一起被捕獲。稍後坐在美杜莎中的同一條線不會有那種慣性和相同的身體同步。顯然，所需要的是兩種投入的結合，來自美杜莎專家的細節以及現場和同步的面部表演。雖然這是手動完成的電影，但是Masquerade通過AI訓練數據來做到這一點。在化妝舞會之前，高分辨率和準確的數據，對於演員的表情來說，僅憑他們的現場表演是不可能的。

Masquerade的解決方案在結合兩個數據流方面並不完美，但這不是過程的終點。“在這個階段，我們使用QC和眼球解決方案，如果出現錯誤，我們可以進行修正，並將其反饋到機器學習算法中，”Port解釋說。“在這一點上，它仍然是一個'學習過程'，所以你提供的數據和調整越多 - 它越好，下一個解決方案將具有更高的保真度”。這意味著在生產過程中，隨著機器的學習，團隊能夠獲得越來越好的結果。

從技術上說，假面舞會不是一個神經網絡或類似的常見AI計算機視覺方法，它是一個局部空間基礎功能。這是一個查找補丁的本地空間查詢。實際上，假面舞會說'在這個區域，我儘可能扭曲了網格，所以現在我有足夠的信息來查看並瞭解此時的面部應該看起來像什麼樣的'或'基底網格中缺少的東西它匹配高分辨率訓練數據“，Hendler補充道。低分辨率網格中的“缺失”通常是高頻信息，我們稱之為皺紋或稱眼睛周圍有烏鴉。然後它以巧妙和一致的方式添加這些。

通過新的Masquerade軟件的兩篇論文之一（2014年蘇黎世迪士尼研究中心）

從技術上講，化妝舞會基於兩部分研究。它始於2008年的SIGGRAPH論文，由Bernd Bickel，Manuel Lang，Mario Botsch，Miguel A. Otaduy和Markus Gross撰寫的姿勢空間動畫和麵部細節轉移 。第二篇研究論文以此為基礎，最近在2014年發表：使用動態形狀空間分析的面部表現增強。這是發表在ACM Transactions of Graphis上，由迪士尼蘇黎世研究所的高級研究人員組成。（Amit H. Bermano，Derek Bradley，Thabo Beeler，Fabio Zund，Derek Nowrouzezahrai，Ilya Baran，Olga Sorkine-Hornung，Hanspeter P.ster，Robert W. Sumner，Bernd Bickel和Markus Gross。）

從2014年的這篇文章中可以看出這一進展

在上面的測試中，可以看到女演員臉部上的圖像標記（點）產生相當平滑或低頻率的網格，然後利用包括皺紋在內的更多細節來增強該網格，以產生高分辨率的最終輸出。

迪斯尼研究蘇黎世現已成為世界上最受尊重的面部重建和動畫團隊之一。他們的工作不僅通過Digital Domain使用，而且還被ILM廣泛用於面部通道。

這兩篇關鍵論文中突出強調的/數據驅動的方法是由Digital Domain的Lucio Moser，Darren Hendler和Doug Ruble將他們在復仇者聯盟：無限戰爭中使用的混合新型偽裝解決方案整合在一起的。他們的解決方案已成功使用，產生的重構誤差更低，計算量更少，所需內存更少，而且仍採用類似的方法，並利用2014年蘇黎世迪士尼研究中心的工作。

這種整體方法解決了FACS方法的一個基本問題，即組合AU的非線性組合效應。通過這種方法，Digital Domain擁有了真實的數據，可以從美國亞特蘭大培訓數據Medusa會話中的表達式之間移動到他們為復仇者隊建造的Medusa平臺。但關鍵在於它是基於喬什布洛林與其他演員合作演出的，而不是單獨在美杜莎鑽塔中。

一旦球隊進行了高分辨率的動作比賽（在這種情況下是喬什布洛林），球隊可以將其從3D Brolin重新定位到3D Thanos。

直接驅動

Digital Domain渠道中的第二個新流程是Direct Drive。直接驅動從假面舞會獲取數據並將其轉移到目標生物上，例如復仇者聯盟：無限戰爭，從喬什布洛林到塔諾斯，通過創建演員和生物之間的映射。直接驅動版本以前由Digital Domain在諸如“美女與野獸”等電影中獲得成功。

該映射包括定義參與者與角色之間的對應關係，包括每個獨特解剖結構的不同元素如何對齊。直接驅動器然後找出將Brolin的獨特臉部表演轉移給Thanos獨特臉部的最佳方式。

直接驅動與直接重定向有什麼不同？“它與Masquerade類似，我們不依賴於臉型設計來創造角色的最後動作，我們不會選擇Josh Brolin的臉部，並根據基於FACS的裝備進行解決，因為我們不是依靠在基於流式細胞儀的最終性能的鑽機上，......我們並未被鎖定到“解決”面部鑽機“。他們將Digital Brolin網格的幀與數字Thanos網格之間的對應關係映射到一起，然後才將這個解決方案解析回動畫設備，以便動畫設計師可以對其進行調整和調整。這與正常過程相反。Hendler解釋說：“這種新型動畫鑽機比定義的鑽機更像是偏置鑽機或控制鑽機。“在直接驅動期間，

這也是Digital Domain添加一定級別的動畫輸入的關鍵階段，以確保演出的表現儘可能準確地描述在角色上，並符合導演的需求。該過程旨在允許動畫輸入。雖然起點是表演的最直接轉移，但Thanos臉部不同的頭骨和形狀的本質意味著角色動畫團隊仍然在提供Brolin最初設定的內容方面至關重要。這些工具提供了數學上正確的東西，但正如照明一樣，有一個“正確匹配”，然後是最有效的傳遞，以講述故事。

“對於動畫製作，我們建立了一個專門的裝備，可以儘可能多地將動畫表現轉化為動畫控制，它仍然保留了已經捕獲的所有高分辨率數據，並確保我們不會失去演員表演的任何微妙之處”亨德勒說。

為了最後的表演將鏡頭傳遞給由動畫總監Phil Cramer領導的動畫小組，以進行微調並進行任何導演驅動的更改。

克拉默和他的團隊總是能夠參考這個過程的早期階段，並且經常會與塔諾斯一起看布洛林的剪輯。“最終，隨著我們拍攝更多鏡頭，這個過程變得越來越快。”Port評論道。“這對於處理400張以上的照片非常有幫助，如果沒有這些工具，只需要使用關鍵幀進行拍攝就需要花費更多的人力和精力，這對於轉換多次拍攝來說非常重要。對我們來說真的是一大進步，“他補充道。

動畫師控制的工具之一是臉部肌肉上的皮膚滑動，但是團隊並沒有在自然捕捉的頂部進行肉體模擬。“但我們正在進一步研究這個問題，而且我們希望能夠更多地使用前進方向，因為我們仍然需要做很多基於鏡頭的建模”，Port評論道，指的不僅僅是面部管道。“他的肌肉有方向，我們在計劃中並沒有真正考慮到這一點，奇蹟覺得，即使Thanos剛剛站立，為了讓他活下去，需要小小的肌肉開火，彎曲和移動......這些都是調整我們通過肌肉模擬，射擊建模和/或在其上運行皮膚滑動模擬來解決問題“，他補充道。

照明和著色器

除了動畫之外，團隊還努力研究角色管線的著色器，燈光和技術合成。

即使在上面的動畫捕捉過程中，Thanos的最終模型仍需要雕刻孔隙級別的細節。在這裡，團隊使用Brolin的一些攝影測量掃描來查看孔隙水平細節，並用Z-brush將其添加到Thanos模型中。“克里斯尼科爾斯是我們的外觀開發人員 - 紋理監督員和傑里米·布特爾CG總監一起做了一件了不起的工作，克里斯是第一個跳上塔諾斯並且真正對待他的外表的人，他做了大部分的位移和細孔水平的細節“，Hendler評論道。

該團隊為他們的所有工作提供了V-Ray。角色面臨的部分挑戰是讓他的皮膚顏色變得正確。團隊有一套小型模特，可以在場上拍攝，但每個照明環境都提供了自己的挑戰。Port先生解釋說：“我們很早就注意到，如果他太紫色，它看起來只是卡通造型 - 但我們也必須小心，不要讓他變得過飽和。” 他的皮膚外觀不僅僅是色素沉著的問題，而且還有ve毛或“桃毛”在他的皮膚上。

這引出了一個問題：Thanos刮鬍子嗎？

該團隊決定是的，並確保Thonos模仿茬和儘可能多的人類葡萄柚頭髮。這是基於這樣一個理論，即他們可以使得Thanos對觀眾熟悉得越多，他的皮膚就越真實（可能很少有人會注意到），將這個巨大的生物賣得更容易真實。結果他摔倒了腦袋，這有助於打破鏡面高光，並在特寫鏡頭中提供超高的細節。

該團隊沒有在Thanos上部署數字血流，“考慮到他的著色問題，我不認為你會看到這麼多，你真的看到那種東西是在極端的表情中，我們之前做過，我認為，如果我們能夠再次為他工作，我想我們可以逐步嘗試並在可能的情況下再次介紹。“Port評論道。Hendler同意在下一個版本中，Digital Domain希望帶來更多基於表情的血流型著色。“這是一個非常有趣的方面，通常可以使面部看起來更真實，因為如果沒有面部可以看到塑料，但通常很難說出為什麼”他評論道。

該團隊還為Thanos開發了一個新的詳細眼睛模型，該模型建立在Digital Domain之前對眼睛的建模工作上。“我們有一個非常好的關注眼睛的歷史，並且模擬了眼瞼周圍的大量數據，眼部組織以及皮膚在該區域摺疊的數百種形狀，模擬了眼睛的溼度，結膜和覆蓋眼睛的薄薄層組織，我們的外觀開發團隊在該領域做了很多漂亮的工作，“Port解釋說。

在開幕的Loki死亡序列中的照明是Port從個人角度來看最成功的一個，因為部分被摧毀的太空飛船讓團隊能夠以最大限度地發揮每個鏡頭的影響的方式放置火光和燈光。這與最後的結局戰鬥序列相比，或者是在閃回（下面）中，由天空穹頂和更自然的照明決定。

維塔數字

Weta和Digital Domain都在Thanos上進行了Look-Development工作。Weta的拍攝集中在泰坦的戰鬥上，並與Digital Domain的工作分開。這是對Thanos兩個人以統一的方式表現和表現出的整體視覺效果監督和電影方向的證明。

Weta的渠道與Digital Domain不同，而兩家公司的合作非常積極，技術上他們完全分開。Weta的管道是建立在他們標準的FACS管道上，最後的Thanos完全在Weta的Manuka渲染器中渲染。每個公司都從另一個角度看到逐步更新，但是從操縱到渲染解決方案的實施方式都非常不同。Matt Aitken是Weta的Weta視覺效果主管，他完成了超過200張Thanos鏡頭，以及另外250張其他各種正常效果鏡頭。

Sidney Kombo-Kintombo是Weta Digital上Thanos的兩位動畫監督人員之一，“我們不得不做的主要事情之一是將Josh Brolin的表演翻譯成Thanos，並且讓人物大下巴不讓人發笑，強大的嚴肅表現“。

Weta對Brolin進行了掃描，從這些掃描中他們建立了一個FAC設備，模擬了臉部的肌肉並允許董事想要的微妙水平。他們的方法專注於使肌肉系統高度準確，以便它能夠匹配臉部的微小運動，從而準確地提供詳細的性能。

Matt Aitken在亞特蘭大為舞臺上的實況動作捕捉。從Aitken帶回家的數據來看，Weta團隊建立了自己獨特的FACS模型，這與Weta高度發展的臉部管線一致。

Weta團隊將數字布洛林上的數字肌肉與他們的數字Thanos相匹配。“然後我們進去給Brolin傀儡做動畫，一旦我們很高興這個參考與真正的Josh Brolin相匹配，我們會把它轉移到Thanos傀儡，並且在Thanos的臉上隨意調整一些小東西”Kombo- Kintombo。

在轉移的動畫之上，團隊重疊了一些其他動畫或表情。雖然映射可能準確地移動了相同的肌肉，但有時認為重新映射的表達式不再傳達相同的意圖，僅僅是因為Josh Brolin和Thanos之間的臉型不同。韋塔沒有在Thanos上使用任何肉體模擬。他們只使用關鍵幀動畫，證實了Kombo-Kintombo。“我們在這裡非常謹慎，因為有一種感覺，它可以使臉看起來有點像果凍。”他解釋說。

盤子攝影幾乎完全是泰坦的綠色屏幕，只有一小部分是這個角色正在戰鬥的地方。然後團隊在此基礎上建立起來，然後不僅要構建地球的其他部分，而且還要揭示Titan在人口過剩的影響之前的樣子。

對於面部動畫，與Strange博士進行了長時間的對話以及戰鬥的快速切割動作序列。

Digital Domain和Weta之間需要詳細交叉檢查的一個方面是Thanos下巴的細節以及肌肉和下巴的運動。“我們試圖儘可能接近嘴巴，看看Josh Brolin在做什麼，而且這非常具有挑戰性，特別是在嘴唇周圍，如何讓嘴唇適合嘴唇的漏斗形狀和褶皺形狀。當這些形狀影響下巴時，這是非常具有挑戰性的，但是當你到達購買它的地步時，這是非常有益的。“Kombo-Kintombo解釋道。

另一個複雜的序列是當曼託斯在Thanos的肩膀上。這是Weta開始使用的第一個序列之一，它涉及到Mantus在額頭部位的四部分肌肉拉伸。“我們不得不增加更多的細節，以便觀眾能夠看到並感受到他臉上的壓力”Kombo-Kintombo評論道。“我們增加了它，這樣你就可以看到臉部受到了多大的影響，並確切知道哪些肌肉受到了壓力”