Unity分享:為MR設計,Project MARS頭顯配套應用的研發和設計

Unity Labs中的空間設計團隊目前正在為Unit擴展Project MARS開發一個頭顯配套應用,並旨在幫助創作者構建能夠智能地與現實世界交互地混合現實/增強現實體驗,充當Editor和現實世界之間的橋樑。

Editor是MARS的主要創作環境,但移動配套應用和頭顯配套應用程序提供了設備端解決方案,從而令創作範圍不僅限於鼠標和鍵盤。對於頭顯配套應用,你可以快速捕獲現實環境,然後再導入到Editor,並執行內容編輯和greyboxing等操作。它利用了Editor XR和XR Interaction Toolkit的工作,提供可重用的組件來支持你快速,輕鬆地構建交互式沉浸體驗。日前,團隊通過博文介紹了項目背後地思量考慮:如何在位和原子之間創建有意義的連接,從而為增強現實帶來更好的界面。下面是映維網的具體整理:

Unity分享:为MR设计,Project MARS头显配套应用的研发和设计

1. 空間設計原則

當為屏幕進行設計時,數字表示通常與設計工具緊密耦合。但在為AR設計時,數字表示和實際事物之間的差距可能具備欺騙性。我們生活在一個無法預測的世界中,我們的虛擬空間需要適應並響應所在的環境。所以,我們傾向於整個設計流程都以1:1的比例在3D中工作,並且希望是在設備端實現。在我們看來,這是真正理解用戶如何體驗完整應用程序的唯一方法。

諸如視場受限,靠近裁剪平面,以及亮度/對比度級別之類的約束會極大地影響決策過程。所以,快速獲得反饋至關重要。AR頭顯的有限視場帶來了我們必須直接解決的一系列設計挑戰。例如在MARS中,當你針對環境中的特定條件進行創作時,匹配項可能會散佈在用戶周圍,甚至是在另一個房間中。只有通過在具有大型空間映射的設備端製作原型,我們才能發現克服這等範圍並擁有一個“迷你世界”版本的空間的重要性。能夠通過迷你世界並從多個角度查看場景中的所有對象,這能夠幫助你更好地感知空間,並減少遮擋的時間。

創作者指導著我們的空間計算設計,以及探索如何將空間構造為圍繞人體的一系列數據數據層的最佳實踐。我們的衣服,物品,以及內部/外部邊界都影響著我們如何構思潛在的空間組織,以及如何感知空間。

理解設計過程中的規模比例是一個熱點話題。空間UI元素如何響應並適應用戶周圍的不同層級?執行給定任務需要多少空間?在給定比例下正確的操縱方法是什麼?頭顯配套應用將主要瞄準具有固有空間性的,並且需要3D操作或受益於真實世界情景信息的MARS功能。

2. 設計工作流程

無論是針對屏幕還是針對物理對象,傳統的設計工作流程都無法滿足當前XR開發的需求。與其他數字媒介相比,XR要求精確的可視化效果,更快的迭代速度,以及應對不斷變化環境的某種方法。Unity空間設計團隊希望通過自定義工作流程來填補傳統流程的空白,以便能夠更好地理解創建XR體驗的複雜性。下面是我們嘗試過的一些工作流程,以及我們從中學到的經驗教訓。

3. 紙模

為了避免疲勞,空間設計不僅需要理解對象和空間的比例,同時需要了解身體的比例。一比一的紙模可以作為測試運動和人體工學的一種方式。

Unity分享:为MR设计,Project MARS头显配套应用的研发和设计

例如,我們設計並測試了一個會根據用戶頭部傾斜運動而下降或上升的虛擬托盤。這個虛擬托盤的物理原型懸掛在下巴正下方。在正常工作期間,我們將常用工具放在托盤中,如電話和眼鏡等等。佩戴紙質原型一小時後,與召喚交互相關的頸部運動非常累人,訪問位於脖子區域的工具的頻繁手臂運動同樣是這樣。所以,我們選擇放棄這種設計建議。在為混合現實設計時,構建快速紙質原型可以節省時間並幫助你進行空間思考。

4. 在VR中模擬AR

使用PPT或動畫模型等傳統2D工具難以有效地評估用於混合現實的用戶流程。我們沒有創建2D故事板,而是使用Tvori在VR中構建了原型。在編輯和設置交互動畫時Tvori允許我們實現快速迭代。我們將時間軸功能用於關鍵幀camera,潛在UI元素,虛擬對象和輸入設備。

Unity分享:为MR设计,Project MARS头显配套应用的研发和设计

利用VR,我們能夠不斷改變世界比例。我們可以以人類尺度感受世界,同時將場景縮小到最小以便於編輯。當我們向團隊中的其他人展示流程時,他們可以簡單地穿戴VR頭顯,將比例設置為1:1,並且清理時間線。

為了更好地瞭解虛擬元素的適當規模和比例,我們引入了典型的AR頭顯視場“安全區域”,並將其作為在VR中快速模擬AR的有效方法。遮擋人類視角的矩形非常實用:作為空間設計師,這種限制不僅會影響我們的視覺體驗,而且會影響我們的運動方式(即手勢),從而影響體驗的沉浸感。

5. 用戶流程和輸入映射

Unity分享:为MR设计,Project MARS头显配套应用的研发和设计

我們在設計過程中保留了兩個活動文檔,一個用於輸入映射,另一個用於用戶流程。用戶流程文檔一直在不斷更新,並作為事實的來源。在這裡,我們確定了用戶完成某項任務的方式和位置。任務是在特定的工作空間中完成還是在現實世界中完成,或者說同時在兩者中執行?

我們同時進行了輸入映射練習,以便能夠更好地瞭解應用正在執行的動作及其相應的頻率。我們可以將其簡單地描述為以下步驟:

列出所有已知操作,並按優先級對它們進行排名。寫下每個動作執行的頻率。確定交互的類型。

隨著複雜性的增加,我們不得不提高原型保真度。通過使用“思維導圖”視圖,我們可以更好地瞭解重疊的輸入,以及如何進行相應的調整。對於諸如Magic LeapOne控制器之類的輸入設備(輸入數量可能受到限制),這種理解變得越來越重要。通過要求將懸停狀態用於特定操作,我們能夠分配輸入,同時避免衝突。對於一般動作,我們決定將保險槓用於情景菜單,同時使用主鍵輕觸來調用主調色板菜單。另外,為了解決疲勞問題,我們避免了任何需要與扳機鍵結合使用扳機或保險槓的輸入。

6. 設備端的快速迭代

我們利用Unity組合3D模型,UI設計和控制器腳本,從而快速將設計帶到Magic Leap。目標是從交互原型的快速迭代中獲得反饋,而不必擔心在過程的早期編寫完美的代碼。除了構建自己的原型外,我們同時受到XR社區開發的眾多應用程序的啟發,並且我們經常將它們用作傳達特定交互行為的參考。

大多數交互依賴於“魔法”數字,如時間,閾值和距離。構建原型後的第一步是調整相關數值以匹配我們為交互所構思的感覺。對於Unity Editor,我們可以在Play Mode中調整數值,但我們同時希望能夠在運行時版本中調整數值。為了解決這個問題,我們在應用中構建了一個簡單的可重用設置菜單。任何原型腳本都可以使用一行代碼來添加值滑塊或複選框,並調整這種魔法數字。

下一步是獲取反饋並進行迭代。以下是我們發現在測試交互時有用的提示:

一開始的時候儘量少說明。如果確實有必要,你可以告訴用戶他們應該嘗試做什麼,並且可以簡要地解釋如何做。請記住,你並未提供軟件,所以你需要觀察用戶在沒有你的影響下的交互。尋找諸如迷失或沮喪之類的危險信號,然後詢問用戶期望看到的事情(相對於實際發生的事情)。如果用戶在解釋反饋時遇到問題,你可以提供頭顯視圖,以便他們可以進行說明並指向虛擬對象。

7. UI縮放

虛擬對象的比例在現實世界中很難測量,並且應該響應於用戶的觀看距離。我們不能將現實世界的比例用作唯一參考,這是由於立體視覺和其他深度提示而導致用戶會感覺到UI更大。如果用戶在沒有其他情景提示的情況下閉上眼睛或看著用戶界面,他們將無法分辨出大小或距離。

我們將由谷歌Daydream團隊創建的distance-independent millimeter (DMM) 系統用於VR設計:按比例縮放距離和大小。例如,1 dmm表示1米遠的1*1毫米按鈕大小。它同時可以表示在3米遠的3*3毫米按鈕尺寸。谷歌通過DMM系統提供了一組建議字體和基於射線的最小點擊大小,例如最小字體為20 dmm。

當我們使用Magic Leap測試建議尺寸時,我們覺得它們太大,所以最終縮小了一點尺寸。與Daydream較高的視場和三自由度控制器相比,這可能是因為Magic Leap的視場更小及六自由度控制器影響。當UI與距離成比例縮放時,它會以相同的像素大小進行渲染,併為光線投射覆蓋相同的角度區域,但我們注意到它的感覺非常不同。如果社區有類似的發現,我們希望想聽聽你的意見。

Unity分享:为MR设计,Project MARS头显配套应用的研发和设计

8. 視覺設計

對於配套應用的空間UI,我們主要是圍繞著以光作為材質的概念進行設計。光線和陰影的分層有助於創建更具觸感的體驗,並且旨在增強用戶對AR的深度感知。光線都是相對而言,因為我們只能通過其他材質和表面的形狀來感知光線。配套應用中的所有空間UI元素都視為物理結構,並仔細考量了光源和光平面之間的關係。

通過使用Negative Shadow技術可以創建這種效果。AR頭顯使用基於光的附加色彩空間。黑色渲染透明,因為它代表光的缺乏。如果黑色對象位於其他虛擬對象的前面,則它將充當遮罩。為了產生陰影的錯覺,我們必須用光圍繞較暗的陰影區域。人類的感知系統嚴重依賴於陰影提供的線索來推斷3D對象的運動和深度。如果AR應用程序忽略了合併陰影,我們將剝奪用戶重要的深度提示。

Unity分享:为MR设计,Project MARS头显配套应用的研发和设计

除陰影外,紋理的使用同時為用戶提供了提示,從而瞭解比例和對象的相對位置。在基於光的頭顯中處理顏色時,條帶化是一個問題。當使用高對比度漸變時,條帶化經常會出現。以此為約束,我們決定將紋理的使用納入空間UI元素的設計中。這不僅是為了擴展我們可以用於漸變的顏色範圍,而且是為了提高對深度感知的另一種方法。

空間UI元素和光源之間的關係旨在突出顯示界面的潛在行為。這種視覺形式有助於傳達功能或向用戶提供輸入反饋。就像在我們的日常空間中一樣,淺色點綴可以營造視覺吸引力並突出顯示空間中的對象或特定特徵。借用現實世界中的這些能力,我們在光源和空間UI元素之間創建了各種關係。

9. 接下來的計劃

我們一直在尋找可以幫助我們建立更好體驗的新工作流程。希望這篇博文能夠對你自己的空間設計有所幫助,並鼓勵你積極地向社區分享。作為創作者社區,分享知識對於塑造這種新媒介,以及幫助我們創造出前所未有之事至關重要。

原文鏈接:https://yivian.com/news/72028.html


分享到:


相關文章: