增強現實（augmented reality，AR）技術是將計算機生成的虛擬信息疊加到用戶所在的真實世界的一種新興技術，是虛擬現實技術的一個重要分支。它提高了用戶對現實世界的感知能力，提供了人類與世界溝通的新的方式，近年來受到研究者的廣泛關注。
增強現實的定義有兩種，一種是由Milgram P 和Kishino F 提出的：將真實環境與虛擬環境放置在兩端，其中靠近真實環境的叫增強現實，靠近虛擬環境的叫增強虛擬，位於中間的叫混合現實；另一種是Azuma定義的：以虛實結合、實時交互、三維註冊為特點，利用附加的圖片、文字信息對真實世界進行增強的技術。
與虛擬現實不同，增強現實技術利用三維跟蹤註冊技術來計算虛擬物體在真實環境中的位置，通過將計算機中的虛擬物體或信息帶到真實世界中實現對現實世界的增強。近年來隨著科技的發展，增強現實技術被廣泛應用於工業、軍事、醫療、教育等多個領域。
本文從跟蹤註冊技術、顯示技術和人機交互技術3個方面概述增強現實系統中的關鍵技術，對增強現實技術在各領域的應用進行總結，並展望未來發展趨勢。
增強現實的關鍵技術
跟蹤註冊技術
對於增強現實系統來說，一個重要的任務就是實時、準確地獲取當前攝像機位置和姿態，判斷虛擬物體在真實世界中的位置，進而實現虛擬物體與真實世界的融合。其中攝像機位姿的獲取方法即為跟蹤註冊技術。從具體實現上來說，跟蹤註冊技術可以分為3類：基於傳感器的跟蹤註冊技術、基於計算機視覺的跟蹤註冊技術及綜合視覺與傳感器的跟蹤註冊技術。
1）基於傳感器的跟蹤註冊技術
基於傳感器的跟蹤註冊技術主要通過硬件傳感器，如磁場傳感器、慣性傳感器、超聲波傳感器、光學傳感器、機械傳感器等對攝像機進行跟蹤定位。
磁場傳感器根據磁發射信號與磁感應信號之間的耦合關係獲得被測物體的空間方向信息，根據接收器的磁通量獲得接收器和信號源之間的相對位置信息。這類設備一般較為輕巧，但環境中的金屬物質會對磁場傳感器產生干擾，進而影響跟蹤註冊的準確性。慣性傳感器一般包括陀螺儀和加速度計等。陀螺儀可以用來測量物體的運動方向；加速度計可以用來測量物體的加速度。兩者相結合就可以獲得物體的位置和方向。超聲波傳感器跟蹤根據不同聲源發出的超聲波到達目標的時間差、相位差和聲壓差實現跟蹤註冊。這類方法受外界環境影響較大。光學傳感器通過分析接收到的反射光的光信號實現跟蹤註冊。機械傳感器根據機械關節的物理連接來測量運動攝像機的位姿。綜合來看，基於傳感器的跟蹤註冊技術算法簡單，獲取速度快，但設備較為昂貴，且容易受外界環境的影響。
2）基於計算機視覺的跟蹤註冊技術
近年來圖像處理與計算機視覺發展較快，一些較為成熟的技術已被應用於增強現實系統的跟蹤註冊中。基於計算機視覺的跟蹤註冊技術通過分析處理拍攝到的圖像數據信息識別和定位真實場景環境，進而確定現實場景與虛擬信息之間的對應關係。該方法一般只需要攝像機拍攝到的圖像信息，對硬件要求較低。
在實現方式上，基於計算機視覺的跟蹤註冊方法可分為基於人工標誌的方法和基於自然特徵的方法。
基於人工標誌的方法一般將包含有特定人工標誌的物體放置在真實場景中，通過對攝像機採集到的圖像中的已知模板進行識別獲得攝像機位姿，之後經過座標系的變換即可將虛擬物體疊加到真實場景中。基於人工標誌的方法最具代表性的是ARToolkit和ARTag。ARToolkit通過使用人工標誌實現了快速準確的跟蹤註冊，但其在遮擋敏感；ARTag採用數字編碼的方式在一定程度上增加了對遮擋的處理能力。圖1展示了ARToolkit 中人工標誌示例。圖2展示了ARTag中的人工標誌示例。
ARToolkit人工標誌示例
ARTag人工標誌示例
基於自然特徵的方法通過提取圖像中的特徵點，並計算場景中同一個三維點在二維圖像上的對應關係，優化獲得三維點在世界座標系中的位置以及攝像機的位姿。近年來，隨著計算機視覺與人工智能的發展，同時定位與地圖構建（simultaneous localization and mapping，SLAM）受到了人們的廣泛關注。這類方法在跟蹤註冊的同時構建場景地圖，具有運算速度快、精度較高的優點。基於自然特徵的方法不需要人為地在真實場景環境增加額外的信息，只需要跟蹤視頻中捕獲的場景中的自然特徵，並經過一系列幾何變換即可實現場景的跟蹤註冊。相比基於人工標誌的方法，這類方法更簡單、方便，但自然特徵數目與跟蹤效果的不穩定將對系統的運算速度和精度造成較大影響。
3）綜合視覺與傳感器的跟蹤註冊技術
在一些增強現實的應用場景，基於計算機視覺與基於傳感器的方法均不能獲得理想的跟蹤效果，因此，研究者綜合考慮二者的優缺點，將二者結合起來，以獲得更優的跟蹤註冊效果。香港科技大學沈劭劼課題組提出的視覺慣性導航（visual-inertial navigation system,VINS）系統將視覺與陀螺儀和加速度計信息深度融合，在無人機和手持移動設備上均獲得了較好的跟蹤註冊效果；蘋果公司推出的ARKit和Google公司推出的ARCore增強現實軟件平臺分別支持iOS和Android操作系統，為移動端智能設備上的增強現實應用提供了無限可能。圖3展示了在ARKit和ARCore平臺上開發的移動設備上的增強現實應用示例。
增強現實應用示例
顯示技術
增強現實技術的最終目標是為用戶呈現一個虛實融合的世界。因此，顯示技術是增強現實系統中的重要組成部分。目前，常用的顯示設備有頭戴式顯示設備、計算機屏幕顯示設備、手持式移動顯示設備及投影顯示設備等。
1）頭戴式顯示設備
由於增強現實系統要求用戶可以觀察到現實世界的實時影像，頭戴式顯示設備主要是透視式頭盔顯示器。這類設備的主要功能是將用戶所在環境中的真實信息與計算機生成的虛擬信息融合，按真實環境的表現方式可將其分為視頻透視式頭盔顯示器和光學透視式頭盔顯示器。
視頻透視式頭盔顯示器通過頭盔上一個或多個攝像機來獲取真實世界的實時影像，利用其中的圖像處理模塊和虛擬渲染模塊進行融合，最終將虛實融合後的效果在頭盔顯示器上顯示出來。
微軟推出的Hololens增強現實眼鏡採用全息技術，結合多個傳感器，將虛擬內容投射成全息影像，實現虛實融合。這款眼鏡內部集成了中央處理器（CPU）、圖形處理器（GPU）和全息處理器（HPU），不需要連接任何其他設備就可以實現與現實世界的交互。Meta公司推出的Meta2同樣是一款高沉浸感的增強現實眼鏡，其較Hololens 具有更大的視場角，但追蹤保真度仍有待優化，且在使用過程中需要連接電腦進行計算。圖4為Hololens增強現實眼鏡與Meta2增強現實眼鏡外觀。
Hololens增強現實眼鏡（a）與Meta2增強現實眼鏡（b）
光學透視式頭戴顯示器根據光的反射原理，通過多片光學鏡片的組合，為用戶產生虛擬物體和真實場景相互融合的畫面。與視頻透視式頭盔顯示器相比，光學透視式頭盔顯示器在顯示增強畫面時，不需要經過圖像融合的過程，用戶看到的影像就是當前的真實場景與虛擬信息的疊加。
Google公司推出的Google Glass是一款光學透視式頭盔顯示器，其經過光學放大後將數據通過稜鏡顯示給用戶（圖5（a））。Google Glass可以通過聲音控制，實現拍照、視頻通話、全球定位系統（GPS）定位、文字處理、收發郵件等多種功能。Magic Leap公司發佈了一款基於光場的頭戴式增強現實設備Magic Leap One（圖5（b））。這款設備利用外部攝像頭和計算機視覺處理器實時追蹤用戶位置，同時在追蹤過程中可以不斷調整雙眼的焦距，並將包含有深度信息的圖像通過光場顯示器顯示出來。
Google Glass（a）與Magic Leap One（b）
2） 計算機屏幕顯示設備
計算機屏幕顯示設備作為傳統的輸出設備一般具有較高的分辨率，且體積較大。在增強現實應用中，這類設備更適用於將精細虛擬物體渲染併疊加於室內或大範圍場景中。由於這類設備沉浸感較弱，但價格較低，一般適用於低端或多用戶的增強現實系統。
3）手持式移動顯示設備
手持式移動顯示設備是一類允許用戶手持的顯示設備。近年來智能移動終端發展迅速，現有的智能手持設備大都配備了攝像頭、全球定位系統（GPS）和陀螺儀、加速度計等多種傳感器，更具備了高分辨率的大顯示屏，這為移動增強現實提供了良好的開發平臺。與頭盔式顯示設備相比，手持式移動顯示設備一般體積較小、重量較輕，便於攜帶，但沉浸感較弱，同時由於硬件的限制，不同設備的計算性能參差不齊。目前，隨著iOS系統下的增強現實平臺ARKit和Android系統下的增強現實平臺ARCore的發佈，後續的多數新款智能移動終端將支持增強現實技術。
4）投影顯示設備
投影顯示設備可以將增強現實影像投影到大範圍環境，滿足用戶對大屏幕顯示的需求。由於投影顯示設備生成圖像的焦點不會隨用戶視角發生變化，其更適用於室內增強現實環境。微軟研究院的RoomAlive項目將Kinect、投影儀、攝像機和計算機結合起來，通過構建房間的三維圖像將虛擬影像投影到整個房間，同時通過定位用戶位置實現與虛擬世界的交互。
人機交互技術
增強現實系統的目標是構建虛實融合的增強世界，使用戶能夠在現實世界中感受到近乎真實的虛擬物體，並提供人與這一增強的世界交互。在這一過程中，人機交互方式的好壞很大程度上影響了用戶的體驗。一般來說，傳統的交互方式主要有鍵盤、鼠標、觸控設備、麥克風等，近年來還出現了一些更自然的基於語音、觸控、眼動、手勢和體感的交互方式。
1）基於傳統的硬件設備的交互技術
鼠標、鍵盤、手柄等是增強現實系統中常見的交互工具，用戶可以通過鼠標或鍵盤選中圖像中的某個點或區域，完成對該點或區域處虛擬物體的縮放、拖拽等操作。這類方法簡單易於操作，但需要外部輸入設備的支持，不能為用戶提供自然的交互體驗，降低了增強現實系統的沉沒感。
2）基於語音識別的交互技術
語言是人類最直接的溝通交流方式。語言交互信息量大，效率高。因此，語音識別也成為了增強現實系統中重要的人機交互方式之一。近年來，人工智能的發展及計算機處理能力的增強，使得語音識別技術日趨成熟並被廣泛應用於智能終端上，其中最具代表性的是蘋果公司推出的Siri和微軟公司推出的Cortana，它們均支持自然語言輸入，通過語音識別獲取指令，根據用戶需求返回最匹配的結果，實現自然的人機交互，很大程度上提升了用戶的工作效率。
3）基於觸控的交互技術
基於觸控的交互技術是一種以人手為主的輸入方式，它較傳統的鍵盤鼠標輸入更為人性化。智能移動設備的普及使得基於觸控的交互技術發展迅速，同時更容易被用戶認可。近年來，基於觸控的交互技術從單點觸控發展到多點觸控，實現了從單一手指點擊到多點或多用戶的交互的轉變，用戶可以使用雙手進行單點觸控，也可以通過識別不同的手勢實現單擊、雙擊等操作。
4）基於動作識別的交互技術
基於動作識別的交互技術通過對動作捕獲系統獲得的關鍵部位的位置進行計算、處理，分析出用戶的動作行為並將其轉化為輸入指令，實現用戶與計算機之間的交互。微軟公司的Hololens採用深度攝像頭獲取用戶的手勢信息，通過手部追蹤技術操作交互界面上的虛擬物體。Meta公司的Meta2與Magic Leap公司的Magic Leap One同樣允許用戶使用手勢進行交互。這類交互方式不但降低人機交互的成本，而且更符合人類的自然習慣，較傳統的交互方式更為自然、直觀，是目前人機交互領域關注的熱點。
5）基於眼動追蹤的交互技術
基於眼動追蹤的交互技術通過捕獲人眼在注視不同方向時眼部周圍的細微變化，分析確定人眼的注視點，並將其轉化為電信號發送給計算機，實現人與計算機之間的互動，這一過程中無需手動輸入。Magic Leap 公司的Magic Leap One在眼鏡內部專門配備了用戶追蹤眼球動作的傳感器，以實現通過跟蹤眼睛控制計算機的目的。
最新活動
關於我們
ARinChina 增強現實中國網絡社區成立於2012年，是西安象呈網絡科技有限公司旗下專注於(AR)增強現實行業的行業媒體。平臺成立之初，便立足於推動(AR)增強現實技術的發展，在(AR)增強現實應用、技術、軟件、ARKit、Ncam、ARCore，為行業企業提供一個優質、高效、便捷的資訊交流窗口，為技術從業者提供更多學習、交流、探討的機會。
聯繫我們
電話：400-012-0051
地址：西安 北京 硅谷
掃描左邊的二維碼關注我們！
站內鏈接
- 加速想象力
- 象呈優質供應商
- 陝ICP備13003260號
閱讀更多 增強現實中國 的文章
