機器人視覺三維成像技術

封面文章|盧榮勝,史豔瓊,胡海兵. 機器人視覺三維成像技術綜述[J]. 激光與光電子學進展, 2020, 57(4): 040001.

在智能製造過程中，通過傳統的編程來執行某一特定動作的機器人，越來越難以滿足製造業向前發展的需求。在很多應用場合下，需要為工業機器人安裝一雙眼睛，即機器人視覺成像感知系統，使機器人具備識別、分析、處理等更高級的功能，可以正確對目標場景的狀態進行判斷與分析，做到靈活地自行解決發生的問題。

視覺成像的一個重要特點是從圖像中獲取目標的信息，可分為二維和三維視覺成像兩種形式。

二維視覺技術主要根據灰度或彩色圖像中的像素灰度特徵獲取目標中的有用信息，以及基於輪廓的圖案匹配驅動，識別物體的紋理、形狀、位置、尺寸和方向等。但二維視覺技術難以實現三維高精度測量與定位，且二維形狀測量的一致性和穩定性也較差，易受照明條件等影響，二維機器視覺技術的侷限性已經顯現，因此迫切需要發展三維視覺技術。

三維視覺技術能夠產生二維視覺不能產生的形狀或深度信息，且計算機技術、並行處理、人工智能、神經元網絡和深度學習等學科的快速發展，也促進了對機器人視覺成像系統與複雜視覺過程的深入研究，為三維視覺成像技術研究及應用奠定了良好的基礎。

在智能製造領域，機器人視覺主要被用來代替人工視覺和拓展人工視覺的功能，高效、快速、準確地完成測量、檢測、識別、定位等任務，而這些任務的實現都是基於二維或三維視覺成像完成的。合肥工業大學盧榮勝教授課題組針對智能製造領域機器人視覺感知中的三維視覺成像技術進行了綜述，系統地總結了一些有代表性的機器人視覺成像方法的特點，探究了機器人三維視覺成像技術的發展趨勢。

機器人視覺成像的結構形式

機器人視覺系統的主要功能是模擬人眼視覺成像與人腦智能判斷和決策功能，採用圖像傳感技術獲取目標對象的信息，通過對圖像信息提取、處理並理解，最終用於機器人系統對目標實施測量、檢測、識別與定位等任務，或用於機械人自身的伺服控制。

在工業應用領域，最具有代表性的機器人視覺系統就是機器人手眼系統。

根據成像單元安裝方式不同，機器人手眼系統分為兩大類：固定成像眼看手系統（Eye-to-Hand）與隨動成像眼在手系統(Eye-in-Hand, or Hand-eye)，如下圖1所示。

圖 1 兩種機器人手眼系統的結構形式，(a)眼在手機器人系統，（b）眼看手機器人系統

在固定成像眼看手系統中，視覺成像單元安裝在機器人本體外的固定位置，在機器人工作過程中不隨機器人一起運動，當機器人或目標運動到機械臂可操作的範圍時，機械臂在視覺感知信息的反饋控制下，向目標移動，對目標進行精準操控。固定成像眼看手系統的優點是具有全局視場，標定與控制簡單，抗震性能好，姿態估計穩定等。但分辨率低，容易產生較大的定位誤差和遮擋問題。

在隨動成像眼在手系統中，成像單元安裝在機器人手臂末端，隨機器人一起運動。隨動成像眼在手系統常用於在限視場內操控目標，優點是空間分辨率高，不會像固定成像眼看手系統那樣產生機械臂遮擋成像視場問題，缺點是成像單元單次視場有限。

有些應用場合，為了更好地發揮機器人手眼系統的性能，充分利用固定成像眼看手系統全局視場和隨動成像眼在手系統局部視場高分辨率和高精度的性能，可採用兩者

圖 2 機器人協同視覺系統原理圖

機器人視覺三維成像方法

3D視覺成像可分為光學和非光學成像方法。目前應用最多的還是光學方法，其包括：飛行時間法、激光掃描法、激光投影成像、立體視覺成像等。

飛行時間3D成像

飛行時間（TOF）相機每個像素利用光飛行的時間差來獲取物體的深度。目前已經有飛行時間面陣相機商業化產品，如Mesa Imaging AG SR-4000， PMD Technologies Cam Cube 3.0，微軟Kinect V2等。

TOF成像可用於大視野、遠距離、低精度、低成本的3D圖像採集，其特點是：檢測速度快、視野範圍較大、工作距離遠、價格便宜，但精度低，易受環境光的干擾。例如Camcueb3.0具有可靠的深度精度（<3mm @ 4m)，每個像素對應一個3D數據。

掃描3D成像

掃描3D成像方法可分為掃描測距、主動三角法、色散共焦法。掃描測距是利用一條準直光束通過1D測距掃描整個目標表面實現3D測量的。主動三角法是基於三角測量原理，利用準直光束、一條或多條平面光束掃描目標表面完成3D成像，如圖3所示。色散共焦通過分析反射光束的光譜，獲得對應光譜光的聚集位置， 如圖4所示。

圖 3 線結構光掃描三維點雲生成示意圖

圖 4 色散共焦掃描三維成像示意圖

掃描3D成像的最大優點是測量精度高。其中色散共焦法還有其它方法難以比擬的優點，如非常適合測量透明物體、高反與光滑表面的物體。但缺點是速度慢、效率低；用於機械手臂末端時，可實現高精度3D測量，但不適合機械手臂實時3D引導與定位，因此應用場合有限。另外主動三角掃描在測量複雜結構面形時容易產生遮擋，需要通過合理規劃末端路徑與姿態來解決。

結構光投影3D成像

結構光投影三維成像目前是機器人3D視覺感知的主要方式。

結構光成像系統是由若干個投影儀和相機組成，常用的結構形式有：單投影儀-單相機、單投影儀-雙相機、單投影儀-多相機、單相機-雙投影儀和單相機-多投影儀等。結構光投影三維成像的基本工作原理是：投影儀向目標物體投射特定的結構光照明圖案，由相機攝取被目標調製後的圖像，再通過圖像處理和視覺模型求出目標物體的三維信息。

根據結構光投影次數劃分，結構光投影三維成像可以分成

單次投影3D主要採用空間複用編碼和頻率複用編碼形式實現。由於單次投影曝光和成像時間短，抗振動性能好，適合運動物體的3D成像，如機器人實時運動引導，手眼機器人對生產線上連續運動產品進行抓取等操作。但是深度垂直方向上的空間分辨率受到目標視場、鏡頭倍率和相機像素等因素的影響，大視場情況下不容易提升。

多次投影3D具有較高空間分辨率，能有效地解決表面斜率階躍變化和空洞等問題。不足之處在於：1）對於連續相移投影方法，3D重構的精度容易受到投影儀、相機的非線性和環境變化的影響；2）抗振動性能差，不合適測量連續運動的物體；3）在Eye-in-Hand視覺導引系統中，機械臂不易在連續運動時進行3D成像和引導；4）實時性差，不過隨著投影儀投射頻率和CCD/CMOS圖像傳感器採集速度的提高，多次投影方法實時3D成像的性能也在逐步改進。

對於粗糙表面，結構光可以直接投射到物體表面進行視覺成像；但對於大反射率光滑表面和鏡面物體3D成像，結構光投影不能直接投射到被成像表面，需要藉助鏡面

偏折法對於複雜面型的測量，通常需要藉助多次投影方法，因此具有多次投影方法相同的缺點。另外偏折法對曲率變化大的表面測量有一定的難度，因為條紋偏折後反射角的變化率是被測表面曲率變化率的2倍，因此對被測物體表面的曲率變化比較敏感，很容易產生遮擋難題。

立體視覺3D成像

立體視覺字面意思是用一隻眼睛或兩隻眼睛感知三維結構，一般情況下是指從不同的視點獲取兩幅或多幅圖像重構目標物體3D結構或深度信息，如圖5所示。

圖 5 立體視覺三維成像示意圖

立體視覺可分為被動和主動兩種形式。

被動視覺成像只依賴相機接收到的由目標場景產生的光輻射信息，該輻射信息通過2D圖像像素灰度值進行度量。被動視覺常用於特定條件下的3D成像場合，如室內、目標場景光輻射動態範圍不大和無遮擋；場景表面非光滑，且紋理清晰，容易通過立體匹配尋找匹配點；或者像大多數工業零部件，幾何規則明顯，控制點比較容易確定等。

主動立體視覺是利用光調製（如編碼結構光、激光調製等）照射目標場景，對目標場景表面的點進行編碼標記，然後對獲取的場景圖像進行解碼，以便可靠地求得圖像之間的匹配點，再通過三角法求解場景的3D結構。主動立體視覺的優點是抗干擾性能強、對環境要求不高（如通過帶通濾波消除環境光干擾），3D測量精度、重複性和可靠性高；缺點是對於結構複雜的場景容易產生遮擋問題。

性能比較

1. 類似於飛行時間相機、光場相機這類的相機，可以歸類為單相機3D成像範圍，它們體積小，實時性好，適合隨動成像眼在手系統執行3D測量、定位和實時引導。但是，飛行時間相機、光場相機短期內還難以用來構建普通的隨動成像眼在手系統，主要原因如下：

1）飛行時間相機空間分辨率和3D精度低，不適合高精度測量、定位與引導。

2）對於光場相機，目前商業化的工業級產品只有為數不多的幾家，如德國Raytrix，雖然性能較好，空間分率和精度適中，但價格貴，使用成本太高。

圖 6 隨動成像眼在手系統機器人3D視覺成像優選方案

2. 結構光投影3D系統，精度和成本適中，有相當好的應用市場前景。它由若干個相機-投影儀組成的，如果把投影儀當作一個逆向的相機，可以認為該系統是一個雙目或多目3D三角測量系統。

3. 被動立體視覺3D成像，目前在工業領域也得到較好應用，但應用場合有限。因為單目立體視覺實現有難度，雙目和多目立體視覺要求目標物體紋理或幾何特徵清晰。

4. 結構光投影3D、雙目立體視覺3D都存在下列缺點：體積較大，容易產生遮擋。針對這個問題雖然可以增加投影儀或相機覆蓋被遮擋的區域，但會增加成像系統的體積，減少在Eye-in-Hand系統中應用的靈活性。

總結

雖然光學3D視覺成像測量方法種類繁多，但能夠安裝在工業機器人上，組成一種合適的隨動成像眼在手系統，對位置變動的目標執行3D成像測量、引導機器人手臂準確定位和實施精準操作的方法有限。因為從工業應用的角度來說，我們更關心的是3D視覺傳感器的精度、速度、體積與重量。鑑於機器人末端能夠承受的端載荷有限，允許傳感器佔用的空間有限，傳感器在滿足成像精度的條件下，重量越輕體積越小也就越實用。所以，對於隨動成像眼在手系統，最佳3D成像方法是採用被動單目（單相機）3D成像方法，這樣不僅體積小、重量輕，也解決了雙目和多目多視圖遮擋難題。

課題組介紹

合肥工業大學盧榮勝教授科研團隊20多年來主要從事機器視覺與光學測量技術研究，主要研究方向包括：三維機器視覺及其應用、自動光學檢測技術、變形應變光學全場測量技術、光學微納測量技術、數字圖像處理及應用等。重點聚焦於機器視覺在人工智能、集成電路、機器人、平板顯示、手機、新能源、汽車等行業，開展機器視覺應用基礎和工程技術應用研究。

主持承擔的主要科研項目有：國家重大科學儀器專項“平板顯示屏自動光學檢測儀器開發與應用”，國家重點研發計劃“三維光學傳感器及圖像數據採集關鍵技術”，國家科技支撐項目“材料微納結構機械力學性能測量技術的研究”、國家863專項“精密組裝生產線的高速高精度視覺在線檢測技術”，國家自然科學基金項目“提高相移條紋投影三維測量精度的主值相位反向誤差補償法”等國家級和省部級項目20餘項，產學研合作項目幾十項，項目總經費1億多元。在機器視覺領域已經培養博士和碩士研究生100餘人。

課題組合影

閱讀更多 江蘇激光產業創新聯盟 的文章

關鍵字: 體育 成像 文章