3d深感攝像頭是什麼意思?

雁南飛62520


你好,我是科技一杆槍,很高興跟大家交流科技領域問題。我們發現,現在推出的具有競爭力的智能手機都搭載了一顆3D深感攝像頭,這種深感攝像頭不僅用在手機端,同樣在智能汽車的自動駕駛上、需要人臉識別的場景下、以及製作電影特效捕捉等領域發揮著重要作用。那麼什麼是3D深感攝像頭呢?又起到什麼作用呢?

3D深感成像傳感技術

當前主流的3D成像傳感技術主要有三類:雙目立體視覺技術、結構光技術和TOF飛行時間技術,他們有各自的優缺點及適用範圍。

1、雙目立體視覺(Binocular Stereo Vision)

這種技術靈感源自人類的雙眼,是一種利用視差原理來獲取空間深度感知,從而進行3D成像的技術。我們知道人的兩隻眼睛看到的物體是存在一定差別的,假設是兩張圖像,雙目立體視覺就利用這種視差,用兩個攝像機來捕捉圖像,建立特徵點在兩張圖像之間的對應關係,進而繪製出特徵點在三維空間內的位置。見下圖:

雙目立體視覺技術原理簡單,成本較低,近些年在機器人視覺系統中應用較為廣泛,同時在測繪、醫療成像和工業檢測等領域中也有著不同程度的應用。但是它的缺點也很明顯,雙目成像無法獲知目標點準確的深度距離,精度較差,所以在智能手機端並沒有應用。

2、結構光技術(structured light)

結構光的意思就是將光線結構化,使其具有一定的結構特徵。這裡面需要用到紅外激光發射器和採集攝像機,激光器發出的光經過預定的光柵或者其他設備產生出結構特徵的光線,投射向被測向物體表面,再由一組或多組攝像頭採集被測物體的表面獲取圖像信息,由計算機系統對採集的信息進行深入處理成像。

相比於雙目視覺技術來講,結構光可以得到準確的距離信息,優勢在於效率高、低能耗、成像分辨率高,適合靜態場景的應用,所以廣泛應用在人臉識別和人臉支付等場景。結構光技術的缺點是覆蓋距離太短,識別深度在1.2米以內,故而可以應用在手機前置自拍上,比如iPhone X的攝像就採用了結構光技術。

3、飛行時間技術(Time Of Flight)

飛行時間技術顧名思義就是說測量光在空中飛行的時間的技術,是指由TOF傳感器向目標物體發射經調製的脈衝型近紅外光,在被物體反射後,再由TOF傳感器接收反射回的光線,通過計算光線發射和反射時間差或相位差,來確定被拍攝物體和鏡頭、環境之間的距離,以產生深度信息,再結合計算機處理來呈現三維影像。

TOF可能是大眾瞭解度較高的技術,主要是得益於它在手機攝像頭上的大量應用。TOF技術相對來說,具有測量精度高、刷新率fps高、抗干擾性強、覆蓋範圍遠等優點,成像識別距離可以達到5米左右,比結構光技術遠得多,並且在捕捉動態成像上表現出色。這也是它在手機攝像矩陣中佔據一席的原因之一,除此以外,TOF技術還應用在掃描成像、VR/AR等領域。

TOF深感鏡頭測距原理

以上三種技術最有前景的當屬TOF技術,很多廠商也在從雙目、結構光技術向TOF技術轉變,下面就以TOF技術展開講解。前面說了飛行時間技術的基本過程,那麼它應用在移動端的3D深感鏡頭又是如何工作的呢?

1、TOF深感鏡頭基本結構

一套TOF深感鏡頭包括光源、光電探測器、脈衝發射單元和邏輯處理器。光源通常採用紅外線,脈衝裝置多用是讓光源可以連續不斷的發射調製的紅外光,照射到目標物體上,並接收源源不斷的反射光線。

2、光的飛行時間如何測量

我們根據速度公式:c=d/t,c為光速,d為距離,t為時間。那麼我們測量出光線在發出及返回之間使用的時間,再乘以光速就是距離。

但是我們知道光的速度是3x10^8m/s,對於這麼快的光速,那麼對時間的測量精度就需要達到皮秒級,這就要求電子計時器要有數百GHz的時鐘頻率。這麼高的頻率和精度使得測量器件製造成本和難度都很大,所以我們尋求了一種低頻率測量的方法。

我們再來看另一個速度公式:c=λ⋅ƒ,c仍然是光速,λ是波長,ƒ是頻率。現在,我們將光源調製成正弦脈衝波,當光波遇到目標物體後發生反射,再用傳感器來接收反射回來的正弦波,這時正弦波形會產生一定的相位偏移,而這個相位偏移就可以用來計算波形傳播的距離。

以上圖來輔助說明,ƒ就是調製頻率,藍線表示發出時的光波函數,紅線表示返回時的光波函數,它們之間產生了相位角差值φ,那麼利用相位角配合公式:d=c·φ/4πƒ就可以算出物體和TOF深感鏡頭的距離了。

3、手機端TOF鏡頭實例

根據這個原理,除了拍照,華為手機已經集成了深感鏡頭的測距功能,看下面這個例子,我們通過手機來聚焦一副眼鏡,完成後點擊中間的圓點就可以開始測量,選擇起點和終點,手機就能顯示出被測點之間的長度。

深感攝像頭的應用及前景

根據諮詢機構的統計預測,得益於手機終端等電子設備的科技發展,和數碼消費的火爆市場,可全球3D成像與傳感的市場規模到2022年將達到90億美元,而這一數字在2016年才13億美元。CAGR即複合年均增長率能達到近38%。

前面說的3種深度感知成像技術在軍事、工業、醫療、汽車、家居等方面都有著大量的應用,下面講解幾個跟大家平時使用較為密切的應用,比如:

1、人臉識別、動作識別

如蘋果公司的產品iPhone X的前置攝像頭就是搭載了結構光技術,可以在近距離下識別手勢動作和人臉,是一種便捷又安全的識別模式,支持用來進行人臉支付或解鎖等操作。

除了識別人臉,還能識別手勢、動態,比如捕捉動作的體感遊戲,還有用手勢控制智能家電的開關、亮度。

2、配合手機相機功能

如今華為、OPPO等手機廠商的相機功能已經越來越“浮誇”,都是高清主攝+超感光+超廣角+長焦+景深鏡頭,這裡的景深鏡頭就是TOF深感攝像頭,得益於集成電路和電子傳感器的突破技術,現在TOF技術也可以做的很小,集成到手機裡,並實現較遠距離的拍攝。

景深鏡頭攝入的景象肯定是比其他鏡頭更準確,但它並不能單獨進行攝像,因為分辨率不夠高,所以要搭配一顆或幾顆高清的主攝像頭。

3、AR、全息影像等

TOF技術的景深功能能較好地獲取物體不同部位的具體深度信息,可以用來實現3D方位上的很多不同場景應用,比如配合第三方提供的數據可以實現AR場景展現、虛擬換裝等效果。

以上就是我對3D深感攝像頭的理解和分享,而TOF技術的優勢使得TOF比結構光和雙目視覺應用場景更寬廣。

我是科技一杆槍,歡迎關注我看更多科技熱點。


科技一杆槍


1. Microsoft 和JDSU 3D攝像頭的歷史起源於2006年微軟與CVI開始一起研發紅外投影式多點觸控桌面電腦,但由於價格太高推廣不及預期,但是自此打開了3D感應和多點觸控領域。

2007年Primsense通過La一家設計公司與微軟接觸。2008年微軟聯合JDSU、Primsense開始一起研發3D攝像頭,但同時JDSU也在私下與蘋果也在洽談。2009年JDSU打算轉型做消費電子,把深圳搞光通訊的工廠賣給新美亞。2010年 JDSU大陸廠商移到了蘇州設廠,同年11月份三個月KINECT上市賣的很火。2011年蘋果與JDSU談收購。2013年蘋果收購了Primesense(主做飛行時間的3D探測檢測芯片)。

2015年JDSU拆分為lumentum和Viavi兩家上市公司,原JDSU股東為Viavi大股東,原JDSU股東為lumentum的小股東。

2. 3D 攝像頭的應用領域有哪些?

微軟對於3D攝像頭認識的第一代是基於光飛行時間(TOF)的,第二代是基於結構光的。3D攝像頭可以用到家庭娛樂、遙控、汽車電子控制、照明控制、家庭安防、手機控制、手機安全、人工智能、VR、AR。攝像頭的使用壽命和可靠性相對其它按鍵更長更穩定、蘋果目前已經開始量產3D攝像頭。

3. TOF的工作原理光在兩點之間行程需要有限時間,如果行程時間已知,可以通過近紅外光特性計算出相應的距離。CMOS成像器利用光行程時間通過重建圖像軟件轉換成圖像指令。一般適用於短距離。

4. 結構光的工作原理通過投影裝置把條紋或者Pattern投影到物體上,攝像裝置獲得變形以後的條紋圖像,經過軟件解調獲得物體3D信息,缺點是背景干擾、角度和集成問題。蘋果iPhone8很大程度上用TOF技術,下一代有可能用結構光。目前有專利,但是實現還需要一段時間。

5. 目前國際大廠已經在3D方向有佈局蘋果—整合PrimeSense, 發力3D手勢與人臉識別;英特爾—開始做RealSense;微軟—從KINECT到HANDPOSE;谷歌—Tango項目;索尼—收購softkinetic; 三星—Gear VR。

6. 3D 攝像頭有哪些關鍵部件?光源:VCSEL(耗能低、譜線窄、壽命高)紅外LD(譜線寬)、紅外LED(受溫度影響大、譜線更寬),價格一般在0.5美元~2.5美元之間;鏡頭;濾光片0.6~1.5 美元之間;CMOS攝像元件;結構圖器件,幾分錢;信號處理芯,1.5美元左右;蘋果總預算是要低於5美元。

7. 國內外技術方案情況TOF目前國外廠商涉及的有德州儀器、意法半導體、英飛凌、微軟、索尼、PrimSense、蘋果等;結構光在做的有英特爾、AMS、微軟、蘋果;系統集成國外有LG,國內有富士康和微創立;VCSEL國外在做的有Lumentum、Finsar、Princeton,國內有能力做的是光迅科技,但是未來能做的有很多,競爭會很有競爭力。


陶老師說農業


3D深感攝像頭(3D Depth Camera)是什麼?

目前這種概念被我們普通大眾接觸,主要來源於手機。3D深感攝像技術目前在手機上多用於人臉識別和體感控制。“3D深感攝像頭”核心技術是一種垂直腔面發射激光器(VCSEL),它以恆定的速率發出光波,然後測量每個光波反射環境中的物體,以及它們返回傳感器所需的時間,距離近的物體返回的光波飛行時間更短,距離遠的物體反之,以此來確定拍攝對象的3D模型。通俗點講就是3D深感攝像頭,可在拍攝時實現畫面縱深的測距,分離主體與背景,實現高精度的髮絲級摳圖、漸進式虛化以及電影級視頻背景虛化,呈現動人的立體視覺效果;手機通過3D深感攝像頭,可以為用戶進行人臉3D建模,並以此實現安全驗證;通過3D深感攝像頭,在AR(增強現實)軟件設計方面將會有無限可能。

應用方面:

很多手機已經配置了前置的3D深感攝像頭,下一步更多的手機將配置後置3D深感攝像頭,手機拍照和錄像效果將得到極大的提升,AR攝像也將表現得更好。

  1.安全驗證:通過3D深感攝像頭,手機可以為用戶進行人臉3D建模,並以此實現面部安全識別;

  

2.AR

:通過圖像背景虛化讓照片主次明晰、富有層次感;通過讀取面部的數據點後,結合軟件3D建模,創建虛擬頭像、模擬匹配;AR影像與現實空間更自然地結合在一起。

  3.遊戲:通過3D深感攝像頭的手機,捕捉人體動作,同步建模,達到對遊戲的控制,遊戲參與度將變得更高。


燚剪刀


利用3D 相機(又稱之為深度相機),通過相機能檢測出拍攝空間的距離信息,這也是與普通攝像頭最大的區別。普通的彩色相機拍攝到的圖片能看到相機視角內的所有物體並記錄下來,但是其所記錄的數據不包含這些物體距離相機的距離。僅僅能通過圖像的語義分析來判斷哪些物體比較遠,哪些比較近,並沒有確切的數據。

而3D相機能夠解決該問題,通過 3D 相機獲取到的數據, 能準確知道圖像中每個點離攝像頭距離,這樣加上該點在 2d 圖像中的(x,y)座標,就能獲取圖像中每個點的三維空間座標。通過三維座標就能還原真實場景,實現場景建模等應用。 以下具體介紹幾種深度相機的原理:

·奧比中光結構光(Structuredlight),通常採用特定波長的不可見的激光作為光源,它發射出來的光帶有編碼信息,投射在物體上,通過一定算法來計算返回的編碼圖案的畸變來得到物體的位置和深度信息。

·光飛行時間法(TOF),利用測量光飛行時間來取得距離,簡單來說就是,發出一道經過處理的光,碰到物體以後會反射回來,捕捉來回的時間,因為已知光速和調製光的波長,所以能快速準確計算出到物體的距離。

·雙目立體視覺(Binocular Stereo Vision),是機器視覺的一種重要形式,基於視差原理並利用成像設備從不同的位置獲取被測物體的兩幅圖像,通過計算圖像對應點間的位置偏差,來獲取物體三維信息。


華豫汴


你好,後置3D深感攝像頭,可以在拍攝時實現畫面縱深的測距,分離主體和背景,擁有高精度的髮絲級摳圖、漸進式虛化以及電影級視頻背景虛化感,呈現出動人的立體視覺效果。前置的3D深感攝像頭,可以在自拍時獲得精確的景深信息,配合人像分割的算法,可以實現高精度的髮絲級摳圖、自然溫潤的背景虛化效果,令自拍美得更有深度。[靈光一閃]


一隻科技怪


3d深感攝像頭技術是將照片拍的更立體,3d深感拍攝技術是目前最先進的拍攝技術之一,華為是最先實現這個技術的品牌之一?


中國首家餐桌智媒體


是為了實現3D成像而生的。

對於大部分用戶來說,應該對在X和Y軸的手機拍照非常熟悉了,但是對於Z軸上的成像卻使用得並不多。

這種可以實現X、Y、Z三軸的3D成像相機被稱為深度相機,但深度相機根據各自測量原理的不同,一般分為飛行時間法、結構光法和雙目立體視覺法,而其中的飛行時間法就是ToF(Time of Flight)的中文翻譯。

ToF基本原理就是通過測算光線往返的時間差來形成具體的3D圖像信息收集。

通過連續發射光脈衝(一般為不可見光)到被觀測物體上,然後接受從物體反射回來的光脈衝,通過光脈衝的往返時間來計算物體與相機的距離。



啊阿瓦羅薩啊


3D攝像頭是什麼

  Intel在感知計算上用功已不是一天兩天了,早在 2010 年時它曾宣佈跟GestureTek合作,又和SoftKinetic和Creative一起開展感知計算項目。去年 7 月又收購了手勢識別公司Omek,8月份9月份放出消息稱將推3D 深度攝像頭的PC。看來說的就是今天亮相的RealSense了——首款集成了 3D 深度和 2D 鏡頭模塊的 RealSense 3D 攝像頭了,它能實現高度精確的手勢識別、面部特徵識別,將幫助機器理解人的動作和情感。

  像人眼一樣工作的它能派上什麼用場呢?Intel感知計算高級副總裁Mooly Eden表示,RealSense品牌下將推出“多得多”的產品,不過這個1080p的3D攝像頭不會止於數字建模和模型編輯。說到3D建模,Intel表示將和3D打印產業內的巨頭3D Systems合作,屆時3D打印想必就會和現在打印一份簡歷那樣方便。

  在今年的CES上,Intel還展示了多種RealSense 3D 攝像頭的應用場景。如在視頻會議和播客錄製中,該攝像頭能夠晰識別前景和背景,像色鍵那樣突出前景或背景。簡單的屏幕導航也是一個用處,這有點像Leap motion,只需隔空比劃就能滑動屏幕,還有追蹤人臉的相對位置來轉動Google Earth。遊戲也是你能想到的一個應用場景,大概是朝Kinect的方向發展吧。

  Intel認為,RealSense的一個理念就是,計算、交互應該更加自然。在未來的世界中,誰能左右人與世界交互的方式,誰就佔有更多的用戶,基於視覺的感知並非Intel唯一的發力點,語音識別也是其押寶的一個方向。它正在與語音識別軟件開發商Nuance合作開發一款叫收Dragon Assistant的類Siri產品,今年會應用在其OEM生產的超極本、平板等產品上。去年9月份時它也收購了一家名為Indisys的自然語言處理初創企業。


故事三秦


字面意思可以簡單的理解到,通過3d深感攝像頭可以獲得物體的三維立體結構。

在目前 3D 視覺技術的三種主流方案(結構光、ToF 和雙目立體成像)中,結構光和 ToF 受到智能手機行業的廣泛關注和應用。


分享到:


相關文章: