3d深感摄像头是什么意思?

雁南飞62520


你好,我是科技一杆枪,很高兴跟大家交流科技领域问题。我们发现,现在推出的具有竞争力的智能手机都搭载了一颗3D深感摄像头,这种深感摄像头不仅用在手机端,同样在智能汽车的自动驾驶上、需要人脸识别的场景下、以及制作电影特效捕捉等领域发挥着重要作用。那么什么是3D深感摄像头呢?又起到什么作用呢?

3D深感成像传感技术

当前主流的3D成像传感技术主要有三类:双目立体视觉技术、结构光技术和TOF飞行时间技术,他们有各自的优缺点及适用范围。

1、双目立体视觉(Binocular Stereo Vision)

这种技术灵感源自人类的双眼,是一种利用视差原理来获取空间深度感知,从而进行3D成像的技术。我们知道人的两只眼睛看到的物体是存在一定差别的,假设是两张图像,双目立体视觉就利用这种视差,用两个摄像机来捕捉图像,建立特征点在两张图像之间的对应关系,进而绘制出特征点在三维空间内的位置。见下图:

双目立体视觉技术原理简单,成本较低,近些年在机器人视觉系统中应用较为广泛,同时在测绘、医疗成像和工业检测等领域中也有着不同程度的应用。但是它的缺点也很明显,双目成像无法获知目标点准确的深度距离,精度较差,所以在智能手机端并没有应用。

2、结构光技术(structured light)

结构光的意思就是将光线结构化,使其具有一定的结构特征。这里面需要用到红外激光发射器和采集摄像机,激光器发出的光经过预定的光栅或者其他设备产生出结构特征的光线,投射向被测向物体表面,再由一组或多组摄像头采集被测物体的表面获取图像信息,由计算机系统对采集的信息进行深入处理成像。

相比于双目视觉技术来讲,结构光可以得到准确的距离信息,优势在于效率高、低能耗、成像分辨率高,适合静态场景的应用,所以广泛应用在人脸识别和人脸支付等场景。结构光技术的缺点是覆盖距离太短,识别深度在1.2米以内,故而可以应用在手机前置自拍上,比如iPhone X的摄像就采用了结构光技术。

3、飞行时间技术(Time Of Flight)

飞行时间技术顾名思义就是说测量光在空中飞行的时间的技术,是指由TOF传感器向目标物体发射经调制的脉冲型近红外光,在被物体反射后,再由TOF传感器接收反射回的光线,通过计算光线发射和反射时间差或相位差,来确定被拍摄物体和镜头、环境之间的距离,以产生深度信息,再结合计算机处理来呈现三维影像。

TOF可能是大众了解度较高的技术,主要是得益于它在手机摄像头上的大量应用。TOF技术相对来说,具有测量精度高、刷新率fps高、抗干扰性强、覆盖范围远等优点,成像识别距离可以达到5米左右,比结构光技术远得多,并且在捕捉动态成像上表现出色。这也是它在手机摄像矩阵中占据一席的原因之一,除此以外,TOF技术还应用在扫描成像、VR/AR等领域。

TOF深感镜头测距原理

以上三种技术最有前景的当属TOF技术,很多厂商也在从双目、结构光技术向TOF技术转变,下面就以TOF技术展开讲解。前面说了飞行时间技术的基本过程,那么它应用在移动端的3D深感镜头又是如何工作的呢?

1、TOF深感镜头基本结构

一套TOF深感镜头包括光源、光电探测器、脉冲发射单元和逻辑处理器。光源通常采用红外线,脉冲装置多用是让光源可以连续不断的发射调制的红外光,照射到目标物体上,并接收源源不断的反射光线。

2、光的飞行时间如何测量

我们根据速度公式:c=d/t,c为光速,d为距离,t为时间。那么我们测量出光线在发出及返回之间使用的时间,再乘以光速就是距离。

但是我们知道光的速度是3x10^8m/s,对于这么快的光速,那么对时间的测量精度就需要达到皮秒级,这就要求电子计时器要有数百GHz的时钟频率。这么高的频率和精度使得测量器件制造成本和难度都很大,所以我们寻求了一种低频率测量的方法。

我们再来看另一个速度公式:c=λ⋅ƒ,c仍然是光速,λ是波长,ƒ是频率。现在,我们将光源调制成正弦脉冲波,当光波遇到目标物体后发生反射,再用传感器来接收反射回来的正弦波,这时正弦波形会产生一定的相位偏移,而这个相位偏移就可以用来计算波形传播的距离。

以上图来辅助说明,ƒ就是调制频率,蓝线表示发出时的光波函数,红线表示返回时的光波函数,它们之间产生了相位角差值φ,那么利用相位角配合公式:d=c·φ/4πƒ就可以算出物体和TOF深感镜头的距离了。

3、手机端TOF镜头实例

根据这个原理,除了拍照,华为手机已经集成了深感镜头的测距功能,看下面这个例子,我们通过手机来聚焦一副眼镜,完成后点击中间的圆点就可以开始测量,选择起点和终点,手机就能显示出被测点之间的长度。

深感摄像头的应用及前景

根据咨询机构的统计预测,得益于手机终端等电子设备的科技发展,和数码消费的火爆市场,可全球3D成像与传感的市场规模到2022年将达到90亿美元,而这一数字在2016年才13亿美元。CAGR即复合年均增长率能达到近38%。

前面说的3种深度感知成像技术在军事、工业、医疗、汽车、家居等方面都有着大量的应用,下面讲解几个跟大家平时使用较为密切的应用,比如:

1、人脸识别、动作识别

如苹果公司的产品iPhone X的前置摄像头就是搭载了结构光技术,可以在近距离下识别手势动作和人脸,是一种便捷又安全的识别模式,支持用来进行人脸支付或解锁等操作。

除了识别人脸,还能识别手势、动态,比如捕捉动作的体感游戏,还有用手势控制智能家电的开关、亮度。

2、配合手机相机功能

如今华为、OPPO等手机厂商的相机功能已经越来越“浮夸”,都是高清主摄+超感光+超广角+长焦+景深镜头,这里的景深镜头就是TOF深感摄像头,得益于集成电路和电子传感器的突破技术,现在TOF技术也可以做的很小,集成到手机里,并实现较远距离的拍摄。

景深镜头摄入的景象肯定是比其他镜头更准确,但它并不能单独进行摄像,因为分辨率不够高,所以要搭配一颗或几颗高清的主摄像头。

3、AR、全息影像等

TOF技术的景深功能能较好地获取物体不同部位的具体深度信息,可以用来实现3D方位上的很多不同场景应用,比如配合第三方提供的数据可以实现AR场景展现、虚拟换装等效果。

以上就是我对3D深感摄像头的理解和分享,而TOF技术的优势使得TOF比结构光和双目视觉应用场景更宽广。

我是科技一杆枪,欢迎关注我看更多科技热点。


科技一杆枪


1. Microsoft 和JDSU 3D摄像头的历史起源于2006年微软与CVI开始一起研发红外投影式多点触控桌面电脑,但由于价格太高推广不及预期,但是自此打开了3D感应和多点触控领域。

2007年Primsense通过La一家设计公司与微软接触。2008年微软联合JDSU、Primsense开始一起研发3D摄像头,但同时JDSU也在私下与苹果也在洽谈。2009年JDSU打算转型做消费电子,把深圳搞光通讯的工厂卖给新美亚。2010年 JDSU大陆厂商移到了苏州设厂,同年11月份三个月KINECT上市卖的很火。2011年苹果与JDSU谈收购。2013年苹果收购了Primesense(主做飞行时间的3D探测检测芯片)。

2015年JDSU拆分为lumentum和Viavi两家上市公司,原JDSU股东为Viavi大股东,原JDSU股东为lumentum的小股东。

2. 3D 摄像头的应用领域有哪些?

微软对于3D摄像头认识的第一代是基于光飞行时间(TOF)的,第二代是基于结构光的。3D摄像头可以用到家庭娱乐、遥控、汽车电子控制、照明控制、家庭安防、手机控制、手机安全、人工智能、VR、AR。摄像头的使用寿命和可靠性相对其它按键更长更稳定、苹果目前已经开始量产3D摄像头。

3. TOF的工作原理光在两点之间行程需要有限时间,如果行程时间已知,可以通过近红外光特性计算出相应的距离。CMOS成像器利用光行程时间通过重建图像软件转换成图像指令。一般适用于短距离。

4. 结构光的工作原理通过投影装置把条纹或者Pattern投影到物体上,摄像装置获得变形以后的条纹图像,经过软件解调获得物体3D信息,缺点是背景干扰、角度和集成问题。苹果iPhone8很大程度上用TOF技术,下一代有可能用结构光。目前有专利,但是实现还需要一段时间。

5. 目前国际大厂已经在3D方向有布局苹果—整合PrimeSense, 发力3D手势与人脸识别;英特尔—开始做RealSense;微软—从KINECT到HANDPOSE;谷歌—Tango项目;索尼—收购softkinetic; 三星—Gear VR。

6. 3D 摄像头有哪些关键部件?光源:VCSEL(耗能低、谱线窄、寿命高)红外LD(谱线宽)、红外LED(受温度影响大、谱线更宽),价格一般在0.5美元~2.5美元之间;镜头;滤光片0.6~1.5 美元之间;CMOS摄像元件;结构图器件,几分钱;信号处理芯,1.5美元左右;苹果总预算是要低于5美元。

7. 国内外技术方案情况TOF目前国外厂商涉及的有德州仪器、意法半导体、英飞凌、微软、索尼、PrimSense、苹果等;结构光在做的有英特尔、AMS、微软、苹果;系统集成国外有LG,国内有富士康和微创立;VCSEL国外在做的有Lumentum、Finsar、Princeton,国内有能力做的是光迅科技,但是未来能做的有很多,竞争会很有竞争力。


陶老师说农业


3D深感摄像头(3D Depth Camera)是什么?

目前这种概念被我们普通大众接触,主要来源于手机。3D深感摄像技术目前在手机上多用于人脸识别和体感控制。“3D深感摄像头”核心技术是一种垂直腔面发射激光器(VCSEL),它以恒定的速率发出光波,然后测量每个光波反射环境中的物体,以及它们返回传感器所需的时间,距离近的物体返回的光波飞行时间更短,距离远的物体反之,以此来确定拍摄对象的3D模型。通俗点讲就是3D深感摄像头,可在拍摄时实现画面纵深的测距,分离主体与背景,实现高精度的发丝级抠图、渐进式虚化以及电影级视频背景虚化,呈现动人的立体视觉效果;手机通过3D深感摄像头,可以为用户进行人脸3D建模,并以此实现安全验证;通过3D深感摄像头,在AR(增强现实)软件设计方面将会有无限可能。

应用方面:

很多手机已经配置了前置的3D深感摄像头,下一步更多的手机将配置后置3D深感摄像头,手机拍照和录像效果将得到极大的提升,AR摄像也将表现得更好。

  1.安全验证:通过3D深感摄像头,手机可以为用户进行人脸3D建模,并以此实现面部安全识别;

  

2.AR

:通过图像背景虚化让照片主次明晰、富有层次感;通过读取面部的数据点后,结合软件3D建模,创建虚拟头像、模拟匹配;AR影像与现实空间更自然地结合在一起。

  3.游戏:通过3D深感摄像头的手机,捕捉人体动作,同步建模,达到对游戏的控制,游戏参与度将变得更高。


燚剪刀


利用3D 相机(又称之为深度相机),通过相机能检测出拍摄空间的距离信息,这也是与普通摄像头最大的区别。普通的彩色相机拍摄到的图片能看到相机视角内的所有物体并记录下来,但是其所记录的数据不包含这些物体距离相机的距离。仅仅能通过图像的语义分析来判断哪些物体比较远,哪些比较近,并没有确切的数据。

而3D相机能够解决该问题,通过 3D 相机获取到的数据, 能准确知道图像中每个点离摄像头距离,这样加上该点在 2d 图像中的(x,y)坐标,就能获取图像中每个点的三维空间坐标。通过三维坐标就能还原真实场景,实现场景建模等应用。 以下具体介绍几种深度相机的原理:

·奥比中光结构光(Structuredlight),通常采用特定波长的不可见的激光作为光源,它发射出来的光带有编码信息,投射在物体上,通过一定算法来计算返回的编码图案的畸变来得到物体的位置和深度信息。

·光飞行时间法(TOF),利用测量光飞行时间来取得距离,简单来说就是,发出一道经过处理的光,碰到物体以后会反射回来,捕捉来回的时间,因为已知光速和调制光的波长,所以能快速准确计算出到物体的距离。

·双目立体视觉(Binocular Stereo Vision),是机器视觉的一种重要形式,基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维信息。


华豫汴


你好,后置3D深感摄像头,可以在拍摄时实现画面纵深的测距,分离主体和背景,拥有高精度的发丝级抠图、渐进式虚化以及电影级视频背景虚化感,呈现出动人的立体视觉效果。前置的3D深感摄像头,可以在自拍时获得精确的景深信息,配合人像分割的算法,可以实现高精度的发丝级抠图、自然温润的背景虚化效果,令自拍美得更有深度。[灵光一闪]


一只科技怪


3d深感摄像头技术是将照片拍的更立体,3d深感拍摄技术是目前最先进的拍摄技术之一,华为是最先实现这个技术的品牌之一?


中国首家餐桌智媒体


是为了实现3D成像而生的。

对于大部分用户来说,应该对在X和Y轴的手机拍照非常熟悉了,但是对于Z轴上的成像却使用得并不多。

这种可以实现X、Y、Z三轴的3D成像相机被称为深度相机,但深度相机根据各自测量原理的不同,一般分为飞行时间法、结构光法和双目立体视觉法,而其中的飞行时间法就是ToF(Time of Flight)的中文翻译。

ToF基本原理就是通过测算光线往返的时间差来形成具体的3D图像信息收集。

通过连续发射光脉冲(一般为不可见光)到被观测物体上,然后接受从物体反射回来的光脉冲,通过光脉冲的往返时间来计算物体与相机的距离。



啊阿瓦罗萨啊


3D摄像头是什么

  Intel在感知计算上用功已不是一天两天了,早在 2010 年时它曾宣布跟GestureTek合作,又和SoftKinetic和Creative一起开展感知计算项目。去年 7 月又收购了手势识别公司Omek,8月份9月份放出消息称将推3D 深度摄像头的PC。看来说的就是今天亮相的RealSense了——首款集成了 3D 深度和 2D 镜头模块的 RealSense 3D 摄像头了,它能实现高度精确的手势识别、面部特征识别,将帮助机器理解人的动作和情感。

  像人眼一样工作的它能派上什么用场呢?Intel感知计算高级副总裁Mooly Eden表示,RealSense品牌下将推出“多得多”的产品,不过这个1080p的3D摄像头不会止于数字建模和模型编辑。说到3D建模,Intel表示将和3D打印产业内的巨头3D Systems合作,届时3D打印想必就会和现在打印一份简历那样方便。

  在今年的CES上,Intel还展示了多种RealSense 3D 摄像头的应用场景。如在视频会议和播客录制中,该摄像头能够晰识别前景和背景,像色键那样突出前景或背景。简单的屏幕导航也是一个用处,这有点像Leap motion,只需隔空比划就能滑动屏幕,还有追踪人脸的相对位置来转动Google Earth。游戏也是你能想到的一个应用场景,大概是朝Kinect的方向发展吧。

  Intel认为,RealSense的一个理念就是,计算、交互应该更加自然。在未来的世界中,谁能左右人与世界交互的方式,谁就占有更多的用户,基于视觉的感知并非Intel唯一的发力点,语音识别也是其押宝的一个方向。它正在与语音识别软件开发商Nuance合作开发一款叫收Dragon Assistant的类Siri产品,今年会应用在其OEM生产的超极本、平板等产品上。去年9月份时它也收购了一家名为Indisys的自然语言处理初创企业。


故事三秦


字面意思可以简单的理解到,通过3d深感摄像头可以获得物体的三维立体结构。

在目前 3D 视觉技术的三种主流方案(结构光、ToF 和双目立体成像)中,结构光和 ToF 受到智能手机行业的广泛关注和应用。


分享到:


相關文章: