11.30 VRAR全景分析与前景展望:敢问路在何方?.pdf

(获取报告请登陆未来智库www.vzkoo.com)

VR/AR 产业全景初探

VR/AR 的内涵与区别:构建身临其境和虚实结合的沉浸式体验

VR/AR 究竟是什么?很多人会对于 VR、AR 和 MR 这些概念的界定感到困惑,而不同企业和机构的定义 又往往有所不同。简而言之,虚拟现实(VR)是虚拟场景的封闭式体验,而增强现实(AR)体验会将数字元 素叠加到现实世界的对象和背景上。混合现实(MR)可以说是升级版的 AR,能够实现虚实场景的结合,和 AR 的区别就是对虚拟图像的真实感做严格的要求,因此是 AR 的一种类别。

VR/AR 两者在关键器件、终端形态上相似性较大,在关键技术上也有重叠之处,而在应用领域上有所差异。

VR/AR 均需要用计算机绘制虚拟图像。VR 中的图像全部由计算机绘制,往往需要配置高性能的 GPU,同 时由于 VR 是隔绝式的音视频沉浸体验,因此对显示画质要求较高。而 AR 中大部分图像是通过镜片透射或摄 像头拍摄的,计算机绘制的图像占比较少,而且是以信息性为主的,对图像逼真度要求较低,因此对 GPU 要求 不高。但 AR 需要对场景进行理解,需要用非常复杂的算法,并且实时运行,这样 AR 对 CPU 的运算性能要求 非常高。此外,VR 侧重于游戏、视频、直播与社交等大众市场,AR 侧重于工业、军事等垂直应用。

……

目前 VR/AR 的瓶颈包括网络带宽和速率的限制,硬件技术不够成熟,以及内容应用的匮乏。

硬件技术上,VR 近眼显示技术存在分辨率不足、眩晕等问题。就分辨率而言,行业主流处于单眼 1.5K-2K 阶段,但是如果需要完美的沉浸式体验,需要单眼 8K 以上的成像内容,过低的画质会带来视觉疲劳。AR 近眼 显示技术的硬件难度要求更高,尚未确定主流的光学方案。另一方面,现有的 CPU/GPU 无法保证在轻便的硬件 上实现足够的计算速度、存储空间、传输速率和续航能力。

网络设施上,VR/AR 对带宽和时延要求较高,要想保证 VR/AR 良好的用户体验,至少需要 50Mbps 的带宽, 能够保证高分辨率和低时延,从而改善眩晕的问题。由于 AR 侧重与真实环境的人机交互,须将摄像头捕捉到 的图片/视频上传云端,云端实时下载需要增强叠加显示的虚拟信息,因此需求更多的上行带宽。目前 4G 的平 均下行速率为 25Mbps,上行不足 10Mbps,而目前家庭平均保障带宽仅 37.5Mbps,Wi-Fi 时延高达 20-200ms, 不能够满足 VR/AR 的需求。

内容资源上,内容分发平台更新慢、资源少。 C 端缺乏“杀手级”应用,作品内容形式同质化、简单化, 用户体验以单机为主,视觉体验交互式元素少,并未在交互体验方面与以往的娱乐设备产生本质的不同;移动 性、趣味性低,沉浸感、临场感体验效果差;B 端缺少规模化、产业级应用。

目前 VR/AR 产业标准尚未统一,造成设备、操作系统、版本的分裂发展,从而加大了游戏、影视等内容的 适配难度。且 VR/AR 成本居高不下,终端设备及硬件配置价格较高,也降低在了消费级市场的普及速度。

一问网络:双 G 将给 VR 带来什么改变?

双 G 是指 5G 和千兆带宽,5G 主 要是室外移动场景,也就是无线基站到移动终端一侧,而千兆带宽+ Wi-Fi6 为室内固定场景,在包括接入网和 承载网解决带宽和时延问题。二者共同为 VR/AR 提供更优的管道。

很多人认为 5G 会淘汰 Wi-Fi,这种说法不够准确,两者应用的场景不同,Wi-Fi 是室内固定场景,5G 则是 户外移动场景。在 5G 时代,千兆带宽+Wi-Fi 仍将承担室内场景下大流量应用和下载的重要作用。

接入网:5G、Wi-Fi6、10G PON 将成为 VR/AR 主流传输技术

在接入网方面,5G、Wi-Fi6、10G PON 有望在五年内成为面向虚拟现实业务的主流传输技术。Wi-Fi 技术 相对成熟,可实现 VR/AR 终端的无绳化。固定宽带光网络目前可以支持 1Gbps-2.5Gbps 的带宽接入,能够满足 少量 VR 用户承载,未来将升级到 5G-10G。未来 5G 的目标网可为每用户提供随时随地平均 100Mbps 的无线 接入服务,为 VR/AR 业务提供极致体验。

5G:高速率、低时延的特性将大幅提高 VR/AR 体验

5G 网络高速率、低时延的特性适合承载 VR/AR 业务,并大幅提高用户体验。根据 5G 的性能指标,5G 移 动网络能够达到 20Gbps 的峰值速率,是 4G 的 20 倍;能够达到 1Gbps 的体验速率,是 4G 的 100 倍;空口时延 1ms,是 4G 的 1/5。

千兆带宽+ Wi-Fi6:能够实现 VR/AR 对于网络的要求

随着光纤宽带接入技术的进步和新兴高带宽业务的应用,千兆宽带已成为下一步宽带发展的焦点。

Ovum 的报告显示,全球已有超过 234 家运营商发布千兆业务,其中 20 家发布了万兆业务。我国目前已经基本普及 了百兆光纤入户,未来将逐步开展城市千兆带宽入户示范。固定网络经历了 5 个阶段的发展,目前已进入以 10G PON 光纤技术为基础的千兆时代。

当前已规模部署的 FTTH 技术包括 EPON 和 GPON,EPON 仅能提供 1Gbps 带宽接入,不适宜虚拟现 实业务部署。GPON 技术可提供 2.5Gbps 带宽接入,时延小于 2ms,能够满足少量 VR 用户承载。为满足 VR 用户规模化发展,须将 EPON/GPON 升级到 10G EPON/GPON。10G PON 作为千兆网络的基础技术,与前几 代固定接入技术相比,带宽、用户体验和联接容量三个方面均有飞跃式发展,上下行速率将高达对称 10Gbps, 时延降低到 100μs 以下,实现全场景多业务覆盖,满足 VR 用户的规模化发展。

下一代 Wi-Fi 技术 Wi-Fi 6 在传输速率、功耗、空间和性能等方面同样具有较大提升。Wi-Fi 6(即 IEEE 802.11ax),是一项无线局域网标准,也是 Wi-Fi 5(IEEE 802.11ac)的升级版。Wi-Fi 6 支持更高的传输速率, 最高速率可达 9.6Gbps。Wi-Fi 6 允许更多的设备接入,并且能够加快每一台设备的速度和容量,在连接相同数 量设备的基础上,速度是 Wi-Fi 5 的近四倍。基于 Wi-Fi 6 支持室内室外场景、提高频谱效率和提升密集用户环 境下 4 倍实际吞吐量的性能,能够实现 VR/AR 对于高速率和低时延的要求,可以处理来自多个 VR 用户不同类 型的流量。

Cloud VR 解决方案:内容和渲染上云,将设备做到轻量化、低成本

本地 VR 受到用户体验与终端成本的制约,Cloud VR 能够解决主要痛点

VR用户体验与终端成本的平衡是目前影响VR产业发展的关键问题。低成本终端有助于提升VR硬件普及率, 但有限的硬件配置也限制了用户体验,用户的首次体验不好,后续就很难接纳和持续使用 VR。另一方面,以 HTC VIVE、Oculus Rift、Sony PlayStation 等为代表的高品质 VR 设备,其配置套装价格高达数千乃至万元,过高的 终端成本明显制约了高品质 VR 的普及。

另一个关键问题是头显设计和佩戴舒适度,目前 VR 强交互类业务的渲染主要在本地主机和终端进行,对 GPU 的资源要求很高,要求 VR 需要连接到电脑上,带来笨重的体验;而如果不连接电脑,VR 本身配置显卡则 会带来体积大、头显重、高耗电和过热的问题,这些问题减少了用户使用 VR 的时间,对 VR 的推广带来不利影 响。另外,VR 内容的市场相对比较分散,很多优秀的 VR 内容分散在各个厂家,难以有效地分发给客户。

Could VR 的解决方案通过将云计算、云渲染的技术应用到 VR 业务中,借助高速稳定的网络,将云端的显示 输出和声音输出通过压缩后传输到用户的终端设备,实现 VR 内容上云、渲染上云,实现 VR 头显的无绳化和轻 量化,更容易被用户所接受,有效解决 VR 发展的痛点。

Cloud VR 面临的挑战:提升渲染及网络技术,达到时延小于 20ms

尽管 Coud VR 技术采用云渲染方案,使得 VR 终端更轻便,成本更低,但也面临着时延的挑战。对于 VR 视频等弱交互业务来说,对时延的要求不高,不同的时延只是对画面的加载时间产生影响;但对于 VR 游戏、 VR 社交这类的强交互业务来说,则需要保证 MTP(Motion to Photon,动作至显示)的时延不超过 20ms,超过 这个时延,则非常容易引起晕动症。

目前为了满足云渲染技术下 VR 体验的时延要求,除了云渲染技术外,端云异步渲染、端到端低时延传输 也是两大关键技术解决方案。

二问硬件: VR/AR 硬件设备的困难在哪里?

目前来看, VR/AR 的硬件上仍面临的较大的技术实现难度,远高于手机等传统智能终端,例如芯片、屏幕 等性能在手机等设备上已经过剩了,但在 VR/AR 上仍有门槛。AR 的技术实现难度还要比 VR 更高,尤其是在近 眼显示与感知交互领域,很多技术需要从无到有的重大突破。

近眼显示技术

近眼显示(Near-eye display,简称 NED),被认为是 VR/AR 硬件最重要的问题,也是目前用户体验的痛 点所在。近眼显示技术是指通过光学和屏幕的设计,将显示器上的像素,通过一系列光学成像元件形成远处的 虚像并投射到人眼中。不同于半导体遵循摩尔定律,往往具有可预见的迭代周期,光学设计则需要在最基本的 物理定律的框架下,不断探索、论证各种的可能性,技术门槛较高,进展相对缓慢,但目前在一些技术上已经 取得了较为明确的突破。

另外,由于现有技术方案在分辨率(清晰程度)、视场角(视野范围)、重量体积(美观舒适)等方面存在 潜在冲突,如何做到既要保证 VR/AR 眼镜的轻薄舒适性,又要保证一定的视觉体验,同时在各种光学参数存 在冲突的情况下做出取舍,是近眼显示技术的巨大挑战。

由于 VR 与 AR 终端形态的差异,二者的近眼显示技术的发展路径又有较大不同,VR 是直接显示虚拟的图 像,由于 AR 是需要透视的,成像系统不能挡在视线前方,因此多了一个或一组光学组合器,通过“层叠”的 形式,将虚拟信息和真实场景融为一体。

现 VR 将长期使用 LCD、OLED 类型屏幕作为显示器件,技术突破的重点为 1000ppi 以上的 AMOLED、 Fast-LCD 屏幕技术。AR 分为图像源器件,即显示屏(OLEDoS、LCoS)和光学器件(如光波导、折返光学透 镜、自由曲面棱镜等),技术突破的重点在于微显示屏以及光波导显示技术的发展和实际应用。

屏幕技术:超高 ppi 显示屏是 VR 眼镜的主要技术突破点

视场角(FOV,Field of View)用来衡量人的视野范围,无疑是 VR/AR 设备最重要的参数之一。越大的视 场角带来越好的沉浸感。一般来讲,正常人类的视场角,也就是不转头从一侧看到另一侧的最大角度一般在 200° 左右,不过看得最清晰的部分是双眼重合的视角,大约是 120°。VR 设备由于光学设计更加简单,视场角已经 可以接近覆盖到人类的整个视场;AR 显示器的视场角则仅能够覆盖人类视场的一小部分。

对于眼镜形态的设备,由于视场角,视窗和适眼距等参数密切相关,适眼距是 20mm,视窗尺寸是 20mm 的情况下,35mm 的显示器尺寸可以达到 FOV40°,60mm 显示器尺寸可以达到 FOV90°,要想达到 170°的 FOV,则需要 170mm 的显示器,如此宽的尺寸在平面显示器上基本是不可行的,曲面波导是一种解决方案,但 是距离应用还有距离。

分辨率以一块屏幕上有多少个像素点来衡量显示效果和清晰度。像素点越多,成像效果也越清晰,例如 1080P 的片源,匹配 1080P 的平面屏幕,人眼感知到的清晰度就是 1080P。

但对于 VR 设备,则没有这么简单,由于 VR 特殊的分屏播放形式,在显示的时候单个画面只会用到屏幕 一半的像素点,1080P 的 VR 屏幕在观看 VR 视频时候,左右两面各显示 540 个像素点,是面板分辨率的一半。 再加上光学镜片和屏幕材质等因素的影响,复杂的光学系统位于用户眼睛和显示面板之间,它们会严重降低图 像质量,VR 感知分辨率就会远远低于面板的分辨率。目前 8K 的 VR 可以相当于屏幕 480P 的视觉效果,12K 的 VR 相当于平面 720P 的视觉效果。

像素密度(ppi)衡量每英寸所包含的像素点数,这个参数比分辨率更为关键,因为分辨率与屏幕大小无关, 在一款 65 吋大屏液晶电视上做到 4K 分辨率与在 6.5 吋的手机屏幕上做到 4K 分辨率的难度是截然不同的。VR 的原理是将手机大小的屏幕分屏,然后用放大镜将屏幕画面矫正后投射到人眼中,让人形成双目立体视觉。简单 理解就是放大镜的原理,人眼虽然只离屏幕几厘米近,却能看到宽广的世界,但是要让这宽广的世界在方寸之小 的屏幕上显示,必须要求极高的 ppi。目前普通手机屏幕在 300ppi 左右,而 VR 则要求 1000ppi 以上的显示器 件。

现有的 VR/AR 硬件设备的体验效果不好,颗粒感、畸变、色散和眩晕等问题都受制于现有屏幕技术的制 约。由于 LCD、OLED 在较长时间内仍将是 VR/AR 显示器件的主导,1000ppi 以上的 AMOLED、Fast-LCD 将 是未来显示技术的主要方向。

光波导:AR 眼镜的主流方案,但预计中近期难以大规模普及

AR 设备的光学显示系统通常由微型显示屏和光学元件组成。光学组合器的不同,是区分 AR 显示系统的 关键部分,市场上各种方案百花齐放。目前看来,光波导方案从光学效果、外观形态,和量产前景来说,具备较好的发展潜力,也成为微软 HoloLens、谷歌眼镜、Magic Leap、DigiLens 采用的主要方案。

光波导的原理:利用“全反射”将远距离成像传输到眼睛前方

光波导并非一个新的技术,事实上和光纤光缆的原理一样。为了在光在介质里 100%保留住而不漏光,传输 的介质要满足两个条件,全反射(传输介质即波导材料需要具备比周围介质高的折射率),入射角(光进入波导 的入射角需要大于临界角θc,光线穿梭基本没有损耗)。

光机完成成像过程后,波导将光耦合进自己的玻璃基底中,通过“全反射”原理将光传输到眼睛前方再释 放出来。通过波导,显示屏和成像系统远离眼镜移到额头顶部或者侧面,降低了光学系统对外界视线的阻挡, 并且使得重量分布更符合人体工程学,改善了设备的佩戴体验。目前光波导的技术方向有两类:几何光波导和 衍射式光波导。

几何光波导:镜面阵列设计,实现一维扩瞳,制造工艺复杂

几何光波导中,耦合光进入波导首先遇到一个棱镜或反射面,在多轮全反射后到达眼睛前方,耦合光出波 导的结构是一个“半透半反”镜面阵列。每一个镜面会将部分光线反射出波导进入人眼,剩下的光线透射过去 继续在波导中前进。镜面阵列相当于将出瞳沿水平方向复制了多份,这样眼睛在横向移动时都能看到图像,这 就是一维扩瞳技术(1D EPE)。

目前几何光波导代表光学公司是以色列的 Lumus,国内的珑璟光电。如果生产过程符合设计,几何波导的 成像质量比较好,但光效率比传统光学系统偏低,相当于出光面积变大,每一个出瞳位置看到的光就变少了。 但问题在于,几何波导的工艺难度非常大,主要在于复杂的镀膜工艺,由于光在传播过程中会越来越少,要保 证动眼框范围出光均匀,阵列中这五六个镜面的每一个都需要不同的反射透射比(R/T),又由于光通常是偏振的, 每个镜面的镀膜层数可能达到十几甚至几十层;另一方面是胶合难度大,镜面之间的平行度和切割的角度都会 影响到成像质量,极易出现瑕疵,导致黑条纹,出光不均匀,鬼影等现象。因此几何波导的良率较低,可量产 性较低。

衍射光波导:通过光栅调整,可以实现二维扩瞳

衍射光波导主要有利用光刻技术制造的表面浮雕光栅波导(Surface Relief Grating,SRG)和基于全息干涉技术制造的全息体光栅波导(Volumetric Holographic Grating,VHG), HoloLens 2,Magic Leap One 均属于前 者,苹果公司收购的 Akonia 和 Digilen 则致力于后者。

衍射光波导的原理简单来讲,就是是通过设计衍射光栅的参数,将光衍射到想要的方向上去。衍射光栅是 一个具有周期结构的光学元件,这个周期可以是材料表面浮雕出来的高峰和低谷 (图 a),也可以是全息技术在 材料内部曝光形成的“明暗干涉条纹”(图 b),但归根结底都是在材料中引起了一个折射率 n 的周期性变化。因 此,衍射光栅通过衍射级和色散实现分光特性,起到了与传统光学器件类似的改变光线传播方向的作用,但是 它所有的操作又都是在平面上通过微纳米结构实现的,所以非常节省空间,自由度也比传统光学器件大很多。

衍射光波导技术与几何光波导相比主要优势在于光栅在设计和生产上的灵活性,不论是利用传统半导体微 纳米制造生产工艺的表面浮雕光栅,还是利用全息干涉技术制成的体光栅,都是在玻璃基底平面上加镀一层薄 膜然后加工,不需要像几何光波导中的玻璃切片和粘合工艺,可量产性和良率要高很多。衍射光波导技术的不 足主要来源于衍射元件本身对于角度和颜色的高度选择性,光的效率偏低,另外还有色散问题。

……

在微软,谷歌,Magic Leap 、DigiLens 等厂商的推动下,光波导目前成为 AR 眼镜的主流技术。光波导技 术在 AR 领域的技术发展前景是明确的,但预计在中近期难以大规模普及。光波导技术中各类技术路线间存在 明显的优势和短板,目前尚未确立主导地位技术方案。

此外,由于受到基础物理定律的限制,光波导要实现重大技术突破将面临巨大的研发困难,相关产品难以 单独作为完整终端产品,须配套技术和零部件才可能产出被市场认可的 AR 终端,而有关配套技术和零部件尚 有相当比例需要进一步完善,因此高性能光波导的发展尚需要时间。

感知交互技术

交互性是 VR/AR 的关键要素,如何实现设备对人的感知,以及人和设备的交互成为 VR/AR 技术中重要一 部分。目前,在感知交互领域中,主要包括追踪定位、手势交互、机器视觉、触觉反馈、眼球追踪、沉浸声场 即虚拟移动等技术。

追踪定位:Inside-out 成为 VR 主流架构,SLAM 技术未来可期

定位追踪技术的目的是,感知人体的每一个动作(头部旋转、位置移动),并在虚拟世界产生相应的效果, 带来沉浸感。定位技术的原理简单概括,就是“信号源+传感器”,使用相应的算法,计算出物体的位置信息(包 括 xyz 三轴及旋转共六个自由度,6DoF)

Inside-Out 逐步取代 Outside-in 成为主流技术。定位追踪技术在实现上主要分为两类,即“Outside-in”和 “Inside-out”。 2017 年,由外向内(Outside-in)追踪定位技术实现产品化,并开始大量用于体验馆、线下门店 等商业场景。Outside-in 需要在房间里布置传感器的摆放或者悬挂位置,如果你想把 VR 体验场地换到另外一 个房间,传感器的摆放就又得重新布置。2018 年,Facebook、HTC 发布基于 Inside-out 的一体机,由内向外 (Inside-out)追踪定位技术能够实现设备的无绳化,也逐渐取代 Outside-in, 明确成为 VR 主流追踪定位技术架 构。在 AR 领域,目前主要的技术路线是单目视觉+IMU 融合 SLAM 定位,实现厘米级准确度和毫米级精密度 定位输出。

SLAM(Simultaneous localization and mapping,同步定位与建图)技术近几年开始成熟,并被用于 VR/AR 等消费者产品的追踪定位。简单理解,SLAM 就是某种设备(机器人、VR/AR 设备)来到陌生环境中,需要精 准建立时空对应关系,并回答“我在哪里?”“这是什么地方?”“我该怎么走?”等问题,也就是定位、建图 和路径规划。由此可见,SLAM 是一套要求实时性和准确性的大型系统,涉及硬件上高速度高精度的感知和姿 态跟踪、算法上多线程并发执行,资源的分配、读写的协调、地图数据的管理、优化和准确性等系统整合的众 多问题。

SLAM 的数据来源是传感器,传感器的质量对于 SLAM 的效果影响很大。因此 SLAM 对于硬件的要求很 高,包括对于 IMU 要求高精度,对于摄像头要求全局快门,大的视角,快门速度足够高,能够保证图像在高速 运动时不会产生模糊。不仅如此,SLAM 数据来自于多个传感器的融合,以 Facebook 的 Oculus Insight 系统为 例,硬件架构包括三种传感器:IMU,摄像头和红外 LED,多个传感器需要精密的校准和调整,直接关系到算 法的准确性。

精确高效的算法则是 SLAM 的核心。

以开源的 ORB-SLAM 算法为例,主要分为三个线程,Tracking 用于 跟踪 Camera Pose,Local Mapping 用于构建点云地图,Loop Closing 用于闭环检测,优化点云位置。Place Recognition,即重定位,是利用 BoW(Bag of Words)模型在已经构建好的地图内定位 Camera。目前距离应用 到终端产品上还存在比较大的问题,主要包括代码 Bug 优化,传感器的位置跟踪不稳定,芯片实时处理所有数据的算力不够,以及内存问题。

SLAM 是 AR 必备的核心技术,各大公司纷纷布局,未来前景可期。

从 VR/AR 的应用场景来看,由于 VR 设备主要是虚拟世界的沉浸感,SLAM 是对真实世界的描述,现有的 Outside-in方案基本不需要 SLAM,Inside-out 需要 SLAM 配合解决跟踪用户位移的问题。而对于 AR 设备来说,为了实现虚拟元素和真实世界的融合,SLAM 则是必须拥有的最核心的一项技术之一,苹果 ARKit、谷歌 ARCore 与华为 AR Engine 推出的 AR SDK 普遍 遵循单目视觉+IMU 融合定位的技术路线,也验证了各大公司对其重视的程度,在 SLAM 相关的传感器、算法、 软件、硬件等方向,也出现了小公司在关键细分领域快速创新、大公司在各个关键方向布局并且频繁收购的趋 势。

在初期阶段,由于产品和硬件高度差异化,而 SLAM 相关技术的整合和优化又很复杂,目前有能力做好 SLAM 全套解决方案的仍是 Facebook、微软、谷歌、苹果等大厂。随着 SLAM 各个领域的产品化进程推进,细 分市场的创新和应用正在迅速推进。由于市场上算法和软件仍然比较碎片化,移动端硬件的计算能力还不够, SLAM 相关技术正在从软件和算法层面向硬件推动,可以期待在这个过程中必将会产生巨大的机会和众多优秀 的公司。

手势交互:目前以基于手柄的“6+6”交互为主流,未来将以裸手交互为趋势

手势识别的原理并不复杂,它通过硬件捕获自然信号,就像相机捕获图片信息那样,然后通过软件算法计 算得到手的位置、姿态、手势等,处理成计算机可以理解的信息。但如果 VR 设备要做到高精度和高稳定性的 手势交互,则对硬件和算法均具有较高的要求。

其中,硬件方案可以分为基于手柄的非裸手交互控制,以及裸手交互。目前手柄控制依然是主流,融合 Inside-out 6DoF 头动和 6DoF 手柄交互的所谓“6+6”交互路线成为发展趋势,代表厂商有 Oculus Quest、Pico 及 Nolo、Ximmerse 等。各厂商的 VR 手柄设计有较大不同,通常都会配置摇杆,小型触摸板,A、B 操作按 钮,以及握柄部分的电容感测,可识别压力、触感、以及光学数据。

裸手交互(原生手势识别)方案则更为复杂,需要识别出手部骨架的 21 或 26 个关键点,并将每个点用 3 个自由度衡量,输出 21/26*3 维的矢量,并由专业算法来识别手部的姿态和位置。

裸手交互的硬件方案包括 RGB 摄像头、3D 摄像头(TOF、结构光、双目视觉)和数据手套等,业界标杆 是以 Leap Motion 和 uSens 为代表的双目红外相机方案,支持双手交互、单手 26DoF 跟踪,广泛用于一体式、 主机式虚拟现实终端,而在手机式产品方面,华为 AR Engine 利用结构光器件实现了单手 26DoF 交互方案。 裸手交互的算法方案大体可以分为模型驱动和数据驱动两种方式,模型驱动类的算法不需要训练数据,但需要 高度精确的初始化设计,通常只能用于手势追踪领域,数据驱动类算法依靠大数据和机器学习,目前已经成为 主流的研究方向。

目前,手势识别技术的落地场景还比较有限,主要在 VR 游戏场景中,另一方面,手势识别技术存在使用 疲劳、识别率不高、精确性较差和时延等方面的固有问题,因此还处于比较早期的发展阶段。

但可以预见的是,手势交互是未来人机交互必不可少的一部分。随着深度学习的快速发展,交互范围也逐 渐从手部拓展到肢体,以 Wrnch、Facebook、华为 AR Engine、百度、旷视、商汤等国内外厂商先后推出可实 时运行的人体骨骼点跟踪技术,广泛用于各类 VR/ AR 应用。

三问内容:谁将是那个“杀手级”的应用?

2C 市场: VR 直播、VR 游戏有望率先落地

VR 直播:5G 大带宽特性促进 VR 直播发展,看好体育赛事、演唱会领域 VR 直播

根据赛迪《2018 年 VR/AR 市场数据》,在 VR/AR 行业应用结构中,2018 年直播市场规模为 9 亿元,2021 年 VR 直播的市场规模将达到 64.3 亿元,市场占比为 11.8%。VR 直播即通过在广播电视采集制作过程中采用全 景摄像技术对进行内容录制,将虚拟内容创作、视频内容拼接和编解码等,并使内容在设备上呈现,让观众获得人与内容场景互动的体验。与传统直播差异在于:1)沉浸感强:VR 直播提供 180°或 360°全景视角;2)画 面立体,趣味性强:通过近眼 3D 显示让画面更立体且真实,使得观众有“身临其境”的体验,趣味性强;3) 主动性强:可实现更多交互,用户可以自由选择任意角度,跳出了传统 2D 平面视频的视角框定,由体验者主 动选择想观看的内容,而非被动接受内容。与传统直播不同,

VR 直播对于网络的要求较高,通常要求大带宽 上行和下行网络,传统视频承载网络方案难以满足。但随着千兆宽带入户(10G PON 光纤接入技术为基数的千 兆接入时代)与 5G 规模化部署,网络传输带宽将优化,使得 VR 直播普及。

从生产内容方式来看,VR 直播主要有两大分类,一是 PGC(Professional Generated Content,专业生产内 容),如体育赛事、综艺节目、新闻事件、教育培训、产品营销等;二是 UGC(User Generate Content,用户生 产内容),如网红直播、户外直播、生活直播等。近年来 VR 在以体育赛事、综艺节目等为主的 PGC 领域不断试 水,得到快速发展。

在体育赛事领域,NextVR 是全球最早实现高品质 VR 直播的公司,并与 NFL、NBA、PBC 超级拳击冠军赛等 众多重量级赛事形成全面合作关系,和福克斯体育(拥有众多体育赛事转播权)建立了长期合作机会;2017 年,微鲸 VR 联合体奥动力、飞猫影视,VR 直播 2017 年中超联赛;2018 年,美国电视网 NBC 与英特尔合 作,借助 TrueVR 技术,对韩国平昌冬奥会进行了超过 50 个小时的 VR 直播。英特尔 TrueVR 技术在每场比 赛中,采用多个摄像机点位拍摄,打造交互的 360 度虚拟环境。观众可以自由选择多个视角来观看比赛, 营造真正的沉浸式体验。

在演唱会/综艺节目领域,2016 年王菲“幻乐一场”演唱会在上海召开,该演唱会现场门票售价约 3000~7800 元,门票售罄,票价被炒作至数十万一张。该演唱会采用了 VR 360°视频进行直播,根据后台统计显示, 近 9 万名观众使用 VR 直播方式进行在线观看本次演唱会。用户需要付费 30 元购买兑换码才能观看 VR 直 播,为演唱会额外创 264 万。此外,2017 年,中央电视台举办的春节联欢晚会通过兰亭数字首次实现 VR直播,用户下载央视客户端就可以观看 VR 版春晚,此后 3 年央视连续进行了 VR 直播。

整体而言,我们认为演唱会、体育赛事 VR 直播本身具有将强的“粉丝效应”,可以突破现场座位的限制, 解决热门比赛及活动门票供不应求的现象,并可以让用户自由选择视角和回放时机,拓宽收视群体。此外,与 VR 视频制作高成本、长周期相比,体育赛事及演唱会等综艺活动具有定期性,且一般都设置有直播,仅需在现 场添置 VR 直播设备,可以有效解决内容不足和成本过高(相对 VR 视频)的难题。

VR 游戏:追求“沉浸感”、庞大的用户基数、较强用户粘性等特点推动 VR 游戏落地

VR 内容中游戏一直是备受用户青睐的重要领域,VR 游戏按照使用设备的不同大致可以划分为 VR 线上游戏 和 VR 场地游戏。VR 线上游戏需要用户使用 PC 端或者主机端配套 VR 头显等设备来获得出色的沉浸式体验,目 前的目标客户群体主要面向重度玩家或专业游戏爱好者,而 VR 场地游戏提供商需要搭建 VR 展台等体验设施供 用户游玩,而用户无需自己额外配套相应 VR 设备,主打广阔的大众需求,因此对用户硬件需求并不高。

根据赛迪《2018 年 VR/AR 市场数据》研究成果,中国 VR/AR 行业应用中游戏领域占比始终领跑整个应用环节。 2018 年中国游戏领域市场规模为 28.6 亿元,占比达到 35.7%,赛迪预测 2021 年市场规模增长至 206.4 亿元,该占比将会扩大至 37.9%。同时游戏领域市场增速不容小觑,2018 年全球 VR 游戏市场的价值为 103 亿美元,展 望未来,IMARC Group 预测该市场到 2024 年将达到 402 亿美元,在 2019-2024 年期间的复合年增长率为 25.5%。 目前涉足 VR 游戏领域的公司既有创业型公司,传统游戏转型 VR 游戏的厂商,也有各大游戏巨头的积极参与。

目前 PC 端主流 VR 线上游戏搭配使用的头显来自 Oculus Rift(Rift CV1、Rift S)、 HTC Vive(Vive Pro)、 Valve Index 和 WMR,主机端 VR 线上游戏头显主要使用索尼的 PSVR,这些 VR 设备价格最便宜的是平价版 WMR 299 美元,除此之外,高端 PC、PS4 平台以及其他 VR 游戏配套设备如控制器、追踪基站等也价格不菲。

Steam 平台作为 PC 端目前 VR 内容最多,且最为优质的国际性内容平台,截止 2019 年 10 月共有 VR 独占应 用数 3804 个,相比 2018 年 1 月 2285 个增长了 66.15%,VR 游戏在所有 VR 应用中保持在 80%以上,因此其 VR 月活跃用户数可以作为 VR 线上游戏人数的缩影。根据 steamspy 的数据,除了 2017 年 11 月和 2018 年 2 月两次 月活跃数明显下滑外,VR 月活跃用户数所占比例整体呈现稳定上升格局,在 2019 年 6 月突破 1%大关后增长势 头不减,于 9 月创造历史最高纪录 1.09%。


2B 市场:教育、培训类场景市场潜力大,有望最先落地

在 2B 市场,VR/AR 存在高度定制化的特点,使其一方面存在需求较为稳定且可较早实现盈利的特性,另一 方面存在难以规模化推广的难题。和 2C 场景不同,2B 应用的规模普及最重要的因素是“商业价值可衡量”,即 要让客户看得到清晰的“商业价值”,如可否降低运作成本、提高工作效率,或是具有良好的投资回报率。我们 认为在 B 端市场,教育、培训、营销类领域具有较大的市场空间及目标用户,VR/AR 技术与垂直行业的结合能 够解决目前存在的一部分痛点,商业模式相对清晰,将首先落地;另一方面,受客流量、内容、整体体验水平、 民众对 VR 认知等多因素影响,VR 线下体验店盈利情况并不乐观。

VR 教育/培训:高成本、高危险、传统方式无法呈现领域有望首先普及

教育是 VR B 端市场最先落地的应用领域之一,市场潜力大、目标用户多、政策支持力度大的特点驱动资本 密集投向教育培训领域。整体而言,VR 在教育培训领域的应用可以分为 K-12 基础教育、高等教育和企业培训:

1)基础教育/高等教育

VR 在 K-12 基础教育的应用有利于结合虚拟现实沉浸式教学的体验,解决课堂教学中的抽象、困难的知识 点,让学生有“身临其境”的体验,有效改善传统教育存在学生主动性、积极性不足等问题,充分结合 VR 沉浸 性、交互性、空间性的特点,可以提高学生兴趣,通过直观的画面了解抽象知识并加以记忆。在高等教育领域, VR 教育在医学、化学等需要重复进行实验,以及考古、设计等需将抽象知识具体场景化的学科领域将发挥价值, VR 实验室、VR 设计工坊等方面部署能够打破实验教学的场地、费用等限制,积极推动 VR 在科研创新中应用。

目前国内外在 VR 教育领域布局的厂商较多,其中布局 K-12 基础教育领域的商家最多,且多数拥有小规模 的试用案例,具体如下:

……

2)企业实训

• VR 在企业实训/职业教育领域的应用通常需要定定制化的方案,我们认为其在高成本、高危险领域将首先 落地。首先,在石油、电力等领域,员工培训经常需要重大且昂贵的硬件设备、较大的场地,造成员工的 培训费用高,VR 则可帮助企业解决硬件设备及场地问题,有效提高培训效率;其次,在消防、化工、医疗、 航空航天等领域,员工在真实环境下实训存在较高危险系数,而 VR 可有效在虚拟环境下通过沉浸式的教 学让学员能够有“身临其境”的感觉,同时避免实训风险、降低操作成本,提高教学质量。目前 VR 在航 空航天、安防教育培训领域已有落地应用;以航空航天为例,目前空军已有小范围试用针对战术飞行训练 系统,主要是将学员的初步(基础)的培训会通过 VR 模拟机运行,以节省成本。该类方案通常为定制化, 价格在百万区间,可有效解决教师人力成本和实训的成本,避免实训风险。我们认为企业在高成本、高风 险领域实训成本及风险过高,可以先让学员在 VR 中熟练操作,反复不断练习,以降低成本。此外,对于 火灾演练、紧急情况应对演练等培训,出于安全的原因无法还原真实场景,学员训练一般缺乏真实感和紧 张感。在虚拟的世界中可以营造真实的灾难现场。

VR 营销:弥补传统媒体被动营销模式,引导用户消费

VR 营销可弥补传统媒体被动的形式,让用户从被动接受到主动体验,以更清晰地了解产品,让用户切身感 受产品优势。同时对于商家而言,VR 营销能够获取客户的数据(通过合法的途径),有助于进行更进一步的用 户分析。目前,VR 在房地产、汽车、网上购物等领域已经展现出独特价值。目前最为大众熟知的 VR 看房,已 经被大多数第三方平台采用,如安居客和贝壳网等,能够用较好的沉浸感展示出房屋各个方位的细节,具有 3D 空间结构图和平面户型图,还具有标尺功能,大大减少了租户或买主的看房成本,用户好评度较高。

VR/AR 体验店:“赚钱”不易,存在不确定性

娱乐类的 2B 场景主要为各类 VR/AR 主题体验店或者电子竞技馆。2018 年全国 VR 线下体验店规模达到 20.9 亿元,同比上涨 99.0%,预计未来增速会显著下降。但是目前看来,受客流量、内容、整体体验水平、民众对 VR 认知等多因素影响,很多虚拟现实线下体验店盈利情况并不乐观。另一方面是消费者在体验 VR 的过程中, 缺少类似于电影或网吧等的社交互动性,难以与共同来体验的好友交流,进一步影响了体验店和竞技馆的接受 度和盈利能力。

韩国运营商的尝试

……


VR/AR 产业未来前景展望

VR/AR 市场规模和空间:2023 年全球 VR 设备超过 3500 万,AR 设备超过 3000万

经过低谷期的一系列洗牌和调整后,VR/AR 行业将迎来平稳增长期。IDC 数据显示,到 2023 年,全球 VR 设备年出货量超过 3500 万,AR 进展将慢于 VR,到 2023 年全球出货量也将超过 3000 万。

从中国市场来看,2019 年 VR/AR 头显设备出货量强劲增长。据 IDC 数据,2018 年全年中国虚拟现实设备 出货量为 120 万台,其中 VR 头显出货量为 116.8 台,AR 头显出货量 3.2 万台。2019 年第一季度,中国 AR/VR 头显设备出货量接近 27.5 万台,同比增长 15.1%。5G 商用化带来运营商渠道对头显设备的需求大幅上升。预计 2023 年,中国 VR 头显设备出货量将突破 1000 万台,AR 设备出货量将超过 800 万台。

VR/AR 市场增长的推动力包括:5G 和千兆带宽网络建设的推进,硬件技术的突破,以及越来越丰富的内 容和场景。

VR/AR 的终端形态展望:一体机 VR 将逐步超过 PC VR 成为最大的市场

从终端形态来看,目前 VR 头显目前主要分为主机式(PC VR),手机式(手机盒子),一体式三类。

2016 年以前,主要以手机盒子形态为主,例如 Pico1,三星的 Gear VR 等。这类产品成本较低,使用简单, 普及较快。手机盒子的问题在于对手机屏幕的分辨率要求较高,也对不同手机的兼容性要求较高,没有互动性, 受限于手机的处理能力,也难以做进一步的开发和升级。因此手机盒子 VR 只是一个过渡,不会成为 VR 的主 流形态。

2017 年,PC VR 开始兴起,第一代 PC VR 包括 Oculus Rift、HTC Vive、PS VR 等。PC VR 能实现的功能 强大许多,如位置追踪、无线控制等等,搭配丰富的遥控套件,在游戏体验方面更为出色。但是这些设备并没能培养出一个积极活跃的消费生态。一方面是高昂的价格,另一方面是由于系统适配问题,需要复杂的安装、 调试并处理兼容性,因此买来往往被长期闲置。

目前,以Facebook的Oculus Quest为代表的一体机VR开始被越来越多人认为是VR设备的未来主流形态。 一体机 VR 本身内置处理器,并集成屏幕,意味着没有线缆,没有外部传感器,无需 PC 和智能手机,只要戴上 VR,启动系统,马上步入虚拟世界。目前 VR 一体机的问题在于技术门槛过高、成本过高,目前的技术水平下, 体验比主机式 VR 要弱一些。


未来五年,PC VR 和一体机 VR 将作为 VR 主要的两条产品线并行发展,一体机 VR 或将逐渐超过 PC VR 成为最大的市场。

一体机 VR 逐渐配备上 PC VR 已具备的先进技术特性,比如的头手双 6DoF 等。一体机 VR 在未来的技术 迭代还包括全身动捕技术、眼动追踪技术、面部捕捉技术、变焦显示技术等前沿技术的集成(这些技术或将分 批次集成),以及产品的简易轻便小型化。

PC VR 依然代表着最高端的性能和最优秀的体验,应用于高性能需求的场景中。同时,PC VR 的另一个非常重要的角色是——探索最前沿技术的可能性,然后再将技术成果移植到一体机 VR 上。现在我们已经看到的 有:Facebook 在 Oculus Rift 上探索的消费级低成本全身动捕技术、面部捕捉技术等等。未来,PC VR 和一体机 VR 的发展过程很可能会类似于服务器和个人电脑。


VR/AR 产业链机遇展望:终端+网络+内容

VR/AR 产业链条长,参与主体多,主要分为内容应用、终端器件、网络平台和内容生产。

终端器件方面,主要涉及头显整机、感知交互和关键器件。头显整机中,我国聚集了全球主要的头显硬件 制造商歌尔股份,成为全球的硬件采购和组装中心,以大朋、Pico 为代表的终端企业发展迅速,成为我国一体 机市场的主要力量,华为、小米、爱奇艺等陆续进入。在感知交互方面,涌现出七鑫易维、诺亦腾、NOLO、瑞 立视等一批在追踪定位多通道交互领域的特色企业。在屏幕、芯片、传感器等关键器件中,京东方凭借 AMOLED 屏幕、快速响应液晶屏与 OLED-on Si 在虚拟现实近眼显示领域实现突破。

网络通信/云控平台方面,虚拟现实为 5G 网络的市场经营和业务发展探索新的机会,此外,华为、兰亭数 字、7663、视博云等在福建移动开通全球首个运营商云控平台,通过 Cloud VR 连接电信网络与 VR 产业链,助 推虚拟现实加速普及。

内容应用方面,VR 的解决方案聚焦在文化娱乐、教育培训、工业生产、医疗健康和商贸创意方面。教育培 训内容企业成为行业应用中的主要力量,以百度 VR、威爱教育、幻鲸 VR、网龙华渔等为代表的企业纷纷布局; 在文化娱乐方面,爱奇艺、斗鱼、完美世界、赛欧必弗等公司陆续在 VR 视频、VR 直播、VR 游戏等领域布局。

内容生产系统方面,主要涉及操作系统、开发引擎和 SDK 等开发环境和全景相机、拼接缝合、三维重建等 采集系统,目前我国涌现出睿悦、微鲸、Insta 360、川大智胜、通甲优博等一批代表性企业。

建议重点关注公司

……

获取报告请登陆未来智库www.vzkoo.com。