视频1：抖音某魔法天空小视频
可是现在有了华为nova 3手机的“AI短视频”功能，利用 AI（人工智能）技术实现了一种AR（Augmented Reality增强现实技术，简称AR）场景，让用户可以直接在手机上通过简单操作就能够制作出这样类似创意的短视频，让美好变得触手可及。用户只需要打开华为nova 3手机的相机功能，在一级目录里就能找到“AI短视频”菜单（见附图1），进入以后可以选择烟花、动物云彩、流星等效果。
附图1：nova 3手机AI短视频UI界面示意
把镜头对准自己和天空，软件就会自动的实时分割天空并把该区域替换成烟花等效果，犹如“魔法天空”一般（见附图2）。只需点击录制就可以创作一段具有魔幻色彩的短视频啦。
附图2：“魔法天空”AI小视频效果示意
旗舰机芯片加持，提供强大AI能力
那到底华为nova 3手机是怎么让以往需要复杂编辑才能实现的效果变得这么轻而易举的呢？其实最主要还是源于华为nova 3手机在AI（人工智能）方面的强大能力。华为nova 3采用的是麒麟Kirin 970芯片，麒麟970首次集成了NPU（Neural Network Processing Unit）处理单元，创新设计了HiAI移动计算架构，相较于传统的CPU，新的架构在AI能力上能提升25倍的性能。例如在图像识别应用上，速度最高可达到2005张/分钟，比传统方式识别速度快20倍。NPU为实时场景识别提供有力的技术支撑。有了强大的芯片能力，在以下几个方面实现技术上的突破，继而实现了这么炫酷的“魔法天空”的功能。
三大突破，打造极致视频体验
突破一：识别准！
现在大家对静态图片进行场景分割的功能应该非常熟悉了。在“魔法天空”功能里对视频的背景进行抠图其实可以理解为对每一帧视频画面进行抠图。一旦识别不准确，把大楼认成了天空或者把天空缺了一块，整个视频特效就会大打折扣。因为华为nova 3手机拥有了强大的NPU单元，加上基于对上亿张图片进行机器学习训练出来的“AI大脑”，华为nova 3 手机可以自动识别前置相机8类标签200+种场景，后置相机22类标签500+种场景。所以不管是建筑场景、山川场景还是更为复杂的树木场景，手机都可以非常智能准确的识别出天空区域，交界处边缘识别非常准确（见附图3）。
附图3：华为nova 3从场景识别到图像语义分割再到分区域针对性调优原理图
突破二：识别快!
大家都知道一段视频要做到人眼能观察到的流畅，要达到30帧/秒左右，也就意味手机需要在至少33.1毫秒（1秒÷30帧=33.1毫秒/帧）内完成每一帧天空区域的识别、分割再到效果替换的过程，否则就做不到流畅的实时预览和录制的效果。华为nova 3手机的NPU单元拥有强大的图片识别性能，在AI图片识别实验中识别速度最高可达到惊人的2005张/分钟。在“魔法天空”功能中，在NPU的加持下华为nova 3最短可以实现单帧天空识别分割速度小于20毫秒/帧！这个识别速度是没有NPU的手机几乎不可能达到的。在毫秒之间，NPU把每一帧画面的天空切割出来，然后又在毫秒之间把切割出来的天空替换成可爱的卡通、雨景、烟火等，在人类感知不到的瞬间就完成了魔法天空的变幻。正是因为有了NPU的加持，华为nova 3才实现了在手机上就能完成以往需要在个人电脑上才能完成的复杂工作。
突破三：加持AR（增强现实）技术
大家在使用“AI短视频”功能的时候，会发现并非像此文开头的抖音视频一样，只有一个静止的镜头。实际上“魔法天空”功能里的天空的特效是会随着镜头的移动旋转而同步转动的。例如天空中出现的“love”烟花特效就像一个星座一样，会一直固定出现在天空的东北角，当你转动手机将镜头指向天空的其它方向时，“love”烟花会停在那个固定的天际的经度和纬度，看起来特别真实而又可爱。这样动态的镜头比简单的固定镜头抠图难度要大的多。这又是怎么实现的呢？其实这里用到的就是AR（增强现实技术Augmented Reality，简称 AR）技术。随着智能手机的高速发展，例如地图和GPS技术的提升，陀螺仪和重力感应器以及摄像头等性能的提升，为基于AR技术的应用找到了现实的依托。AR技术的原理非常复杂，简单来说，首先摄像头负责采集真实场景的视频，然后结合GPS和陀螺仪等信息分析并构建一个虚拟的3D场景，接下来根据虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景的融合计算，最后融合后的信息会实时地显示在手机的屏幕上展现在人的视野中。这样就实现了一种视频里既有真实的楼宇、山川，又有烟花、卡通等虚拟的动画的亦真亦幻的AR场景。
当然“魔法天空”背后的技术还有很多，在这里就不一一赘述了。华为手机nova 3的“AI短视频”功能已经不仅仅是加一个表情的功力，而是达到了可以直接实现视频抠图的水准。这个功能极大的降低了年轻人小视频创作的门槛，不再需要高级的电脑和复杂的编辑软件，在手机上就可以轻轻松松编辑有创意的视频。一个看似小小的“魔法天空”功能其实蕴含着这么多强大的技术，背后是巨大的研发资金投入和无数工程师们付出的辛劳和汗水。华为nova手机的希望通过技术的力量带给更广大年轻消费者紧跟潮流、简单易用
分享到:
閱讀更多 Tech百科 的文章
