3月28日，在华为开发者大会2020（Cloud）上，华为展示了各行业合作伙伴基于华为人工智能计算平台Atlas的云边端全场景开发实践。华为已与数十家伙伴合作，推动基于华为昇腾AI处理器的Atlas系列模块、板卡、小站、服务器在智慧交通、智慧电力、智慧金融、智慧城市、智能制造等数十个行业落地。
华为Atlas人工智能计算平台，采用统一的华为达芬奇架构，打造云边端一致的开发体验，将大幅提升开发者的效率。同时，TBE高效算子开发工具将进一步丰富昇腾的生态，释放昇腾AI处理器的算力潜能。
张迪煊在大会现场发表主题演讲
以下为张迪煊演讲全文
线上的开发者朋友们，大家上午好！我是张迪煊，来自华为计算产品线。去年华为发布的全球最快的AI训练集群Atlas 900就是我和我的团队开发的，今天我非常荣幸能代表华为分享。
从行业到个人应用，人工智能已经开始改变人类的生产和生活，这一切的实现能否通过一个架构，来覆盖云边端全场景的AI呢？这是科学家一直思考的世界级难题，从一个耳机到数据中心AI应用，需要的算力相差一千万倍，功率相差20万倍，如此大的差异，如果采用不同的架构和硬件，将给开发者带来巨大的算法迁移和开发工作量，面对这个挑战，我们在2014年就启动了AI处理器统一架构的技术论证，历时两年时间地完成了架构设计，取名达芬奇。华为达芬奇架构的核心是Cube计算引擎，这个架构具有可扩展计算，可扩展内存，实现了芯片内的单Cube到多Cube，数千颗芯片的互联，解决全场景算力差异带来的难题。让开发者拥有了云边端一致的开发体验。
统一的语言让华夏儿女之间沟通不存在困难，不需要进行协议转换，统一的华为达芬奇架构，就像语言文字一样，减少了程序间的和代码改写工作量，将大幅度提升开发者的效率。
基于华为达芬奇架构我们推出了面向训练的昇腾910和面向推理的昇腾310的AI处理器，并打造了Atlas人工智能计算平台，覆盖了云边端AI全场景的需求。下面我将从云边端三个场景给大家介绍Atlas在全场景的开发实践。首先给大家分享的是在云端AI的应用，在全球人口超过1000万的城市有37个，其中有六个在中国，那么以一个拥有两千万人口的城市为例，有300万辆汽车，3000个路口，每天会产生超过4300万张过车的图片，这些数据如何进行实时分析，是城市交通治理的关键，当前主流的方案是在云端部署算力和应用，来分析车辆识别违章识别，交通流量的数据。
我们可以看到，如果采用通用的处理器，需要3000多台服务器，采用GPU方案需要近一百台左右的服务器，如果采用面向AI深度学习优化的NPU方案仅需60台，大大减少了服务器的部署数量和功耗的需求。
我们可以看到，我们已经进入了下一个计算架构创新的黄金十年，需要一起面向场景持续投入，软硬件的创新和优化。这里要感谢格灵深瞳、深瞐科技，云从科技等合作伙伴的开发者，一起突破极限，基于Atlas 800AI服务器打造了高密AI推理方案，大家可以看到，我们在调优之前，单台AI服务器的处理能力是320路高清视频，这已经是世界领先的水平，但这并没有发挥Atlas应有的水平。在经过软硬件调优之后，我们的单台的AI的服务器，可以处理到384路的视频，进一步提升能力，这并不是我们的终点，我们将持续释放产品算力，并推出跟强算力的AI产品。
张迪煊分享华为Atlas人工智能计算平台的云边端全场景开发实践
张迪煊
接下来我给大家介绍基于Atlas的性能优化流程，这个过程主要包含了瓶颈分析，模型算子优化，内存优化、硬件编解码，流程编排。其中模型算子优化和流程编排是最关注的。
在AI开发者赖长铃的演示当中，大家可以看到，这已经实现了40路的高清视频，请问长铃，我们有没有进一步的提升空间呢？
赖长铃
有的，我们试试增加视频路数。可以看到我们从40路提升到了48路，为了评估性能，我们放大第一路视频。从画面左边小火车的运动情况可以看出，视频出现了卡顿的现象，这是达不到实时处理要求的，要解决这个性能问题地我们需要从计算瓶颈，I/O瓶颈和内存瓶颈角度进行调优，这里从模型算子优化角度，演示计算瓶颈的方法，经过分析要实时处理48路视频路，应控制在13毫秒以内，而根据demo前后处理采样，推理耗时达到15毫秒，为了优化模型，这里可以使用集成开发环境的性能分析工具。
这里重点关注离线模型OME的算子统计结果。可以看到模型推理时算子的耗时，我们对算子耗时进行一个排序。这里可以看到Mul算子，乘以归一化系数是0.0039，昇腾AI处理器，提供了预处理单元AIPP，进一步提升模型推理效率，怎么在模型中添加AIPP呢？我们这里可以使用MindStudio的工具。输入模型将处理的大小4batch，关闭量化，选择模型的输入，关闭减均值。设置归一化因子。点击完成。可以看到模型转化已经成功了，我们将模型合入优化的工程看一下。
张迪煊
从运行效果上看，视频流畅无卡顿，我们完成了48路的实时检测。
我们可以看到优化前后的对比结果，左边是优化前的40路的高清视频实时分析右边是48个高清实时分析，40路已经优于业界同类产品了，我们键盘一抖、性能提升立马有，请线上的开发者朋友们，把掌声送给长铃。
计算无处不在，边缘计算已经开始兴起，接下来我给大家分享的是边缘侧的应用场景，这是普遍存在的场景。
产品质量是每个企业的生命线。当前制造业的质量检测大部分由人工作业完成，工作强度大，特殊工序的作业环境危险，但准确率只有90%左右，近几年机器视觉质检在制造业开始推广，准确率达到了95%左右，但仍未满足企业的期望，很多企业购买了大量昂贵的设备，仍需要人工的二次质检，业界一直在寻找更好的方案，AI工业质检应运而生，我们知道精密生产起源于生产，生产车间在产线旁边布置很多的看板。比如我今天很开心，我们就会把笑脸符号贴在自己的名字旁边，这种侧面说人的因素会影响到生产的质量，特别是枯燥的质检工作，很难依靠员工来完全保证质检的准确率。这就需要借助科技的力量，把人们从枯燥复杂的重复的工作中解放出来。来提升最终的质量。
在华为的松山湖基地，我们部署了基于Atlas工业质检解决方案，实现了用Atlas生产Atlas，这是非常有意义的生产场景。我们与凌华合作，将Atlas 300升级为智能工控机，让每一个工业传感器都拥有AI的能力；华为供应链的应用团队，基于SSD、U-Net的神经网络，将质检准确率提升到99%，部分工艺的精度甚至可以达到99.9%，这是非常令人兴奋的成果。同时我们把AI的质检算法模型，开放到了昇腾社区，也欢迎我们的开发者扫码下载使用。
生产线会制造不同的产品，为了满足产线弹性生产需求，我们通过云边协同的方案，实现了云端训练的模型，能快速下发并部署到边缘侧，带来业务模型更新效率3倍以上的提升。下面请大家观看松山湖南方工厂智能质检方案的视频。
刚才我给大家分享了云侧和边侧的应用，接下来分享一个如何用端侧利用AI能力解决行业难题。我们的合作伙伴，巧妙解决了，人工巡检遇到了山路崎岖，高空走线危险系数极高的难题。通过高压铁塔上面部署可视化的一体机传统方案只能做到一小时检测一次，这样会导致在一小时内发生的事故，都是无法预警的。借助Atlas模块的能力，一分钟检测一次，同时引入太阳能供电和极致的低功耗设计，设备可以做到20天无光照的条件下，仍然可以持续的运行。保障了社会的用电安全。这里要感谢合作伙伴金三立、智洋、信通在电力行业做出的贡献。
这个方案的背后，我更多的讲的是我们的开发者们做了哪些努力，它解决了极致的低功耗，免上塔维护，准实时分析三大难题。合作伙伴在解决方案设计中，提出了很多巧妙的设计建议，也给了我们很多的启发。比如极致的低功耗。相当于运行一千个小时只耗一度电。为了快速打造联合的解决方案，降低合作伙伴的开发工作量，我们一起充分挖掘了Atlas的能力，开发了RC的工作模式，这里也可以看出，我们的开发者想象力无穷无尽。
当天已经有很多的合作伙伴和开发者基于Atlas 200模块进行AI创新，包括无人机、机器人、工业机械臂等。
为了帮助开发者更好的使用AI，我们提供了Atlas 200 DK开发者套件，方便科研、高校个人开发者进行AI产品开发。
今天我将给大家发布基于昇腾高效算子开发工具TBE，并启动公测。
TBE内置丰富的算子库，同时支持两种编程方式，包括便捷易用的DSL，和可发挥硬件极致性能的TIK，我们计划激励100家以上为昇腾贡献算子的优秀高校和合作伙伴，并根据工作量和代码的质量进行相应的奖励，我先给大家简要介绍了一下，TBE的IDE界面，首先我们精心设计了图形化的界面，可以在IDE工具中进行工程管理，编译、调试等全流程的开发活动，其次我们集成了性能分析、模型量化、模型精度对比日志分析等工具，提升了网络模型的移植分析和优化的效率，同时为了降低开发者的技术门槛，在IDE工具中，预置了分类网络和检测网络的代码，更详细的TBE编程介绍，大家可以关注线上开发者沙龙的直播。
张迪煊宣布高效算子开发工具TBE启动正式公测
面向广大的开发者，我们打造了以开发者为中心的使能平台，昇腾开发者社区，在昇腾开发者社区里，大家可以在资源中心获取技术文档，下载开发工具，如TBE算子开发工具、制造质量检测的模型，在赋能中心提供了AI的理论课程、实践课程和应用案例，在知识中心提供了在线问答、开发流程远程支持和经验分享等方式，提供便捷的技术支持，帮助开发者迅速上手。
创新来自于每一位开发者，我们的理想是开发出最强的算力的产品，让开发者基于我们的产品开发出伟大的改变世界的产品和服务，让我们在一起、梦飞扬。感谢大家！
閱讀更多 華為計算 的文章
