近年来，AI、5G、边缘计算等技术概念在业界流行，那么这些技术之间是什么关系？它们将为业界带来哪些变化？对这些业界在热烈讨论、还没有定论的问题，本文将从AI的角度，分享一些观点和思考，供大家探讨。
对于AI、5G与边缘的关系，简单总结就是：5G带来泛在接入，AI引领应用革命，边缘云是二者结合的最佳平台。形象的说，就像下面这幅图：5G是建成了高速公路建到了小区门口。边缘计算就是把大商场搬到了高速边，一出小区上高速，一下高速到商场，快速便捷，吞吐量大。而AI呢，就是一些高价值商品，吸引用户使用高速去卖场。
受限于移动性和便携性，终端算力始终与服务器相差很多倍，所以纯端侧方案有诸多限制；而受限于带宽、时延和数据隐私等问题，纯云上方案也有其局限性。边缘云模式是一种很好的这种，而5G的关键能力“海量物联网通信，增强的移动带宽 和 高可靠低时延”与边缘计算相互促进。
所以 5G+边缘+AI共同组建成了生态，互相促进 。5G将开启海量边缘计算空间，并共同将AI能力推向客户应用，带来AI业务的进一步爆发。
典型业务场景
那么，有哪些“庄稼”特别适合生长在这个生态中呢？华为5G白皮书列举了以下业务场景。本文将从边缘AI的角度，对几个典型场景进行简要分析。
流式服务
流式业务包括XR、云游戏、互动直播等。高画质 、大场景、更逼真的光照效果是行业趋势，由于端侧算力、订阅模式等各方面原因，业务云化成为一种业界趋势。而带宽与时延成多媒体业务上云最大挑战。5G条件下，流式业务的带宽占用优化对用户体验和运营成本仍有很大意义。端边云协同模式平衡了时延、算力和成本，成为业界技术方向。
该领域是 边缘AI密集的领域 ，AI广泛用优化建模、AR/VR传输显示、物体识别与追踪、动作捕捉、画质增强去噪、转码、流分发和调度等各个环节。
智能制造
《工业互联网平台白皮书2019 》将边缘计算、信息模型、实时决策等列为工业互联网平台关键技术，工业门类多，大多是成熟产业，门槛高，涉及专业知识多。同时，随着流程复杂化、动态化，很多工业门类引入数字化技术，变得越来越“数字化智能化”。
AI技术广泛用于智能制造产业的诸多环节。但是制造业门类多，门槛高，可靠性要求高，边缘AI面临着诸多挑战如下表。
Challenges
Problems
数据获取与清洗
数据来源多, 格式不统一 ；
数据经常缺失, 质量参差不齐；
缺乏标记；
正负样本数量严重不平衡，某类样本量极少或缺失；
模型选择, 冷启动
需要人工反复多次进行分析调优流程:： 样本数据人工分析->人工构造模型->上线试用->人工调优：
场景-技术匹配问题：工业场景下问题多样, 采用的ML技术各异, 需要大量的专家经验介入；
冷启动：开始时数据样本小，导致初始模型选择不合适 或 参数配置不好，需要反复优化。因为样本量不足，优化可能会持续很长时间；
结果可解释性、可靠性
工业场景下, 错误的决策会导致严重后果, 因此要求:
- 结果的可解释性；
- 结果的可靠性。比如质检场景，宁可降低模型精度也要提高recall， 保证没有残次品流出；
- 结 果及其影响的可视化；
数据隐私问题
数据是企业核心机密，工厂企业不愿意共享或集中存放，如何获得提取知识，获得高质量AI模型。
实时性与同步要求
工业控制场景对模型推理有实时/近实时要求。分布在多个边缘应用之间，有严苛的时间同步要求。
V2X
智能交通正从单一场景交通管理向融合场景交通服务发展，V2X场景能帮助智能驾驶更安全、更高效、更经济、更便捷，例如限速预警、恶劣天气预警、并道提示、路口调度等。
V2X关键技术包括感知、高清制图和定位，高算力需求、高移动性、高可靠性和实时性带来了主要的技术挑战。
关键技术
描述
技术挑战
感知Perception
感知车辆周边环境, 检测、跟踪周边目标和行人，识别车道。
·车辆高移动性，传统车载感知范围有限，不能满足需求;
·高算力需求，车载计算单元不能满足;
·实时性要求
高清制图HD Mapping
道路 3D 高清地图的建立与更新
·构建更新地图带来高强度密集计算；
·存储地图导致高存储空间；
·分发地图导致高通信负载；
定位SLAM
实时估计车辆和地图上建筑的位置关系
·高算力需求；
·实时性需求；
智能电网
电网的业务面临着新能源、新用户和新要求，如具有间歇性随机性特点的风能、太阳能电源；如新能源绿电，期望从传统设备接通充电变成时间可选的互动充电；如电量现货交易、企业要求供电零中断，等。这些业务挑战促使电网从层次架构单向流动的传统电网向网状双向流动的智能电网演进。AIoT+5G+边缘技术被引入智能电网升级架构，在发电、输变电、配电、用电4个环节来看，关注用电安全和效率，时延、可靠性是对边缘AI业务的主要挑战。
环节
关注点
AI相关技术
发电
监控发电量
控制污染排放
预测用电量
用电需求预测
故障检测
分布式发电系统/微电网的孤岛检测
风电：风力电量预测、风速预测、电厂调度
光伏：光伏发电的最大功率点(MPPT)跟踪、光伏发电量预测(考虑天气）
输变电
监控输电线和变电站
保护铁塔
视频巡检
故障检测
配电
自动化配电
设备管理和保护
故障检测
故障预测与及时响应(80%故障来自配电网)
电力调度
用电
智慧家庭用电
电动汽车智能充放电
功率负载控制
评估瞬时稳定性
分析瞬时稳定性
用户用电量画像和模式分析
边缘AI的关键技术挑战
以上几个行业对边缘AI能力的关注点有重合也有不同，大致上，可以分为2类：
- AR、VR、互动直播、视频监控等场景下非结构化数据为主, 主要采用深度学习方法. 主要挑战在数据量大, 资源用量大, 实时要求高, 标注困难等。
- 工业场景下IoT结构化数据为主, 主要使用传统机器学习算法, 方法多样, 与业务相关性高. 主要挑战是样本少、冷启动和要求模型可解释和可靠性。
面对上述问题，一些边缘AI技术方向值得关注。
边侧数据管理技术
Garbage in，Garbage Out，数据管理是AI的第一步，也是成本最高、可能最重要的一步。数据管理是为了解决数据来源异构、样本缺失、标注缺失、数据集质量评估等问题。由于边缘的地理分布式本质，边缘数据集分散在各个边缘，与云上的数据集中管理有很大不同。这个领域技术包括：数据的自动格式转换、清洗；基于主动学习的自动标注；数据集质量评估；特征自动发现等等。
端边云协同训练
传统分布式学习前提假设仍然是在中心集群，而且假设数据是集中的，然后由中心服务器分配到工作节点。没有考虑边缘计算引入的数据隐私、节点动态性、资源异构、不稳定网络等因素。另外，单个边缘的样本数量通常有限，独立训练不能得到很好效果，因此近两年兴起的联邦学习(Federated Learning)和迁移学习(Federated Learning)，可以很好的应用于边云协同场景。
- 联邦学习(Federated Learning ) ：允许原始数据不出边缘，保护隐私和安全。边缘节点进行本地训练，模型参数上云聚合。支持非独立同分布（ Non-IID ）数据集；能减少通信量；允许边缘设备的算力和数据集大小不同。
- 迁移学习（Transfer Learning-based Training） ：传统的机器学习方法通常局限于解决单一领域内的问题, 要求训练数据和测试数据都服从相同的分布（独立同分布IID假设）. 但在实际边缘场景中, 不同边缘场景不同，通常不满足IID假设，因此边边、边云之间的自动迁移学习变得很有必要。
端边云协同推理
传统机器学习推理，通常假设推理发生在单一设备（云或边或端）上。问题在于，对于端边设备，算力相对较小，资源受限，大模型跑不了，准确度有限，对于移动设备还要考虑功率续航；云侧算力够了，但是时延太大，数据隐私也有顾虑。因此，近年一些端边云协同的分布式推理模式被提出：
- 网络切割（Segmentation of DL Models ） ：将DL模型在云、边、端间进行切分，协同推理，平衡计算资源、网络时延、设备能耗和数据隐私等条件。
- 早退网络（Early Exit of Inference，EEoI） ：有时被称为“多出口网络”。与网络切割类似， 也会将DL模型在云边端间切分，协同推理，不同点在于DL模型有多个出口，能够直接在端或边退出，给出推理结果。
模型资源优化
由于端边的资源有限，对于模型，特别是深度模型的压缩和优化变得更重要。这也是业界的重要研究方向，一方面设计研发专用的神经网络芯片加速模型推理，另一方面提出量化、剪枝、蒸馏等“软”技术。
隐私与安全
一方面用户担心数据隐私，不愿意将数据传出边缘节点。通常是在边侧对数据进行基于AI的敏感数据识别和脱敏预处理；第2类技术是多方计算MPC，允许在数据不传送出边缘的情况下，进行某些数据的统计和处理；第3种是同态加密，在边缘对数据进行加密后，在云上对加密数据直接进行同态运算，计算结果在边缘进行解密。
另一方面，公有云提供商部署AI应用到边缘时，担心IP被不当使用，除了传统的应用license机制，近来流行的研究技术还包括模型水印，或者将AI应用运行到可信执行环境（TEE）中。
边缘AI领域是个新兴的方向，以上只列出了部分行业和部分关键技术，并非全部。例如行业上，联网无人机、移动医疗等场景也是很与5G&边缘&AI结合紧密的未来行业；从技术上，随着业界研究的深入，将有更多技术涌现。本文主旨是分享关于边缘AI的一些个人观点，抛砖引玉，与大家共同讨论。
