“亲，欢迎再次光临小店哦！”当屏幕上闪现出这行熟悉的文字，意味着你辛劳的网淘工作终于告一段落，该洗洗睡了。
“店家也很辛苦……”你想起自己各种刁钻的提问、无厘头的质疑，以及“丧心病狂”的砍价，良心隐隐作痛。
不过很快，你就不会痛了。因为你知道，被你折磨的对象可能是一个机器人。
没错，当我们愉快地网购时，科学家们正在人工智能这条路上越走越远。未来的机器客服不会是你今天看到的那种呆萌态，而是“多模态”。
田奇教授是华为诺亚方舟实验室计算视觉首席科学家、IEEE Fellow（国际电气与电子工程师协会会士）。他最新的关于多模态学习的工作成果，是在ACM多媒体会议2019上获得了一个最佳论文提名。
IEEE Fellow身份与论文提名都是全球科学家“含金量”极高的荣誉。
华为诺亚方舟实验室计算视觉首席科学家、IEEE Fellow 田奇教授
这篇论文涉及的场景是如服装、手机、手表等电子商务场景下的多模态人机对话系统。所谓多模态，可以简单理解为多种交流模态的融合，例如在和网店客服交流中输入一段文字，再发送一张图片来描述需求，就用到了两种交流模态。
当你开启汉语八级模式，说“我不是这个意思，我的意思是你稍微意思意思就可以”这句话时，机器客服真的会明白，你并不是对那双手套的颜色有什么意见，而只是穷而已。
它会通过多模态信息、上下文，以及用户数据（例如性别等）来建立多模态查询、搜索数据库并返回结果。
“从实验结果上看，我们提出的多模态对话系统——魔术模型——在图像选择和文本生成上都取得了很好的结果。”田奇教授在3月28日华为开发者大会2020(Cloud)上对开发者们说。
目前在华为云，这样的开发者在全球有160万。2019年，华为在发布沃土计划2.0时说，要在5年内让这个数字达到500万。
田奇教授在会议中介绍他关于数据生成的研究方向，就是希望让全球的AI开发者能和他，以及今天160万、或未来的500万开发者们一起工作。
他在演讲当天主持发布了华为的计算视觉研究计划（以下简称视觉计划），并邀请全球AI专家参与研究。
他表示，基于华为昇腾AI处理器的Atlas人工智能计算平台将为该计划提供算力支撑，研究成果将在华为全场景AI计算框架MindSpore实现并开源给业界，让全球AI开发者可以以此为基础持续创新。
“我们认为，多模态学习将会是未来计算视觉的主流模式。”田奇说。
没错，聪明的客服只是“魔术模型”的一次有益尝试。目前在中国市场，多模态学习的主要热门应用领域有智能驾驶和智能多媒体。
例如在自动驾驶中，会涉及图像雷达、激光雷达和GPS等多种模态的信号，由于这些多模态信号天然的互补性，它们在性能上表现出了比单一模态信号更优的鲁棒性。
多模态学习只是田奇教授研究领域的鳞爪。今天，计算视觉面临有三大挑战——如何从数据中挖掘有效信息，怎样设计高效的视觉识别模型，以及如何表达并存储知识等。
围绕这些挑战，华为的计算视觉基础研究也覆盖了数据、模型和知识三大领域。
在如何从海量数据中挖掘有效信息——即“数据”这一课题下，田奇教授关注有两个典型的应用场景，包括如何利用生成数据训练模型，以及如何对齐不同模态的数据。
在计算视觉研究领域，数据本身的采集和标注是非常昂贵的。即便一个单视觉任务，它的数据标注量就可能达到成百上千万。无论业界还是华为，数据成本都是痛点。这也是田奇教授认为，数据生成是解决标注瓶颈的关键技术方向的原因。
华为目前在数据生成技术上的关注领域大致分为三个部分，一是自动数据扩增，二是利用生成式对抗网络（GAN, Generative Adversarial Networks）模拟更多数据，三是利用计算机图形学技术生成虚拟数据等。这些技术研究主要应用在今天火热的智慧城市和智能驾驶领域。
之前提到的那位客服和它背后的“多模态学习”，就是数据生成技术上最新的一项研究工作。
田奇教授还和开发者分享了华为目前在“模型和知识”这两大方向上的热点话题。例如怎样设计高效的视觉识别模型，如何设计神经网络模型，如何加速神经网络计算等话题。更详细的内容阐述，感兴趣的程序员们可以去官网上回看。
田奇教授表示：“华为在计算视觉领域围绕数据、知识和模型三大方向，大力投入基础研究，过去两年已在AI顶会CVPR、ICCV、NeurIPS、ICLR等发表80余篇论文，并取得多项业界领先的成果，这些研究成果已通过学术论文和算法代码开源等形式公开给业界，我们欢迎全球AI开发者基于华为已有的研究成果，进一步开展AI的研究、开发和部署。”
他今天发布的华为视觉计划围绕三大方向，共有六大子计划，详细内容如下，开发者们可以去华为的官网了解详情：
- 数据冰山计划：以极少量标注数据撬动海量无标注数据，支撑小样本场景下模型训练；
- 数据魔方计划：利用多种模态相互辅助、增强模型在实际场景的学习能力；
- 模型摸高计划：构建云侧大模型，刷新各类视觉任务性能上限；
- 模型瘦身计划：打造端侧高效的计算模型，助力各种芯片完成复杂推理；
- 万物预视计划：设计视觉预训练任务，打造视觉通用模型；
- 虚实合一计划：在虚拟与现实的结合中，将计算视觉引向真正的人工智能。
【IT创事记】聚焦于企业级科技生态、策略及商业知识。你可以在各主流媒体平台看到IT创事记的同名文字专栏和【IT创事记·视频】专栏。如果你有相应的内容希望分享，记得在公众号留言告诉我们。
閱讀更多 IT創事記 的文章
