全球首款超小型嵌入式AI处理卡——针对边缘计算的UP AI Core评测

云端的不可控性以及不易用性已经成为目前移动电子设备拓展人工智能服务的掣肘。针对便携式、小型化的电子设备,实现边缘计算的人工智能芯片市场越来越大,比如有服务型机器人中集成的GPU、手机SoC中集成的NPU、有像大疆无人机、谷歌Clips相机中使用的Movidius Myriad 2 VPU等,针对这类的电子设备应用,如何做到功耗与性能的平衡是考教这颗人工智能芯片的重要因素。

而在这方面,Intel推出的Movidius Myriad 2 2450 VPU做得很好,在刚过去的2018苏州智博会上,笔者亲眼见识到了众多基于这款VPU设计的针对边缘计算的人工智能产品,而在这其中,研扬科技推出的UP AI Core脱颖而出,最让笔者欣喜,这是全球首款超小型嵌入式人工智能处理卡,另辟新径,基于mini PCI-E接口,价格大概在69美金左右。

UP AI Core

可以第一时间体验UP AI Core无疑是非常兴奋的,整个包装延续了研扬科技关于UP Board系列打造的风格,简洁但科技感十足。

研扬科技此次推出的UP AI Core基本上是为了自家的UP Squared Board服务的,内部还配套了一颗螺丝用于将AI Core牢固固定在UP Squard板子上。

AI Core的尺寸十分小巧,只有51 x 30 mm,大概要比英特尔Movidius NCS神经计算棒小上1/3。

从正面看AI Core带有一个散热片,之前在使用Movidius NCS的时候就发现Myraid 2这颗VPU发热量很大,虽然没拆过NCS,但是从铝制的散热外壳也能推断还是需要做散热处理的,因此在AI Core上这么设计算是水到渠成。

从AI Core背面可以看到标注着笔者拿到的这款是Engineering Sample,看来是工程样片,正式量产发售的时间待定,但是能第一时间拿到体现还是非常高兴的。

AI Core基本的参数以及使用环境如下:

虽然官方只声称适配运行Ubuntu 16.04系统的x86_64平台,但是既然Movidius NCS支持树莓派,那么可想而知,AI Core应该可以支持带mini PCI-E接口的ARM架构平台,但是想要实现应该要费一番功夫。

AI Core的良心设计

忍不住好奇将AI Core的散热片卸下,原本只想看看什么硬件方案,却有意外之喜。

意外的惊喜是什么呢?就是下图中的Fresco FL1100 PCI-E转USB3.0控制器。

使用过Movidius NCS神经计算棒的同学应该清楚,NCS做推理是要将文件传输到NCS神经计算棒中处理的,而目前英特尔提供的SDK只支持USB2.0的速率传输,所以你现在使用那根USB3.0接口的神经计算棒,无论在USB2.0的主机(如树莓派)上还是USB3.0的主机(如UP Squared Board)上,速度其实还是没什么差别。

那么既然如此,而mini PCI-E本身支持USB2.0,完全可以通过Myriad 2中兼容USB2.0的信号做设计,至少,实际的产品你是体验不到速度的差别,而又能减少上图中Fresco FL1100这颗芯片成本,何乐而不为呢?

但明显研扬科技没那么做,硬是设计中加入了PCI-E转USB3.0的这颗控制芯片,那么,等Intel提供的SDK支持USB3.0的时候,你就完全感受到速度上的差别,所以说是良心设计。

UP Squared Board+UP AI Core组合使用

毫无违和感的组合,完美!

运行hello_ncs的程序,能识别到,那就基本上意味着可以直接拿Intel Movidius NCS的SDK使用,溜得飞起。

同样,AI Core和NCS搭配一起使用也完全没问题。

比如两者协助,共同实现鸟的识别

交通汽车、人的识别

传输测试

因为本质上AI Core与Intel推出的NCS神经计算棒是没什么差别的,主要的不同在于传输方式,所以下面通过采用同样一个样本传输测试,对比下AI Core在UP Squared Board、NCS在UP Squared Board、NCS在树莓派上的传输速度。

AI Core与UP Squared Board组合

NCS与UP Squared Board组合

NCS与树莓派组合

每个组合都连续测试3次,综合成绩排行的话为:NCS与UP Squared Board组合 > AI Core与UP Squared Board组合 > NCS与树莓派组合。但是,在目前的条件下,这种传输速率的差异基本可以忽略不计。

不过AI Core+UP Squared Board独特的组合方式还是让人眼前一亮,并且其直接兼容Intel官方提供的NCS的SDK,可以无任何难度上手,另外,其可怕的稳定性也值得称道,据笔者实测,在周五的时候运行图像推理,直到周一早上看还是稳定运行着,而树莓派之前的测试记录只有几个小时就挂了,所以尤其面对稳定可靠性较高的工业应用,目前来看AI Core+UP Squared Board是一个极佳的组合。

小结

基于人工智能的边缘计算的最大的好处就是不用依赖云端,实现更加可靠和快速的推理。而现在这种解决方式越来越受到厂商青睐,虽然本次评测体验下来UP AI Core和Movidius NCS的性能差不多,但是其良心的设计让我对研扬这家公司充满了敬意,期待哪天Intel提供的SDK支持USB3.0,那时候,无论是UP AI Core+UP Squared Board的组合还是NCS+UP Squared Board的组合在边缘推理速度方便都能真正秒杀树莓派+Movidius NCS的组合。而现在,AI Core在性能上虽然没什么大跃进,但是胜在兼容Movidius NCS的SDK,胜在mini PCI-E的接口提供了着一个更加可靠稳定、不占用空间的优势,更好的融入更多基于像UP Suqared Board这类型的原型设计的开发中去,并且,以目前的情况,是否有极客去设计一个基于树莓派上的mini PCI-E扩展板来适配UP AI Core,这样无疑也会很不错。

原文链接:http://www.eeboard.com/evaluation/upaicore/4/