旷视天元开源——技术信仰还是势不可挡?

旷视天元开源——技术信仰还是势不可挡?

电子发烧友网报道(文/张慧娟、黄洲)旷视科技今日举办线上发布会,宣布开源新一代AI生产力平台Brain++的核心深度学习框架旷视天元(MegEngine)。据旷视联合创始人兼CTO唐文斌介绍,这是一套训练推理一体化、动静态合一的工业级深度学习框架。

旷视认为,深度学习框架是解决企业使用AI“源力”的关键,人工智能要想走进产业和大众,真正实现“AI+”,首先要让更多的企业、开发者使用这股AI“源力”。因此旷视决定将其深度学习框架MegEngine向全球开发者开源,希望人人都可以用AI去创造。

旷视天元开源——技术信仰还是势不可挡?

天元框架采用推理一体化的机制

据介绍,在传统深度学习研发中,产品从原型到生产部署往往需要分开设计和调用训练框架和推理框架两种框架,这就导致模型在训练和推理的转换的过程中出现不明原因的性能或精度损失,需要开发者手工进行优化,而算法在计算平台部署的时候出现各种问题也无法追溯。

天元框架避免了这样的问题,通过训练、推理一体化的机制省去模型转换的过程,可直接将训练后的模型进行推理,并保证跨设备的模型精度对齐,同时天元内置自动模型优化、简化流程,减少因手工操作的机会,降低出错概率。

除此之外,天元配置了Python和C++接口,支持动态图、静态图一键转换和混合编程,可使用高级编程语言进行图优化和图编译。在运行时管理环节,天元具备执行流与调度器,采用动态、静态内存分配并存的方式,并通过自动的亚线性内存管理优化器可以得到更好的内存优化效果;在底层设计上,天元的计算内核兼容主流计算设备,且支持多机多卡和分布式训练。而为了解决模型复现困难的问题,天元则支持PyTorch Module导入,可针对计算机视觉任务进行优化。

目前,旷视已在中国新一代人工智能开源开放平台OpenI启智社区和开源社区 GitHub上同步发布了天元 Alpha 版源代码,开发者也可以通过天元官方网站的在线深度学习工具免费调用算力、获取最新数据集和训练脚本,进行简单训练和试用。

开源MegEngine,逐步释放Brain++生产力

2014年,旷视开发了自己的深度学习框架MegEngine,并将这套算法框架在公司内部推广使用,目前服务于旷视研究院1400余名AI开发者,支撑着整个旷视科研及产品化。

在MegEngine框架基础之上,旷视研究院提出了“三位一体”概念,将数据和算力平台融合,构建了集“算法、数据和算力”于一体的AI生产力套件Brain++。

旷视Brain++本质上是一个超级工具套件,初衷是降低人工智能的使用成本。唐文斌曾提到,希望Brain++能够为研发人员提供端到端的解决方案,提升大家的工作效率,不用再重复“造轮子”。

旷视天元开源——技术信仰还是势不可挡?

为何Brain++可以释放生产力?

旷视做了这一一个类比:一个餐馆的核心价值是为客人提供美味的菜品(就像AI产业的核心价值是提供专业可靠的AI解决方案),那么实现这个价值最重要的人则是大厨(开发者)。小作坊里的厨师需要自己洗菜(数据清洗)、配菜(搭模型)、炒菜(训模型)、调火候和口味(调参数),一个中午也许只能为三桌客人提供菜品。而在现代化、自动化中央厨房里工作的大厨,他将拥有标准化、流水线管理的配菜间和智能化的炉灶等套件工具,那么或许他一个人就可以搞定一栋楼菜品供应。旷视Brain++就是希望为开发者提供这样一套“中央厨房”式的解决方案。

Brain++这个生产力套件最为核心的部分就是能够批量生产算法的深度学习框架,旷视希望通过MegEngine的开源,逐步将Brain++的生产力赋能给学术界和产业界的广大开发者。

开源——技术信仰还是势不可挡?

唐文斌在发布会上提到,技术信仰是旷视人的基因,相信技术的变革能够改变世界。对于旷视来说,自研的AI生产力套件已经能够满足企业发展需要,但一个人的力量始终是有限的,一群人在一起才能创造奇迹。只有开源才能让更多优秀的开发者凝聚起来共享、共建、共赢,打破坚硬的技术壁垒,碰撞激发出更多优秀的代码。

更重要的是,开源是推进技术实现产业发展的催化剂。AI要真正实现产业化、通用化,需要大规模部署AI能力,在数据、计算、部署场景、硬件解决方案上具备一系列“工业级”的基础,但眼前本质的问题在于AI技术的基础条件尚未成熟,旷视希望能够通过开源为AI产业基础设施添砖加瓦。

人工智能算法从研发到部署是一套庞大的系统工程,深度学习框架作为通用性的底层支持平台,可实现算法训练和模型部署的高效流程化和深度神经网络模型设计自动化。在减少人员参与而不牺牲训练质量的条件下,能够大幅提高算法生产效率,对于人工智能技术及应用研发人员的重要性不言而喻。

从全球局势来看,中美都已将人工智能提高到国家的战略高度,由华为的前车之鉴,深度学习框架作为底层支持,“自主可控”也是不得不面对的未来。这种可能性不是不存在,GitHub这个全球最大的代码开源社区去年就曾宣布,其社区上的应用和相关活动必须遵守美国出口管制规范。试想,如果当前被广泛使用的开源深度学习框架如Google的TensorFlow、Facebook的PyTorch等,一旦受到出口管制的规范,那么基于这些框架的开发也将受阻。

眼下“新基建”正在全国范围如火如荼地兴起,人工智能作为核心驱动力之一,需要加紧夯实基础。旷视开源天元框架不仅顺应产业趋势,也符合国家层面推进开源建设的方向。旷视将核心深度学习框架进行开源,对其进一步迅速迭代、扩大生态体系、在不同的垂直领域不断增长是非常关键的一步。开源意味着资源共享、知识共享,最终实现技术的生态圈,希望AI“源力”能够更好地为“新基建”贡献力量,加快创新速度。


分享到:


相關文章: