今年，清华大学研发的类脑芯片天机(Tianjic)登上Nature杂志封面。
与传统芯片的冯诺依曼架构不同，天机颠覆性地使用了类似人类大脑机制的非传统架构，能够同时支持传统深度学习网络和类脑神经脉冲网络。
这款人工通用智能芯片让我们离“类脑计算”的世界又近了一步。让电脑像人脑一样运转，一直是个令人欲罢不能的脑洞。很多人都想研发出拥有大脑计算核心本质的计算机架构，学术界和工业界都将之视作热门技术方向。
那么，到底什么是类脑芯片？它未来的发展方向怎么样？将怎样改变我们的生活？
1990年加尼福尼亚理工学院教授Carver Mead在Proceeding of IEEE发表文章Neuromorphic Electronics Systems，首次提出神经形态计算（neuromorphic computing）概念。
根据当时对芯片技术的预测，电脑每进行一次计算需要消耗的能量是10-9J，而大脑每做一次计算需要10-16J能量，远低于计算机。受此启发，Carver Mead提出了类脑计算的概念：计算机能不能像大脑一样运转，同时拥有超高计算功效和超低功耗？
如果一套计算设备的计算机制从本质上和脑神经系统的计算机制一样或者相似，这个系统就可称为类脑系统。
Carver Mead设想用CMOS模拟电路去模仿生物视网膜outer plexiform layer，搭建具有生物计算特性的系统。
右：模拟电路用来模拟视神经计算特性（图源 Carve Mead论文）
从生物神经学中学习计算机制的做法早已有之，机器学习中常见的ReLU激活函数 ，最早就是生物学家受到生物视网膜启发而发明的。只是当今主流的机器学习门派过了十几年之久才开始使用它。
类脑计算的基本运算单元是脉冲神经网络，其中，神经元接收不同数目的输入(x1,x2,x3),经过数学函数积分计算，如果结果超过阈值，则产生一个脉冲。
脉冲神经元的计算机制可以是最简单的Leakage Integration-and-Firing (LIF模型)，也可以hodgkin-huxley, Izhikevish和spike representation model等其他模型。
在信息表达和应用层面，类脑计算涉及到两个关键步骤：脉冲信息编码和解码。这两个模块会影响整个系统的计算性能。另外，脉冲神经网络的拓扑结构对其应用和性能也有重要影响。在真实的脑神经网络中，拓扑结构千变万化、非常复杂。
现有计算机的计算特性，是只在时间域上进行信息处理，而脉冲神经网络最核心的计算特性，是时间-空间域结合和动态时间域结合。基于脉冲序列的计算机制还具有异步计算， sparsity, additive weight operation, energy efficient, stochastic 和对外界噪音抗干扰性强的特性。
早期，工程师认为大规模神经网络只有非常稀疏的神经元活动，并且神经元处理遵循序延迟-积分-输出（decay-propagate-out）过程。通讯量不大，计算主要基于具有单个总线通道的多核处理器架构实现。晶圆级集成技术首先被用来建模大规模网络。
随着研究的推进，大家开始尝试实现更复杂的生物机制，提高神经形态系统的计算能力，并精心设计处理架构。为了计算效率和灵活性，流水线架构被引入，用以定制设计数据路径和有限状态机技术。
后来，神经网络规模扩大到数百万，日益接近真实的生物神经网络。这就要求计算架构具有用于突触通信的高带宽数据。片上多核网上系统（NoC）技术被引入，不少流行的类脑系统都采用了硅小脑，也就是基于48核的NoC系统，来模拟小脑对时间概念的学习机制。
越来越多新颖的类脑架构开始出现，目前，数字计算架构设计主要有五种类型：
1）基于单线的单核/多核引擎
2）基于分层总线系统的多核引擎
3）Crossbar 结构
4）片上多核网络结构
5）基于树拓扑的系统
从应用的角度来看，现在已经出现SpiNNaker、Bluehive和NeuroFlow等模拟大规模神经网络的类脑计算平台，比如英国人史蒂夫弗伯（Steve Furber）开发的SpiNNaker系统，已经形成相当丰富的生态，成为工程师和神经科学家的宝贵工具。在医学神经修复方面，人们正在研发用来恢复/替换受损生物系统的实时小脑、海马VLSI芯片和硅CPG等产品。
从计算性能和通信性能两个维度来看，神经形态系统的发展趋势符合蓝色箭头方向，越来越强调大规模神经元的通讯能力。工业微处理器的发展趋势则遵循灰色箭头方向，单核计算能力日益强大，单核集成的晶体管越来越多。这符合大数据时代的算力要求。
最新的类脑硬件技术已经有能力实时模拟一百万个神经元，但上层算法的缺失导致硬件系统不能有效复制一些重要的生物认知特征，比如适应、补偿和学习行为。或许我们需要逆向工程思维，重新考虑硬件架构的研发。
具备认知能力、能够快速学习、拥有超低功耗、支持小样本学习，是类脑计算的主要特点。认知计算可以很好地利用脉冲神经网络的时间域和空间域结合的特点。从功耗和能效来讲，边缘计算或者物联网端上学习（AIoT）可能是类脑计算最适合的落地场景。
左图来自Dong Song的IEEE 文章，右图来自于Junwen Luo IEEE文章
过去20年，神经形态计算不断进步，发展出三条不同路线，长远来看，它们也代表了类脑芯片的三大应用方向：
一、研发下一代计算机架构，使其能够有效应用于视频、图像、语言处理领域。人工智能时代，用类脑计算系统解决当前AI技术的瓶颈，比如动作识别和认知相关的视频处理任务，让AI技术更好地服务于城市交通调度、人物行为识别等场景。
二、研发用于医学脑神经修复的医疗植入性芯片，治疗脑部疾病。比如，用人工类脑电子系统代替受损的生物脑神经，这类研究目前已经有所进展。同为研究热门的还有记忆修复技术、小脑共济失调疾病治疗等，相关技术都在动物或人体上取得了一定的实验治疗效果。
三、模仿生物脑神经行为设计大规模的电子计算系统，用来了解生物大脑计算机制。曼彻斯特大学的Spinnaker类脑计算机就是为这个目的而建。
1.树突学习引发新关注
神经元不仅包含体细胞，还有树突。树突在神经网络有很重要的计算作用，可以执行被动计算和主动计算，是一种多输入多输出的异构计算架构。最新研究发现树突在生物神经网络中有和深度学习中Back Propagation (BP)相似的error propagation计算理论。这将给脉冲神经网络带来新启发。
类脑计算机制可以下沉到最底层的单独离子通道计算模式，也可以上升到很抽象的大规模并行计算系统。越往上层，计算越简单有效，但会损失很多神经科学本身的有趣的计算特性。如果往下层走，尽力复现神经科学的计算特性，又会消耗大量运算资源，而且对系统性能的提升水平并不确定。所以，从哪个层面进行类脑仿真，需要从神经科学、计算机架构和应用场景三个方面综合考量。
1）用传统的深度神经网络训练方法来训练脉冲神经网络,将backpropagation转化成spike train的形式；
2）修改深度神经网络的训练方法来训练脉冲神经网络，同时加一些限制条件;
3）用神经科学里生物系统的学习机制比如STDP来进行训练。训练算法应该充分利用脉冲神经网络的计算特性和形态拓扑结构，这样才能发挥其优势。
目前脉冲神经网络的硬件架构发展略领先于算法研发，这些硬件架构可以很好地帮助到软件和算法研发，实现硬件-算法一体化设计。
机器学习在工业界已经取得了巨大成功，人脸识别、无人驾驶和语音处理技术发生了革命性的进步。但深度学习仍有几个核心痛点，比如在计算机视觉上不能提取物体的全局信息（无认知功能）；抗干扰性较差和需要大量训练数据等。理论上，这些正好是脉冲神经网络的计算优势，脉冲神经网络应该立足于此，帮助深度学习解决目前的痛点问题，这将是类脑计算取得成功的关键。
閱讀更多 阿里平頭哥 的文章
