近日，奥地利维也纳光子学研究所的研究人员研发出了一种新型的图像传感器设备，他们将光敏电子设备与神经网络结合在一个微小芯片上而制成，该芯片由二硒化钨制成，它自带人工神经网络，可以同时捕获和识别光学图像，无需再将信息转换成数字格式即可快速处理信息。
利用这一技术，仅40纳秒即可完成图像分类，比计算机处理快了几十万倍。
据悉，该研究已于3月5日在全球知名期刊《Nature》（自然）上发表。
视觉是我们最重要的感官之一。通过视觉，人和动物感知外界物体的大小、明暗、颜色、动静，获得对机体生存具有重要意义的各种信息，至少有80%以上的外界信息经视觉获得，视觉是人和动物最重要的感觉。
在过去的十年中，受生物学启发的机器视觉得到了迅速的发展，人工系统可以通过传感机器从图像和视频中获得有价值的信息，进而有了“看到”的能力，虽然这种能力比人类的视觉能力还是差了很远。
优化之后的解决方案是将一些计算任务转移到计算机系统外部边缘的感知设备上，这样可以减少不必要的数据移动。由于传感器通常产生的都是模拟输出，而模拟到数字的转换既耗时又耗能，因此模拟处理比数字处理更可取。
传统的人工智能 (AI) 视觉传感器如图（a）所示，信号在光响应传感器上进行收集，通过模数转换器（ADC）将模拟信号转换为数字信号，放大后作为输入提供给外部的人工神经网络 (ANN)，再经过参数调优训练神经网络，可以用来执行诸如图像分类等任务。
神经网络的输入层接收编码简单物理元素的信号 (这里用点和线表示)，在随后的层中，这些信号被优化为中级特征 (简单的形状)，最后在输出层 (3D 形状) 形成精细的图像。整体的响应可能是比较缓慢和耗能的。
研究团队研发的视觉系统如图（b）所示，在这个系统中，芯片上的相互连接的传感器 (正方形) 不仅可以收集信号，而且还可以作为一个神经网络来识别简单的特征，从而减少传感器和外部电路之间冗余数据的移动。
该研究团队用一块只有几个原子厚的二硒化钨制成的芯片，并用光敏二极管蚀刻。然后，他们将二极管接线以形成神经网络。二硒化钨对光的响应可以通过改变施加的电压来增加或减少，因此每个二极管的灵敏度可以单独调整。这意味着可以通过调整二极管的灵敏度，直到给出正确的响应，训练网络对视觉信息进行分类。通过这种方式，对智能芯片进行了训练，可以识别字母n，v和z的程式化像素化版本。
利用不同的神经网络算法，作者演示了两种神经形态功能。第一个是分类：他们用 3×3 像素阵列，将一幅图像分成三个类中的一个，这三个类对应于三个简化的字母，从而在纳秒内识别出它是哪个字母。这个相对简单的任务只是一个概念的证明，如果按比例增加阵列的大小，它可以扩展到识别更复杂的图像。
第二个例子是自动编码：即使在存在信号噪声的情况下，传感器内的计算阵列也可以通过学习图像的关键特征，来生成经过处理的图像的简化表示。编码后的版本只包含最基本的信息，但可以通过解码来重建接近原始的图像。
但在这项技术实际落地应用之前，还有很多工作要做。
首先，用于自动驾驶汽车和机器人的神经形态视觉系统，需要在三维空间和广阔的视野中捕捉动态图像和视频。而目前使用的图像捕获技术通常是将三维现实世界转换为二维信息，丢失掉运动信息和深度。现有图像传感器阵列的平面形状也制约着广角相机的发展。
其次，该系统的传感器设备很难在昏暗的光线下成像，需要重新设计，以改善半导体的光吸收能力，并增加可检测到的光强范围。此外，该设计要求高电压，功耗大；相比之下，在生物神经网络中，每次操作的能量消耗在亚焦耳级（10 -15 至 10 -13 焦耳）。充分扩大对紫外线和红外光的响应范围，捕捉可见光光谱中得不到的信息，对后续技术优化也会很有帮助。
还有一点，研究使用的薄半导体很难在大范围内均匀生产，而且很难加工处理，因此它们很难与硅电子器件集成，比如用于读出或反馈控制的外部电路。使用这些传感器的设备的速度和能源效率将不是由图像捕获过程决定的，而是由传感器和外部电路之间的数据移动决定的。此外，虽然传感器内的计算单元在模拟域收集和计算数据，减少了模拟到数字的转换，但外围电路仍然受到其他固有延迟的影响。传感器和外部电路将需要协同开发，以减少整个系统的延迟。
閱讀更多 青島中科祥雲大數據 的文章
