[发明专利]一种光子神经网络卷积加速芯片

说明书

本发明公开了一种光子神经网络卷积加速芯片，适用于所有包含卷积运算的深度学习网络。本发明光子神经网络卷积加速芯片由完成卷积加速运算的调制器、耦合器、波分延时加权单元及平衡光电探测器一体化集成。本发明基于波分复用技术将待处理信号分别加载到多个光载波上，通过解波分复用、光幅度控制与延迟波导实现不同载波信号的卷积核系数加权与时间交织，通过平衡光电探测器实现加权后求和运算。本发明利用一对集成波分延时加权单元即可实现任意实数卷积核矩阵系数的构建，结合延时可完成任意信号的卷积加速运算。将光作为信息载体，可实现低功耗、高速率卷积运算。

技术领域

本发明涉及一种面向深度学习的光子神经网络卷积加速芯片，属于光子集成技术领域。

背景技术

机器视觉、自然语言处理及自动驾驶等领域如今广泛应用人工智能技术，其中人工神经网络是人工智能技术重要落地模型。人工神经网络本质上通过模仿生物神经系统结构，基于软件或硬件建立类似的神经元网络互联模式。基于电子技术的成熟发展，如今主流神经网络模型训练与测试可以以CPU、GPU、FPGA以及专用集成电路等电子集成芯片为载体。但电子芯片采用程序空间与数据空间分离的经典计算机结构，存储单元与计算单元之间数据载荷大、功耗高，限制网络模型训练的效率。（参见[陈宏伟, 于振明, 张天, 等. 光子神经网络发展与挑战. 中国激光, 2020, 47(5): 0500004.]）。以光子作为信息载体的光子技术具有大带宽、低损耗以及可并行等特点, 广泛应用于雷达、通信以及计算等领域（参见[J. Capmany, D. Novak, Microwave photonics combines two worlds, Nature photonics, vol. 1, no. 6, pp. 319-330, 2007.]与Shastri B J, Tait A N,Ferreira de Lima T, et al. Photonics for artificial intelligence andneuromorphic computing. Nature Photonics, 2021, 15(2): 102-114.），将光子技术与传统神经网络相结合，有望充分发挥两种技术的优势，突破传统电子神经网络高功耗、长延时、速度有限的技术发展瓶颈。首先，光子神经网络采用模拟计算架构，存算同时进行，在提高计算速度的同时能够降低计算时延；其次，基于光传输介质的本质特性，光链路具有低损耗特性，间接可降低系统功耗；最后，光子器件相对电子器件，有效工作带宽增加了几个数量级，更适应神经网络的高速实时运算。如方案（参见[Ashtiani F, Geers A J,Aflatouni F. An on-chip photonic deep neural network for imageclassification. Nature, 2022: 1-6.]）提出一种集成的端到端光子深度神经网络，可在亚秒级对入射到片上像素阵列的光图像信号通过神经元传播处理实现图像分类，无需图像信号的捕捉、转化及储存。但受限于像素阵列有限，目前只能处理低像素图片数据。此外（参见（Shen Y, Harris N C, Skirlo S, et al. Deep learning with coherentnanophotonic circuits. Nature Photonics, 2017, 11(7): 441-446.））基于三角分解矩阵运算算法基本理论模型研制了世界第一款光子计算芯片，通过光子芯片结合电域仿真实现线性运算及非线性激活函数，从而构建全连接光子神经网络，基于芯片两次运算可实现一层全连接神经网络线性运算。相较于目前发展得较为成熟的电子神经网络，该方案系统通用化、规模化及实用化等方面仍然具有广阔的提升空间。

发明内容

本发明的目的在于：克服现有技术不足，基于光子集成技术，利用回环阵列波导光栅结合幅度调节延时阵列实现信号卷积核矩阵系数加权及时间交织。除了光源整个加速芯片的所有光子组件集成在一个芯片上，系统紧凑简单、体积小、成本低且卷积核矩阵可灵活扩展。

本发明具体采用以下技术方案解决上述技术问题：