[发明专利]一种张量卷积核加速芯片及方法

说明书

本发明公开了一种张量卷积核加速芯片，适用于所有包含卷积运算的深度学习网络。本发明通过光子集成技术将完成张量卷积核加速运算的解波分复用器、调制器、延时加权单元、耦合阵列及探测器一体化集成。基于波分复用技术将待处理信号分别加载到多个光载波上，通过微环与延迟线实现不同载波信号的卷积核系数加权与时间交织，通过耦合阵列实现加权后求和运算。本发明将光作为信息载体，基于多个延时加权单元与耦合阵列，可实现信号的张量计算加速，大幅提高神经网络的计算速率及能效比。

技术领域

本发明涉及光子集成技术领域，特别涉及一种张量卷积核加速芯片及方法。

背景技术

将多维数据叠加形成张量为我们提供了发现隐藏在数据中的内在结构特征的机会，这些特征在双向（矩阵）数据分析中是不可见的。例如，脑电图 (EEG) 数据的多路表示是神经科学数据处理的有效方式，而跨时间、空间和频谱堆叠的张量有利于检测电磁波形中的特征。由于张量与世界的高维性质相匹配，多路分析的概念在生命科学、雷达、数据挖掘和机器学习等领域中产生了广泛的信号处理方法。在张量的基本运算中，卷积可以有效地从数据中提取结构特征，当卷积核遍历张量时，目标特征被过滤掉。卷积神经网络作为现代人工智能（AI）的一个缩影，是在多通道张量处理的概念下设计的。鉴于张量处理，尤其是在人工智能领域，正在消耗越来越多的计算资源，因此迫切需要高吞吐量和节能的处理器。光子学最近被证明是构建高性能矩阵处理器的有希望的候选者。通过将光子电路设计为线性变换函数，矩阵乘法可以在光穿过电路时完成。光子电路的宽带频谱将时钟频率提高到数十千兆赫。因此，光子电路被证明是具有高吞吐量和高能效的卓越 GeMM 处理器(参见[Xu, Shaofu, et al. High-order tensor flow processing using integratedphotonic circuits. arXiv preprint arXiv:2112.12322 (2021) ])。事实上，光子学相对于电子学的另一个优势是光的可用自由度丰富。例如，成功地研究出了用波长、引导模式、时间和空间来进行线性变换。

发明内容

本发明所要解决的技术问题在于：克服现有技术不足，利用包含延迟波导的延时加权单元结合耦合阵列在光域实现张量信号的张量计算，解决传统电子技术存算分离及数据维度转换造成的算力有限及功耗大问题，且张量核可灵活扩展，适用于多维数据张量计算。除了光源整个加速芯片的所有光子组件集成在一个芯片上，系统紧凑简单、体积小、成本低且卷积核矩阵可灵活扩展。

为实现上述目的，本发明提供如下技术方案：

本申请公开了一种张量卷积核加速芯片，所述芯片由解波分复用器、调制器、延时加权单元、耦合阵列及探测器一体化集成；

所述解波分复用器的光输入端即为所述芯片的光输入端，用于接收多波长光信号；所述解波分复用器的输出端连接调制器，用于输出包含N个波长的子光信号；

所述调制器的光输入端连接解波分复用器的光输出端，用于接收包含N个波长的子光信号；所述调制器的电输入端用于接收待卷积信号；所述调制器的光输出端连接延时加权单元，用于输出包含N个波长的子调制光信号；

所述延时加权单元的光输入端连接所述调制器的光输出端，用于接收包含N个波长的子调制光信号；所述延时加权单元的电输入端用于接收卷积核矩阵控制信号；所述延时加权单元的光输出端连接耦合阵列，用于输出幅度加权子调制光信号；

所述耦合阵列的光输入端连接所述延时加权单元的光输出端，用于接收幅度加权子调制光信号；所述耦合阵列的电输入端用于接收耦合系数控制信号；所述耦合阵列的输出端连接探测器，用于输出包含N个波长的二级幅度加权子调制光信号；

所述探测器的光输入端连接所述耦合阵列的光输出端，用于接收包含N个波长的二级幅度加权子调制光信号；所述探测器的光输出端用于输出待卷积信号完成卷积运算后得到的特征信号。

如权利要求1所述的一种张量卷积核加速芯片，其特征在于：所述延时加权单元由直通波导、耦合波导及N个微环谐振器组成；第一个微环谐振器的耦合波导输出端即为延时加权单元的光输出端。