[发明专利]基于残差网络的衍射深度神经网络系统

说明书

本发明公开了一种基于残差网络的衍射深度神经网络系统，包括：光学输入模块，由光源和3D打印的输入物体或空间光调制器组成，使用光源均匀照射物体或空间光调制器，将输入物体的信息转化为透射光的光学信息；残差衍射深度神经网络模块，由衍射调制层和残差连接模块构成，通过训练实现神经网络功能，以实现光学计算和信息处理功能；信息采集模块，由传感器组成，接收残差衍射深度神经网络模块的输出信号，并采集光学强度信息，以获得信息处理结果。该系统可以有效解决在缓解梯度消失的问题，实现更深的衍射神经网络，提升全光学深度学习的性能，使得全光学深度学习模型更好地完成更加复杂的机器学习任务。

技术领域

本发明涉及光电计算和机器学习技术领域，特别涉及一种基于残差网络的衍射深度神经网络系统。

背景技术

深度神经网络在解决许多前沿人工智能(AI)问题上的取得巨大进步，传统的基于电子的深度神经网络通过在冯·诺依曼计算机中使用大型CMOS晶体管进行计算。这些电子神经网络(ENN)消耗大量的能源和资源，并且受到摩尔定律的约束。作为ENN的替代方案，新兴的光学神经网络(ONN)通过使光通过一系列光学仪器来实现分层计算，在人工智能领域崭露头角。与ENN相比，ONN具有至少三个必不可少的优势。首先，ONN理论上能够以光速进行计算。其次，光的高通量特性赋予了光学计算合理的并行信号处理能力。最后，最新的纳米光子技术提供了在单个芯片级别集成整个ONN系统的功能。

在光学计算中，早期的工作主要集中在一些基本的信号处理操作上，例如傅立叶变换，微分和卷积，但很少用于解决具有挑战性的机器学习问题。而衍射深层神经网络能够实现较高性能的目标分类等复杂任务。但是，现有的衍射深层神经网络主要配置在相对较浅的神经网络结构中，这极大地限制了其计算能力。

在ENN研究中，众所周知，神经网络深度的增长可以对整个学习系统的性能改善做出重要贡献。但是ONN在层之间进行基于光相互作用的复数运算，这使得通过反向传播(BP)来有效地训练深度ONN变得更加困难。

因此，当ONN变得很深时，对复数进行梯度计算可能会导致梯度消失问题，该问题会严重影响网络性能，亟待解决。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种基于残差网络的衍射深度神经网络系统，该系统可以有效解决在缓解梯度消失的问题，实现更深的衍射神经网络，提升全光学深度学习的性能，使得全光学深度学习模型更好地完成更加复杂的机器学习任务。

为达到上述目的，本发明实施例提出了一种基于残差网络的衍射深度神经网络系统，包括：光学输入模块，由光源和3D打印的输入物体或空间光调制器组成，使用光源均匀照射物体或空间光调制器，将输入物体的信息转化为透射光的光学信息；残差衍射深度神经网络模块，由衍射调制层和残差连接模块构成，通过训练实现神经网络功能，以实现光学计算和信息处理功能；信息采集模块，由传感器组成，接收所述残差衍射深度神经网络模块的输出信号，并采集光学强度信息，以获得信息处理结果。

本发明实施例的基于残差网络的衍射深度神经网络系统，区别于原始的仅通过单向的光学信息传播和调制以实现计算功能的全光学衍射深度神经网络，采用残差连接模块，对前一衍射调制层的输出进行分束，与这一衍射调制层输出的光场复数相加，实现从输入到输出的直接通路，从而有效解决训练过程中的梯度消失问题，使得系统能够提升执行复杂的信息处理任务的性能。

另外，根据本发明上述实施例的基于残差网络的衍射深度神经网络系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述衍射调制层由相位调制层和非线性光学元件组成，其中，所述相位调制层由空间光调制器实现，或者通过3D打印或光刻技术加工实现，且相位调制参数通过深度学习方法优化得到，使用非线性光学器件，利用晶体的电光效应和光折变效应实现光学信息的非线性调制，实现非线性激活函数。