[发明专利]一种光学神经网络处理器及其训练方法有效
申请号: | 201811598104.1 | 申请日: | 2018-12-26 |
公开(公告)号: | CN109784486B | 公开(公告)日: | 2021-04-23 |
发明(设计)人: | 马恬煜;臧大伟;刘伯然;沈华;谭光明;张佩珩;孙凝晖 | 申请(专利权)人: | 中国科学院计算技术研究所 |
主分类号: | G06N3/067 | 分类号: | G06N3/067 |
代理公司: | 北京泛华伟业知识产权代理有限公司 11280 | 代理人: | 王勇 |
地址: | 100190 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 光学 神经网络 处理器 及其 训练 方法 | ||
1.一种光学神经网络处理器,包括:
数值映射装置,用于实现一个数值与可由光神经元表示的正整数域内的数值之间的映射;
包括光神经元的光学计算装置,用于根据由光神经元表示的正整数域内的输入值与权值执行神经网络模型的网络层的相应计算;
光电转换器,用于将所述光学计算装置的计算结果的光信号转换为电信号;
非线性激活装置,用于对相应的网络层的计算结果的电信号执行非线性激活。
2.根据权利要求1所述的光学神经网络处理器,其中,所述光学计算装置包括至少一个激光器和至少一个光学乘法器;
所述激光器用于产生光信号;
所述光学乘法器包括:
第一调制器,用于接收光信号并在第一电信号的控制下执行光路调制,获得承载所述第一电信号值的光信号;
第二调制器,用于接收所述承载所述第一电信号值的光信号,并在第二电信号的控制下执行光路调制,获得承载所述第一电信号值和所述第二电信号值的乘法结果的光信号。
3.根据权利要求1所述的光学神经网络处理器,其中,所述光学计算装置包括至少一个激光器和至少一个具有多个输入端的光线聚合器;
所述激光器用于产生光信号;
所述光线聚合器用于对来自其各个输入端的光信号进行聚合以获得承载累加结果的光信号。
4.根据权利要求1所述的光学神经网络处理器,其中,所述光学计算装置包括至少一个激光器和至少一个光神经元;
所述激光器用于产生光信号;
所述光神经元包括:
突触输入调制器,用于接收光信号并在与所述光神经元的输入特征值对应的电信号的控制下执行光路调制,获得承载所述输入特征值的光信号;
突触权值调制器,用于接收所述承载所述输入特征值的光信号并在与所述光神经元的权值对应的电信号的控制下执行光路调制,获得承载所述输入特征值和所述权值的乘法结果的光信号;
光线聚合器,用于对多个所述突触权值调制器输出的光信号进行聚合,获得承载多个所述乘法结果的累加结果的光信号。
5.根据权利要求1~4中任意一项所述的光学神经网络处理器,其中,所述数值映射装置用于实现从一个float型或double型的数值到可由光神经元表示的无符号位的int型的数值的映射,以及从一个int型的数值到一个float型或double型的数值的映射。
6.根据权利要求1~4中任意一项所述的光学神经网络处理器,其中还包括数值逆映射装置,用于在执行神经网络模型训练时,将与输出层的输出对应的电信号的数值映射为高精度的数值以用于反向传播。
7.根据权利要求6所述的光学神经网络处理器,其中还包括:
误差修正装置,用于根据所述光学计算装置中的光学元件而确定的针对神经网络模型训练的输出值的误差,对由所述数值逆映射装置映射得到的高精度的数值进行修正以用于反向传播。
8.根据权利要求1~4中任意一项所述的光学神经网络处理器,其中,所述数值映射装置用于根据光神经元所要表示的数值的最大值Wmax,计算映射的转换倍数α=2n/Wmax,其中n为光神经元的位宽,并且将一个数值修改为其原值的α倍,并且将修改后的数值中的非整数转换为整数。
9.根据权利要求1~4中任意一项所述的光学神经网络处理器,其中,所述数值映射装置用于根据光神经元所要表示的数值的最大值Wmax和最小值Wmin,将最大值Wmax和最小值Wmin之间的范围区间划分为2n-1个子区间,每个子区间与一个可由n bit所表示的整数相对应,其中n为光神经元的位宽,并且根据一个数值所处的子区间,采用相应的整数来表示所述数值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院计算技术研究所,未经中国科学院计算技术研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811598104.1/1.html,转载请声明来源钻瓜专利网。