[发明专利]用于执行人工神经网络自学习运算的装置和方法有效
| 申请号: | 201910402047.3 | 申请日: | 2016-04-27 |
| 公开(公告)号: | CN110188870B | 公开(公告)日: | 2021-10-12 |
| 发明(设计)人: | 李震;郭崎;陈云霁;陈天石 | 申请(专利权)人: | 中科寒武纪科技股份有限公司 |
| 主分类号: | G06N3/063 | 分类号: | G06N3/063;G06N3/08;G06N3/04 |
| 代理公司: | 暂无信息 | 代理人: | 暂无信息 |
| 地址: | 100190 北京市海*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 用于 执行 人工 神经网络 自学习 运算 装置 方法 | ||
1.一种人工神经网络自学习运算装置,其特征在于,所述装置包括控制器单元、互连模块、主运算模块、以及多个从运算模块,其中,
所述控制器单元用于读取人工神经网络自学习运算指令,将所述人工神经网络自学习运算指令译码为控制信号,并将所述控制信号发送至所述互连模块、所述主运算模块、以及所述从运算模块;
所述主运算模块、所述从运算模块和所述互连模块用于在所述控制信号的控制下,执行人工神经网络自学习运算方法,所述方法包括:
根据神经元向量和权值向量矩阵的列向量计算得到一阶隐层中间值;
根据所述一阶隐层中间值和所述权值向量矩阵的转置计算得到一阶可见层中间值;
根据所述一阶可见层中间值和所述权值向量矩阵计算得到第二隐层中间值;
根据预设的学习率、所述一阶隐层中间值、所述神经元向量的转置、所述第二隐层中间值和所述一阶可见层中间值的转置更新所述权值向量矩阵;
所述互连模块,用于根据所述控制信号,将所述主运算模块的输入向量分发给所述多个从运算模块,根据所述控制信号,将所述从运算模块的计算结果合并得到合并结果,并将所述合并结果返回给所述主运算模块,其中,
所述输入向量包括:所述神经元向量或其转置、所述一阶隐层中间值或其转置、所述一阶可见层中间值或其转置、所述第二隐层中间值或其转置;
所述合并包括:将多个所述计算结果进行拼接或将多个所述计算结果的相应分量进行加和。
2.如权利要求1所述的装置,其特征在于,
所述主运算模块包括:激活函数运算器和采样运算器,
所述激活函数运算器,用于对所述互连模块返回的所述中间值进行激活函数运算;
所述采样运算器,用于对激活函数运算结果进行吉布斯采样;
所述从运算模块,用于根据所述输入向量和所述权值向量矩阵中相应的权重进行点积运算,用于将所述输入向量中的分量标量和另一所述输入向量中的相应分量标量进行乘法运算,用于根据预设的学习率和所述一个或多个输入向量对所述权值向量矩阵进行更新。
3.如权利要求2所述的装置,其特征在于,所述主运算模块、所述从运算模块和所述互连模块用于在所述控制信号的控制下,根据神经元向量和权值向量矩阵的列向量计算得到一阶隐层中间值,包括,
所述从运算模块,用于根据所述控制信号,接收所述主运算模块通过所述互连模块传送的所述神经元向量,用于根据所述控制信号,将所述神经元向量与所述权值向量矩阵中相应的权值进行点积运算得到点积运算结果,用于根据所述控制信号,将所述点积运算结果相应的分量进行累加得到累加结果,用于根据所述控制信号,将所述点积运算结果或所述累加结果通过所述互连模块传送给所述主运算模块;
所述互连模块,用于根据所述控制信号,将所述主运算模块发送的所述神经元向量发送给所述多个从运算模块,用于根据所述控制信号,将所述各从运算模块的所述点积运算结果或所述累加结果拼接成第一局部诱导域,并将所述第一局部诱导域返回给所述主运算模块;
所述主运算模块,用于根据所述控制信号,将所述神经元向量通过所述互连模块发送给所述从运算模块,用于根据所述控制信号,接收所述互连模块传递来的所述第一局部诱导域;其中,
所述激活函数运算器,用于根据所述控制信号,将所述第一局部诱导域经过第一激活函数非线性变换得到第一结果;
所述采样运算器,用于根据所述控制信号,用于将所述第一结果利用吉布斯采样得到所述一阶隐层中间值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中科寒武纪科技股份有限公司,未经中科寒武纪科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910402047.3/1.html,转载请声明来源钻瓜专利网。





