[发明专利]神经网络系统中数据处理的方法、神经网络系统在审
申请号: | 201911144635.8 | 申请日: | 2019-11-20 |
公开(公告)号: | CN112825153A | 公开(公告)日: | 2021-05-21 |
发明(设计)人: | 高滨;姚鹏;王侃文;廖健行;王铁英;吴华强 | 申请(专利权)人: | 华为技术有限公司;清华大学 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/063;G06N3/08 |
代理公司: | 北京龙双利达知识产权代理有限公司 11329 | 代理人: | 张振;王君 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络 系统 数据处理 方法 | ||
1.一种神经网络系统中数据处理的方法,其特征在于,包括:
将训练数据输入神经网络系统得到第一输出数据,其中,所述神经网络系统中包括多个神经网络阵列,所述多个神经网络阵列中的每个神经网络阵列中包括多个存算单元,每个存算单元用于存储对应的神经网络中神经元的权重值;
计算所述第一输出数据和目标输出数据之间的偏差;
根据所述偏差对所述多个神经网络阵列中的部分神经网络阵列中的至少一个所述存算单元中存储的权重值进行调整,其中,所述部分神经网络阵列用于实现所述神经网络系统中部分神经网络层的计算。
2.根据权利要求1所述的方法,其特征在于,所述多个神经网络阵列包括第一神经网络阵列和第二神经网络阵列,所述第一神经网络阵列的输入数据包括所述第二神经网络阵列的输出数据。
3.根据权利要求2所述的方法,其特征在于,所述第一神经网络阵列包括用于实现神经网络中的全连接层计算的神经网络阵列。
4.根据权利要求3所述的方法,其特征在于,所述根据所述偏差对所述多个神经网络阵列中的部分神经网络阵列中的至少一个所述存算单元中存储的权重值进行调整,包括:
根据所述第一神经网络阵列的输入值和所述偏差,对所述第一神经网络阵列中至少一个所述存算单元中存储的权重值进行调整。
5.根据权利要求2至4中任一项所述的方法,其特征在于,所述多个神经网络阵列还包括第三神经网络阵列,所述第三神经网络阵列和所述第二神经网络阵列用于并行实现神经网络中的卷积层的计算。
6.根据权利要求5所述的方法,其特征在于,所述根据所述偏差对所述多个神经网络阵列中的部分神经网络阵列中的至少一个所述存算单元中存储的权重值进行调整,包括:
根据所述第二神经网络阵列的输入数据和所述偏差,对所述第二神经网络阵列中的至少一个所述存算单元中存储的权重值进行调整;
根据所述第三神经网络阵列的输入数据和所述偏差,对所述第三神经网络阵列中的至少一个所述存算单元中存储的权重值进行调整。
7.根据权利要求5所述的方法,其特征在于,所述根据所述偏差对所述多个神经网络阵列中的部分神经网络阵列中的至少一个所述存算单元中存储的权重值进行调整,包括:
将所述偏差划分为至少两个子偏差,其中,所述至少两个子偏差中的第一子偏差与所述第二神经网络阵列的输出数据对应,所述至少两个子偏差中的第二子偏差与所述第三神经网络阵列的输出数据对应;
根据所述第一子偏差和所述第二神经网络阵的输入数据,对所述第二神经网络阵列中的至少一个所述存算单元中存储的权重值进行调整;
根据所述第二子偏差和所述第三神经网络阵的输入数据,对所述第三神经网络阵列中的至少一个所述存算单元中存储的权重值进行调整。
8.一种神经网络系统,其特征在于,包括:
处理模块,用于将训练数据输入神经网络系统得到第一输出数据,其中,所述神经网络系统中包括多个神经网络阵列,所述多个神经网络阵列中的每个神经网络阵列中包括多个存算单元,每个存算单元用于存储对应的神经网络中神经元的权重值;
计算模块,用于计算所述第一输出数据和目标输出数据之间的偏差;
调整模块,用于根据所述偏差对所述多个神经网络阵列中的部分神经网络阵列中的至少一个所述存算单元中存储的权重值进行调整,其中,所述部分神经网络阵列用于实现所述神经网络系统中部分神经网络层的计算。
9.根据权利要求8所述的神经网络系统,其特征在于,所述多个神经网络阵列包括第一神经网络阵列和第二神经网络阵列,所述第一神经网络阵列的输入数据包括所述第二神经网络阵列的输出数据。
10.根据权利要求9所述的神经网络系统,其特征在于,所述第一神经网络阵列包括用于实现神经网络中的全连接层计算的神经网络阵列。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司;清华大学,未经华为技术有限公司;清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911144635.8/1.html,转载请声明来源钻瓜专利网。