[发明专利]一种神经网络分布式并行训练方法与装置在审
| 申请号： | 201910810557.4 | 申请日： | 2019-08-29 |
| 公开（公告）号： | CN110503201A | 公开（公告）日： | 2019-11-26 |
| 发明（设计）人： | 高开;郭振华;曹芳 | 申请（专利权）人： | 苏州浪潮智能科技有限公司 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08;G06F9/50 |
| 代理公司： | 11278 北京连和连知识产权代理有限公司 | 代理人： | 刘小峰<国际申请>=<国际公布>=<进入 |
| 地址： | 215100 江苏省苏州市吴*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 计算设备 卷积核 卷积 并行计算 并行训练 反向传播 神经网络 同一通道 并行度 吞吐率 权重 算法 更新 学习 | ||
1.一种神经网络分布式并行训练方法，其特征在于，包括以下步骤：
将深度学习模型的每一层中处于同一通道的卷积核划分到多个计算设备中的同一计算设备；
在每个所述计算设备上分别针对每一层独立基于所述卷积核执行卷积操作，将新生成的特征传入下一层继续卷积；
从最后一层开始反向传播丢失误差并更新每一层的梯度权重。
2.根据权利要求1所述的方法，其特征在于，将深度学习模型的每一层中处于同一通道的卷积核划分到多个计算设备中的同一计算设备包括：在保证同一通道的前提下，向每个所述计算设备划分数量尽量接近的卷积核以平衡所述计算设备之间的负载。
3.根据权利要求1所述的方法，其特征在于，所述计算设备为现场可编程门阵列。
4.根据权利要求3所述的方法，其特征在于，在每个所述计算设备上针对每一层分别独立基于所述卷积核执行卷积操作，将新生成的特征传入下一层继续卷积包括：使用Opencl来描述分布式并行训练算法生成代码，使用高层次综合工具来编译所述代码生成AOCX文件，并使用现场可编程门阵列执行所述AOCX文件。
5.根据权利要求4所述的方法，其特征在于，还包括：调用现场可编程门阵列中的分布式并行训练算法硬件电路来硬件加速执行所述AOCX文件。
6.一种神经网络分布式并行训练装置，其特征在于，包括：
分配模块，用于将深度学习模型的每一层中处于同一通道的卷积核划分到多个计算设备中的同一计算设备；
执行模块，用于在每个所述计算设备上分别针对每一层独立基于所述卷积核执行卷积操作，将新生成的特征传入下一层继续卷积；
更新模块，用于从最后一层开始反向传播丢失误差并更新每一层的梯度权重。
7.根据权利要求6所述的装置，其特征在于，将深度学习模型的每一层中处于同一通道的卷积核划分到多个计算设备中的同一计算设备包括：在保证同一通道的前提下，向每个所述计算设备划分数量尽量接近的卷积核以平衡所述计算设备之间的负载。
8.根据权利要求6所述的装置，其特征在于，所述计算设备为现场可编程门阵列。
9.根据权利要求8所述的装置，其特征在于，在每个所述计算设备上针对每一层分别独立基于所述卷积核执行卷积操作，将新生成的特征传入下一层继续卷积包括：使用Opencl来描述分布式并行训练算法生成代码，使用高层次综合工具来编译所述代码生成AOCX文件，并使用现场可编程门阵列执行所述AOCX文件；调用现场可编程门阵列中的分布式并行训练算法硬件电路来硬件加速执行所述AOCX文件。
10.一种现场可编程门阵列集群，其特征在于，包括：
多个现场可编程门阵列；
处理器；和
存储器，存储有处理器可运行的程序代码，所述程序代码在被运行时执行如权利要求1-8中任意一项所述的神经网络分布式并行训练方法。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于苏州浪潮智能科技有限公司，未经苏州浪潮智能科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201910810557.4/1.html，转载请声明来源钻瓜专利网。
