[发明专利]一种大类别深度学习GPU并行加速的方法在审
| 申请号： | 201711251410.3 | 申请日： | 2017-12-01 |
| 公开（公告）号： | CN108108813A | 公开（公告）日： | 2018-06-01 |
| 发明（设计）人： | 石宇;徐卉;程诚;周祥东 | 申请（专利权）人： | 中国科学院重庆绿色智能技术研究院 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08;G06T1/20 |
| 代理公司： | 上海光华专利事务所(普通合伙) 31219 | 代理人： | 尹丽云 |
| 地址： | 400714 *** | 国省代码： | 重庆;50 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 神经网络结构 并行 并行方式 学习 并行运算 参数交互 交互模型 模型参数 模型分片 模型学习 数据特征 通信成本 学习效果 链接层 占用率 层级 架构 瓶颈 通信 | ||
1.一种大类别深度学习GPU并行加速的方法，其特征在于，包括：
采用模型并行对深度神经网络结构中的softmax层的模型参数进行训练；
每个GPU训练各自的模型分片，获取模型参数的数据特征；
各GPU的softmax层之间通过交互模型参数的数据特征，完成深度学习。
2.根据权利要求1所述的大类别深度学习GPU并行加速的方法，其特征在于，采用混合架构对深度神经网络结构中的模型参数进行训练，所述混合结构包括采用模型并行对深度神经网络结构中的softmax层的模型参数进行训练，采用数据并行对深度神经网络结构中的其他层的模型参数进行训练。
3.根据权利要求2所述的大类别深度学习GPU并行加速的方法，其特征在于，所述模型并行包括将完整模型划分为若干模型分片，每个模型分片分别在不同的GPU上进行参数训练。
4.根据权利要求3所述的大类别深度学习GPU并行加速的方法，其特征在于，将深度神经网络结构中的softmax层划分为若干个模型分片，分别在不同的GPU上进行参数训练，每个GPU计算各自的模型分片，并获取对应模型分片的参数数据特征，所述模型分片的数量与GPU的数量一致。
5.根据权利要求4所述的大类别深度学习GPU并行加速的方法，其特征在于，所述数据并行包括，根据GPU数量对训练数据进行切分，通过不同的GPU对切分后的训练数据分别进行训练，获取训练数据特征组，各GPU之间通过训练数据特征数组进行交互，所述训练数据为传输图像数据。
6.根据权利要求5所述的大类别深度学习GPU并行加速的方法，其特征在于，每个GPU完成自己的模型分片计算后，将所有GPU上的模型分配组合为一个完整的模型。
7.根据权利要求4所述的大类别深度学习GPU并行加速的方法，其特征在于，通过all-gather算法，将数据传输至每块GPU上。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国科学院重庆绿色智能技术研究院，未经中国科学院重庆绿色智能技术研究院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201711251410.3/1.html，转载请声明来源钻瓜专利网。
