[发明专利]基于矩阵因子分解的梯度压缩在审
申请号: | 202010184626.8 | 申请日: | 2020-03-17 |
公开(公告)号: | CN111753979A | 公开(公告)日: | 2020-10-09 |
发明(设计)人: | 赵敏植;V·穆瑟萨米 | 申请(专利权)人: | 国际商业机器公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06F16/174;G06F9/30;H03M7/30 |
代理公司: | 中国贸促会专利商标事务所有限公司 11038 | 代理人: | 邹丹 |
地址: | 美国*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本申请涉及基于矩阵因子分解的梯度压缩。基于矩阵因子分解的梯度压缩可以应用于全局规约操作以提高效率,包括消除不必要的元数据,同时维持人工智能的深度学习(DL)的训练的准确性。这种压缩可以包括为多个计算节点生成预定矩阵和作为该预定矩阵的维数的数据压缩程度k。每个计算节点可以接收要全局规约的矩阵的对应矩阵,并且可以将每个对应的矩阵因子分解成多个非固定矩阵和预定矩阵。可以将多个非固定矩阵求和以提供优化矩阵,可以将该优化矩阵与预定矩阵相乘以提供结果矩阵。可以将优化矩阵指定为预定矩阵。可以重复这些操作,直到计算节点接收到的所有矩阵都已全局规约。 | ||
搜索关键词: | 基于 矩阵 因子 分解 梯度 压缩 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国际商业机器公司,未经国际商业机器公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202010184626.8/,转载请声明来源钻瓜专利网。