[发明专利]基于矩阵分解模型的剪枝方法、装置、设备、存储介质在审
申请号: | 202111244280.7 | 申请日: | 2021-10-25 |
公开(公告)号: | CN113962156A | 公开(公告)日: | 2022-01-21 |
发明(设计)人: | 何向南;王艳芳;隋勇铎;王翔;刘振广 | 申请(专利权)人: | 中国科学技术大学 |
主分类号: | G06F30/27 | 分类号: | G06F30/27;G06F17/16;G06N20/00 |
代理公司: | 中科专利商标代理有限责任公司 11021 | 代理人: | 樊晓 |
地址: | 230026 安*** | 国省代码: | 安徽;34 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 矩阵 分解 模型 剪枝 方法 装置 设备 存储 介质 | ||
本发明公开了一种基于矩阵分解模型的剪枝方法,包括:获取目标矩阵分解模型的模型结构数据,其中,模型结构数据包括多个矩阵参数;多个矩阵参数的每一行分别对应一个目标用户或一个目标物品;根据多个矩阵参数确定目标矩阵分解模型中可被剪枝的第一矩阵参数;利用基于第一矩阵参数生成的第二矩阵参数更新矩阵集合;以及通过评价指标确定矩阵集合中的目标矩阵参数。本公开提供的基于矩阵分解模型的剪枝方法能够在保证模型性能的同时,减少表征矩阵的参数量,从而有效地降低模型能耗,并且加快推理速度。
技术领域
本公开涉及机器学习与数据挖掘领域,更具体地,涉及一种基于矩阵分解模型的剪枝方法、装置、电子设备和存储介质。
背景技术
推荐系统旨在捕捉用户对于物品的兴趣偏好,提供精准的个性化推荐服务,已经被广泛应用于现实互联网场景中。近年来,由于矩阵分解算法能够兼具协同过滤和隐语义的优势,并且易于实现拓展,逐渐成为了推荐系统领域的主流技术。基于矩阵分解的推荐模型使用表征向量来表示每个用户和物品的潜在语义。所有用户和物品的表征向量构成了推荐模型中的最基本参数——表征矩阵。基于矩阵分解的推荐模型通过用户和物品之间的表征向量交互来建模用户对不同物品的喜好。显然,表征矩阵的参数规模越大,推荐模型的表示能力越强,因而能够更好地描述用户画像和物品属性,也能更精准地预测用户与物品的交互。
在实现本公开构思的过程中,发明人发现相关技术中至少存在如下问题:
(1)在实际的工业推荐系统中,随着物品种类和用户数量的不断增加,表征矩阵的参数规模会急剧膨胀。大规模的表征矩阵需要消耗大量的算力、内存和电量,极大地限制了矩阵分解模型的生产部署和实时预测;
(2)不同用户的交互历史记录通常包含不同数量和类型的物品,因此信息量各不相同。然而,现有的矩阵分解模型往往会不加区分地将所有的用户和物品都表示为相同长度的向量,这可能会导致严重的过参数化和过拟合问题。
发明内容
有鉴于此,本发明的主要目的在于提供一种基于矩阵分解模型的剪枝方法、装置、电子设备、存储介质,以期至少部分地解决上述技术问题中的至少之一。
作为本发明的一方面,提供了一种基于矩阵分解模型的剪枝方法,包括:
获取目标矩阵分解模型的模型结构数据,其中,上述模型结构数据包括多个矩阵参数;上述多个矩阵参数的每一行分别对应一个目标用户或一个目标物品;
根据上述多个矩阵参数确定上述目标矩阵分解模型中可被剪枝的第一矩阵参数;
利用基于上述第一矩阵参数生成的第二矩阵参数更新矩阵集合;以及
通过评价指标确定上述矩阵集合中的目标矩阵参数。
根据本发明的实施例,其中,上述根据上述多个矩阵参数确定上述目标矩阵分解模型中可被剪枝的第一矩阵参数包括:
根据预设规则将上述多个矩阵参数进行排序,其中,上述预设规则为上述多个矩阵参数的绝对值;
确定上述多个矩阵参数的绝对值最小的矩阵参数为上述第一矩阵参数,其中,上述第一矩阵参数包括第一掩蔽矩阵和第一表征矩阵。
根据本发明的实施例,其中,上述利用基于上述第一矩阵参数生成的第二矩阵参数更新矩阵集合包括:
将上述第一掩蔽矩阵对应位置的元素设置为0,得到第二掩蔽矩阵;
利用上述第二掩蔽矩阵和表征矩阵生成上述第二矩阵参数;
利用上述第二矩阵参数更新矩阵集合。
根据本发明的实施例,其中,上述通过评价指标确定上述矩阵集合中的目标矩阵参数包括:
根据上述第二矩阵参数,采用第一关系模型,得到上述第二矩阵参数的评价指标,其中,上述第一关系模型为:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学技术大学,未经中国科学技术大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111244280.7/2.html,转载请声明来源钻瓜专利网。