[发明专利]基于预训练语义模型的超球面协同度量推荐装置和方法

说明书

基于预训练语义模型的超球面协同度量推荐装置和方法，该装置包括预训练隐语义模块和协同度量推荐模块，预训练隐语义模块包括物品文本信息编码器和解码器，协同度量推荐模块包括超球面映射模块和融合损失函数模块；由编码器和解码器获得物品的文本信息向量化表征；超球面映射模块以角度度量的方式，将初始化的正、负用户和物品隐向量分别映射到同一高维超球面流形中，融合损失函数模块对超球面映射后的用户和物品隐向量进行训练，优化正、负用户物品样品对的类内类间距离；预测时获得物品的文本向量和对应的用户物品隐向量，通过计算两者的余弦距离的方式，获得用户的物品推荐结果。

技术领域

本发明涉及计算机应用，特别是涉及一种基于预训练语义模型的超球面(或称超维球面)协同度量推荐装置和方法。

背景技术

推荐算法属于人工智能和计算机技术的交叉学科，推荐算法的任务旨在通过分析用户的历史行为数据，计算机算法建模预测用户喜欢的物品，给出推荐。推荐系统算法的进步提高了人们在面对“信息过载”的情形下，处理海量的网络信息的效率和体验，对内容生成者来说，高效的推荐系统可以帮助内容在平台的传播更快速、准确的触达目标用户，提升内容传播效率和质量。常用的购物、电影、社交等领域的网站如谷歌、淘宝、百度、豆瓣都离不开推荐系统的支持。

在互联网时代快速发展的背景下，我们作为个人用户，每天都处于信息爆炸的环境下。用户都需要面对海量的信息来进行选择，在此背景下，推荐系统对用户和平台的重要性越来越高。一个性能优秀的推荐系统可以帮助用户在有限的时间内浏览到更符合他偏好的商品或信息。通常来说，推荐系统依据用户的基本信息以及他过往的浏览和交互记录(评分、点赞等)刻画用户画像和对物品的特征建模。一个物品的评分高低与否反应出用户对其的偏好程度，同时物品的基本信息可以作为物品侧特征的组成部分，对物品特征进行补全，提高推荐效果。

近年来，随着自然语言处理领域(NLP)的快速发展，对文本预处理的建模的重要性日渐凸显，逐渐成为一种趋势，即利用语义模型对文本信息进行建模，再依据预处理的结果完成下游任务(分类、翻译、推荐等)，取得了很好的效果。推荐系统中，不仅仅可以使用用户对物品的评分信息通过传统的协同过滤模型或者深度学习技术进行建模。物品的品名，属性，类别等文本信息同样可以利用智能语义技术进行预处理后，作为推荐系统的输入，提升推荐效果。

近来基于协同度量学习的推荐系统取得了很好的效果，它基于协同过滤的一种有竞争性的推荐技术，主要侧重于用户和物品的隐式反馈。该模型将用户和物品的隐向量映射到高维几何度量空间中，通过逐对的三元组损失函数学习用户与物品直接的关系。基于欧式距离的协同度量学习的主要贡献是它通过欧式距离捕捉了用户物品的关系，通过最小化那些正反馈用户物品样本对的欧式距离优化模型。

然而，目前基于欧式距离度量学习也存在着不少的问题。已有的协同度量推荐方法使用欧式距离作为用户和物品隐向量的相似度衡量指标，将用户物品向量映射到高维几何空间中，受到三角不等式的约束，使得一个用户同时喜欢多个物品的情形变得难以训练，那么这些物品的隐向量会倾向于集中在同一个区域中。同时，被同一用户喜欢的物品隐向量也会因为几何约束性的关系聚集在某一区域内，这会导致增加模型训练难度和降低推荐性能。最后，欧式度量学习仅仅考虑了用户物品隐向量之间的距离关系作为衡量用户物品相关程度的指标，忽视了方向性这一重要的空间属性信息。

另一方面，在推荐开始阶段，如召回阶段，用户的交互行为数据积累不足的情况下如何进行推荐的问题称为冷启动问题。目前虽然很多先进的方法被提出以改进推荐模型的性能，但是基于物品的冷启动问题始终存在。如何基于现有的物品、用户的先验信息，利用深度语义技术改善推荐系统冷启动是一个值得研究探索的方向。

发明内容

本发明的目的在于克服上述技术缺陷中的至少一者，提供一种基于预训练语义模型的超球面协同度量推荐装置和方法。

为实现上述目的，本发明采用以下技术方案：