[发明专利]基于预训练语义模型的超球面协同度量推荐装置和方法

权利要求书

1.一种基于预训练语义模型的超球面协同度量推荐装置，其特征在于，包括预训练隐语义模块和协同度量推荐模块，所述预训练隐语义模块包括物品文本信息编码器和物品解码器，所述协同度量推荐模块包括超球面映射模块和融合损失函数模块；

其中，物品的文本信息首先经过所述预训练隐语义模块的编码器和解码器，获得物品的文本信息向量化表征，以用于所述协同度量推荐模块的训练和预测，以及物品的冷启动；所述超球面映射模块用于以角度度量的方式，将初始化的正、负用户和物品隐向量分别映射到同一高维超球面流形中，所述融合损失函数模块用于对超球面映射后的用户和物品隐向量进行训练，同时优化正、负用户物品样品对的类内类间距离；

其中，将物品文本信息输入所述预训练隐语义模块，得到物品文本信息特征向量，加入到所述协同度量推荐模块中的物品隐向量中以进行所述训练；在预测阶段，获得物品的文本向量和对应的用户物品隐向量，通过计算两者的余弦距离的方式，获得用户的物品推荐结果。

2.如权利要求1所述的超球面协同度量推荐装置，其特征在于，还包括正负随机采样模块，用于对训练样本做随机采样后提供给所述协同度量推荐模块。

3.如权利要求1或2或所述的超球面协同度量推荐装置，其特征在于，所述预训练隐语义模块为BERT预训练模型，由其获取物品文本的语义化向量表达。

4.如权利要求1至2任一项所述的超球面协同度量推荐装置，其特征在于，所述物品文本信息编码器包括位置嵌入模块和多层的编码层，所述位置嵌入模块对输入做词嵌入，并记录文本中各个词汇的位置信息，所述多层的编码层包含有多头注意力模块、前馈神经网络模块和规范化模块，其中，所述多头注意力模块用于对输入文本向量之间词与词的关系进行捕捉，获得句子内部词汇的关系，所述前馈神经网络用于提高模块的泛化性并增加神经网络的深度，所述规范化模块用于进行正则化以保证输出的一致性。

5.如权利要求4所述的超球面协同度量推荐装置，其特征在于，所述物品解码器具有自注意力模块，所述自注意力模块用于计算当前解析的和已经解析的文本之间的关系；所述物品解码器解码后的输出向量作为最终的文本语义特征的向量化表示。

6.如权利要求5所述的超球面协同度量推荐装置，其特征在于，所述前馈神经网络为残差网络，其和上层计算的结果进行加和以保持记忆性；所述物品解码器最后进行softmax的概率输出，计算源文本与目标文本的匹配概率。

7.如权利要求1至2任一项所述的超球面协同度量推荐装置，其特征在于，所述超球面映射模块通过将用户和物品的隐向量映射到超球面流形的超球面上，使得用户和物品隐向量的模长一致，以抵消向量模长带来的影响。

8.如权利要求1至2任一项所述的超球面协同度量推荐装置，其特征在于，所述融合损失函数模块包括三元损失函数模块和逻辑斯蒂损失函数模块，所述三元损失函数模块用于增大正负训练样本对的类间距离，所述逻辑斯蒂损失函数模块用于减小正样本对中物品和用户的类内距离；通过所述三元损失函数模块和逻辑斯蒂损失函数模块，形成基于超球面度量学习的混合损失函数对模型进行训练，使模型聚合用户的正样本物品同时区分正负样本物品；所述融合损失函数模块还加入调节因子以控制三元损失函数和逻辑斯蒂损失函数的权重占比；将协同度量推荐任务看作一个二分类任务，通过所述逻辑斯蒂回归损失函数优化正样本对，使得用户和正反馈物品的夹角将趋于0，以便对正样本建模和聚合。

9.一种基于预训练语义模型的超球面协同度量推荐方法，其特征在于，其特征在于，使用如权利要求1至8任一项所述的超球面协同度量推荐装置进行推荐。

10.一种训练如权利要求1至8任一项所述的超球面协同度量推荐装置的方法，其特征在于，包括：使用所述预训练隐语义模块获取物品文本信息的向量化表示，将之与所述协同度量推荐模块中的物品隐向量融合；对用户和物品做正负样本采样，映射到同一高维超球面流形超球面上；通过融合损失函数同时训练正负样本物品和正样本物品，优化正负样本的类间距离和正样本中用户和物品的类内距离，直至收敛。