[发明专利]一种基于多模态特征交互深度融合推荐方法

说明书

本发明公开一种基于多模态特征交互深度融合推荐方法，该方法在xdeepfm模型的基础上，提出了一种融合多种模型的多模态特征交互深度融合模型。该模型将多个模型进行结合，并且将多模态特征进行融合，不仅能同时以显式和隐式的方式自动学习高阶的特征交互，使特征交互发生在向量级，还兼具记忆与泛化的学习能力，并且可以进行多任务训练。该方法推荐精度高，并提升了推荐的多模态特征融合的效果。

技术领域

本发明涉及推荐算法技术领域，具体是一种基于多模态特征交互深度融合推荐方法。

背景技术

目前，针对用户进行个性化推荐，在特征构建需要工程师花费巨大的人力，特征组合是许多机器学习建模过程中遇到的问题，如果对特征直接建模，很有可能忽略掉特征与特征之间的关联信息，一次可以通过构建新的交叉特征这一特征组合方式提高模型的效果。高维的稀疏矩阵是实际工程中常见的问题，并且直接导致计算量过大，特征权值更新缓慢。

特征(features)的构建对推荐系统来说至关重要，直接关系到推荐系统的精准性。在传统的推荐系统中，高阶交叉特征通常由工程师手工提取，不仅人力成本高昂、维度空间极大，而且不可泛化。

发明内容

本发明的目的在于克服现有技术的不足，而提供一种基于多模态特征交互深度融合推荐方法，该方法推荐精度更高，且更好的挖掘用户兴趣爱好。

实现本发明目的的技术方案是：

一种基于多模态特征交互深度融合推荐方法，包括如下步骤：

1)从用户行为日志中提取用户和项的行为数据，并将相关属性数据进行提取，组成可用的数据集；

2)将步骤1)得到的数据集，进行预处理，得到相关有用的数据集，分析数据集的分布，得出数据集的规律；

3)根据步骤2)探索到数据分布和规律，对各个模态的数据类型进行特征提取，做特征工程，包括进行用户行为特征提取、文本特征提取、音频特征提取和视频特征提取；并对提取的不同模态特征融合，进行多模态特征融合，进行交互探索高阶特征，用XGBbosst算法选出有效的特征数据；

4)根据步骤3)得到基础特征和高阶特征数据，将数据集划分为训练集、验证集和测试集，将提取的特征数据输入到融合模型中，采用训练集和验证集验证模型效果，选出效果最好的融合模型；

5)根据步骤4)选定的最佳融合模型，将测试集数据输入到模型中，得到用户对项目的点击率，根据点击率进行分类，将分类好的数据推荐给相应的用户。

所述的多模态特征融合，是将基本数据、文本数据、视频数据和音频数据类型进行处理并将其融合得到可输入到模型中的数据，在数据类型中，基本数据包括用户的年龄、城所在市；文件数据包括视频的标题、描述；视频数据包括是否有人脸数据；音频数据包括该视频的背景音乐。

步骤3)中，所述的进行交互探索高阶特征，具体方法如下：

用FM算法进行特征组合，通过两两特征组合，引入交叉项特征即二阶特征，提高模型得分通过引入隐向量，对参数矩阵进行分解，完成特征参数的估计；所述的FM算法为三层网络，它的核心部分是第二层的FM layer，FM layer由两部分组成，一部分是lr部分，令一部分是inner product部分，具体公式如下：

其中，B表示特征交互的值，w₀是偏移量，w_i是输入特征的参数，v_i,v_j是输入特征i、j间的交叉参数，x_i是第i个特征值，x_j是第j个特征值，v_i是k维向量。

步骤4)中，所述的融合模型，设计方法如下：