[发明专利]集成多样性增强的极深因子分解机模型的应用方法

说明书

本发明公开了一种集成多样性增强的极深因子分解机模型及其构建方法和应用，具体包括：1)构建训练数据集；2)利用全连接网络获得原始特征向量对应的低维嵌入向量表示，构造初始特征矩阵；3)利用集成多样性增强交叉网络获得每一个交叉层的输出矩阵和输出向量，并计算多样性指标；4)利用自注意力机制为不同交叉层的多样性指标计算权重值；5)基于集成多样性增强交叉网络的输出向量进行预测，并输出预测值；6)利用由准确度损失、多样性损失和正则项三部分构成的整体损失对模型进行训练，获得参数调优后的集成多样性增强的极深因子分解机模型。该集成多样性增强的极深因子分解机模型在在线广告和推荐系统等领域具有广阔的应用前景。

技术领域

本发明涉及特征学习领域，具体涉及一种集成多样性增强的极深因子分解机模型及应用。

背景技术

特征学习是机器学习领域的重要基础，提取和构造有效的特征在预测任务中都发挥着重要作用。特征交叉是一种被广为使用的特征构造方式。特征交叉指的是将两个或多个原始特征进行交叉组合以获得新的特征。例如，在对房价进行预测的任务中，具有优越的“地理位置”且为大“户型”的房子价格显然会更高昂。基于此，将“地理位置”的优劣和“户型”大小两个特征进行交叉组合，构造的新特征“地理位置+户型”，在预测房价高低时将起着关键作用。因此，如何在特征学习中构造和选择有效的交叉特征成为机器学习领域的研究热点之一，并具有广阔的应用前景。

传统的构造交叉特征的方法可分为基于特征工程的方法和基于分解的方法。基于特征工程的方法一般由工程师利用领域知识手工构造交叉特征。然而，特征维度空间往往较大，需要耗费高昂的时间和人力成本；此外，手工构造的交叉特征通常是针对特定任务进行设计，难以泛化到其它应用场景。基于分解的方法利用矩阵分解的思想，将交叉特征建模为特征权重系数矩阵分解后的隐向量的内积，从而大大降低模型参数数量。然而，考虑到计算复杂度的问题，基于分解的方法往往只能利用低阶的交叉特征，一定程度上限制了模型的性能。为了解决这一问题，研究人员提出基于深度学习的方法来学习交叉特征。

基于深度学习的方法一般将原始特征直接送入深度神经网络中以获得高阶的交叉信息，但其忽略了低阶的交叉特征的重要性。极深因子分解机模型为当前较为先进的基于深度学习的交叉特征构造方法。极深因子分解机模型将自行设计的压缩交叉网络(Compressed Interaction Network)和深度神经网络相结合来学习交叉特征。相比传统的构造交叉特征的方法，极深因子分解机模型同时考虑了低阶和高阶的交叉特征，能够实现向量级(vector-wise)的交叉，且更具有可解释性。然而，极深因子分解机模型在学习多个交叉特征向量时可视为集成学习的过程，忽略了不同交叉特征向量间的多样性信息，仅仅依赖单一的准确度目标驱动来降低损失，容易导致过拟合，一定程度上限制了模型的泛化能力。

发明内容

本发明要解决的技术问题是如何有效利用多样性信息，设计多样性衡量指标以获得更具多样性的交叉特征，提出一种集成多样性增强的极深因子分解机模型及其构建方法和应用。

本发明的技术方案为：

一种集成多样性增强的极深因子分解机模型的构建方法，所述构建方法包括以下步骤：

(1)将原始数据分为类别型特征和数值型特征，并分别对类别型特征和数值型特征进行编码处理，获得训练集；

(2)将编码后的每一个高维稀疏特征向量送入单层的全连接网络获得对应的低维嵌入向量表示，并构造初始特征矩阵；

(3)将初始特征矩阵输入至集成多样性增强交叉网络中，并根据初始特征矩阵获得集成多样性增强交叉网络的每个交叉层的输出矩阵，分别对每个交叉层的输出矩阵中的行向量进行求和池化，获得每个交叉层的输出向量，并将所有交叉层的输出向量进行拼接，得到集成多样性增强交叉网络的输出向量，并利用sigmoid激活函数计算该集成多样性增强交叉网络的输出向量的预测值；

(4)计算每个交叉层的输出矩阵的多样性指标，并采用自注意力机制计算不同交叉层的多样性指标的权重值；