[发明专利]一种基于进化算法的超参数自适应深度推荐方法及装置

权利要求书

1.一种基于进化算法的超参数自适应深度推荐方法，其特征在于，包括以下步骤：

S1.接收推荐数据集：服务器获取新的推荐系统用户行为统计矩阵数据集；

S2.模型重构与超参数深度精细化匹配：进行深度推荐模型重构，将超参数学习率及正则化参数按照模型的深度及层数进行向量化匹配成为精细化超参数，且每层设有单独的超参数对；

S3.目标函数统一化构造：超参数自适应深度推荐装置对深度推荐模型进行形式化统一，并构造统一的目标函数；

S4.计算最后一层反向传播传递误差：通过当前一个批次的训练集真实值，求出最后一层的训练误差，通过反向传播传递误差；

S5.种群初始化：将每一层的超参数对聚合起来，作为待优化的种群向量；

S6.进化算法超参数迭代优化：基于进化算法，优化超参数的步骤包括：种群初始化、变异、交叉及选择，对优化超参数的步骤进行重复迭代直至种群所有个体进化完成；

S7.梯度下降更新模型参数：在梯度下降更新的基础上，使用通过进化算法优化后的超参数及通过链式法则反向传播的误差，来更新模型参数，得到已训练的深度推荐模型；

S8.完成训练存储模型：完成模型训练后，将已训练的深度推荐模型存储至数据存储模块的训练模型存储单元中，并通过调用训练模型存储单元中存储的已训练的深度推荐模型来执行新用户的相关推荐任务。

2.根据权利要求1所述的一种基于进化算法的超参数自适应深度推荐方法，其特征在于，所述步骤S1中输入的用户行为统计矩阵数据集将被划分为两部分：80％的数据集作为训练集，用于训练模型参数；剩余20％的数据集作为验证集，用于进行超参数的优化工作。

3.根据权利要求1所述的一种基于进化算法的超参数自适应深度推荐方法，其特征在于，所述步骤S2将超参数学习率和正则化参数与模型深度进行隐藏层数量相匹配，得到超参数学习率向量和正则化参数向量；通过模型重构的超参数学习率向量和正则化参数向量均为长度为模型深度的超参数向量。

4.根据权利要求1所述的一种基于进化算法的超参数自适应深度推荐方法，其特征在于，所述步骤S3中，深度推荐模型的每一层用统一的深度学习架构来进行表示：

a¹＝W¹x+b¹，aⁿ＝f(Wⁿa^n-1+bⁿ),a^N＝f(W^Na^N-1+b^N)，

其中的x代表初始化的嵌入向量，采用的初始化方法是随机初始化；a¹代表深度学习模型第1层的嵌入向量表示，aⁿ代表深度学习模型第n层的嵌入向量，f(·)代表激活函数，Wⁿ代表第n层的权重向量或权重矩阵，bⁿ代表第n层的偏置项，a^N代表最后一层的嵌入向量，最后一层的嵌入向量a^N经过聚合之后最终得到预测的输出结果，统一的目标函数计算公式为：

上述公式中的y_u,i为训练数据中用户u与项目i的真实交互，为用户u和项目i交互的模型实际预测结果，J_u,i(·)代表损失函数，W^N、b^N分别代表最后一层的权重向量和偏置项。

5.根据权利要求1所述的一种基于进化算法的超参数自适应深度推荐方法，其特征在于，所述步骤S5将每一层的超参数对组合构成进化算法待优化种群目标向量，进行种群初始化，其表示如下：

其中X_i，i∈{1,2,…,NP}，代表第i个向量实例，一共有NP个向量实例组合在一起构成原始种群；其中i与上述X_i代表的含义相同，n∈{1,2,…,N}代表深度神经网络的第n层，一共包含N层隐藏层构成深度神经网络。