[发明专利]一种基于动态深度注意力模型的点击率预测方法

权利要求书

1.一种基于动态深度注意力模型的点击率预测方法，其特征在于，所述动态深度注意力模型包括依次连接的输入层、嵌入层、维数转换层、交互层和输出层，其方法包括以下步骤：

S1、在客户端获取用户对推荐项目点击的多个原始数据组；

S2、将多个原始数据组上传至服务器进行存储，并对存储在服务器的多个原始数据组进行预处理，得到多类别的特征数据；

S3、将多类别的特征数据输入输入层，得到高维稀疏向量；

S4、将高维稀疏向量输入嵌入层，通过嵌入层将高维稀疏向量映射为低维向量数据；

S5、通过维数转换层将低维向量数据转换为标准维度向量数据；

S6、通过交互层提取标准维度向量数据的高阶特征交互数据；

S7、根据高阶特征交互数据，通过输出层计算点击率预测结果；

所述步骤S3中输入层的输出为高维稀疏向量x，x＝[x₁,…,x_i,…,x_M]，其中，x_i为第i类特征数据，M为特征类别个数；

所述步骤S4中嵌入层的输入输出关系式为：

E＝[e₁,…,e_i,…,e_M]

e_i＝V_ix_i

其中，E为嵌入层输出的低维向量数据，为嵌入矩阵，为实数域，d_e为嵌入层的维度，n_i为第i类特征可取的值的数量，e_i为嵌入层输出的第i个低维向量；

所述步骤S5中维数转换层对第i个低维向量进行维度转换的公式为：

a_i＝W_Ae_i+b

其中，a_i为标准维度向量数据，W_A为维数转换层的权重矩阵，d_model为每个特征类别的维度，b为偏置；

所述步骤S6中交互层包括多个子层，每个所述子层包括：多头自注意力单元和AddNorm单元；

所述多头自注意力单元的输出数据和多头自注意力单元的输入数据均输入AddNorm单元的输入端中；所述多头自注意力单元的输入端作为子层的输入端；所述AddNorm单元的输出端作为子层的输出端；

所述多头自注意力单元的输入输出的关系式为：

其中，为第1个子层中多头自注意力单元的输入，第一个子层中多头自注意力单元的输出，Concat()表示将结果连在一起，W^O为联结参数矩阵，h为头数，d_v为值的维度，h_i为第i个头的计算结果，W_i^Q为查询参数矩阵，d_k为键的维度，为键参数矩阵，为值参数矩阵；

所述AddNorm单元输入输出的关系式为：

其中，为AddNorm单元的输出，LayerNorm()为归一化函数，为多头自注意力单元的输入，为多头自注意力单元的输出；

所述交互层对标准维度向量数据a_i构建的特征类别的状态矩阵X进行处理的方法包括以下步骤：

A1、在计算机系统中输入状态矩阵X、子层数组subs[]、子层总层数L和标量阈值th；

A2、设定特征类别的停止概率h_、特征类别的更新权重remain、特征类别的更新次数n_up、特征类别的状态state和子层l的初值；

A3、判断特征类别的停止概率h_是否小于标量阈值th，且特征类别的更新次数n_up小于子层总层数L，若是，则跳转至步骤A4，若否，则跳转至步骤A14；

A4、根据状态矩阵X，采用sigmoid函数计算概率因子p，＝σ(()),其中，σ()为sigmoid函数，MLP()为多层感知机；

A5、获取当前子层的需更新的特征类别run：run＝h_，且将特征类别的更新次数n_up进行更新：特征类别的更新次数n_up自加特征类别run；

A6、获取当前子层的不会更新的特征类别new_h，其计算公式为：

new_h＝[(h_pro+p×run)th]×run

A7、获取在下一子层中仍需更新的特征类别no_h，其计算公式为：

no_h＝[(h_+p×run)≤th]×run

A8、对特征类别的停止概率h_进行赋值更新，其计算公式为：

h_←halt_pro+p×no_h

其中，←为赋值；

A9、根据更新后的特征类别的停止概率h_，对特征类别的更新权重remain进行赋值更新，其计算公式为：

remain←remain+new_h×(1-h_)

A10、根据更新后的特征类别的更新权重remain和更新后的特征类别的停止概率h_，对特征类别的停止概率h_进行再次赋值更新，其计算公式为：

h_←halt_pro+new_h×remain

A11、根据更新后的特征类别的更新权重remain，计算特征类别相对应的权重up_，其计算公式为：

up_←p×no_h+new_h×remain

A12、采用子层数组subs[]进行特征交互，并对状态矩阵X进行赋值更新处理，其计算公式为：

X←subs[]()

其中，subs[]为第l子层；

A13、将l自加1，并基于更新后的状态矩阵X，对特征类别的状态state进行赋值更新处理，其计算公式为：

state←X×up_+state×(1-up_)

A14、根据再次更新后的特征类别的停止概率h_和更新后的特征类别的更新次数，跳转至步骤A3进行再次判断，直到不满足步骤A3中的判断条件，最终得到的特征类别的状态state即为子层最终的输出