[发明专利]一种基于融合结构的展示广告点击率预测方法

权利要求书

1.一种基于融合结构的展示广告点击率预测方法，其特征在于，包括以下步骤：

步骤1：基于真实广告的投放和点击记录建立样本，对每次广告展示机会和广告本身的属性进行预处理，建立训练数据集；

步骤2：利用训练数据集，基于因子分解机预测模型预先计算每个特征对应的嵌入向量v和每个一阶特征的权重w；

步骤3：构建一个包含嵌入层、Deep子结构、Product子结构、堆叠子结构的融合结构，其中Deep子结构、Product子结构、堆叠子结构均是前馈深度神经网络；

步骤4：利用训练数据集，对融合结构中各子结构的参数进行学习，得到点击率预测模型；

步骤5：对于一个新到来的广告展示机会和需要计算预测点击率的广告，首先按照步骤1所述的方法进行属性预处理，得到独热编码后的原始特征向量；然后按照步骤3所述的方法，将原始特征向量映射为融合结构中嵌入层的节点值；接着将嵌入层的节点输出值分别作为Deep子结构和Product子结构的输入，通过在两个子结构中的计算，分别将Deep子结构和Product子结构中最后1个隐层节点的输出值作为堆叠子结构的输入；最后堆叠子结构的输出节点输出的值是预测点击率。

2.如权利要求1所述的方法，其特征在于，所述步骤3构建一个包含嵌入层、Deep子结构、Product子结构、堆叠子结构的融合结构的方法，包括：

步骤3.1：建立嵌入层，将样本独热编码后的原始特征映射为嵌入层的节点值，嵌入层的节点包括两类：一类是一阶特征对应的权重节点，一类是原始特征中取值为1的特征对应的嵌入向量节点；其中一阶特征权重节点和嵌入向量的个数均为样本原始特征中特征域的个数，嵌入向量中节点的个数由嵌入向量的维度决定，这里特征域是指属于同一个分类属性的若干特征的集合，特征域中的特征具有互斥性，即只有一个特征取值为1，其余特征取值为0；

步骤3.2：建立Deep子结构，学习特征的高阶表示，嵌入层的每个节点与Deep子结构中第1个隐层的每个节点全连接，第1个隐层中每个节点的输出值采用公式(1)计算，其中是第1个隐层的输出，n₁是第1个隐层的节点数，W₀表示嵌入层节点到第1个隐层节点的连接权重，n₀是嵌入层的节点数，是嵌入层的输出值，b₀表示第1个隐层的偏置向量，隐层节点的激活函数f(·)采用ReLU；在Deep子结构中，每个隐层的节点数和隐层的层数由系统设置，隐层之间每个节点均采用全连接，第l+1个隐层的节点的输出值计算如公式(2)所示，W_l表示第l个隐层节点到第l+1个隐层节点的连接权重，n_l和n_l+1分别是第l个隐层和第l+1个隐层的节点数，是第l个隐层节点的输出值，b_l表示第l+1个隐层的偏置向量，隐层中所有节点的激活函数f(·)都采用ReLU；最后1个隐层节点的输出值将直接作为输入传输到堆叠子结构输入层的部分节点；

h₁＝f(W₀x₀+b₀) (1)

h_l+1＝f(W_lh_l+b_l) (2)

步骤3.3：建立Product子结构，学习特征的高阶表示，在Product子结构中，在嵌入层和第1个隐层之间增加了一个Product层，Product层的节点包括三类：一类是从嵌入层直接输入的一阶特征权重节点，一类是从嵌入层直接输入的特征的嵌入向量节点，一类是Product节点，每个Product节点的值是嵌入层的嵌入向量两两进行内积后的值，内积的计算如公式(3)所示，这里p_i,j表示嵌入向量v_i和v_j的内积，因此在Product层有m×(m-1)/2个Product节点，这里m表示嵌入层嵌入向量的个数；Product层的节点与第1个隐层的节点全连接，隐层中每个节点的激活函数f(·)都采用ReLU，因此每个节点输出值的计算公式都采用公式(2)；Product子结构中最后1个隐层节点的输出值将直接作为输入传输到堆叠子结构输入层的部分节点；

步骤3.4：建立堆叠子结构，用于将Deep子结构和Product子结构输出的特征高阶表示拼接起来作为一个深度神经网络的输入，从而对点击率进行预测，输入层的节点是由Deep子结构的输出和Product子结构的输出拼接起来的，堆叠子结构的输入层有(n_D+n_P)个节点，这里n_D表示Deep子结构的最后1个隐层的节点数，n_P表示Product子结构的最后1个隐层的节点数，输入层的节点与第1个隐层的节点全连接，隐层之间的节点都采用全连接，隐层中每个节点的激活函数f(·)都采用ReLU，因此隐层中每个节点的输出值都采用公式(2)计算，最后输出节点用于计算预测点击率，输出节点的激活函数采用sigmoid函数，预测点击率p的计算公式如(4)所示，这里表示最后1个隐层到输出节点的权重向量，表示最后1个隐层的输出向量，表示输出节点的偏置。

。