[发明专利]一种基于联合学习模型的展示广告点击率预测方法

权利要求书

1.一种基于联合学习模型的展示广告点击率预测方法，其特征在于，包括以下步骤：

步骤1：基于真实广告的投放和点击记录建立样本，对每个广告展示机会和广告本身的属性进行预处理，建立训练数据集，具体如下：

步骤1.1：广告投放系统会对已经发生的广告投放和点击行为进行记录，每条记录包括：广告展示机会的属性、广告的属性、是否发生点击行为；这里广告展示机会的属性又进一步分为用户属性和上下文场景属性，用户属性可以是用户的年龄、性别、所在城市、使用的浏览器类型等，上下文场景属性可以是浏览网页的类型、广告位的大小、广告位的可见度等；投放广告的属性可以是广告创意的类型、广告商等；当广告投放到广告展示机会后用户发生点击行为，则点击行为记录为1，否则记录为0；在本发明中将每条广告投放记录作为一个数据样本；

步骤1.2：对每个样本的属性进行预处理，首先对于分类属性，将其进行独热编码，分类属性c在整个记录中有M种取值可能，则独热编码后的表示如公式(1)所示，属性c编码为一个由二值元素组成的向量，每个元素bⁱ∈{0,1}，即整个向量中只有取值的元素值为1，其余元素值为0；对于数值属性，首先利用分箱技术将其转化为分类属性后，再按照分类属性的预处理方法完成独热编码；在本发明中将独热编码后的每个元素bⁱ称为一个特征，属于相同物理属性c的M个特征组成一个特征域，c＝(b¹,b²,...,b^M)；

步骤1.3：将所有样本按照发生的时间顺序排列，建立点击率预测模型的训练数据集；

步骤2：构建点击率预测模型的融合结构，如附图2所示，融合结构包含两个异构残差网络，具体如下：

步骤2.1：建立融合结构的一阶特征嵌入层，它是将每个样本中包含的值为1的特征分别映射为对应的嵌入向量，然后将若干个嵌入向量拼接起来构成，嵌入向量中的每个元素对应一阶特征嵌入层中的每个节点，一阶特征嵌入层中节点的总数为n×N，这里n表示每个样本中包含的值为1的特征个数，N表示每个特征映射的嵌入向量的维度，每个一阶特征嵌入向量的初始值是[0,1)范围内随机初始化的，通过基于训练数据集的联合学习进行优化；在本步骤中，每个值为1的特征bⁱ到嵌入向量eⁱ的映射如公式(2)所示，因此一阶特征嵌入层的向量可记为

步骤2.2：建立融合结构的混合嵌入层，得到混合嵌入层的向量x₀，并将x₀分别输入到ResNet-Left子结构ResNet-Right子结构的第1个隐层节点中；混合嵌入层的节点是由两类节点拼接的：一类是一阶特征嵌入层的节点，一类是二阶特征组合对应的节点；这里二阶特征组合节点的值是任意两个一阶特征嵌入向量eⁱ和e^j进行Hadamard product运算后，再采用average pooling方法得到的；

Hadamard product运算的定义如公式(3)所示，n个一阶特征嵌入向量两两进行Hadamard product运算，可以得到n(n-1)/2个向量，记为公式(4)；average pooling方法的计算公式如(5)所示，最终可以得到一个n(n-1)/2维的二阶特征组合的表示向量，记为s；

因此在步骤2.2中，得到的混合嵌入层的向量记为：

步骤2.3：建立左边的残差网络ResNet-Left子结构，如附图2所示；ResNet-Left子结构中包含6个隐层，每个隐层的节点数相同，记为n_L，隐层节点的激活函数f(x)采用ReLU，即f(x)＝max(0,x)，从混合嵌入层到第1个隐层，以及各个隐层之间，节点均采用全连接的方式，附图3是混合嵌入层节点到第1个隐层节点采用全连接方式连接的示意图，即每层的每个节点均与上一层的每个节点相连，因此可以得到每个隐层的输出向量如下：

第1个隐层节点的输出向量：

第2个隐层节点的输出向量：

第3个隐层节点的输出向量：

第4个隐层的输入向量，同时考虑了第1个和第3个隐层的输出向量，将两个输出向量采用公式(6)进行叠加合并，记为h′₃；

第4个隐层节点的输出向量：

第5个隐层节点的输出向量：

第6个隐层节点的输出向量：

在ResNet-Left子结构中，输出向量I_Left是第4个和第6个隐层节点的输出向量的叠加合并，如公式(7)所示；

在步骤2.3的计算，参数的定义如下：h_i(i＝1,2,3,4,5,6)是第i个隐层节点的输出向量，W₀表示混合嵌入层节点到第1个隐层节点的连接权重矩阵，这里n₀表示混合嵌入层节点的个数，n_L表示每个隐层的节点个数；类似，W_i(i＝1,2,3,4,5)表示第i个隐层到第i+1个隐层节点的连接权重矩阵，b_i(i＝0,1,2,3,4,5)表示第i+1个隐层的偏置向量，

步骤2.4：建立右边的残差网络子结构ResNet-Right，如附图2所示；在ResNet-Right子结构中包含4个隐层，设置和计算方法与步骤2.3基本相同，只是第4个隐层的输入向量是第1个和第3个隐层节点输出向量的叠加合并；ResNet-Right的输出向量I_Right是第2个和第4个隐层节点输出向量的叠加合并；

步骤2.5：将ResNet-Left子结构的输出向量I_Left和ResNet-Right子结构的输出向量I_Right拼接起来构建表示向量层，表示向量层的向量记为I＝(I_Left,I_Right)，然后将表示向量输入到输出节点，用于计算预测点击率，输出节点的激活函数采用sigmoid函数，预测点击率p的计算如公式(8)所示，这里表示表示向量层节点到输出节点的权重向量，表示输出节点的偏置；

步骤3：利用训练数据集，对融合结构中各层以及各子结构的参数进行联合学习，得到点击率预测模型，方法如下：

步骤3.1：随机初始化融合结构中的参数，包括一阶特征嵌入层中每个特征的嵌入向量，节点之间边的权重，以及所有的偏置向量，初始化值满足[0,1)之间的均匀分布；

步骤3.2：针对训练数据集中的每个样本x_i，首先利用步骤2.1映射样本中包含的一阶特征的嵌入向量；然后根据步骤2.2，计算二阶特征组合的表示向量s＝(s₁,s₂,…,s_N)，得到混合嵌入层的输出向量x₀；将x₀分别作为ResNet-Left子结构和ResNet-Right子结构的输入，通过在各自子结构中的计算，分别将ResNet-Left子结构和ResNet-Right子结构的输出向量拼接作为输出节点的输入，通过sigmoid激活函数得到最终的点击率预测值p(x_i,θ)，这里θ表示融合结构的模型参数；

步骤3.3：为了对融合结构中的参数进行联合学习，使用对数损失函数作为目标函数，如公式(9)所示，这里L(θ)是对数损失函数，θ表示融合结构的参数，p(x_i,θ)表示根据样本i的特征向量x_i基于融合结构当前参数θ计算得到的预测点击率，y_i表示样本i中关于点击行为的真实标记，有点击行为为1，无点击行为为0，K表示训练数据集中的样本数，表示L2正则化项，用于防止过拟合，λ是正则化参数，由系统设置，W是融合结构中所有节点之间边的权重向量；参数学习的目标是求解使对数损失函数最小的融合结构参数；

步骤3.4：使用随机梯度下降算法可求得公式(9)中的融合结构参数θ，包括节点之间边的权重和节点的偏置向量，以及每个一阶特征的嵌入向量；

步骤4：对于一个新到来的广告展示机会和需要计算预测点击率的广告，首先按照步骤1所述的方法进行属性预处理，得到独热编码后的原始特征向量；然后按照步骤2.1所述的方法，将原始特征向量映射为融合结构中一阶特征嵌入层的向量，按照步骤2.2所述的方法计算二阶特征组合的表示向量，并将二阶特征组合的表示向量与一阶特征的嵌入向量拼接起来；接着将混合嵌入层的输出向量分别作为ResNet-Left子结构和ResNet-Right子结构的输入，通过在两个子结构中的计算，分别将ResNet-Left子结构和ResNet-Right子结构的输出向量拼接，输入到最终的输出节点中；最后输出节点根据公式(8)输出的值是预测点击率。