[发明专利]广告预估模型的上线评估方法及相关装置

权利要求书

1.一种广告预估模型的上线评估方法，其特征在于，包括：

获取广告的特征数据集，并将所述特征数据集中特殊数据所来源的广告划分为训练组与评估组，其中，所述特征数据集中包括训练数据集及预测数据集；

从所述训练数据集中获取对应于所述训练组的子训练数据集，并从所述预测数据集中获取对应于所述评估组的子预测数据集；

利用所述子训练数据集训练线上广告预估模型及待上线广告预估模型，并使用所述子预测数据集进行预测，得到所述线上广告预估模型的第一预测结果及所述待上线广告预估模型的第二预测结果；

比较所述第一预测结果与所述第二预测结果，得到所述待上线广告预估模型的第一上线评估结果。

2.根据权利要求1所述的方法，其特征在于，所述将所述特征数据集中特征数据所来源的广告划分为训练组与评估组，包括：

利用所述特征数据集中所包含特征数据对所述广告进行聚类，得到多个广告聚类簇；

将所述广告聚类簇划分为两组，得到所述训练组及所述评估组。

3.根据权利要求1所述的方法，其特征在于，所述比较所述第一预测结果与所述第二预测结果，得到所述待上线广告预估模型的第一上线评估结果，包括：

根据所述第一预测结果计算对应于所述线上广告预估模型的第一AUC结果；

根据所述第二预测结果计算对应于所述待上线广告预估模型的第二AUC结果；

比较所述第一AUC结果及所述第二AUC结果，得到所述待上线广告预估模型的第一上线评估结果。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一预测结果计算对应于所述线上广告预估模型的第一AUC结果，包括：

获取所述子预测数据集中各广告在所来源排序阶段中的占比，并根据所述占比确定各所述广告对应的加权系数，所述排序阶段指示广告展示生命周期中应用广告预估模型对广告进行评价排序的阶段；

根据所述子预测数据集中各广告在所述第一预测结果中对应的预测结果，计算对应于各所述广告的第一子AUC结果；

基于各所述广告对应的所述加权系数，计算所述子预测数据集中所有广告对应的所述第一子AUC结果的加权和，得到所述第一AUC结果。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第二预测结果计算对应于所述待上线广告预估模型的第二AUC结果，包括：

根据所述子预测数据集中各广告在所述第二预测结果中对应的预测结果，计算对应于各所述广告的第二子AUC结果；

基于各所述广告对应的所述加权系数，计算所述子预测数据集中所有广告对应的所述第二子AUC结果的加权和，得到所述第二AUC结果。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

利用所述训练数据集训练线上广告预估模型及待上线广告预估模型，并使用所述预测数据集进行预测，得到所述线上广告预估模型的第三预测结果及所述待上线广告预估模型的第四预测结果；

获取所述预测数据集中各广告在所来源排序阶段中的占比，并根据所述占比确定各所述广告对应的加权系数，所述排序阶段指示广告展示生命周期中应用广告预估模型对广告进行评价排序的阶段；

根据所述第三预测结果及所述加权系数计算第三AUC结果，并根据所述第四预测结果及所述加权系数计算第四AUC结果，以通过比较所述第三AUC结果及所述第四AUC结果得到所述待上线广告预估模型的第二上线评估结果。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第三预测结果及所述加权系数计算第三AUC结果，包括：

根据所述预测数据集中各广告在所述第三预测结果中对应的预测结果，计算对应于各所述广告的第三子AUC结果；

基于各所述广告对应的所述加权系数，计算所述预测数据集中所有所述广告对应的所述第三子AUC结果的加权和，得到所述第三AUC结果。