[发明专利]一种基于时间衰减采样的广告点击预估方法

权利要求书

1.一种基于时间衰减采样的广告点击预估方法，其特征在于，包括以下步骤：

S1、数据清洗

对广告浏览/点击日志进行数据清洗，需要将后台的数据进行分析，将广告浏览/点击日志按标志分为RSET和CSET,RSET为所有浏览日志的集合，其每条日志标记为0，CSET是所有点击日志集合，其每条日志标记为1；在RSET中遍历每一条浏览日志，若对于一条浏览日志R_i，记R_i的点击时间为UNIX时间戳时间t_i，用户ID为UID_i，广告ID为AID_i，设判别时间间隔阈值为π，如果在CSET中的t_i+π范围内有UID_i和AID_i均相同的点击日志命中，则将该浏览日志R_i标记为1，如果不命中，则保持R_i的标记为0，最后集合RSET为清洗后的广告点击数据集；

S2、预处理

对构建的广告点击数据集RSET进行进一步过滤筛选、缺失值填补、异常值检测，具体如下：

S2.1、过滤筛选及缺失值填补

对广告点击数据集中不符合值的取值范围的数据进行去除处理，对广告点击日志的每个字段进行统计分析，对于一个字段，定义该字段在数据集中值为null或者空字符串的记录为该字段的缺失记录，记为n，记数据集RSET总记录数为N，记阈值为K则对于超过预设阈值K的字段不进行保留，对于比例在K之内的字段，将其缺失值赋予一个和该字段其他值都不同的新值，作为正常值使用；另外，对于数据中字段值冗余的情况，消除冗余值；

S2.2、异常值检测

对数据集中每一个用户ID进行总点击次数的统计，并进而统计总点击次数相同的用户的个数，记总点击次数集合为A＝{α₁,α₂,...,α_i,...,α_n}，记相应的用户个数集合为B＝{β₁,β₂,...,β_i,...,β_n},假设α_i和β_i服从幂律分布，则logα_i和logβ_i呈线性关系，将logα_i和logβ_i作散点图，用直线去拟合，将从某个点开始偏离拟合线的总点击次数作为阈值ρ，将总点击次数α_i大于ρ的用户作为异常用户，记正常用户集合为U，记异常用户集合为U′，将异常用户集合U′产生的广告点击数据集合记为SET′，将正常用户集合U产生的广告点击数据集合记为SET；

S3、时间衰减采样

从步骤S2的集合SET中选定连续的m天作为训练集，第m+1天作为测试集，针对训练集，将根据时间新鲜度计算得到的时间因子作为权重，分别计算训练集每天的抽样比例，将每天抽取的样本进行组合，形成整体的多份抽样样本；其中，依据时间衰减的抽样，具体过程如下：

选定连续的m天作为训练集，第m+1天作为测试集后，记m天中的第一天为T₁，第m天为T_m，由此形成T₁,T₂,...,T_t,...,T_m的时间序列数据；根据日期新鲜度为采样引入时间因子，记λ_t为T_t那天的采样比例，则λ_t-1为T_t前一天的采样比例，λ_t+1为T_t后一天的采样比例；所述时间衰减采样即是λ_t-1＜λ_t＜λ_t+1的一种采样方式，其中λ_t由时间衰减函数计算所得，得到λ_t后，若T_t的少数类数量为s，则应该按照欠采样抽取出λ_ts的多数类数量；

时间衰减采样有三个参数m，λ₁和λ_m，这三个参数由人为指定，m为训练集所包含的日期的天数，λ₁为第一天的采样比例，λ_m为第m天的采样比例，其中λ₁与λ_m需要满足0＜λ₁＜λ_m，不同的模型能够根据实际情况对这三个参数进行相应调优；本采样通过时间衰减函数来确定采样比例，时间衰减函数为λ_t＝at²+b，人为确定λ₁和λ_m，时间衰减函数中的参数a和b通过公式(1)(2)求出:

则，在给定m，λ₁和λ_m下，时间衰减函数为公式(3)：

因此，每一天的采样比例能够根据公式(3)得到；

确定了时间衰减函数，并通过时间衰减函数为T_t计算出相应的采样比例λ_t，由此能够得到训练集的时间衰减采样比例序列{λ₁,λ₂,...,λ_t,...,λ_m}，根据采样比例序列{λ₁,λ₂,...,λ_t,...,λ_m}得到训练集的m份采样数据：记T_t的少数类集合为p_t，多数类集合为q_t，|q_t|为q_t包含的记录总数，然后根据采样比例λ_t从q_t中随机抽取出λ_t|q_t|数量的集合，记为q′_t；记从T_t采样出的数据集为S_t，则有S_t＝p_t∪q′_t，记最终的第t份样本集为D_t，1≤t≤m，则D_t由公式得到，如此就能够得到需要的m份抽样样本序列{D₁,D₂,...,D_t,...,D_m}；

S4、混合模型构建

S4.1、正常用户建模

根据步骤S2的集合SET，得到步骤S3构建的m份抽样样本序列{D₁,D₂,...,D_t,...,D_m}后，分别为每个样本集D_t训练逻辑回归模型M_t，由此得到m个逻辑回归模型{M₁,M₂,...,M_t,...,M_m}；

S4.2、异常用户建模

根据步骤S2的集合SET′，确定和SET一样的训练集和测试集日期，用所有训练数据训练出逻辑回归模型M′；

S4.3、点击预测

根据步骤S2得到的正常用户集合U，异常用户集合U′，针对每一条用户浏览请求，若其用户UID_i∈U，记步骤S4.1的逻辑回归模型M_t的预测值为ε_t，使用时间衰减的方式进行广告点击概率的融合，将时间因子引进模型权重的计算中，根据采样比例序列{λ₁,λ₂,...,λ_t,...,λ_m}以及逻辑回归模型{M₁,M₂,...,M_t,...,M_m}，在模型融合时，分别为每个逻辑回归模型M_t赋予时间衰减的参数，具体地，记采样比例序列元素之和为将{λ₁,λ₂,...,λ_t,...,λ_m}的每一个元素进行归一化，记λ_t归一化之后的值为λ′_t，则记最终的预估概率值为E，则若用户UID_i∈U′，则直接用模型M′得到该用户的广告点击概率。