[发明专利]一种基于时间衰减采样的广告点击预估方法

摘要

本发明公开了一种基于时间衰减采样的广告点击预估方法，主体思想是从离测试集日期近的数据中多采样，离测试集日期远的数据中少采样，采样量依据时间的远近呈现一个渐变的趋势，通过将采样数据进行时间维度上的划分，构建出适合广告点击预估的训练数据，再通过多模型融合的方法，为广告点击预估构建出更加精准和有效的模型。本发明更能捕捉到时间更近的数据的特征，达到更好的预估效果，此类基于时间衰减的采样方法可以延伸到其他跟时间相关，基于时间序列的不平衡数据中，具有广泛的应用前景。

主权项

一种基于时间衰减采样的广告点击预估方法，其特征在于，包括以下步骤：S1、数据清洗对广告浏览/点击日志进行数据清洗，需要将后台的数据进行分析，将广告浏览/点击日志按标志分为RSET和CSET,RSET为所有浏览日志的集合，其每条日志标记为0，CSET是所有点击日志集合，其每条日志标记为1；在RSET中遍历每一条浏览日志，若对于一条浏览日志Ri，记Ri的点击时间为UNIX时间戳时间ti，用户ID为UIDi，广告ID为AIDi，设判别时间间隔阈值为π，如果在CSET中的ti+π范围内有UIDi和AIDi均相同的点击日志命中，则将该浏览日志Ri标记为1，如果不命中，则保持Ri的标记为0，最后集合RSET为清洗后的广告点击数据集；S2、预处理对构建的广告点击数据集RSET进行进一步过滤筛选、缺失值填补、异常值检测，具体如下：S2.1、过滤筛选及缺失值填补对广告点击数据集中不符合值的取值范围的数据进行去除处理，对广告点击日志的每个字段进行统计分析，对于一个字段，定义该字段在数据集中值为null或者空字符串的记录为该字段的缺失记录，数为n，记数据集RSET总记录数为N，记阈值则对于超过预设阈值K的字段不进行保留，对于比例在K之内的字段，将其缺失值赋予一个和该字段其他值都不同的新值，作为正常值使用；另外，对于数据中字段值冗余的情况，消除冗余值；S2.2、异常值检测对数据集中每一个用户ID进行总点击次数的统计，并进而按总点击次数来统计在该点击次数下用户的个数，记总点击次数集合为A＝{α1,α2,...,αi,...,αn}，记相应的用户个数集合为B＝{β1,β2,...,βi,...,βn},假设αi和βi服从幂律分布，则logαi和logβi呈线性关系，将logαi和logβi做散点图，用直线去拟合，将从某个点开始偏离拟合线的总点击次数作为阈值ρ，将总点击次数βi大于ρ的用户作为异常用户，记正常用户集合为U，记异常用户集合为U'，将异常用户集合U'产生的广告点击数据集合记为SET'，将正常用户集合U产生的广告点击数据集合记为SET；S3、时间衰减采样从步骤S2的集合SET中选定连续的m天作为训练集，第m+1天作为测试集，针对训练集，将根据时间新鲜度计算得到的时间因子作为权重，分别计算训练集每天的抽样比例，将每天抽取的样本进行组合，形成整体的多份抽样样本；其中，依据时间衰减的抽样，具体过程如下：选定连续的m天作为训练集，第m+1天作为测试集后，记m天中的第一天为T1，第m天为Tm，由此形成T1,T2,...,Tt,...,Tm的时间序列数据；根据日期新鲜度为采样引入时间因子，记λt为Tt那天的采样比例，则λt‑1为Tt前一天的采样比例，λt+1为Tt后一天的采样比例；所述时间衰减采样即是λt‑1＜λt＜λt+1的一种采样方式，其中λt由时间衰减函数计算所得，得到λt后，若Tt的少数类数量为s，则应该按照欠采样抽取出λts的多数类数量；时间衰减采样有三个参数m，λ1和λm，这三个参数由人为指定，m为训练集所包含的日期的天数，λ1为第一天的采样比例，λm为第m天的采样比例，其中λ1与λm需要满足0＜λ1＜λm，不同的模型能够根据实际情况对这三个参数进行相应调优；本采样通过时间衰减函数来确定采样比例，时间衰减函数为λt＝at2+b，根据人为确定的λ1和λm，时间衰减函数中的参数a和b通过公式(1)(2)求出:a=λm-λ1m-1---(1)]]>b=λ1m2-λmm2-1---(2)]]>则，在给定m，λ1和λm下，时间衰减函数为公式(3)：λt=λm-λ1m-1t2+λ1m2-λmm2-1---(3)]]>因此，每一天的采样比例能够根据公式(3)得到；确定了时间衰减函数，并通过时间衰减函数为Tt计算出相应的采样比例λt，由此能够得到训练集的时间衰减采样比例序列{λ1,λ2,...,λt,...,λm}，根据采样比例序列{λ1,λ2,...,λt,...,λm}得到训练集的m份采样数据：记Tt的少数类集合为pt，多数类集合为qt，|qt|为qt包含的记录总数，然后根据采样比例λt从qt中随机抽取出λt|qt|数量的集合，记为q′t；记从Tt采样出的数据集为St，则有St＝pt∪q′t，记最终的第i(0≤i≤m)份样本集为Dt，则Dt由公式得到，如此就能够得到需要的m份采样数据{D1,D2,...,Dt,...,Dm}；S4、混合模型构建S4.1、正常用户建模根据步骤S2的集合SET，得到步骤S3构建的m份抽样样本序列{D1,D2,...,Dt,...,Dm}后，分别为每个样本集Dt训练逻辑回归模型Mt，由此得到m个逻辑回归模型{M1,M2,...,Mt,...,Mm}；S4.2、异常用户建模根据步骤S2的集合SET'，确定好和SET一样的训练集和测试集日期，用所有训练数据训练出逻辑回归模型M'；S4.3、点击预测根据步骤S2得到的正常用户集合U，异常用户集合U'，针对每一条用户浏览请求，若其用户UIDi∈U，记步骤S4.1的逻辑回归模型Mt的预测值为εt，使用时间衰减的方式进行广告点击概率的融合，将时间因子引进模型权重的计算中，根据步骤S3中得到的采样比例序列{λ1,λ2,...,λt,...,λm}以及逻辑回归模型{M1,M2,...,Mt,...,Mm}，在模型融合时，分别为每个逻辑回归模型Mt赋予时间衰减的参数，具体地，记采样比例序列元素之和为将{λ1,λ2,...,λt,...,λm}的每一个元素进行归一化，记λt归一化之后的值为λt'，则记最终的预估概率值为E，则若用户UIDi∈U'，则直接用模型M'得到该用户的广告点击概率。