[发明专利]一种结合GBDT自动特征工程对营销活动点击的预测方法

说明书

一种结合GBDT自动特征工程对营销活动的点击预测方法，数据预处理步骤、GBDT预测模型建立步骤、带正则化项的预测模型建立步骤和对营销活动点击的预测步骤；数据预处理步骤包括从用户原始信息提取原始特征信息、依次处理具有任务批次号的所有批次中的原始特征信息，对用户手机号码归属地特征进行One‑hot编码处理、将所有任务批次号按照升序得到任务批次的排序；用户预测模型选择为带正则化项的LR模型+GBDT预测模型的结合；对营销活动点击的预测步骤采用用户预测模型对拟互联网产品营销的用户群体进行点击意愿度预测。因此，本发明能提供用户对广告点击意愿进行直接预测的途径，能处理具有大规模稀疏特征的数据。

技术领域

本发明涉及人工智能在互联网营销的技术领域，更具体地，涉及一种结合GBDT自动特征工程对营销活动点击的预测方法。

背景技术

随着互联网行业市场竞争的日益激烈，应用大数据已经成为互联网营销的新方式，即互联网运营商大数据精准获客系统应运而生。大数据智能获客系统，以运营商大数据库为中心，直接抓取符合自定义条件用户的联系方式，直接与客户进行沟通，降低企业获客成本，提高企业利润。

目前，往往通过用户画像和用户行为特征来进行对广告营销行为的预测，比较常用的机器学习算法可以分为以线性模型为代表的逻辑回归(Logistic regression，LR)和因子分解机(Factorization Machine，FM)，以及以梯度提升决策树(Gradient BoostingDecision tree,GBDT)。

然而，上述两类算法都有一些固有的缺点存在：

①.对于线性模型，由于线性模型本身的表达能力有限，因此，特征之间的交互信息并不能被线性模型有效学习，如逻辑回归只能学习一阶特征本身，而即使因子分解机考虑了特征交互，其也只能学习到二阶特征交互信息。因此，线性模型非常依赖算法工程师进行的特征工程，其通过手动选择特征并进行高阶交互特征的构造，来提升线性模型的学习能力。

②.梯度提升决策树模型，其通过对特征进行遍历并以此对样本进行特征空简的划分能够轻松实现特征之间的交互，因此，有很强的学习能力。但是，在营销广告推荐领域，用户特征往往包含大量稀疏的one-hot类型特征，如归属地、访问4G页面的URL等，这些特征仅有少数才有相应的值。

因此，基于梯度提升决策树的算法，非常不适合处理上述这种包含大量稀疏特征的数据，不仅太容易造成过拟合，且由于大量的特征可能并不会作为决策树的分裂节点被使用，从而导致特征信息被浪费。

发明内容

本发明的目的在于克服现有技术存在的上述缺陷，提供一种结合GBDT自动特征工程对营销活动点击的预测方法，其用GBDT对的高阶特征交互作用对用户特征中的连续特征进行建模，将模型中的叶节点作为新的高阶交互的稀疏特征和原本用户的稀疏特征进行结合，不仅可以充分利用用户特征信息，并可以解决GBDT对稀疏特征不敏感的问题。

为实现上述目的，本发明的技术方案如下：

一种结合GBDT自动特征工程对营销活动点击的预测方法，其特征在于，包括数据预处理步骤S1、GBDT预测模型建立步骤S2和带正则化项的LR预测模型建立步骤S3；

所述数据预处理步骤S1包括如下步骤：

步骤S11：获取用户的原始信息，并从所述用户的原始信息提取原始特征信息；其中，所述原始特征信息包括用户ID、用户手机号码归属地、任务批次号、用户访问DPI和用户访问DPI频次；其中，所述任务批次号表示一个日期时间段中用户的原始信息，所述用户访问DPI和用户访问DPI频次为每一个任务批次号为计量单位；

步骤S12：依次处理具有所述任务批次号的所有批次中的所述原始特征信息，对所述用户手机号码归属地特征进行One-hot编码处理；其中，所述One-hot编码处理包括：