[发明专利]一种基于交叉聚合的自动特征生成方法

说明书

本发明涉及一种基于交叉聚合的自动特征生成方法，包括：S1，对于待处理的数据表进行分箱并转换二值特征；S2，基于所述二值特征，计算多个特征评价指标；根据指定的特征生成每轮需保留的特征数量m、交叉特征数量n和待交叉特征数量k；从生成的二值特征中挑选k个，从上一次迭代生成的交叉特征中挑选n个；将k个二值特征和n个交叉特征进行交叉运算生成新的交叉特征；从新生成的交叉特征中挑选m个作为本轮迭代生成的交叉特征；S3，将步骤S2中生成的二值特征与数据表原始字段合并；S4，对于每个时间窗来筛选数据；S5，合并所有时间窗生成的特征表；S6，合并所有表生成的特征表。本发明的方法大幅度提高使用人员特征开发效率。

技术领域

本发明涉及机器学习技术领域，更具体地，涉及一种基于交叉聚合的自动特征生成方法。

背景技术

随着海量数据的出现，人们倾向于使用机器学习技术建立模型解决实际问题。训练机器学习模型的基本过程主要包括：1)明确建模目标，收集可用数据；2)

特征生成，特征选择；3)建立模型；4)评估模型效果。在上述过程中，特征生成过程非常重要，特征生成的好坏决定了模型的上限。

目前，特征生成方法有如下几种：

1)人工特征生成

技术人员经过底层数据的清洗、筛选、特征逻辑的设计，开发特征计算代码等过程，来开发特征。这需要花费技术人员大量的时间。

2)半自动特征生成

现有的机器学习平台，可基于图形界面的交互方式来完成特征生成流程。流程主要为：技术人员指定特征生成逻辑，并手动输入到平台中，平台根据用户指定特征生成逻辑进行计算，生成特征。不需技术人员开发代码，但需技术人员对业务和数据有深刻的理解，特征效果取决于技术人员的业务经验，且当面对大量的数据时，仍需要花费大量的时间。

发明内容

针对背景技术中的问题，本发明的明目的是：a)针对同一样本含有多条记录的结构化数据表，且数据表关联深度较浅的应用场景提出一种自动特征构建方法。b)由于数据表关联深度较浅，数据表间关联关系可提取信息较少，同一样本含有多条记录，可计算聚合类特征反映样本在一段时间内的表现。因此提出使用交叉聚合算法提取在某限定条件下的聚合特征，挖掘有效信息，提升特征效果。c)

该计算方法与人工设计特征思路相近，具有较强的可解释性。

为此本发明提出一种基于交叉的自动特征生成方法。

S1，对于待处理的数据表，按照数据表中的数据类型自行分箱并转换二值特征；

S2，对于生成的所述二值特征进行迭代特征交叉，生成交叉特征，其中，在生成交叉特征的迭代过程中，进行特征筛选，包括：

S21，基于步骤S1生成的二值特征，计算多个特征评价指标；

S22，根据指定的特征生成数量和迭代轮数，计算每轮需保留的特征数量m，交叉特征数量n，待交叉特征数量k；

S23,从步骤S1中生成的二值特征中挑选k个，从上一次迭代生成的交叉特征中挑选n个；

S24，将k个二值特征和n个交叉特征两两进行交叉运算，支持且和或交叉算子，生成新的交叉特征；

S25，从新生成的交叉特征中挑选m个保留，作为本轮迭代生成的交叉特征；

S3，将步骤S2中生成的二值特征与数据表原始字段合并，根据设定的时间窗，筛选在对应时间窗内的记录；

S4，对于每个时间窗来筛选数据；

S5，合并所有时间窗生成的特征表；

S6，合并所有表生成的特征表。