[发明专利]一种基于交叉的自动特征生成方法

说明书

本发明涉及一种基于交叉的自动特征生成方法，包括：S1，对于待处理的数据表，按照数据表中的数据的类型进行分箱并转换二值特征；S2，对于生成的所述二值特征进行迭代特征交叉，生成交叉特征，包括：S21，基于所述二值特征，计算多个特征评价指标；S22，根据指定的特征生成数量和迭代轮数，计算每轮需保留的特征数量m、交叉特征数量n和待交叉特征数量k；S23,从生成的二值特征中挑选k个，从上一次迭代生成的交叉特征中挑选n个；S24，将k个二值特征和n个交叉特征两两进行交叉运算，生成新的交叉特征；S25，从新生成的交叉特征中挑选m个保留，作为本轮迭代生成的交叉特征。本发明的方法大幅度提高使用人员特征开发效率。

技术领域

本发明涉及机器学习技术领域，更具体地，涉及一种基于交叉的自动特征生成方法。

背景技术

随着海量数据的出现，人们倾向于使用机器学习技术建立模型解决实际问题。训练机器学习模型的基本过程主要包括：1)明确建模目标，收集可用数据；2)特征生成，特征选择；3)建立模型；4)评估模型效果。在上述过程中，特征生成过程非常重要，特征生成的好坏决定了模型的上限。

目前，特征生成方法有如下几种：

1)人工特征生成

技术人员经过底层数据的清洗、筛选、特征逻辑的设计，开发特征计算代码等过程，来开发特征。这需要花费技术人员大量的时间。

2)半自动特征生成

现有的机器学习平台，可基于图形界面的交互方式来完成特征生成流程。流程主要为：技术人员指定特征生成逻辑，并手动输入到平台中，平台根据用户指定特征生成逻辑进行计算，生成特征。不需技术人员开发代码，但需技术人员对业务和数据有深刻的理解，特征效果取决于技术人员的业务经验，且当面对大量的数据时，仍需要花费大量的时间。

发明内容

针对背景技术中的问题，本发明的目的是：a)针对每个样本仅有一条记录的结构化数据表提出一种自动特征构建方法。b)由于每个样本仅有一条数据记录，导致每个样本可使用数据信息较少，因此提出使用交叉算法，提取不同字段之间的组合信息，提升特征效果，挖掘有效信息。

为此本发明提出一种基于交叉的自动特征生成方法，包括：

S1，对于待处理的数据表，按照数据表中的数据的类型进行分箱并转换二值特征；

S2，对于生成的所述二值特征进行迭代特征交叉，生成交叉特征，其中，在生成交叉特征的迭代过程中，进行特征筛选，包括：

S21，基于步骤S1生成的二值特征，计算多个特征评价指标；

S22，根据指定的特征生成数量和迭代轮数，计算每轮需保留的特征数量m，交叉特征数量n，待交叉特征数量k；

S23,从步骤S1中生成的二值特征中挑选k个，从上一次迭代生成的交叉特征中挑选n个；

S24，将k个二值特征和n个交叉特征两两进行交叉运算，支持且和或交叉算子，生成新的交叉特征；

S25，从新生成的交叉特征中挑选m个保留，作为本轮迭代生成的交叉特征。

本发明的方法解决了每个样本只有一条数据的数据表场景下的特征生成任务，提高了使用人员效率。

本发明的有益效果包括：

1)对于每个样本只有一条数据的数据表特征生成任务实现全流程自动化，只需根据用户设定的数据表之间关联关系，即可开始特征生成任务，用户无需了解数据情况。

2)支持用户选择多张数据表，可生成多张数据表交叉特征，特征维度更丰富，信息提取更全面。