[发明专利]特征分箱方法、装置及存储介质

说明书

本申请涉及数据处理领域，提供了一种特征分箱方法、装置及存储介质。该方法包括：获取待分箱样本集的非数值特征集合；根据每个非数值特征的特征值对相应非数值特征进行编码，得到与每一非数值特征分别对应的各个特征进行编码；基于全部所述特征编码，确定所述待分箱样本集的候选分箱方式；获取每一候选分箱方式的各个分箱的证据权重；根据所述证据权重，从所述候选分箱方式中确定至少一个分箱方式；按照所述至少一个分箱方式，对所述待分箱样本集分别进行分箱。本申请通过根据特征值对非数值特征进行编码，然后再根据特征编码确定分箱方式，使各种非数值特征都能参与分箱过程；且得到特征编码的数据量小，计算资源消耗低，不影响后续处理效率。

技术领域

本申请的实施例涉及数据处理领域，更具体地涉及特征分箱方法、装置及存储介质。

背景技术

目前，在很多领域需要对特征进行分箱，例如，在机器学习中，进行特征分箱并基于分箱结果求变量的显著性等过程往往是特征工程的重要方法，比如，要考察特征与标签之间的相关程度时，IV(Information Value，信息价值)值往往是变量显著性的重要指标，可运用于特征选择之中。

但是，待分箱样本的特征数据往往不是单纯的数值类型数据，还包括很多非数值类型数据，例如性别、学历和爱好等个人信息特征。当前的自动分箱方法往往需要根据特征的数值确定分箱点，即只能根据数值类型的特征进行分箱。如果根据对非数值型数据进行分箱，需要先引入额外的模块对数据进行独热编码。虽然独热编码可以作为非数值型数据的通用编码方式，但在实际运用中，独热编码会使得数据集数据量急剧膨胀，进而影响后续步骤的处理效率。

发明内容

本申请实施例提供一种特征分箱方法、装置及存储介质，对待分箱样本集的非数值特征集合中的所有非数值特征，根据特征类别和特征值进行自动编码，然后再根据特征编码确定分箱方式，使得特征分箱不再受限于样本的特征值类型，即各种非数值类型的特征都能够参与分箱过程，为特征分箱方式提供了更多选择；且基于特征值进行的自动编码得到编码结果的数据量不大于甚至远远小于样本本身的总数量，存储资源占用少，计算资源消耗低，不影响后续步骤的处理效率。

在本申请的第一方面中，提供了一种特征分箱方法，应用于第一终端，包括：

获取待分箱样本集的非数值特征集合，所述非数值特征集合包括至少一个特征类别的全部待分箱样本的非数值特征；

根据各个非数值特征的特征类别及特征值对相应非数值特征进行编码，得到与每一非数值特征分别对应的各个特征编码；

基于全部所述特征编码，确定所述待分箱样本集的候选分箱方式；

获取每一候选分箱方式的各个分箱的证据权重；

根据所述证据权重，从所述候选分箱方式中确定至少一个分箱方式；

按照所述至少一个分箱方式，对所述待分箱样本集分别进行分箱。

在本申请的第二方面中，提供了一种特征分箱装置，应用于第一终端，包括：

输入输出模块，被配置为获取待分箱样本集的非数值特征集合，所述非数值特征集合包括至少一个特征类别的全部待分箱样本的非数值特征；

处理模块，被配置为根据各个非数值特征的特征类别及特征值对相应非数值特征进行编码，得到与每一非数值特征分别对应的各个特征编码；以及基于全部所述特征编码，确定所述待分箱样本集的候选分箱方式；

所述输入输出模块，还被配置为获取每一候选分箱方式的各个分箱的证据权重；

所述处理模块，还被配置为根据所述证据权重，从所述候选分箱方式中确定至少一个分箱方式；以及按照所述至少一个分箱方式，对所述待分箱样本集分别进行分箱。