[发明专利]一种分箱方法和装置

说明书

本发明实施例公开了一种分箱方法和装置，所述分箱方法包括：将离散变量或连续变量的取值进行分组，计算分组的权重；根据分组的权重计算离散变量或连续变量的信息熵；以分组的权重单调递增为约束条件，以离散变量或连续变量的信息熵最大化为目标函数求解分箱问题。本发明实施例提高了分箱准确性。

技术领域

本发明实施例涉及但不限于数据处理领域，尤指一种分箱方法和装置。

背景技术

相关的分箱方法主要有：1、使用变量的等宽长度进行分箱；2、使用变量的分位数进行分箱；3、根据实际业务场景，由专家定义分箱；4、使用无监督方法，如聚类方法对连续变量进行分箱。前三种方法主要是将连续变量进行均匀处理，平均分布到每个区间，但对于分布不均匀的数据，很容易造成误分类；第四种方法使用聚类方法，考虑到了数据的分布情况，但对于极端数据，容易孤立为一类，这给实际变量分类带来一定的困扰，极易作为异常值处理掉。另一方面，该分类结果，对于训练数据和测试数据不是同一分布的情况，容易造成泛化性能太差，影响模型的泛化性能，因而在实际工作中，使用聚类方法可能效果反而不如前三种方法。

发明内容

本发明实施例提供了一种分箱方法和装置，能够提高分箱准确性。

本发明实施例提供了一种分箱方法，包括：

将离散变量或连续变量的取值进行分组，计算分组的权重；

根据分组的权重计算离散变量或连续变量的信息熵；

以分组的权重单调递增为约束条件，以离散变量或连续变量的信息熵最大化为目标函数求解分箱问题。

在本发明实施例中，所述将离散变量的取值进行分组之前，该方法还包括：将连续变量转换为离散变量。

在本发明实施例中，当判断出所述连续变量为显著变量时，将所述连续变量转换为离散变量。

在本发明实施例中，按照公式计算所述分组的权重；

其中，WOE_i为第i分组的权重，py_i为第i分组中响应客户占样本中所有响应客户的比例，pn_i为第i分组中未响应客户占样本中所有未响应客户的比例，#y_i为第i分组中响应客户的数量，#n_i为第i分组中未响应客户的数量，#y_T为样本中所有响应客户的数量，#n_T为样本中所有未响应客户的数量。

在本发明实施例中，所述根据分组的权重计算离散变量或连续变量的信息熵包括：

根据所述分组的权重计算所述分组的信息熵；

根据所述分组的信息熵计算所述离散变量或连续变量的信息熵。

在本发明实施例中，按照公式IV_i＝(py_i-pn_i)WOE_i计算第i分组的信息熵；

其中，IV_i为第i分组的信息熵，py_i为第i分组中响应客户占样本中所有响应客户的比例，pn_i为第i分组中未响应客户占样本中所有未响应客户的比例，WOE_i为第i分组的权重。

在本发明实施例中，按照公式计算所述离散变量或连续变量的信息熵；

其中，IV为所述离散变量或连续变量的信息熵，IV_i为第i分组的信息熵，n为分组的个数。

本发明实施例提出了一种分箱装置，包括：

分组模块，用于将离散变量或连续变量的取值进行分组；