[发明专利]一种数据建模中的数据处理方法及装置

权利要求书

1.一种数据建模中的数据处理方法，所述方法应用于数据挖掘的预处理过程，其特征在于，包括：

终端设备读取原始数据以及预设的多个数据处理类别标识，其中，所述原始数据中的每一个数据列均对应一个特征，所述原始数据为数据库技术、统计学、在线分析处理、机器学习领域中的数据；

所述终端设备根据各个数据处理类别标识分别对应的数据转换函数，对所述原始数据中的每个特征对应的数据列进行数据转换生成对应的扩展特征列，将所述原始数据中的所有特征对应的扩展特征列进行组合生成扩展特征集；

所述终端设备确定所述扩展特征集中每个特征的相关性系数；

所述终端设备选择相关性系数符合设定条件的特征作为重要特征；

所述终端设备在所述扩展特征集中筛选出所述重要特征对应的数据列，所述重要特征对应的数据列用于进行数据建模。

2.如权利要求1所述的方法，其特征在于，所述终端设备对所述原始数据中的任一特征对应的数据列进行数据转换生成对应的扩展特征列，包括：

所述终端设备根据所述任一特征对应的数据列，在所述多个数据处理类别标识中，筛选出与所述任一特征相对应的目标数据处理类别标识；

所述终端设备分别根据筛选的每一个目标数据处理类别标识对应的数据转换函数对所述任一特征对应的数据列进行数据转换，生成所述每一个目标数据处理类别标识对应的扩展特征；

所述终端设备将所有目标数据处理类别标识对应的扩展特征作为所述任一特征的扩展特征列。

3.如权利要求2所述的方法，其特征在于，所述终端设备根据所述任一特征对应的数据列，在所述多个数据处理类别标识中，筛选出与所述任一特征相对应的目标数据处理类别，包括：

所述终端设备根据所述任一特征对应的数据列，确定所述任一特征的数据类型，在所述多个数据处理类别标识中，筛选出与所述数据类型相对应的目标数据处理类别标识，其中，所述数据类型包括离散类型、连续类型；或/和

所述终端设备根据所述任一特征对应的数据列，确定所述任一特征的数据缺陷类型，在所述多个数据处理类别标识中，筛选出与所述数据缺陷类型相对应的目标数据处理类别标识，其中，所述数据缺陷类型包括缺失值、异常值。

4.如权利要求1所述的方法，其特征在于，所述终端设备将所述原始数据中的所有特征对应的扩展特征列进行组合生成扩展特征集，包括：

所述终端设备将所述原始数据中的所有特征对应的扩展特征列进行组合，并对组合后的扩展特征列中的每个数据列进行独热one-hot编码，生成扩展特征集。

5.如权利要求4所述的方法，其特征在于，所述终端设备对组合后的扩展特征列中的每个数据列进行one-hot编码，生成扩展特征集后，还包括：

所述终端设备对所述扩展特征集中的任意两个数据列进行逻辑与运算，得到新的数据列添加至扩展特征集。

6.如权利要求1所述的方法，其特征在于，所述终端设备确定所述扩展特征集中每个特征的相关性系数，包括：

所述终端设备获取目标正则化系数，基于所述目标正则化系数对所述扩展特征集进行逻辑回归训练，得到对应的目标逻辑回归函数；

所述终端设备根据所述目标逻辑回归函数确定所述扩展特征集中每个特征的相关性系数。

7.如权利要求6所述的方法，其特征在于，所述终端设备获取目标正则化系数，包括：

所述终端设备获取预设的目标正则化系数；或

所述终端设备获取预设的多个正则化系数，基于扩展特征集，在预设的多个正则化系数中筛选出目标正则化系数。