[发明专利]数据预处理方法和装置

权利要求书

1.一种数据预处理方法，其特征在于，所述方法包括：

步骤S1、接收业务模型发出的调用包中的清洗方法的请求；所述请求包括：源数据参数；

步骤S2、遍历配置文件，查找与所述源数据参数匹配的预处理配置信息；

步骤S3、根据包中的预处理程序和所述预处理配置信息对源数据进行预处理。

2.根据权利要求1所述的方法，其特征在于，所述源数据参数包括：表名、表中的字段名；所述预处理配置信息包括：表名、表中的字段名、表中字段的预处理配置参数。

3.根据权利要求2所述的方法，其特征在于，所述表中字段的预处理配置参数包括以下至少一项：

数据类型配置、最大值配置、最小值配置、精度配置、正则表达式配置、枚举值列表配置、异常值列表配置、缺失值填充配置、噪音去除配置、归一化配置、离散化配置、缩放配置。

4.根据权利要求1所述的方法，其特征在于，在步骤S1之前，所述方法还包括：

初始化配置文件，并将初始化后的配置文件写入缓存。

5.根据权利要求1所述的方法，其特征在于，在步骤S3之后，所述方法还包括：

将源数据预处理结果返回至所述业务模型。

6.一种数据预处理装置，其特征在于，所述装置包括：

接收模块，用于接收业务模型发出的调用包中的清洗方法的请求；所述请求包括：源数据参数；

匹配模块，用于遍历配置文件，查找与所述源数据参数匹配的预处理配置信息；

执行模块，用于根据包中的预处理程序和所述预处理配置信息对源数据进行预处理。

7.根据权利要求6所述的装置，其特征在于，所述接收模块接收的源数据参数包括：表名、表中的字段名；

所述匹配模块查找到的预处理配置信息包括：表名、表中的字段名、表中字段的预处理配置参数。

8.根据权利要求7所述的装置，其特征在于，所述匹配模块查找到的表中字段的预处理配置参数包括以下至少一项：

数据类型配置、最大值配置、最小值配置、精度配置、正则表达式配置、枚举值列表配置、异常值列表配置、缺失值填充配置、噪音去除配置、归一化配置、离散化配置、缩放配置。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

配置文件加载模块，用于初始化配置文件，并将初始化后的配置文件写入缓存。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：

输出模块，用于将源数据预处理结果返回至所述业务模型。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；以及，

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至5任一所述的方法。

12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至5中任一所述的方法。