[发明专利]一种数据预处理方法及装置

说明书

本申请提供的一种数据处理方法及装置，通过配置化的方式，传入参数，根据数据预处理库中存储有数据行数、数据列数与线程数量的对应关系，确定对应的线程数量，再根据数据元素业务含义从预处理规则集合中得到对应的预处理规则，并用此规则多线程的进行预处理操作，同时，采用Pandas包里工具将每一列数据创建为series对象，本申请中，通过采用配置化的方式进行预处理可以增加预处理的灵活性，使得预处理模块能够适应多种外系统；而采用多线程的方式则能够在避免一列数据长时间的占用资源，在一定程度上缓解了服务器的压力；将数据创建为series对象进行预处理操作则能够加快预处理速度，提升数据预处理效率。

技术领域

本申请涉及数据处理技术领域，更具体地，尤其涉及一种数据预处理方法及装置。

背景技术

在银行处理系统中，在获取外系统提供的源数据时，存在一些源数据是不符合系统要求的，例如：主键数值缺失、非主键数值缺失、数据格式不符合要求、数据重复等多种问题。而后续用于数据加工的车间模型已经标准化了，不统一的数据格式将对后续车间模型的加工和处理带来影响，同时，数值缺失、脏数据等也将影响后续数据的入库。若直接使用这些源数据，在后续数据加工及入库的过程中往往会出现报错，且即使当时未出现报错，也可能在未来的使用中存在隐患，因此，为了方便后续对数据进行处理和加工，需要预先对源数据进行预处理。

然而，外系统的源数据以.gz数据文件传来，当前在数据预处理时，需要先将数据文件进行解压，再对数据进行清洗加工，在后期外系统传来的数据量较大时，预处理速度将大大拖慢数据整体的处理和加工速度，并且将长时间占用数据缓存，不利于数据缓存的有效利用，而当多个外系统同时传来待预处理的源数据时，不仅会对服务器造成过大压力，也将大大影响数据后续加工流程，因此，当前的数据预处理方式的处理速度较慢，数据需要占用的数据缓存较大，从而导致数据预处理效率较低。

此外，对于不同外系统的源数据来说，预处理规则有所不同，因此，当前的数据预处理方式需要针对不同系统的源数据制定一套专用的预处理规则，从而导致开发和运维的工作量也较大，预处理规则配置不够灵活，服务器的处理压力较大。

发明内容

本申请提供了一种数据预处理方法及装置，其目的在于：用以提高源数据处理速度，减少缓存空间以及提升预处理效率，提升预处理规则配置的灵活性，并在一定程度上缓解服务器的处理压力。

为了实现上述目的，本申请提供了以下技术方案：

一种数据预处理方法，包括：

对源数据文件进行解压，得到待处理数据文件，并统计所述待处理数据文件中的数据量大小以及数据行的行数和数据列的列数；

根据所述数据行的行数和所述数据列的列数从数据预处理库中匹配对应的线程数量，所述数据预处理库中存储有数据行的行数、数据列的列数与线程数量的对应关系；

按列将所述待处理数据文件划分为所述线程数量对应的份数，并使用Pandas包里的工具将每列数据创建为series对象进行存储；

根据所述数据行或所述数据列的数据元素业务含义从预处理规则集合中确定对应的预处理规则，所述预处理规则集合中存储有数据元素业务含义与预处理规则的对应关系；

使用对应的所述预处理规则，按列对所述待处理数据文件中的每列数据进行预处理。

可选的，所述对源数据文件进行解压，得到待处理数据文件，并统计所述待处理数据文件中的数据量大小以及数据行的行数和数据列的列数，具体为：

对gz压缩包格式的所述源数据文件进行解压，得到待处理数据文件；

使用Pandas将所述待处理数据文件读取到数据缓存中；

根据所述待处理数据文件的读取情况统计所述待处理数据文件中的所述数据量大小以及所述数据行的行数和所述数据列的列数。