[发明专利]数据预处理方法，装置，存储介质及电子设备

说明书

本公开涉及一种数据预处理方法，装置，存储介质及电子设备。该方法包括：获取用户通过图形用户界面GUI设置的预处理逻辑配置项；根据所述配置项配置对数据进行预处理的逻辑规则；在获取到待处理的数据后，针对该待处理的数据调用规则逻辑引擎执行已配置的逻辑规则，得到数据预处理结果。

技术领域

本公开涉及数据预处理领域，具体地，涉及一种数据预处理方法，装置，存储介质及电子设备。

背景技术

在大数据背景下，软件处理的数据由传统的数据库数据扩展到了日志数据、机器数据、传感器数据等，与传统的数据库数据相比，其他数据具有结构不良好，价值密度低以及关联更加复杂等特点。因此在大数据分析前进行数据预处理是十分必要的，预处理能够将非结构化数据向结构化数据转换，便后续处理，并从海量数据中提取有价值信息，以及实现非关系形数据的数据关联。

相关数据预处理技术中，通常是有针对性的编写处理程序，技术门槛高，要求具备一定技术能力与经验的软件工程师来完成，并且，编写的预处理程序多是一次性使用，不具有推广复用的能力。另外，相关技术也可以使用基于批处理作业配置的软件，相比较于专业编程，使用门槛得到了降低，但是仍然需要学习专业性配置的方法。

发明内容

本公开的主要目的是提供一种数据预处理方法，装置，存储介质及电子设备，用以解决现有数据预处理逻辑规则的配置专业性要求较高，配置过程复杂的技术问题。

为了实现上述目的，本公开实施例第一方面提供一种数据预处理方法，所述方法包括：

获取用户通过图形用户界面GUI设置的预处理逻辑配置项；

根据所述配置项配置对数据进行预处理的逻辑规则；

在获取到待处理的数据后，针对该待处理的数据调用规则逻辑引擎执行已配置的逻辑规则，得到数据预处理结果。

可选地，所述获取用户通过图形用户界面GUI设置的预处理逻辑配置项，包括：

在所述GUI上呈现历史存储的预处理逻辑配置项，其中，所述历史存储的预处理逻辑配置项是所述用户上一次设置的配置项或者是其他用户设置的配置项；

通过用户的GUI设置，对所述历史存储的预处理逻辑配置项进行变更；

所述根据所述配置项配置对数据进行预处理的逻辑规则，包括：

根据已变更的所述配置项配置对数据进行预处理的逻辑规则。

可选地，在所述根据所述配置项配置对数据进行预处理的逻辑规则之后，所述方法还包括：

对已配置的逻辑规则进行校验；

在对所述已配置的逻辑规则校验成功时，调用规则逻辑引擎以管道的形式执行所述已配置的逻辑规则，并返回执行结果供用户预览。

可选地，所述GUI提供以下设置中的一者或多者用于用户选择配置项：

用于结构化解析操作的一般设置，用于划分数据处理分支事件的分支设置，用于针对每一分支事件进行后续处理的后置设置。

本公开实施例第二方面提供一种数据预处理装置，包括：

获取模块，用于获取用户通过图形用户界面GUI设置的预处理逻辑配置项；

配置模块，用于根据所述配置项配置对数据进行预处理的逻辑规则；

预处理模块，用于在获取到待处理的数据后，针对该待处理的数据调用规则逻辑引擎执行已配置的逻辑规则，得到数据预处理结果。

可选地，所述获取模块包括：