[发明专利]一种数据处理方法、装置、设备及存储介质

说明书

本申请公开了一种数据处理方法、装置、设备及存储介质，包括：获取数据处理指令，并调用与数据处理指令对应的组件接口，以确定执行数据处理指令的目标组件；其中，目标组件为数据导入组件或数据导出组件；根据目标需求确定相应的对数据进行特定处理的预设操作模块，并对所述预设操作模块的实现进行统一配置，以生成目标配置类；基于目标配置类，将预设操作模块接入目标组件的脚手架结构中，以得到拼接组件；开启与目标组件对应的目标线程，利用拼接组件对数据处理指令进行响应。本申请将数据导入和导出的过程抽象为不同的操作模块，针对具体业务只需根据目标需求将不同的操作模块与导入或导出组件的脚手架进行拼接，提高了数据处理效率。

技术领域

本发明涉及计算机技术领域，特别涉及一种数据处理方法、装置、设备及存储介质。

背景技术

基于业务扩张的需要，系统内会出现一系列导入导出的需求，这些需求复杂多变，与业务的数据结构、操作方式、用户的接纳程度、产品的展现形式都有关系。在实际开发中，由于不同的导入导出数据源具有不同的特征，使得不同的导入导出需求在实现中会出现大量的重复工作，这些重复工作浪费大量的人力物力资源，并且针对不同的实现方案也会有不同的要求，经由产品又会施加到用户身上，难以实现统一。例如，将一个Excel表格作为数据源来进行数据的导入，其中涉及到原始Excel表格的处理，而Excel表格的处理又涉及到表格内容的解析，表格内容的解析又涉及到如何对异常数据进行检测、如何对空行进行处理等，看似很简单的一个导入导出操作，其中所涉及到的工作量是巨大的。

现有的数据导入与导出处理方案，由于面向的群体较为广泛，设计过于复杂。一方面，针对一般的开发工作，需要花费很多的时间及精力去了解方案的具体处理过程，另一方面，其中有些设计并不能很好适应企业业务且隐藏的也比较深，导致研发阶段很难发现，往往最终交付给用户使用时，才发现有问题，此时很可能会造成资损和返工。因此，对数据导入导出过程中的重复和复杂工作进行约束及统一就显得很有必要。

发明内容

有鉴于此，本发明的目的在于提供一种数据处理方法、装置、设备及存储介质，通过将数据导入和导出的过程抽象为不同的操作模块，针对具体业务只需根据目标需求将不同的操作模块与导入或导出组件的脚手架进行拼接，以实现复杂多变的导入导出需求，提高了数据处理效率。其具体方案如下：

本申请的第一方面提供了一种数据处理方法，包括：

获取数据处理指令，并调用与所述数据处理指令对应的组件接口，以确定执行所述数据处理指令的目标组件；其中，所述目标组件为数据导入组件或数据导出组件；

根据目标需求确定相应的对数据进行特定处理的预设操作模块，并对所述预设操作模块的实现进行统一配置，以生成目标配置类；

基于所述目标配置类，将所述预设操作模块接入所述目标组件的脚手架结构中，以得到拼接组件；

开启与所述目标组件对应的目标线程，利用所述拼接组件对所述数据处理指令进行响应。

可选的，所述根据目标需求确定相应的对数据进行特定处理的预设操作模块，包括：

根据目标需求将数据源下载模块、数据源处理模块、逻辑处理模块、结果上报模块确定为预设操作模块。

可选的，所述获取数据处理指令，并调用与所述数据处理指令对应的组件接口，以确定执行所述数据处理指令的目标组件，包括：

获取数据导入指令，并调用数据导入的组件接口；

将数据导入组件确定为执行所述数据导入指令的目标组件。

可选的，所述利用所述拼接组件对所述数据处理指令进行响应，包括：

利用所述数据源下载模块获取待导入数据；