[发明专利]一种数据处理方法、装置、计算机设备及存储介质

说明书

本申请提供一种数据处理方法、装置、计算机设备及存储介质，通过确定至少一个插件中与目标业务系统的数据处理需求匹配的目标插件；响应在目标插件的配置页面中对作业属性的编辑操作生成用于对目标业务系统进行数据处理的作业；根据用于对目标业务系统进行数据处理的至少一个作业生成目标业务系统的作业流；在发送数据处理请求的用户拥有对目标业务系统的处理权限的情况下，调用数据处理请求指示的目标业务系统的目标作业流可以实现对数据库集群中拉取的目标业务系统的数据的处理。本申请通过统一的数据开发系统实现对多种数据处理场景的数据处理，不仅能降低开发难度、提高开发效率，而且能够在简化数据处理操作的基础上，提高数据在线处理能力。

技术领域

本发明涉及计算机技术领域，更具体地说，涉及一种数据处理方法、装置、计算机设备及存储介质。

背景技术

传统的大数据开发方法需要从业务系统的数据库中查询各类数据，然后在不同的平台处理不同数据源的数据。并且，各个平台的开发者需要使用单独的数据库，例如，关系型MySQL、Oracle等，非关系型Mongo、Redis等。

平台的数据存储在一台或者多台机器上，并且有可能无法完全存储，开发者需要在来源多、格式多、体量大的数据集合中通过数据分析把有价值的数据处理筛选出来并在相应的平台进行数据处理，这样的流程和模式带来的问题显而易见。

首先针对海量的数据没有一个统一数据开发的系统，这一点无疑极大增加了平台的开发难度，降低了开发效率。并且，当开发者一次数据处理要使用多家平台和多种类型数据库时，又要进行不同的配置，这样繁琐又耗时。另外，由于平台使用的机器数量的限制，很多数据无法完全存储与流动，这样导致“缺数据”现象，因此平台的在线处理的能力也极低。

发明内容

有鉴于此，为解决上述问题，本发明提供一种数据处理方法、装置、计算机设备及存储介质，通过一个统一的插件化数据开发系统实现对多种数据处理场景的数据处理，不仅能降低开发难度、提高开发效率，而且能够在简化数据处理操作的基础上，提高数据在线处理能力，技术方案如下：

一种数据处理方法，应用于基于Springboot框架的数据开发系统，该方法包括：

确定预先设置的至少一个插件中与目标业务系统的数据处理需求匹配的目标插件，所述目标业务系统为至少一个业务系统中的任一业务系统；

展示所述目标插件的配置页面；

响应在所述配置页面中对所述目标插件的作业属性的编辑操作生成用于对所述目标业务系统进行数据处理的作业，所述作业的编程语言与所述目标业务系统的编程语言相同；

确定用于对所述目标业务系统进行数据处理的至少一个作业，根据所述至少一个作业生成所述目标业务系统的作业流；

在发送数据处理请求的用户拥有对所述目标业务系统的处理权限的情况下，调用所述目标业务系统的至少一个作业流中所述数据处理请求指示的目标作业流对数据库集群中拉取的所述目标业务系统的数据进行数据处理；

所述数据库集群用于拉取所述至少一个业务系统中的数据，且所述数据库集群中对目标数据类型的数据分配的存储空间与所述至少一个业务系统中所述目标数据类型的数据量有关。

优选的，所述确定预先设置的至少一个插件中与目标业务系统的数据处理需求匹配的目标插件，包括：

确定至少一个业务系统中待生成作业流的目标业务系统；

从至少一个插件中确定编程语言和所述目标业务系统的编程语言相同的各个插件；

从所确定的各个插件中获取与对所述目标业务系统的数据处理类型匹配的目标插件。