[发明专利]Apache Spark组件的插件化数据处理方法、系统和可读存储介质

说明书

本发明涉及一种Apache Spark组件的插件化数据处理方法、系统和可读存储介质，方法以插件的形式安装在具有Apache Spark组件的电子设备中，方法包括以下步骤：解析步骤：获取请求，对该请求进行解析和检测；执行选择步骤：根据解析和检测好的请求进行执行操作分类，并分配到预设的执行器模型中，通过该执行器模型将请求封装为执行器；插件执行步骤：将封装好的执行器推送到ApacheSpark组件中；Apache Spark组件运行步骤：Apache Spark组件根据接收到的执行器开始执行作业；结果分析步骤：实时监听Apache Spark组件的作业运行状态，并将监听结果封装为结构化数据。与现有技术相比，本发明可让用户忽视对ApacheSpark组件的使用能力，用户只需要考虑Sql的逻辑即可使用Apache Spark组件，具有稳定灵活、使用方便等优点。

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种Apache Spark组件的插件化数据处理方法、系统和可读存储介质。

背景技术

Spark是加州大学伯克利分校的AMP实验室所开源的类Hadoop MapReduce的通用并行框架；Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎，ApacheSpark作为当前大数据绕不开的流行组件之一，在大数据框架下有着非常重要的地位。随着大数据的需求越来越多，Apache Spark组件的使用也异常频繁，且业务愈来愈复杂。所以，简化Apache Spark组件的使用方式，提高其扩展能力是非常必要的。

目前，对于Apache Spark组件的应用还仅限于以下几个方面：

1、手写Java代码或者Scala代码、Python代码，然后编译成对应的可执行包，例如execute-demo.jar文件，随后上传到已安装好Apache Spark组件的服务器中，执行类似Apache Spark-submit命令，运行作业。操作过程复杂冗余，且每次业务逻辑的改动都需要手动修改代码，然后编译打包上传，最后执行命令。

2、目前对于不同版本的Apache Spark组件支持，在使用层面上存在缺陷。针对特定版本的Apache Spark组件，用户需要在代码层做特定的代码修改开发。如果用户的资源环境中存在多个不同版本的Apache Spark组件，用户则需要对同一套业务做不同版本的代码编写，在编写的过程中，难免保证代码的一致性和完整性，且非常不利于项目的统一管理开发，容易存在隐患。

3、当前大多数用户对于Apache Spark组件的使用，还仅限于对关系型数据库做数据查询处理。Apache Spark组件已提供了执行Sql的相关功能，但并未提供一套可开放的API接口，导致在使用层面非常依赖具备一定编程基础的开发人员，组件使用受限。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种简化ApacheSpark组件的使用方式的Apache Spark组件的插件化数据处理方法、系统和可读存储介质。

本发明的目的可以通过以下技术方案来实现：

根据本发明的第一方面，提供了一种Apache Spark组件的插件化数据处理方法，其特征在于，该方法以插件的形式安装在具有Apache Spark组件的电子设备中，所述方法包括以下步骤：

解析步骤：获取请求，对该请求进行解析和检测；

执行选择步骤：根据解析和检测好的请求进行执行操作分类，并分配到预设的执行器模型中，通过该执行器模型将请求封装为执行器；

插件执行步骤：将封装好的执行器推送到所述Apache Spark组件中；

Apache Spark组件运行步骤：Apache Spark组件根据接收到的执行器开始执行作业；