[发明专利]Apache Spark组件的插件化数据处理方法、系统和可读存储介质

权利要求书

1.一种Apache Spark组件的插件化数据处理方法，其特征在于，该方法以插件的形式安装在具有Apache Spark组件的电子设备中，所述方法包括以下步骤：

解析步骤：获取请求，对该请求进行解析和检测；

执行选择步骤：根据解析和检测好的请求进行执行操作分类，并分配到预设的执行器模型中，通过该执行器模型将请求封装为执行器；

插件执行步骤：将封装好的执行器推送到所述Apache Spark组件中；

Apache Spark组件运行步骤：Apache Spark组件根据接收到的执行器开始执行作业；

结果分析步骤：实时监听所述Apache Spark组件的作业运行状态，并将监听结果封装为结构化数据。

2.根据权利要求1所述的一种Apache Spark组件的插件化数据处理方法，其特征在于，所述方法预设有多种不同类型的执行器模块，多种不同类型的执行器模块包括分页查询执行器模块、插入执行器模块、查询执行器模块和并发Sql执行器模块。

3.根据权利要求2所述的一种Apache Spark组件的插件化数据处理方法，其特征在于，所述方法通过查询执行器模块将请求封装为查询执行器，所述Apache Spark组件运行查询执行器时，所述方法还新建查询表，并将查询执行器的执行结果保存在所述查询表中。

4.根据权利要求1所述的一种Apache Spark组件的插件化数据处理方法，其特征在于，对请求的检测过程包括：判断请求是否满足预设的规范标准，若满足则进行执行选择步骤。

5.根据权利要求1所述的一种Apache Spark组件的插件化数据处理方法，其特征在于，所述请求从Restful接口经过RPC服务中心传输获取，封装的结构化数据返回所述RPC服务中心中。

6.一种Apache Spark组件的插件化数据处理系统，其特征在于，包括用户端设备、接口模块和服务器，

所述用户端设备，用于生成进行Apache Spark组件功能应用的请求；

所述接口模块，用于通过Restful接口接收用户端设备的请求，并经过RPC服务中心传输至所述服务器；

所述服务器安装有Apache Spark组件和Apache Spark插件，所述Apache Spark插件被配置为运行如权利要求1-5任一所述的一种Apache Spark组件的插件化数据处理方法。

7.根据权利要求6所述的一种Apache Spark组件的插件化数据处理系统，其特征在于，所述服务器的数量为多个。

8.根据权利要求7所述的一种Apache Spark组件的插件化数据处理系统，其特征在于，各个服务器之间Apache Spark组件的版本不同，所述接口模块根据所述请求需要的ApacheSpark组件版本，将请求发送到对应的服务器中。

9.根据权利要求6所述的一种Apache Spark组件的插件化数据处理系统，其特征在于，所述Apache Spark插件包括：

解析器，被配置为，获取请求，对该请求进行解析和检测；

执行选择器，被配置为，根据解析和检测好的请求进行执行操作分类，并分配到预设的执行器模型中，通过该执行器模型将请求封装为执行器；

插件执行器，被配置为，将封装好的执行器推送到所述Apache Spark组件中；

结果分析器，被配置为，实时监听所述Apache Spark组件的作业运行状态，并将监听结果封装为结构化数据。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上储存有计算机程序，所述计算机程序被处理器执行如权利要求1～5中任一项所述的方法。