[发明专利]一种业务处理方法、计算机设备和客户端

说明书

本申请实施例公开了一种业务处理方法、计算机设备和客户端，用于方便数据分析人员使用Spark SQL，扩大Spark SQL的应用范围。本申请实施例提供的技术方案如下：将指定逻辑封装成通用程序并保存；接收客户端提交的可编程语句；根据所述可编程语句和所述通用程序封装生成应用程序；为所述应用程序申请对应的集群资源以运行所述应用程序。

技术领域

本申请涉及大数据领域，尤其涉及一种业务处理方法、服务器和客户端。

背景技术

随着信息化的深入推进和人类日益普及的网络行为，大数据和云计算的概念应运而生。近年来，大数据应用的爆发性增长，已经衍生出独特的架构，并直接推动了存储、网络以及计算技术的研究。基于内存的分布式计算框架Spark作为Apache社区的顶级开源项目，吸引了全世界各大公司和开发人员的参与。经过多年的发展，Spark已经形成了完整的生态圈，并成为业界大数据处理的事实标准。作为Spark生态圈中的重要成员，Spark SQL为用户提供了结构化数据处理和SQL(Structured Query Language)查询分析的功能，使得不同业务领域的分析人员只需要通过SQL语句即能够透明地利用Spark完成海量数据的处理。

在面向多用户的生产环境中，Spark SQL底层通常会基于YARN(Yet AnotherResource Negotiator)资源协调系统来进行业务管理。用户任务提交后，YARN动态分配集群资源；任务结束后，YARN回收相应的集群资源。

发明内容

本申请实施例提供了一种业务处理方法、计算机设备和客户端，用于方便数据分析人员使用Spark SQL，扩大Spark SQL的应用范围。

一方面，本申请实施例提供一种业务处理方法，包括：

计算机设备将指定逻辑封装成通用程序并保存；接收客户端提交的可编程语句；根据所述可编程语句和所述通用程序封装生成应用程序；为所述应用程序申请对应的集群资源以运行所述应用程序。

另一方面，本申请实施例提供一种业务处理方法，包括：

客户端向服务器提交可编程语句，以使得所述服务器根据所述可编程语句和通用程序封装生成应用程序；以及为所述应用程序申请对应的集群资源以运行所述应用程序，所述通用程序由指定逻辑封装生成；最后关闭该应用程序。

另一方面，本申请实施例提供一种计算机设备，包括：

处理模块，用于将指定逻辑封装成通用程序并保存；

接收模块，用于接收客户端提交的可编程语句；

所述处理模块，用于根据所述可编程语句和所述通用程序封装生成应用程序；为所述应用程序申请对应的集群资源以运行所述应用程序。

另一方面，本申请实施例提供一种计算机设备，包括：

存储器、收发器、处理器以及总线；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，包括如下步骤：

将指定逻辑封装成通用程序并保存；

接收客户端提交的可编程语句；

根据所述可编程语句和所述通用程序封装生成应用程序；为所述应用程序申请对应的集群资源以运行所述应用程序。

所述总线用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。

另一方面，本申请实施例提供一种客户端，包括：