[发明专利]一种基于Impala组件的批处理方法及系统

说明书

本申请提供的一种基于Impala组件的批处理方法及系统，用户只需要在预设模板中输入与目标批处理任务相对应的符合Impala组件格式的SQL语句，生成内嵌有所述SQL语句的预设格式文件，运行所述预设格式文件，通过调用所述预设格式文件的运行环境中与所述目标批处理任务相对应的至少一个已封装功能包，调用Impala组件中的应用程序编程接口，将所述SQL语句发送至Impala组件，使所述Impala组件执行所述目标批处理任务。避免了开发人员为了调用Impala组件所进行大量的程序开发，以及每次进行批处理时进行程序编写带来错误，提高了批处理的执行效率。

技术领域

本发明涉及数据处理技术领域，更具体的，涉及一种基于Impala组件的批处理方法及系统。

背景技术

近年来，大数据处理与分析已经成为全球性问题，随着我国经济社会信息化和自动化水平的不断提高，在政府、公共服务、科学研究和商业应用等许多领域也面临大数据问题。大数据平台提出基于互联网和数据中心、面向服务的大数据分析平台解决方案，以满足日益增长的大数据处理需求。

Impala组件是运行于现有大数据平台上的实时互动SQL查询引擎，可以让HDFS文件系统以及HBase数据库中的数据支持实时快速查询。目前很多组织机构都尝试利用大数据平台以及Impala组件进行数据批处理，但是，由于不同组织机构的系统差异性和业务差异性，现有大数据平台以及Impala组件不能满足不同组织机构的批处理需求，一个组织机构需要利用大数据平台以及Impala组件进行数据批处理时往往需要编写大量复杂的程序以调用Impala组件，为开发人员带来了巨大的工作量，同时也很容易出错。

发明内容

有鉴于此，本发明提供了一种基于Impala组件的批处理方法及系统，可以直接调用Impala组件实现批处理，提高了批处理效率。

为了实现上述目的，本发明提供的具体技术方案如下：

一种基于Impala组件的批处理方法，包括：

获取用户在预设模板中输入的与目标批处理任务相对应的符合Impala组件格式的SQL语句；

生成内嵌有所述SQL语句的预设格式文件；

运行所述预设格式文件，通过调用所述预设格式文件的运行环境中与所述目标批处理任务相对应的至少一个已封装功能包，调用Impala组件中的应用程序编程接口，将所述SQL语句发送至Impala组件，使所述Impala组件执行所述目标批处理任务。

优选的，在获取用户在预设模板中输入的与目标批处理任务相对应的SQL语句之后，所述方法还包括：

检测所述SQL语句中的输入参数是否正确，并当检测到输入参数错误时提示用户输入参数错误。

优选的，所述方法还包括：

将所述目标批处理任务的参数信息、所述目标批处理任务中的每一个脚本的执行状态、以及每一条SQL语句的执行状态记录在日志中。

优选的，所述方法还包括：

在所述目标批处理任务的执行过程中，反馈每一个脚本的执行状态和每一条SQL语句的执行状态。

优选的，所述方法还包括：

在所述目标批处理任务的执行过程中，对所述目标批处理任务中的每一个脚本的执行状态进行监测，并当监测到任意一个脚本执行异常时，提示用户脚本执行异常。

优选的，所述方法还包括：

当所述目标批处理任务执行结束后，释放所述目标批处理任务占用的内存资源和CPU资源。

一种基于Impala组件的批处理系统，包括：