[发明专利]一种大数据处理方法及装置

说明书

技术领域

本发明涉及计算机技术领域，特别是涉及一种大数据处理方法及装置。

背景技术

随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。21世纪是数据信息大发展的时代，移动互联网、电子商务、社交网络等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网、移动互联网、安全监控、金融等都在疯狂产生着数据。为了获取大数据中的价值，大数据分析技术应运而生，也催生了很多大数据分析系统，比如Hadoop，Spark，Tez等。不同的大数据分析系统具备不同的特点，例如Hadoop擅长批处理任务，Spark擅长实时处理任务，不同的大数据分析系统都具有各自的应用范围。这些大数据分析系统都有各自的框架和开发者接口，不同的系统使用的开发语言不同。

在解决一个具体的大数据分析问题时，用户可能会用到不同的系统，例如，使用Hadoop和Spark系统时，由于Hadoop系统使用的是Java语言，Spark的框架使用的是Scala语言，如果用户想要同时使用这些系统进行大数据分析，需要掌握不同的开发语言，同时需要了解各个系统的架构。由此可见，现有技术中，用户想要进行一个大数据分析时，需要掌握的开发技能较多，使用门槛高。

发明内容

本发明实施例的目的在于提供一种大数据处理方法及装置，将待执行程序的操作任务转换为能在用户需求的大数据系统中执行的操作任务，以实现降低程序开发的复杂度和用户的使用门槛。具体技术方案如下：

本发明提供了一种大数据处理方法，所述方法包括：

获取待执行程序；

根据所述待执行程序，确定所述待执行程序执行的第一操作任务；

将所述第一操作任务转换为第二操作任务；所述第二操作任务为能在预先适配的大数据系统中执行的操作任务；所述预先适配的大数据系统为包含目标大数据系统在内的多个大数据系统；

查找所述目标大数据系统；

在所述目标大数据系统中执行所述第二操作任务。

具体的，所述待执行程序是基于SQL语言的待执行程序。

具体的，所述根据所述待执行程序，确定所述待执行程序执行的第一操作任务，包括：

将所述待执行程序中的字符序列转换成单词序列，得到第一解析结果；所述第一解析结果为所述待执行程序要执行的操作；根据所述第一解析结果，确定所述待执行程序执行的第一操作任务。

具体的，所述将第一操作任务转换为第二操作任务，包括：

将所述第一操作任务发送给具有统一接口的、预先适配的大数据系统，所述具有统一接口的、预先适配的大数据系统将所述第一操作任务，转换为能在所述目标大数据系统中执行的所述第二操作任务。

具体的，所述查找所述目标大数据系统，包括：

将所述第二操作任务进行词法解析，识别包含有所述目标大数据系统的语句，得到第二解析结果；

根据所述第二解析结果，查找所述目标大数据系统。

具体的，所述在所述目标大数据系统中执行所述第二操作任务之后，所述方法还包括：

将在所述目标大数据系统中执行所述第二操作任务的结果存储在所述目标大数据系统中。

本发明还提供了一种大数据处理装置，所述装置包括：

获取模块，用于获取待执行程序；

解析模块，用于确定所述待执行程序执行的第一操作任务；

转换模块，用于将所述第一操作任务转换为第二操作任务；所述第二操作任务为能在预先适配的大数据系统中执行的操作任务；所述预先适配的大数据系统为包含目标大数据系统在内的多个大数据系统；

查找模块，用于查找所述目标大数据系统；

执行模块，用于在所述目标大数据系统中执行所述第二操作任务。

具体的，所述获取模块，具体用于，获取基于SQL语言的待执行程序。

具体的，所述解析模块，包括：

第一解析子模块，用于将所述待执行程序中的字符序列转换成单词序列，，得到第一解析结果；所述第一解析结果为所述待执行程序要执行的操作；

第二解析子模块，用于根据所述第一解析结果，确定所述待执行程序执行的第一操作任务。

具体的，所述转换模块，具体用于将所述第一操作任务发送给具有统一接口的、预先适配的大数据系统，所述具有统一接口的、预先适配的大数据系统将所述第一操作任务，转换为能在所述目标大数据系统中执行的所述第二操作任务。

具体的，所述转换模块，包括：