[发明专利]基于Spark的大数据开发方法及装置、终端

说明书

本发明适用于大数据开发技术领域，提供了一种基于Spark的大数据开发方法及装置、终端，所述大数据开发方法包括：安装集成开发环境，方便引入模板工程；下载新近的模板工程，同时进行编译打包，生成软件开发工具包；加所述软件开发工具包到所述集成开发环境中，形成一开发模板；新建大数据开发工程，应用所述开发模板进行大数据开发。本发明中，基于模板的开发方式不仅仅提供了封装的类和方法，同时提供了直接可运行的开发模板，提高了开发效率，降低了入门门槛，用最简单有效的方式加快开发进度。

技术领域

本发明属于大数据开发技术领域，尤其涉及一种基于Spark的大数据开发方法及装置、终端。

背景技术

近年来越来越多的工具开发包给我们的开发任务带来了极大的便利，即技术人员通过自有的封装手段，将一些依赖和实用方法进行封装，然后他人通过引用的方式进行使用。这种方法是目前最普遍的技术和功能共享方式，但是此类方式也存在一定的弊端，即对于初学者不友好，对于Spark等开发封装的不够彻底，对于很多人无法快速上手。

现有的工具开发包仅提供了封装方法或者父类，通过继承和引用的方式使用，用户对于内部方法需要进行一定的解读才能很好地使用，并且需要通过其他信息来源对Spark开发进行相应了解，才能真正的开始进行任务开发。这样导致了上手较慢，开发困难等问题，增加了额外开发成本。

发明内容

本发明实施例提供了一种基于Spark的大数据开发方法及装置、终端，旨在解决现有技术的开发方式封装不够彻底，无法快速上手的问题。

一种基于Spark的大数据开发方法，包括：

安装集成开发环境，方便引入模板工程；

下载新近的模板工程，同时进行编译打包，生成软件开发工具包；

添加所述软件开发工具包到所述集成开发环境中，形成一开发模板；

新建大数据开发工程，应用所述开发模板进行大数据开发。

优选地，所述安装集成开发环境之后，还包括：安装Maven仓库和IDE的Maven插件。

优选地，所述开发模板包括通用模板，数据清洗模板和Spark算子模板的至少之一。

优选地，所述开发模板包含输入参数的读取和规整、数据的输入和输出以及中间清洗方法的选择。

优选地，所述新建大数据开发工程，应用所述开发模板进行大数据开发的步骤，包括：

根据所述开发模板的代码进行相应改动完成大数据开发，或

继续拓展所述开发模板，简化开发流程，共享代码架构。

优选地，所述开发模板为带有详细注释和能够快速运行的代码，所述应用所述开发模板进行大数据开发的步骤，包括：

根据注释选择需要的数据源写入方法，选择合理的RDD操作算子，选择需要的数据源输入方法；

根据需要对所述代码进行修改或者删减。

本发明还提供一种基于Spark的大数据开发装置，其特征在于，包括：

安装单元，用于安装集成开发环境，方便引入模板工程；

编译单元，用于下载新近的模板工程，同时进行编译打包，生成软件开发工具包；

添加单元，用于添加所述软件开发工具包到所述集成开发环境中，形成一开发模板；

开发单元，用于新建大数据开发工程，应用所述开发模板进行大数据开发。

优选地，所述安装单元还包括：安装Maven仓库和IDE的Maven插件。