[发明专利]大数据处理方法及系统

权利要求书

1.一种大数据处理方法，其特征在于，应用于大数据处理系统，所述方法包括：

获取目标函数的多个配置参数的值和所述目标函数的第一格式的代码；

获取目标大数据计算引擎的指定函数模板，所述目标大数据计算引擎是多个大数据计算引擎中所述目标函数待部署的引擎；

基于所述多个配置参数的值、所述第一格式的代码和所述指定函数模板，生成所述目标大数据计算引擎支持的所述目标函数的第二格式的代码。

2.根据权利要求1所述的大数据处理方法，其特征在于，所述获取目标函数的多个配置参数的值包括：

展示所述多个配置参数的输入框；

获取所述多个配置参数的输入框中输入的所述多个配置参数的值。

3.根据权利要求1所述的大数据处理方法，其特征在于，所述方法还包括：

展示所述大数据处理系统支持调用的大数据计算引擎的多个类型；

将所述多个类型中被选定的目标类型的大数据计算引擎，确定为所述目标大数据计算引擎。

4.根据权利要求1至3任一所述的大数据处理方法，其特征在于，所述方法还包括：

获取所述目标函数的编程框架；

所述基于所述多个配置参数的值、所述第一格式的代码和所述指定函数模板，生成所述目标大数据计算引擎支持的所述目标函数的第二格式的代码，包括：

基于所述多个配置参数的值、所述编程框架、所述第一格式的代码和所述指定函数模板，生成所述第二格式的代码。

5.根据权利要求4所述的大数据处理方法，其特征在于，所述编程框架包括被处理数据的统一数据结构、数据配置和执行配置；

其中，所述被处理数据包括采用所述目标函数处理的数据，所述统一数据结构为所述被处理数据的表示方式，所述数据配置包括所述被处理数据的属性，所述执行配置包括所述被处理数据的处理资源。

6.根据权利要求1至3任一所述的大数据处理方法，其特征在于，所述方法还包括：

在生成所述第二格式的代码的过程中，禁止获取目标代码路径下的数据，所述目标代码路径下的数据包括所述第二格式的代码的生成过程中获取的数据之外的数据。

7.根据权利要求1至3任一所述的大数据处理方法，其特征在于，所述大数据处理系统支持M种编程语言和N种函数类型，M和N为正整数，所述大数据处理系统中的每个所述大数据计算引擎具有M*N个不同的函数模板，每个函数模板对应一种所述编程语言和一种所述函数类型；所述获取目标大数据计算引擎的指定函数模板，包括：

展示所述M种编程语言和N种函数类型；

接收目标编程语言和目标函数类型，所述目标编程语言为展示的编程语言中的一种，所述目标函数类型为展示的函数类型中的一种；

在所述目标大数据计算引擎具有的M*N个函数模板中，确定所述目标编程语言和所述目标函数类型对应的所述指定函数模板。

8.一种大数据处理系统，其特征在于，所述大数据处理系统包括：

数据流页面模块，用于获取目标函数的多个配置参数的值和所述目标函数的第一格式的代码；

自定义函数模块，用于获取目标大数据计算引擎的指定函数模板，所述目标大数据计算引擎是多个大数据计算引擎中所述目标函数待部署的引擎；基于所述多个配置参数的值、所述第一格式的代码和所述指定函数模板，生成所述目标大数据计算引擎支持的所述目标函数的第二格式的代码。

9.一种大数据处理系统，其特征在于，所述大数据处理系统包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的大数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的大数据处理方法。