[发明专利]分布式数据计算分析方法、装置、设备和存储介质

权利要求书

1.一种分布式数据计算分析方法，其特征在于，所述方法基于Python语言搭建，所述方法包括：

获取待分析项目，根据所述待分析项目的类型生成对应的分析模型；

获取所述待分析项目的待计算数据；

根据所述分析模型对应的预设分割规则将所述待计算数据分割为多个数据块；

创建计算分析任务，利用所述计算分析任务对每个所述数据块进行计算分析，得到对应的临时分析结果；

将每个所述临时分析结果进行合并，得到最终数据分析结果。

2.如权利要求1所述的方法，其特征在于，所述预设分割规则为：将所述待计算数据平均分割为多个所述数据块，所述数据块的个数与系统空闲进程数量相同。

3.如权利要求1所述的方法，其特征在于，所述计算分析任务的数量与所述数据块的数量相同。

4.如权利要求3所述的方法，其特征在于，所述利用所述计算分析任务对每个所述数据块进行计算分析，得到对应的临时分析结果，具体为：利用每个所述计算分析任务并行对每个所述数据块进行计算分析，得到对应的临时分析结果。

5.如权利要求1所述的方法，其特征在于，所述将每个所述临时分析结果进行合并，得到最终数据分析结果，包括：

根据所述分析模型对应的合并计算框架对每个所述临时分析结果进行合并，生成最终结果文件，得到最终数据分析结果。

6.如权利要求1所述的方法，其特征在于，所述方法支持单机应用和多机分布式应用。

7.一种分布式数据计算分析装置，其特征在于，包括：

获取模块，用于获取待分析项目和所述待分析项目的待计算数据；

处理模块，用于根据所述待分析项目的类型生成对应的分析模型；

根据所述分析模型对应的预设分割规则将所述待计算数据分割为多个数据块；

创建计算分析任务，利用所述计算分析任务对每个所述数据块进行计算分析，得到对应的临时分析结果；

合并输出模块，用于将每个所述临时分析结果进行合并，得到最终数据分析结果。

8.如权利要求7所述的装置，其特征在于，所述处理模块包括：

并行处理单元，用于利用每个所述计算分析任务并行对每个所述数据块进行计算分析，得到对应的临时分析结果。

9.一种分布式数据计算分析电子设备，其特征在于，包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1-6中任一项所述的分布式数据计算分析方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1-6任一项所述的分布式数据计算分析方法中的步骤。