[发明专利]分布式数据计算分析方法、装置、设备和存储介质

说明书

本申请公开了一种分布式数据计算分析方法、装置、设备和存储介质。方法包括获取待分析项目，生成对应的分析模型；获取待计算数据，将待计算数据分割为多个数据块；创建计算分析任务，利用计算分析任务对每个数据块进行计算分析，得到对应的临时分析结果；将每个临时分析结果进行合并，得到最终数据分析结果。本申请基于Python语言搭建，采用多级方式，首先进行待分析项目分割，然后再进行数据分割，针对每一个数据块进行分析后将临时分析结果合并，得到最终数据分析结果，只需部署Python应用环境，部署简单，数据整合容易。本申请解决相关技术中针对海量数据的分析计算大多依赖于框架，存在搭建部署较为复杂，且不易进行数据整合的技术问题。

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种分布式数据计算分析方法、装置、设备和存储介质。

背景技术

分布式数据处理是利用分布式计算技术对数据进行处理。随着数据量的急剧膨胀，互联网公司所面对的数据量已经达到PB级别，传统集中式数据处理已经渐渐无法适应市场需求。一个分布式网络由若干台可互相通信的计算机组成，每台计算机都拥有自己的处理器和存储设备，原先集中在单节点上的庞大计算任务被负载均衡地分派给分布式网络中的计算机上并行地进行处理。

目前市场上地分布式数据分析方式存在很多框架，比如Spark、Dash、Loky、Celery等，但是这些框架在特定场景中都存在不足之处，例如Spark部署较为麻烦；Dash功能强大但底层结构独特，不便于数据整合；Loky文档较少，比较底层，但使用门槛较高；Celery需要嵌入代码，性能较低。

现有技术中针对海量数据的分析计算大多依赖于框架，搭建部署较为复杂，且不易进行数据整合。

针对相关技术中针对海量数据的分析计算大多依赖于框架，存在搭建部署较为复杂，且不易进行数据整合的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种分布式数据计算分析方法、装置、设备和存储介质，以解决相关技术中针对海量数据的分析计算大多依赖于框架，存在搭建部署较为复杂，且不易进行数据整合的问题。

为了实现上述目的，第一方面，本申请提供了一种分布式数据计算分析方法。

根据本申请的方法包括：

获取待分析项目，根据待分析项目的类型生成对应的分析模型；

获取待分析项目的待计算数据；

根据分析模型对应的预设分割规则将待计算数据分割为多个数据块；

创建计算分析任务，利用计算分析任务对每个数据块进行计算分析，得到对应的临时分析结果；

将每个临时分析结果进行合并，得到最终数据分析结果。

在本申请一种可能的实现方式中，预设分割规则为：将待计算数据平均分割为多个数据块，数据块的个数与系统空闲进程数量相同。

在本申请一种可能的实现方式中，计算分析任务的数量与数据块的数量相同。

在本申请一种可能的实现方式中，利用计算分析任务对每个数据块进行计算分析，得到对应的临时分析结果，具体为：利用每个计算分析任务并行对每个数据块进行计算分析，得到对应的临时分析结果。

在本申请一种可能的实现方式中，将每个临时分析结果进行合并，得到最终数据分析结果，包括：

根据分析模型对应的合并计算框架对每个临时分析结果进行合并，生成最终结果文件，得到最终数据分析结果。

在本申请一种可能的实现方式中，方法支持单机应用和多机分布式应用。

第二方面，本申请还提供了一种分布式数据计算分析装置，装置包括：