[发明专利]数据分摊方法、装置、计算机设备及存储介质

说明书

本申请实施例属于大数据技术领域，涉及一种数据分摊方法，包括将接收到的结构化的数据文件存入分布式数据库中，通过所述分布式数据库生成多个基表，合并所述基表以获得宽表；将所述宽表作为弹性分布式数据集，并根据预设的处理逻辑对所述弹性分布式数据集进行处理，以实现数据分摊；对分摊后的数据进行尾差处理，得到结果数据，并将结果数据写入预先建立的清单汇总表中。本申请还提供一种数据分摊装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，结果数据可存储于区块链节点中。本申请实现对大量的数据进行细粒度的分摊的同时，加速计算机的数据分摊处理速度。

技术领域

本申请涉及大数据技术领域，尤其涉及数据分摊方法、装置、计算机设备及存储介质。

背景技术

随着科技的发展，数据分摊工作逐渐交给了计算机来执行，而数据分摊工作一直是一个重大工作和任务。现有的数据分摊方式是采用oracle的PL\SQL进行处理和查看。

但随着原始数据的细化，分摊规则多样化，相对于原始数据，分摊结果往往呈几何倍数的增长，结果数据已经达到亿级，甚至几十亿的数据量。细粒度分摊的要求不断增高，对于分摊的速度同时也提出了更高的要求，现有的数据分摊方案已经难以满足快速且细粒度分摊的需求。

发明内容

本申请实施例的目的在于提出一种数据分摊方法、装置、计算机设备及存储介质，实现计算机可以快速对大量数据进行细粒度分摊。

为了解决上述技术问题，本申请实施例提供一种数据分摊方法，采用了如下所述的技术方案：

一种数据分摊方法，包括下述步骤：

将接收到的结构化的数据文件存入分布式数据库中，通过所述分布式数据库生成多个基表，合并所述基表以获得宽表；

将所述宽表作为弹性分布式数据集，并根据预设的处理逻辑对所述弹性分布式数据集进行处理，以实现数据分摊；

对分摊后的数据进行尾差处理，得到结果数据，并将结果数据写入预先建立的清单汇总表中。

进一步的，所述预设的处理逻辑包括过滤逻辑、预处理逻辑、效验逻辑和分摊逻辑；

所述根据预设的处理逻辑对所述弹性分布式数据集进行处理的步骤包括：

分别将所述过滤逻辑、预处理逻辑、效验逻辑和分摊逻辑作为算子；

根据所述算子对弹性分布式数据集进行处理，以实现数据分摊。

进一步的，所述宽表包括散表数据，预设的段值信息表中包括段值数据和数据关联关系；

所述根据所述算子对弹性分布式数据集进行处理的步骤包括：

获取所述散表数据和所述段值数据，根据所述数据关联关系将所述散表数据与所述段值数据进行关联，其中，所述散表数据与段值数据为多对一的关系；

选择所述散表数据中与所述段值数据成功关联的散表数据，依次累计与每一个段值数据对应的散表数据的总和，获得第一段值散表总和；

叠加所述第一段值散表总和以获得第二段值散表总和，比较所述第二段值散表总和与所述宽表中的汇总数据是否一致；

若是，则获取与所述段值数据预先匹配的价值链，根据所述价值链获得与所述价值链预先匹配的第一分摊因子；

根据不同价值链对应的第一分摊因子对每一个段值数据对应的第一段值散表总和进行分摊，获得第一分摊数据；

将第一分摊数据分别根据预设的第二分摊因子和第三分摊因子进行分摊获得分摊后的数据。

进一步的，所述基表包括汇总数据，

所述对分摊后的数据进行处理的步骤包括：