[发明专利]一种海量数据场景下的数据全局合并方法

权利要求书

1.一种海量数据场景下的数据全局合并方法，其特征在于，所述方法包括：

步骤一、minor合并，将N个小文件作为一个批次进行归并排序，产生1个或多个文件大小合标的文件；

所述minor合并过程中，对输入文件的大小进行排序，将符合设定阈值大小的一批文件进行归并排序，使得更小的文件最先被合并；

步骤二、桶合并，经过步骤一后，件大小达标的文件会进入桶合并的候选队列，桶合并逻辑中对队列中的文件再次进行任务构造并进行多路归并排序；

所述桶合并过程中，所述桶分为两层，分别为level0与level1层，level0中存储桶合并后生成的文件，level1层存储major合并后生成的文件；

所述桶合并指的是在排序的过程中根据排序字段的范围，将数据分别写入到对应的桶内的新文件中；

步骤三、major合并，经过步骤二桶合并后的文件将进入major合并的候选队列进行major合并；

步骤四、经过步骤一至步骤三的三级合并完成之后，对现有桶进行平衡判断，若桶内数据不均匀，则执行桶的再平衡操作。

2.如权利要求1所述的一种海量数据场景下的数据全局合并方法，其特征在于：所述minor合并过程中，输入文件包括实时接入的小文件同时，也包括minor合并后产生的未达阈值的小文件，minor合并阈值由用户自己配置。

3.如权利要求1所述的一种海量数据场景下的数据全局合并方法，其特征在于：当minor合并生成的文件大小超过设置阈值时，会启动文件分片策略，使最终进入桶合并的minor文件大小相近；

所述分片策略指的是通过估算找到最有可能达到分片条件的数据条数N，当写入数据量达到N时，获取文件实际大小，若此时文件达不到分片条件，则修正N的值，使得N逐渐增大，直到文件大小达到分片条件。

4.如权利要求1所述的一种海量数据场景下的数据全局合并方法，其特征在于：经过多轮桶合并后，当桶内的level0层的文件个数达到阈值，即触发major合并；major合并首先计算level1层中与level0中所有文件存在交集的文件，然后将所有level0层和level1层有交集的文件集合作为一个批次进行归并排序，生成N个level1层的彼此之间有序的新文件。

5.如权利要求1所述的一种海量数据场景下的数据全局合并方法，其特征在于：所述桶的再平衡分为两个步骤：

步骤(1)、桶的分裂，所述桶的分裂指的是将原先的桶分裂成多个彼此不相交的，不可分割的最小子集；

步骤(2)、桶的合并，所述桶的合并指的是首先基于所有文件计算出新桶的平均大小，然后基于分裂后的桶集合，进行两两合并，直到合并后的新桶达到平均大小。