[发明专利]一种在线流数据近似处理方法及装置

说明书

本发明公开了一种在线流数据近似处理方法，包括以下步骤：对流数据进行数据学习，获得流数据基于二叉树的数据分布情况，根据数据分布情况，对流数据进行采样，得到采样数据，对采样数据进行计算，获得流数据的近似处理结果。对流数据基于二叉树结构进行数据学习，确定流数据的数据分布情况，根据数据分布情况对流数据进行采样，得到采样数据，根据采样数据计算流数据的近似处理结果。基于流数据进行学习所得到的数据分布情况进行采样，使得采样数据符合流数据的数据分布情况，对样本数据进行计算得到的流数据的近似处理结果同样符合流数据的数据分布情况，提高了近似处理的准确性。本发明还公开了一种在线流数据近似处理装置，具有相应技术效果。

技术领域

本发明涉及流数据处理技术领域，特别是涉及一种在线流数据近似处理方法及装置。

背景技术

随着科学技术的发展，大数据分析尤其是实时的流数据的处理，已被广泛关注。在流数据环境中，数据持续到达且需要在一定响应时间内完成处理，数据量是提前未知的。

目前，使用分布式流数据处理模型(DSPS)对流数据进行处理，可以达到较快的处理速度，但这种模型在数据以指数级增长的流数据处理场景中并不适用。所以，在这种场景中为提升处理速度，多是使用近似处理方法。最常用的近似处理方法是对流数据进行采样，得到采样数据，将对采样数据的计算结果作为流数据的近似结果。

现有的近似处理方法中的采样，是基于历史信息来预测的流数据的数据分布情况进行的。在实际应用中，流数据的数据分布往往是多变的，如果通过预测得到的流数据的数据分布情况与流数据的实际的数据分布情况存在偏差，则将导致采样数据的数据分布情况与流数据的实际的数据分布情况也存在偏差，进而导致流数据的近似结果偏差较大，使得流数据的近似结果准确性较低。

发明内容

本发明的目的是提供一种在线流数据近似处理方法及装置，以提高近似处理的准确性。

为解决上述技术问题，本发明提供如下技术方案：

一种在线流数据近似处理方法，包括：

对流数据进行数据学习，获得所述流数据基于二叉树的数据分布情况；

根据所述数据分布情况，对所述流数据进行采样，得到采样数据；

对所述采样数据进行计算，获得所述流数据的近似处理结果。

优选地，所述根据所述数据分布情况，对所述流数据进行采样，得到采样数据，包括：

根据所述数据分布情况和所述流数据的当前流速，对所述流数据进行采样，得到采样数据。

优选地，所述根据所述数据分布情况和所述流数据的当前流速，对所述流数据进行采样，包括：

如果所述流数据的当前流速小于预设第一流速阈值，则分别使用第一随机采样算法和与所述数据分布情况对应的第二随机采样算法对所述流数据进行采样。

优选地，所述根据所述数据分布情况和所述流数据的当前流速，对所述流数据进行采样，包括：

如果所述流数据的当前流速大于预设第二流速阈值，则并行使用与所述数据分布情况对应的第二随机采样算法对所述流数据进行采样。

优选地，通过以下步骤使用与所述数据分布情况对应的第二随机采样算法对所述流数据进行采样：

根据所述数据分布情况，确定所述二叉树的底层中每个子层的权值信息；

根据每个子层的权值信息，确定每个子层可容纳的子样本数量；

针对所述流数据的每个数据项，确定该数据项对应的目标子层；

如果所述目标子层中已存在的子样本数量小于所述目标子层对应的可容纳的子样本数量，则将该数据项加入到所述目标子层中；