[发明专利]数据去重方法以及任意起始时间查询统计去重数据的方法

说明书

本发明公开了一种数据去重方法以及任意起始时间查询统计去重数据的方法，所述数据去重方法包括以下步骤：跟踪每个事件；对于每个到来的事件s＝(t,o)，其中，t为事件发生时间，o为参与事件的对象，从散列表中查询对象o之前参与的最后事件的时间t0；其中：若散列表中没有对象o，则将所述对象o添加到散列表，相应值为t，同时将t和对象o添加到顺序统计树中；若散列表中存在对象o，根据所述对象o之前参与的最后事件的时间t0在顺序统计树中找到相应节点并删除，并按t重新添加值为对象o的节点，同时在散列表中更新对象o对应的值为t。上述数据去重方法以及任意起始时间查询统计去重数据的方法，与现有技术相比，极大降低数据统计复杂度和时间。

技术领域

本发明涉及一种数据去重方法以及任意起始时间查询统计去重数据的方法。

背景技术

传统的数据统计通常基于离线数据，对实时性要求不高。随着数据中台、数字大屏等 技术的兴起，统计的实时性得到更多关注。基于流式计算可很好地实现计数、求和及加权 求和等常规统计功能。如果涉及去重，则可借助散列表等容器进行统计。在这种情况下，去重是从散列表初始化开始计算的，并不能针对其他起始时间。以电子商务平台为例，我们可以利用前面提到的散列表来统计来访顾客数量。但这个数量是从散列表初始化开始计算的。如果我们要查询从某个任意起始时间至查询时刻的来访顾客数量，则需要在该起始时间重新初始化散列表，或者利用数据库中的去重统计功能。显然，在海量数据时，这两 种方式都无法满足实时性的要求，并且对于不同的起始时间，无法共享统计数据。

发明内容

针对上述现有技术的不足，本发明所要解决的技术问题是：提供一种能够实时地、降 低时间复杂度、能够提供不同起始时间查询统计的数据去重方法以及任意起始时间查询统 计去重数据的方法。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种数据去重方法，包括 以下步骤：

跟踪每个事件；

对于每个到来的事件s＝(t,o)，其中，t为事件发生时间，o为参与事件的对象，从散 列表中查询对象o之前参与的最后事件的时间t0；其中：

若散列表中没有对象o，则将所述对象o添加到散列表，相应值为t，同时将t和对象o添加到顺序统计树中；

若散列表中存在对象o，根据所述对象o之前参与的最后事件的时间t0在顺序统计树 中找到相应节点并删除，并按t重新添加值为对象o的节点，同时在散列表中更新对象o对应的值为t。

为解决上述技术问题，本发明采用的另一个技术方案是：一种满足任意起始时间查询 统计去重数据的方法，对权利要求1去重后的数据进行查询统计，包括：

获取需要查询的时间τ，其中，τ小于当前时间；

从所述顺序统计树中查询出小于该时间的节点数量利用顺 序统计树的总节点数量N减去该节点数量n，即得到从τ至查询时刻出现的对象数量，其中， t表示事件发生时间，s表示事件，o表示参与事件的对象。

为解决上述技术问题，本发明采用的又一个技术方案是：提供一种满足任意起始时间 查询统计去重数据的方法，对权利要求1去重后的数据进行查询统计，包括：

获取需要查询的时间段τ1～τ2，其中，τ1表示查询时间段的起始时间，τ2表示查询时间段的结束时间，τ1<τ2；

从所述顺序统计树中分别查询出小于τ1、τ2的节点数量n2-n1即为从τ1至τ2的时间段出现过，但在τ2之后不再 出现的对象的数量。

上述数据去重方法以及任意起始时间查询统计去重数据的方法，与现有技术相比，极 大降低数据统计复杂度和时间，将该类问题的时间复杂度从现有通常的O(NlogN)显著降 低到O(logN)，使实时去重统计能够突破起始时间限制，更好地满足实际需要。

附图说明