[发明专利]数据清理方法、数据清理装置、存储介质及电子设备

说明书

本发明公开一种数据清理方法、数据清理装置、存储介质及电子设备。该数据清理方法包括：定期从每个项目的原始数据中识别出该项目的待清理数据；接收清理指令；在当前时间到达清理开启时间时，统计出所有项目的原始数据量以及清理范围内的项目的待清理数据量；在清理开启时间到清理结束时间的时期内，每间隔一个核减周期对清理范围内的项目的原始数据量进行核减，每次核减后将所有项目的原始数据量进行重新排行。该数据清理方法中基于待清理数据量对原始数据量进行核减来使得排行榜更加精准，不需要从底层数据库中删除待清理数据，保证了数据整体的稳定性。

技术领域

本发明总体来说涉及一种数据清理方法、数据清理装置、存储介质及电子设备。

背景技术

在网站的运营过程当中，每分每秒都会产生各种各样的明细数据。以电商网站为例，常见的明细数据包括某一品牌的销售额、某一店铺的销售量等等；将同一类型的数据进行统计并按照一定规则由多到少进行即时排名，便产生了实时统计的数据排行榜，如将同属于一个类目下的各品牌的销售量按照当天销售的多少进行实时排名，可称之为某类目下的品牌销量当日实时数据排行榜；一个实时统计的数据排行榜，可通过计算机软件编译以下几个部分进行实现，分别为：底层数据库、数据获取模块、数据统计处理模块、排行实时计算模块、前端展现模块；

实时统计的数据排行榜对数据的准确性和实时性要求高，但电商场景的数据统计口径复杂且涉及刷单等人为因素的问题，为了确保数据准确和持续实时高效，所以需要在固定的关键时间节点，对无效的数据进行清理。通常的做法，采用从底层数据库中直接分离出无效的数据，然后对重新获取的正确数据的进行统计处理，刷新榜单排名。

现有技术的缺陷：

①现有排行榜的数据清理技术，会造成前端展示的排名或排名对应的数值突然变化，造成查看榜单的用户对排行榜的数据准确性进行质疑；

②现有的排行榜数据清理技术，直接从数据库做删除处理，会对整体数据的稳定性造成一定的影响；

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

在发明内容部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

为解决现有技术中直接从数据库做删除处理造成整体数据稳定性差的问题，本发明提供一种统计排行榜的数据清理方法，其包括：

定期从每个项目的原始数据中识别出该项目的待清理数据；

接收清理指令，所述清理指令包括清理开启时间、清理结束时间和清理范围；

在当前时间到达清理开启时间时，统计出所有项目的原始数据量以及清理范围内的项目的待清理数据量；

在清理开启时间到清理结束时间的时期内，每间隔一个核减周期对清理范围内的项目的原始数据量进行核减，每次核减后将所有项目的原始数据量进行重新排行，其中，一个项目在所述时期内被减掉的原始数据量等于该项目的待清理数据量。

根据本发明的一个实施例，在清理开启时间到清理结束时间的时期内，每间隔一个核减周期对清理范围内的项目的原始数据量进行核减，每次核减后将所有项目的原始数据量进行重新排行，其中，一个项目在所述时期内被减掉的原始数据量等于该项目的待清理数据量，包括以下步骤：

根据清理开启时间、清理结束时间以及核减周期计算出每次核减的时间点；

根据每个时间点的时刻、清理开启时间以及待清理数据量计算出清理范围的每个项目的原始数据量在每个时间点的核减量；