[发明专利]一种数据清洗方法、服务器及计算机可读存储介质

说明书

本发明公开了一种数据清洗方法，所述方法包括：接收数据清洗条件，其中，所述数据清洗条件包括时间区间、事件信息和事件条件；将所述时间区间划分为至少两个时间子区间；获取每个时间子区间内，所述事件信息的预清洗数据；统计所述至少两个时间子区间内，所述事件信息的预清洗数据；根据所述事件条件对所述统计的预清洗数据进行筛选，得到数据清洗结果。本发明还公开一种服务器及计算机可读存储介质。通过上述方案，针对每个时间子区间分别获取事件信息的预清洗数据，对于已经存在所述事件信息的预清洗数据的时间子区间，不需要进行重复清洗，从而能够有效减小数据清洗的任务量，减小数据清洗的耗时，避免出现因数据清洗造成服务器卡顿的情况。

技术领域

本发明涉及通信技术领域，尤其涉及一种数据清洗方法、服务器及计算机可读存储介质。

背景技术

随着电子技术的不断发展，移动终端(例如智能手机、平板电脑等)的功能越来越强大，在人们的工作及生活中扮演着不可或缺的角色。移动终端通过安装各种各样的应用程序实现不同的功能，目前，许多应用程序都是通过访问应用程序对应的服务器实现其功能，服务器中存储有所述应用程序的相关信息。当应用程序的开发人员需要用户使用应用程序的一些习惯或记录时，可以从服务器中获取相应的信息。

服务器中存储的用户数据包括属性表(tb_profile)和事件表(tb_events)，属性表中，新的属性数据会覆盖历史属性数据(例如性别、使用的移动终端型号等)，因此属性表仅包括用户最新的属性信息，属性表中的每一条记录表示一位用户及其属性信息。而事件表包括的是用户的行为数据(例如应用程序的每一次登录、通过应用程序的每一次分享等)，事件表中的每一条记录表示一位用户在某一时刻所产生的行为，不存在新旧数据覆盖的现象。即使应用程序的用户量没有增长，随着时间的增长，数据记录的时间范围增大，事件表的数据量也会不断增加。

当应用程序的开发人员需要清洗相同事件的不同时间区间的数据时，每一次均需要遍历事件表中需要清洗的时间区间内的所有数据。然而，当时间区间较大时，清洗数据的操作会耗费大量的时间，甚至会造成服务器卡顿。

可见，现有技术中的数据清洗方式耗时较长，容易造成服务器卡顿。

发明内容

有鉴于此，本发明提出一种数据清洗方法、服务器及计算机可读存储介质，以解决上述技术问题。

首先，为实现上述目的，本发明提出一种数据清洗方法，应用于服务器，所述方法包括：

接收数据清洗条件，其中，所述数据清洗条件包括时间区间、事件信息和事件条件；

将所述时间区间划分为至少两个时间子区间；

获取每个时间子区间内，所述事件信息的预清洗数据；

统计所述至少两个时间子区间内，所述事件信息的预清洗数据；

根据所述事件条件对所述统计的预清洗数据进行筛选，得到数据清洗结果。

可选地，所述将所述时间区间划分为至少两个时间子区间之前，所述方法还包括：

确定所述时间区间的划分粒度；

所述将所述时间区间划分为至少两个时间子区间，包括：

根据所述划分粒度将所述时间区间划分为至少两个时间子区间。

可选地，所述获取每个时间子区间内，所述事件信息的预清洗数据，包括：

在时间子区间内，根据所述事件信息对事件表进行预清洗，得到所述时间子区间内所述事件信息的预清洗数据。

可选地，所述在时间子区间内，根据所述事件信息对事件表进行预清洗，得到所述时间子区间内所述事件信息的预清洗数据之前，所述方法还包括：