[发明专利]一种数据处理方法、系统和计算机可读存储介质

说明书

本发明公开了一种数据处理方法，包括：接收数据并记录当前数据量n，将当前数据量n与预设的抽样数据量阈值m进行比较；在n小于等于m时，将接收的数据存入内存库中，内存库的数据容量长度为m；在n大于m时，根据当前数据量n进行分段随机校验，获得对应当前数据量n的随机校验结果c；判断当前数据量n的随机校验结果c是否小于等于m，并在判断结果为是时，用随机校验结果c在所述当前数据量n中的对应数据替换内存库中位于相同坐标c的数据；其中，m和n为正整数。本发明还公开了一种数据处理系统和计算机可读存储介质。通过实施本发明，能够实现满足大数据高并发和实时性要求的抽样分析任务。

技术领域

本发明涉及数据抽样技术领域，尤其涉及一种数据处理方法和系统。

背景技术

相关技术中的大数据抽样系统主要存在以下缺陷：

大多属于全抽样、伪随机抽样或伪实时抽样，没有实现真正意义上的海量数据实时抽样；

系统数据更新不及时、抽样不及时，导致数据分析延迟较大；

目前通用的随机范围算法，当随机数据范围较小时随机准确性较高，但当数据范围较大时，随机性(公平性)损失较大。

以上缺陷会导致数据抽样分析上的误差，影响数据分析的准确性和可用性。

发明内容

本发明提供一种数据处理方法和系统，以解决现有技术中存在的上述至少一个技术问题。

本发明一方面提供一种数据处理方法，包括：

接收数据并记录当前数据量n，将所述当前数据量n与预设的抽样数据量阈值m进行比较；

在n小于等于m时，将接收的数据存入内存库中，所述内存库的数据容量长度为m；

在n大于m时，根据当前数据量n进行分段随机校验，获得对应所述当前数据量n的随机校验结果c；

判断所述当前数据量n的随机校验结果c是否小于等于m，并在判断结果为是时，用所述随机校验结果c在所述当前数据量n中的对应数据替换所述内存库中位于相同坐标c的数据；

其中，m和n为正整数。

在一种可实施方式中，所述根据当前数据量n进行分段随机校验，获得对应所述当前数据量n的随机校验结果c，包括：

根据预设的分段阈值p以及所述当前数据量n中各数据的坐标，对所述当前数据量n进行分段，获得数据段的数量q，其中，每个数据段内的最大数据量为p；其中，p为正整数；q的取值为：当n/p的余数为零时q＝n/p，当n/p的余数不为零时q＝(n/p)+1；

对每个数据段内的数据分别进行随机校验，获得对应各个数据段的分段随机校验结果，并对所述各个数据段的分段随机校验结果进行叠加，将叠加结果作为所述当前数据量n的随机校验结果c。

在另一种可实施方式中，所述方法还包括：

在所述接收数据之前初始化配置库，并根据所述配置库初始化所述内存库。

在又一种可实施方式中，所述方法还包括：将接收的数据全部存入预设的全量数据库中。

在再一种可实施方式中，所述方法还包括：获得数据抽样请求时，从所述内存库中执行数据抽样处理。

本发明另一方面提供一种数据处理系统，包括：RTS单元、RNM单元和MDB单元，

所述RTS单元，用于接收数据并记录当前数据量n，将所述当前数据量n与预设的抽样数据量阈值m进行比较，并在n小于等于m时，将接收的数据存入所述MDB单元的内存库中，所述内存库的数据容量长度为m；在n大于m时，通知所述RNM单元；