[发明专利]一种数据管理方法、装置和计算机可读存储介质

权利要求书

1.一种数据管理方法，其特征在于，包括：

S101：对接收到的数据按照预设规则进行排序，得到初始数据集；

S102：从所述初始数据集中读取预设长度的数据队列；

S103：确定出所述数据队列中的冗余数据，并将所述冗余数据从所述初始数据集中删除，以得到目标数据集；

S104：判断所述目标数据集中是否存在未经去重处理的数据；若是，则执行S105；若否，则结束操作；

S105：依据所述数据队列的数据重复总次数和数据总条数以及设置的队列长度上限值和队列长度下限值，确定出队列长度；并将所述队列长度作为预设长度，将所述目标数据集作为初始数据集，返回所述S102。

2.根据权利要求1所述的方法，其特征在于，在所述S105中包括：

计算所述数据队列中数据重复总次数和所述数据队列的数据总条数的比值；并根据如下公式，计算出目标队列长度W_i：

W_i＝Int(W_min+a(W_max-W_min))；

其中，W_min表示队列长度下限值，W_max表示队列长度上限值，a表示所述比值；Int表示取整运算。

3.根据权利要求1所述的方法，其特征在于，在所述S101中包括：

对接收到的数据按照时间顺序进行排序，得到初始数据集；或者是对接收到的数据按照读写器标识号进行排序，得到初始数据集。

4.根据权利要求3所述的方法，其特征在于，当所述S101为对接收到的数据按照时间顺序进行排序，得到初始数据集时，相应的，在当所述目标数据集中不存在未经去重处理的数据之后还包括：

对所述目标数据集中的数据按照读写器标识号进行排序，得到初始数据集，并进入所述S102。

5.根据权利要求1-4任意一项所述的方法，其特征在于，还包括：

统计从接收到所述数据到得到完成去重处理的目标数据集所花费的时间；

依据所述时间，调整所述队列长度上限值和所述队列长度下限值的取值。

6.一种数据管理装置，其特征在于，包括排序单元、读取单元、删除单元、判断单元、确定单元和结束单元；

所述排序单元，用于对接收到的数据按照预设规则进行排序，得到初始数据集；

所述读取单元，用于从所述初始数据集中读取预设长度的数据队列；

所述删除单元，用于确定出所述数据队列中的冗余数据，并将所述冗余数据从所述初始数据集中删除，以得到目标数据集；

所述判断单元，用于判断所述目标数据集中是否存在未经去重处理的数据；若是，则触发所述确定单元；若否，则触发所述结束单元；

所述确定单元，用于依据所述数据队列的数据重复总次数和数据总条数以及设置的队列长度上限值和队列长度下限值，确定出队列长度；并将所述队列长度作为预设长度，将所述目标数据集作为初始数据集，返回所述读取单元；

所述结束单元，用于结束操作。

7.根据权利要求6所述的装置，其特征在于，所述确定单元具体用于计算所述数据队列中数据重复总次数和所述数据队列的数据总条数的比值；并根据如下公式，计算出目标队列长度W_i：

W_i＝Int(W_min+a(W_max-W_min))；

其中，W_min表示队列长度下限值，W_max表示队列长度上限值，a表示所述比值；Int表示取整运算。

8.根据权利要求6或7所述的装置，其特征在于，还包括统计单元和调整单元；

所述统计单元，用于统计从接收到所述数据到得到完成去重处理的目标数据集所花费的时间；

所述调整单元，用于依据所述时间，调整所述队列长度上限值和所述队列长度下限值的取值。