[发明专利]数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

接收数据流，获取代表所述数据流中数据的特征值；

根据设置的索引表查找与每个所述特征值对应的第一存储地址；所述索引表中存储有特征值与所述特征值所代表的数据所在存储地址之间的对应关系；

根据设置的策略从所述第一存储地址中获取n个的第二存储地址，n大于等于1；

当所述第二存储地址的数量超过设置的第一阈值时，将接收到的所述数据流中的数据直接看做新数据存储到存储空间中。

2.根据权利要求1所述的方法，其特征在于，还包括：

当所述第二存储地址的数量没有超过设置的第一阈值时，将所述数据流中数据与所述第二存储地址指向的存储空间中的数据进行比对，查找重复数据。

3.根据权利要求2所述的方法，其特征在于：

所述接收数据流之后，还包括：对所述数据流中数据进行分段获得m个数据分段，其中，m为大于1的整数；

所述将所述数据流中数据与n个所述第二存储地址指向的存储空间中的数据进行比对，查找重复数据，包括：

所述将所述数据流中数据与n个所述第二存储地址指向的存储空间中的数据进行比对，针对任一个所述数据分段，如果所述数据分段中有数据存在于S个不同的所述第二存储地址指向的存储空间中，且S大小超过了设置的第二阈值，则直接将所述数据分段中的所有数据作为新数据存储到存储空间中；其中，S为大于等于1小于n的整数。

4.根据权利要求3所述的方法，其特征在于，所述将所述数据流中数据与所述第二存储地址指向的存储空间中的数据进行比对，查找重复数据，还包括：

针对任一个所述数据分段，如果所述数据分段中有数据存在于S个不同的所述第二存储地址指向的存储空间中，但S大小没有超过设置的第二阈值，则将所述数据分段中没有在n个所述第二存储地址指向的存储空间中查找到的数据看作新数据存储到存储空间中。

5.根据权利要求1至4任一所述的方法，其特征在于，其中，所述将接收到的所述数据流中的数据直接看做新数据存储到存储空间中，包括：

将接收到的所述数据流中的部分或全部数据直接看做新数据存储到存储空间中。

6.根据权利要求1至4任一所述的方法，其特征在于，所述新数据存储到存储空间中，包括：

将新数据存储在缓存的中；选择用于写入缓存中数据的目标存储地址，当满足预设的写入条件时，将所述缓存中的数据写入选择的所述目标存储地址所指向的存储空间中，其中，所述被写入的数据大小和所述目标存储地址指向的存储空间大小相同。

7.根据权利要求6任一所述的方法，其特征在于：

还包括：在将缓存中的数据写入选择的所述目标存储地址指向的存储空间中时，记录被写入数据的存储空间的数据写入时间；

所述根据设置的选择策略从所述第一存储地址中获取相似的第二存储地址，包括：

统计所述第一存储地址的命中次数，对所有命中的所述第一存储地址进行筛选，所述筛选包括：对命中次数相同的所述第一存储地址，根据记录的所述第一存储地址指向的存储空间中写入数据的时间，选取存入数据时间最晚的所述第一存储地址作为用于选取相似的第二存储地址的对象；根据设置的选择策略从筛选后的所述第一存储地址中选取相似的第二存储地址。

8.根据权利要求1-7任一所述的方法，其特征在于，还包括：

将代表所述新数据的特征值与所述新数据的存储地址的对应关系插入到所述索引表中。

9.一种数据处理装置，其特征在于，包括：

接收单元，用于接收数据流；

特征值获取单元，用于获取代表所述数据流中的数据的特征值；

第一地址获取单元，用于根据设置的索引表查找与每个所述特征值对应的第一存储地址；所述索引表中的存储有特征值与所述特征值所代表的数据所在存储地址之间的对应关系；

第二地址获取单元，用于根据设置的策略从所述第一存储地址中获取n个第二存储地址，n大于等于1；

第一判断单元，用于当判断所述第二存储地址的数量超过设置的第一阈值，则将接收的所述数据流中数据直接看作新数据；

存储单元，将所述新数据存储到存储空间中。