[发明专利]一种数据处理的方法和装置

权利要求书

1.一种数据处理方法，应用于数据处理系统，所述数据处理系统包含参考样本和第一样本集合，所述参考样本包括根据预置顺序排列的至少两个基本元素，所述第一样本集合包括至少一个样本片断，所述样本片断包括从所述参考样本中截取的至少一个所述基本元素，其特征在于，包括：

遍历所述第一样本集合中的全部所述样本片断，统计所述参考样本的每个所述基本元素包含于所述样本片断的第一统计量，确定所述第一统计量小于第一阈值的所述基本元素在所述参考样本中的位置为间隔位置；

将所述参考样本划分成至少两个子参考样本，所述划分的划分点包括不与其它所述间隔位置相邻的所述间隔位置以及相邻的至少两个所述间隔位置中的任一间隔位置；

遍历所述第一样本集合中的全部所述样本片断，统计所述参考样本的每个所述子参考样本包含所述样本片断的第二统计量；

当任意相邻的所述子参考样本的所述第二统计量之和小于第二阈值时，合并所述相邻的所述子参考样本。

2.根据权利要求1所述的方法，其特征在于，所述统计所述参考样本的每个所述基本元素包含于所述样本片断的第一统计量，包括：

遍历所述参考样本的全部所述基本元素，当所述基本元素包含于所述样本片断时，所述基本元素的所述第一统计量加1。

3.根据权利要求1或2所述的方法，其特征在于，所述将所述参考样本划分成至少两个子参考样本，包括：

遍历所述参考样本的全部所述基本元素，当所述基本元素的所述第一统计量小于所述第一阈值时，确定所述基本元素在所述参考样本中的位置为所述间隔位置；

根据所述间隔位置，确定所述划分点；

根据所述划分点，将所述参考样本划分成至少两个所述子参考样本。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述统计所述参考样本的每个所述子参考样本包含所述样本片断的第二统计量，包括：

遍历所述参考样本的全部所述子参考样本，当所述子参考样本包含所述样本片断的至少一个所述基本元素时，所述子参考样本的所述第二统计量加1。

5.根据权利要求1至4任一项所述的方法，其特征在于，在所述合并所述相邻的所述子参考样本之后，当所述子参考样本的数量大于第三阈值时，还包括：

增大所述第二阈值；

当任意相邻的所述子参考样本的所述第二统计量之和小于所述增大后的第二阈值时，合并所述相邻的所述子参考样本。

6.根据权利要求1至5任一项所述的方法，所述数据处理系统还包含第二样本集合，所述第二样本集合包括至少两个样本片断，其特征在于，在所述遍历所述第一样本集合中的全部所述样本片断，统计所述参考样本的每个所述基本元素包含于所述样本片断的第一统计量之前，还包括：

将所述第二样本集合分割为至少两个所述第一样本集合。

7.根据权利要求6所述的方法，其特征在于，所述将所述第二样本集合分割为至少两个所述第一样本集合，包括：

确定所述分割的分割点，所述分割点包括从按照所述预置顺序排列的所述参考样本的全部所述基本元素中等间隔选择的预置数目的所述基本元素在所述参考样本中的位置；

遍历所述第二样本集合中的全部所述样本片断，根据所述样本片断中根据所述预置顺序排列的第一个所述基本元素在所述参考样本中的位置和所述分割点的位置，确定所述样本片断所在的所述第一样本集合。

8.根据权利要求6所述的方法，其特征在于，所述将所述第二样本集合分割为至少两个所述第一样本集合，包括：

获得第三样本集合，所述第三样本集合为所述第二样本集合的子集合，所述第三样本集合包括至少两个所述样本片断；

遍历所述第三样本集合中的全部所述样本片断，确定所述样本片断中根据所述预置顺序排列的第一个所述基本元素在所述参考样本中的位置；

确定所述分割的分割点，所述分割点包括按照所述预置顺序从所述确定的位置中等间隔选择的预置数目的位置；

遍历所述第二样本集合中的全部所述样本片断，根据所述样本片断中根据所述预置顺序排列的第一个所述基本元素在所述参考样本中的位置和所述分割点的位置，确定所述样本片断所在的所述第一样本集合。