[发明专利]一种句子信息指纹表示方法、句子查重方法及系统

权利要求书

1.一种句子信息指纹表示方法，其特征在于，包括以下步骤：

获取待测句子信息；

计算待测句子信息中的字数；

根据字数在预置的字数表中进行匹配，得到字数对应的截取数量；

根据截取数量按顺序提取待测句子信息中对应截取数量的字；

将提取的待测句子信息中对应截取数量的字分别进行UTF-8编码，生成各个字对应的编码信息；

将各个字对应的编码信息按照预设的参数进行求余，生成各个编码的余数；

将各个编码余数按照顺序进行排序，生成句子的信息指纹。

2.根据权利要求1所述的句子信息指纹表示方法，其特征在于，所述将提取的待测句子信息中对应截取数量的字分别进行UTF-8编码，生成各个字对应的编码信息的步骤包括以下步骤：

A1：判断待测句子信息中对应数量的字是否为英文单词，若是，则执行步骤A2；若否，则执行步骤A4；

A2：将字中的各个字母分别进行UTF-8编码，生成各个字母对应的编码信息；

A3：将各个字母对应的编码信息进行求和计算，生成总的编码信息作为该字对应的编码信息；

A4：将待测句子信息中对应数量的字分别进行UTF-8编码，生成各个字对应的编码信息。

3.一种句子查重方法，其特征在于，包括以下步骤：

获取多条句子；

将各个句子按照如权利要求1-2中任意一项的句子信息指纹表示方法进行信息指纹表示，生成各个句子的信息指纹；

将各个句子的信息指纹分别进行哈希散列，生成各个句子的散列值；

将各个句子的散列值分别进行对比，生成对比结果；

根据对比结果对多条句子进行筛选，得到重复句子。

4.根据权利要求3所述的句子查重方法，其特征在于，还包括以下步骤：

将各个句子的信息指纹分别按照第一哈希值进行哈希散列，生成各个句子的散列值；

将各个句子的散列值分别进行对比，生成第一对比结果；

根据第一对比结果对多条句子进行筛选，得到待选重复句子；

将待选重复句子的信息指纹分别按照第二哈希值进行哈希散列，生成各个待选重复句子的散列值；

将各个待选重复句子的散列值分别进行对比，生成第二对比结果；

根据第二对比结果对待选重复句子进行筛选，得到重复句子。

5.根据权利要求3所述的句子查重方法，其特征在于，所述将各个句子的散列值分别进行对比，生成对比结果的步骤包括以下步骤：

将各个句子的散列值中各个字的散列值分别进行对比，得到各个字的散列值的对比结果；

根据各个字的散列值的对比结果统计出对比结果为相同的字的散列值的个数；

将所述个数与预置的个数阀值进行对比，得到对比结果。

6.一种句子信息指纹表示系统，其特征在于，包括：

信息获取模块，用于获取待测句子信息；

字数计算模块，用于计算待测句子信息中的字数；

匹配模块，用于根据字数在预置的字数表中进行匹配，得到字数对应的截取数量；

字截取模块，用于根据截取数量按顺序提取待测句子信息中对应截取数量的字；

编码模块，用于将提取的待测句子信息中对应截取数量的字分别进行UTF-8编码，生成各个字对应的编码信息；

求余计算模块，用于将各个字对应的编码信息按照预设的参数进行求余，生成各个编码的余数；

信息指纹生成模块，用于将各个编码余数按照顺序进行排序，生成句子的信息指纹。