[发明专利]一种搜索文本折叠处理系统及其方法

权利要求书

1.一种搜索文本折叠处理系统，其特征在于，包括指纹创建模块(1)、数据库(2)和折叠模块(3)，所述指纹创建模块(1)的输入端连接至本地存储端(5)，用于创建对应于本地存储端(5)各文本的的文档指纹；

所述指纹创建模块(1)的输出端与数据库(2)连接，以将文档指纹及对应的文本存储于数据库(2)中；

所述折叠模块(3)的输入端与数据库(2)连接，所述数据库(2)与搜索引擎端(4)连接，所述数据库(2)根据搜索引擎端(4)的搜索指令，输出相应的搜索文本及对应的文档指纹给折叠模块(3)；

所述折叠模块(3)的输出端连接至搜索引擎端(4)，所述折叠模块(3)用于根据文档指纹，对搜索文本进行折叠处理，得到折叠文本数据，并将折叠文本数据传输给搜索引擎端(4)，以展示于搜索页面上。

2.根据权利要求1所述的一种搜索文本折叠处理系统，其特征在于，所述折叠模块(3)包括依次连接的相似度计算单元(31)以及折叠排序单元(32)，所述相似度计算单元(31)与数据库(2)连接，用于根据文档指纹，计算得到搜索文本之间的相似度，以构建出相似度矩阵；

所述折叠排序单元(32)与搜索引擎端(4)连接，用于结合相似度矩阵以及预设的折叠阈值，按照搜索文本的传入顺序，将满足折叠条件的搜索文本进行折叠，得到折叠文本数据，并将折叠文本数据传输给搜索引擎端(4)进行展示。

3.一种应用权利要求1所述搜索文本折叠系统的搜索文本折叠方法，其特征在于，包括以下步骤：

S1、指纹创建模块从本地存储端获取所有已存储文本，分别对各文本依次进行分词、哈希计算、加权、合并、降维以及位移计算处理，得到对应于各文本的文档指纹；

S2、指纹创建模块将文档指纹及对应的文本存储于数据库中；

S3、根据用户输入的搜索条件，搜索引擎端完成相应搜索操作，从数据库得到多个搜索文本及对应的文档指纹；

S4、折叠模块从数据库中按顺序获取所有搜索文本及对应的文档指纹，通过计算两两搜索文本之间的相似度，结合预设的折叠阈值，按照搜索文本的传入顺序，将满足折叠条件的搜索文本进行折叠，得到折叠文本数据，并将折叠文本数据传输给搜索引擎端；

S5、搜索引擎端将接收的折叠文本数据展示于搜索页面。

4.根据权利要求3所述的一种搜索文本折叠处理方法，其特征在于，所述步骤S1中指纹创建模块进行分词处理的具体过程为：对文本进行分词，得到有效的特征向量，并给每个特征向量设置对应的权值。

5.根据权利要求4所述的一种搜索文本折叠处理方法，其特征在于，所述步骤S1中指纹创建模块进行哈希计算处理的具体过程为：通过哈希函数计算各个特征向量的哈希值，其中，哈希值具体为二进制数0、1组成的n-bit签名。

6.根据权利要求5所述的一种搜索文本折叠处理方法，其特征在于，所述步骤S1中指纹创建模块进行加权处理的具体过程为：在哈希值的基础上，结合特征向量的权值，计算得到各特征向量的加权结果，其中，若哈希值的哈希元素为1，则将特征向量的权值与1正相乘；若哈希值的哈希元素为0，则将特征向量的权值与1负相乘，以此得到各特征向量对应的加权结果。

7.根据权利要求6所述的一种搜索文本折叠处理方法，其特征在于，所述步骤S1中指纹创建模块进行降维处理的具体过程为：将所有特征向量的加权结果累加，降维得到一个64位的累加结果。

8.根据权利要求7所述的一种搜索文本折叠处理方法，其特征在于，所述步骤S1中指纹创建模块进行位移计算处理的具体过程为：按照每16位进行一次位移计算，若大于或等于0，则向右位移一位加1；若小于0，则向右位移一位不加1，以此得到对应于搜索文本的指纹整数值，即为文档指纹。