[发明专利]一种基于扁平化算法的文本搜索方法

说明书

一种基于扁平化算法的文本搜索方法，其特征在于：该方法包括以下步骤：1)获取文本摘要，形成文档集；2)对文档集中的文档进行断句，获得句子集合；3)对句子集合进行分词，获取词集合；4)计算词集合中任意两个词之间的共现次数；5)以词为节点，共现次数为边，构建无向加权图；6)根据用户提交的关键词集合，确定任意一组关键词在无向加权图中的关联关系；7)以扁平化算法计算并还原词与词之间的路径，以图片的形式呈现关联关系。本发明采用扁平化算法计算并还原路径，以图片的方式呈现关联关系，极大提高了搜索的召回率与准确率。

技术领域

本发明涉及信息检索领域，具体涉及一种基于扁平化算法的文本搜索方法。

背景技术

当前Web检索主要采用PageRank、Hilltop算法，利用外链进行检索。纯文本检索方面则采用BM25公式，主要在计算查询词与某个文本的相关的功能性。但当前的搜索引擎在召回率和准确率上约为48％，未有超过50％的算法。

本申请采用的文本搜索方法基于扁平化算法，借鉴基本的共现关系的频次、权重，图片搜索方法深度优先、广度优先以及剪枝的原理，实现在毫秒级时间内准确查找到若干词之间的关联关系。

发明内容

针对上述现有技术中的不足，本发明的目的在于提供一种基于扁平化算法的文本搜索方法，该方法采用扁平化算法计算并还原路径，以图片的方式呈现关联关系，极大提高了搜索的召回率与准确率。

根据本发明的实施方案，提供一种基于扁平化算法的文本搜索方法。

一种基于扁平化算法的文本搜索方法，该方法包括以下步骤：

1)获取文本摘要，形成文档集D；

2)对文档集D中的文档进行断句，d_i(d_i∈D)，获得句子集合

3)对句子集合进行分词，获取词集合

4)计算词集合中任意两个词之间的共现次数f_c；

5)以词W_k为节点，共现次数f_c为边，构建无向加权图；

6)根据用户提交的关键词集合K＝{k_i|i＝1,2,3...n}，确定任意一组关键词在无向加权图中的关联关系；

7)以扁平化算法计算并还原词与词之间的路径，以图片的形式呈现关联关系。

在本发明中，步骤2)中所述对文档集D中的文档进行断句的具体操作为：

以句号、分号、感叹号、问号和换行符等符号作为分隔符，将文本(即，字符串)分隔成多个子串，即句子。

在本发明中，步骤3)中所述分词的具体规则为：

采用最短路分词算法，设需要分词的字符串为a₁，a₂，a₃...，a_s；

1)以字为顶点建立字图；

2)从字符串中匹配出词典中存在的词，在字图中搭建新的边(如图5所示)。

3)计算首个字符至结尾字符之间的最短路径。该路径上的顶点即为分词的结果。

在本发明中，步骤4)中所述计算词集合中任意两个词之间的共现次数具体为：将词集合中任意两个词分组，计算任意一组词在句子集合中的所有句子中共同出现的次数。