[发明专利]一种基于共现词频的核心搜索词组确定方法

权利要求书

1.一种基于共现词频的核心搜索词组确定方法，其特征在于，包括如下步骤：

对用户输入的搜索文本进行分词，得到M+1个目标词语；

查找词频文件，将词频最小的1个目标词语确定为核心词；

对剩余的M个目标词语按照N由小到大的顺序依次遍历：

从剩余的M个目标词语中选择N个目标词语作为本次遍历预选词组，确定核心词与本次遍历预选词组在共现词频文件中的共现词频；

在确定所述共现词频大于0、所述共现词频相比核心词的词频的减小比例大于预设减少经验值、且所述共现词频小于预设结果共现数值的情况下，确定本次遍历预选词组为预选核心词组；其中，M不小于N，且M和N均为正整数；

将所述核心词与所述预选核心词组组成降维后的核心搜索词组。

2.根据权利要求1所述的基于共现词频的核心搜索词组确定方法，其特征在于，所述查找词频文件，将词频最小的1个目标词语确定为核心词的过程中，包括:

查找词频文件，将目标词语按照词频由小到大依次排序，得到目标词语集合；

将目标词语集合中第一个目标词语确定为核心词。

3.根据权利要求1所述的基于共现词频的核心搜索词组确定方法，其特征在于，所述在确定所述共现词频大于0、所述共现词频相比核心词的词频的减小比例大于预设减少经验值、且所述共现词频小于预设结果共现数值的情况下，确定本次遍历预选词组为预选核心词组的过程中，包括：

在确定所述共现词频大于0、所述共现词频相比核心词的词频的减小比例大于预设减少经验值、且所述共现词频小于预设结果共现数值的情况下，将本次遍历预选词组加入预选词组集合；

在遍历完剩余的M个目标词语后、且预选词组集合中存在预选词组的情况下，将预选词组集合中与核心词的共现频率最小的预选词组确定为预选核心词组。

4.根据权利要求1所述的基于共现词频的核心搜索词组确定方法，其特征在于：所述对剩余的M个目标词语按照N由小到大的顺序依次遍历的过程中，N的初始取值为1。

5.根据权利要求1所述的基于共现词频的核心搜索词组确定方法，其特征在于，在所述对用户输入的搜索文本进行分词，得到M+1个目标词语之前，还包括如下步骤：

获取预先统计好的词频文件和共现词频文件；

将词频文件和共现词频文件加载到服务器的内存中。

6.根据权利要求5所述的基于共现词频的核心搜索词组确定方法，其特征在于，所述词频文件的建立过程包括如下步骤：

获取垂直搜索领域的数据库中全部文本；

将文本进行分词，并去除停用词，得到多个分词词语；

统计各个分词词语的词频，建立词频文件。

7.根据权利要求6所述的基于共现词频的核心搜索词组确定方法，其特征在于，所述共现词频文件的建立过程包括如下步骤：

对词频大于最大词频阈值和词频小于最小词频阈值的分词词语进行过滤；

统计各个分词词语之间的共现词频，建立共现词频文件。

8.一种基于共现词频的核心搜索词组确定系统，应用上述权利要求1-7中任一项所述的基于共现词频的核心搜索词组确定方法，其特征在于，包括：

搜索文本获取模块，用于获取用户输入的搜索文本。

9.目标词语获取模块，用于对搜索文本进行分词，得到多个目标词语。

10.词频获取模块，用于查找词频文件，得到各个目标词语对应的词频。

11.核心词确定模块，用于将词频最小的目标词语确定为核心词。