[发明专利]一种关键词的识别方法和装置

权利要求书

1.一种关键词的识别方法，其特征在于，包括：

使用N元语法模型N-Gram从文本语料库中构造出候选关键词集合，所述候选关键词集合包括：多个候选关键词；

根据所述候选关键词的相邻字符在所述文本语料库中的出现概率计算所述候选关键词的信息熵，所述相邻字符包括：在所述文本语料库的上下文中与所述候选关键词的位置相邻的字符；

将所述候选关键词的信息熵作为文本特征训练机器学习模型，将所述机器学习模型输出的候选关键词加入预设类别的关键词库中。

2.根据权利要求1所述的方法，其特征在于，所述使用N元语法模型N-Gram从文本语料库中构造出候选关键词集合之后，所述方法还包括：

根据所述候选关键词包括的所有字符分别在所述文本语料库中的出现概率计算所述候选关键词的互信息。

3.根据权利要求2所述的方法，其特征在于，所述将所述候选关键词的信息熵作为文本特征训练机器学习模型，包括：

将所述候选关键词的信息熵以及所述候选关键词的互信息作为文本特征训练机器学习模型。

4.根据权利要求2所述的方法，其特征在于，所述根据所述候选关键词包括的所有字符分别在所述文本语料库中的出现概率计算所述候选关键词的互信息，包括：

通过如下方式计算所述候选关键词的互信息：

MI(X1,...,XN)=Σx1∈X1,...,xN∈XNP(x1,...,xN)logP(x1,...,xN)P(x1)...P(xN),]]>

其中，所述MI(X₁,...,X_N)表示所述候选关键词的互信息，所述P(x₁,...,x_N)表示候选关键词X₁,...,X_N内的字符x₁,...,x_N在所述文本语料库中的出现概率，所述P(x₁)表示所述候选关键词X₁,...,X_N内的字符x₁在所述文本语料库中的出现概率，所述P(x_N)表示所述候选关键词X₁,...,X_N内的字符x_N在所述文本语料库中的出现概率。