[发明专利]一种提取领域关键词的方法及装置

说明书

技术领域

本发明实施例涉及互联网技术领域，尤其涉及一种提取领域关键词的方法及装置。

背景技术

目前，在一些应用场景下，当用户通过终端设备上的浏览器输入检索词进行资讯检索后，相应的资讯网站服务器会先根据预先设定好的领域关键词，识别出该检索词所属的领域，然后将该领域内的海量的文本描述内容发送至终端设备，以便为用户提供资讯服务。所谓领域关键词，指的是一个领域的多个文本中所共现的、最能够代表该领域的、且与其它领域的区分度很高的关键词。领域关键词在文本自动分类、聚类、资源智能服务等方面有着广泛的应用，因此如何能够从大量的领域文本中合理的提取领域关键词，对后续的领域识别和检索至关重要。

在现有的技术中，基于TF-IDF（Term Frequency–Inverse Document Frequency，词频–逆向文件频率）的领域关键词提取算法，采用TF-IDF评估领域文本中每个分词对该领域的重要程度，再通过一定的阈值过滤分词，从而筛选出领域关键词；基于主题模型的领域关键词提取算法，则是认为每个领域文本拥有一个在多个潜在主题上的分布，进而每个主题拥有一个在所有分词上的分布，根据所述分布来提取领域关键词。

然而，由于TF-IDF本身是一种试图抑制噪音的简单加权，并不能有效地反映关键词的重要程度和关键词的分布情况，所以在很多场景中TF-IDF的精度并不是很高，而且很多场景下要给出效果较好的IDF本身就是一件较困难的事情；基于主题模型的领域关键词提取算法只能抽取出主题层面的关键词，却无法有效提取出每个领域文本中有代表性、有区分度的关键词。

发明内容

本发明实施例提供一种提取领域关键词的方法及装置，以能够准确有效的提取各领域内有代表性、区分度的关键词。

第一方面，本发明实施例提供了一种提取领域关键词的方法，该方法包括：

生成由各领域描述文本分词的词频组成的领域词频矩阵；

按照设定算法，将所述领域词频矩阵解耦为低秩的背景词词频矩阵和稀疏的关键词词频矩阵的加和；

根据解耦得到的关键词词频矩阵，从所述各领域描述文本分词中提取相应领域的关键词。

第二方面，本发明实施例还提供了一种提取领域关键词的装置，该装置包括：

领域词频矩阵生成模块，用于生成由各领域描述文本分词的词频组成的领域词频矩阵；

领域词频矩阵解耦模块，用于按照设定算法，将所述领域词频矩阵解耦为低秩的背景词词频矩阵和稀疏的关键词词频矩阵的加和；

领域关键词提取模块，用于根据解耦得到的关键词词频矩阵，从所述各领域描述文本分词中提取相应领域的关键词。

本发明实施例提出的技术方案通过将领域词频矩阵解耦为描述各个领域中出现频次分布相似的低秩的背景词词频矩阵和让各领域的词频向量尽量相关的稀疏的关键词词频矩阵，根据所述背景词词频矩阵来提取各领域的关键词，能够基于各领域文本中的分词在所有领域文本中出现频次的分布来进行领域关键词提取，可以准确有效的从各领域文本中提取出相应领域内有代表性、区分度的关键词。

附图说明

图1是本发明实施例一提供的一种提取领域关键词的方法的流程示意图；

图2是本发明实施例二提供的一种提取领域关键词的方法的流程示意图；

图3是本发明实施例三提供的一种提取领域关键词的装置的结构示意图；

图4是本发明实施例四提供的一种提取领域关键词的装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种提取领域关键词的方法的流程示意图，本实施例可适用于当用户通过终端上的浏览器输入检索词进行资讯检索后，相应的资讯网站服务器提取领域文本中的领域关键词以识别该检索词所属的领域时的情况，该方法可以由资讯网站服务器等具有领域关键词提取功能的计算机设备来执行。参见图1，所述方法具体包括如下步骤101-103：

步骤101、生成由各领域描述文本分词的词频组成的领域词频矩阵。