[发明专利]一种关键词提取方法及装置

说明书

本申请提供了一种关键词提取方法及装置，对待处理语句进行分词处理后，对分词结果进行碎词合并，然后，基于关键词字典获得每个词语的TF‑IDF值。对待处理语句进行分句，并对每个短句进行分词处理和碎词合并，得到每个短句包含的词语，进一步对每个短句包含的词语进行依存句法分析，得到该短句的核心词组；根据待处理语句所包含的每个词语及其对应的TF‑IDF值，以及该待处理语句包含的核心词组，确定出该待处理语句的关键词。该方案针对整个句子提取词语后，再将整个句子划分为短句，然后针对每个短句提取核心词组，以确保不会遗漏重要信息。而且，该方案进行分词后，又进行了碎词合并，不仅减少了词语数量，同时还使提取的关键词信息更加完整。

技术领域

本发明属于自然语言处理技术领域，尤其涉及一种关键词提取方法及装置。

背景技术

关键词提取就是从文本里面自动提取出最能表达文本意义的词语。目前的关键词提取技术，如词频-逆向文件频率技术、textrank、主题模型提取关键词等，基本都是基于文档、文章等长文本语料，此类语料的特点是字数多、词数多、信息量大、主题明确，且上下文有很明确的关系。

在自动问答的应用场景中，用户输入一句话，自动问答系统需要提取出此句话的关键词，而自动问答系统中的语句通常具有如下特点：①内容简短、字数比较少；②目的明确；③一句话包含多个含义；④非常口语化，表达灵活、风格各异。可见，自动问答系统中的语料与长文本语料的特点完全不同，因此，上述的适用于长文本的关键词提取技术不适用于自动问答系统的短文本语料。

发明内容

有鉴于此，本发明的目的在于提供一种关键词提取方法及装置，以解决上述的技术问题，其公开的具体技术方案包括：

第一方面，本申请提供了一种关键词提取方法，包括：

对待处理语句进行分词处理得到分词结果，并对所述分词结果进行碎词合并，得到分词合并结果；

基于预先训练得到的关键词字典，获得所述分词合并结果中每个词语的词频-逆向文件频率，所述关键词字典包括每个关键词对应的词频-逆向文件频率；

对所述待处理语句进行分句，对于每个短句进行分词处理及碎词合并，得到所述短句包含的词语，以及对每个短句包含的词语进行依存句法分析，得到所述短句包含的核心词组；

基于所述待处理语句包含的词语、所述词语对应的词频-逆向文件频率，以及所述核心词组，获得所述待处理语句的关键词。

在第一方面一种可能的实现方式中，所述基于所述待处理语句包含的词语、所述词语对应的词频-逆向文件频率，以及所述核心词组，获得所述待处理语句的关键词，包括：

获取所述待处理语句包含的词语对应的权重系数，所述权重系数包括所述词语的位置对应的权重和核心词组对应的权重；

基于每个词语对应的权重系数及词频-逆向文本频率，获得所述词语对应的目标权重；

根据所述待处理语句中每个词语对应的目标权重由高到低的顺序，确定前预设数量个词语为所述待处理语句的关键词。

在第一方面另一种可能的实现方式中，所述权重系数包括词频-逆向文件频率对应的第一权重、所述核心词组对应的第二权重、所述短句在所述待处理语句中所处位置对应的第三权重、每个所述核心词组的词性对应的第四权重；

所述基于每个词语对应的权重系数及词频-逆向文本频率，获得所述词语对应的目标权重，包括：

计算所述词语对应的所述第一权重与所述词语的词频-逆向文本频率的乘积；

计算所述乘积与所述第二权重、所述第三权重及所述第四权重的总和，得到所述词语对应的目标权重。

在第一方面又一种可能的实现方式中，所述第一权重、所述第二权重、所述第三权重和所述第四权重的最大值总和等于1；