[发明专利]一种词关系挖掘方法和装置

说明书

技术领域

本发明涉及计算机、互联网领域，特别涉及一种词关系挖掘方法和装置。

背景技术

词关系是一种比较重要的知识类型，表现形式有多种，例如上下位关系、部分-整体关系、地理位置关系、公司收购关系、职位变更关系等。最常用的两种词关系挖掘方法是基于模式的方法和基于同现的方法，其中，基于模式的词关系挖掘方法通常基于大规模的语料，及某些特定类型的表现形式；基于同现的词关系挖掘方法通常是计算两个词在一个句子或文档中同时出现的统计特征，该统计特征表明这两个词之间存在某种关系。

现有技术中给出了一种基于同现的词关系挖掘方法，该方法对出现在句子或文档内的词，利用互信息的统计值的方法对词关系进行挖掘，实现了基于同现的词关系挖掘。

发明人在实现本发明的过程中发现，现有技术至少存在以下的缺点和不足：

目前提供的基于同现的词关系挖掘方法由于只采用了互信息的统计值的方法对词关系进行挖掘，存在较多的错误关系，正确率不是很高。

发明内容

为了提高挖掘的词关系的正确率、提高用户的使用体验，本发明实施例提供了一种词关系挖掘方法和装置。所述技术方案如下：

一方面，本发明实施例提供了一种词关系挖掘方法，所述方法包括：

获取两个词条之间的候选关系、所述候选关系的频度以及所述词条的词频；

根据所述候选关系、所述频度及所述词频获取互信息的统计值和对数似然比的统计值；

根据所述互信息的统计值和所述对数似然比的统计值获取可信度归一值；

根据所述可信度归一值进行排序，将符合预设阈值的候选关系作为词关系输出。

所述获取两个词条之间的候选关系、所述候选关系的频度以及所述词条的词频，具体包括：

对语料库中的每一个问答文档的标题和答案分别进行分词处理，获取标题词条集合和答案词条集合；

将所述标题词条集合中的标题词条与答案词条集合中的答案词条进行词条间的配对，若两个词条不同，则配对成功，获取两个词条之间的候选关系；

在语料库中所有的问答文档中以标题词条和所述标题词条相应的答案词条为单位查找所述候选关系，将所述候选关系出现的次数作为所述候选关系的频度；

在所述语料库中所有的问答文档的标题中查找所述标题词条，将所述标题词条出现的次数作为所述标题词条的词频；

在所述语料库中所有的问答文档的答案中查找所述答案词条，将所述答案词条出现的次数作为所述答案词条的词频。

所述对语料库中的每一个问答文档的标题和答案分别进行分词处理，获取标题词条集合和答案词条集合的步骤之后，所述方法还包括：

对所述标题词条集合和所述答案词条集合中的词条进行过滤，分别获取过滤后的所述标题词条集合和所述答案词条集合。

所述获取两个词条之间的候选关系、所述候选关系的频度以及所述词条的词频，具体包括：

对语料库中的每一个文档的每一个句子进行分词处理，获取词条集合；

将所述词条集合中的词条进行配对，若两个词条不同，则配对成功，获取两个词条之间的候选关系；

在语料库的所有文档中以句子为单位查找所述候选关系，将所述候选关系出现的次数作为所述候选关系的频度；

在所述语料库的所有文档中查找所述词条，将所述词条出现的次数作为所述词条的词频。

所述对语料库中的每一个文档的每一个句子进行分词处理，获取词条集合的步骤之后，所述方法还包括：

对所述词条集合中的词条进行过滤，获取过滤后的词条集合。

根据所述互信息的统计值和所述对数似然比的统计值获取可信度归一值，具体包括：

根据所述互信息的统计值和所述对数似然比的统计值获取可信度值；

通过获取到的所述可信度值获取可信度归一值。

再一方面，本发明实施例提供了一种词关系挖掘装置，所述装置包括：

第一获取模块，用于获取两个词条之间的候选关系、所述候选关系的频度以及所述词条的词频；

第二获取模块，用于根据所述候选关系、所述频度及所述词频获取互信息的统计值和对数似然比的统计值；

第三获取模块，用于根据所述互信息的统计值和所述对数似然比的统计值获取可信度归一值；

输出模块，用于根据所述可信度归一值进行排序，将符合预设阈值的候选关系作为词关系输出。

所述第一获取模块，具体包括：

第一获取单元，用于对语料库中的每一个问答文档的标题和答案分别进行分词处理，获取标题词条集合和答案词条集合；