[发明专利]文档与标签词语义关联方法及其装置

说明书

发明提供一种文档与标签词语义关联方法及其装置，包括以下步骤：步骤S100：获取文档，作为文档语料，文档属于标签词相关领域且具有时效性；步骤S200：构造句法模式并对文档语料进行句法模式匹配，合并符合句法模式的结果为候选提及相关词集合C；步骤S300：用经过训练的Word2vec模型对候选提及相关词C集合进行过滤，得到提及相关词集合V；步骤S400：根据提及相关词和标签词，计算多篇文档与标签词的相关度，并构件标签词与文档的相关度数据库。本发明的方法基于实时文档语料动态构建语义关联，不需要依赖静态且维护成本较高的同义词库。

技术领域

本发明涉及计算机技术领域，具体的涉及一种文档与标签词语义关联方法及其装置。

背景技术

当今互联网每天都会产生海量新闻资讯，个人阅读理解新闻资讯的能力是有限的，然而，互联网用户需要了解网络上都发生了哪些事件、讨论了哪些事件，比如金融行业分析师、投资人士需要查阅大量资讯来了解当前行业热点事件，才能了解到与热点事件关联的新闻有哪些。

目前，建立领域标签与文档关联较常用的方法为通过关键词匹配，即如果文档中出现该具体的标签词，即认为文档与标签相关。并将其提取作为待处理文档。存在的问题是查全率不足。以对含菜籽油的文档进行筛选为例进行说明：当文档中含“菜籽油”这一标签时，现有方法仅能将出现了菜籽油的文档定为具有相关性的文档。而对于其他诸如“菜油”、“芥花油”等与菜籽油同义的词出现时，现有提取方法并不能将其视为与“菜籽油”相关的文档，无法建立关联，导致用户查询不到此类文档。

使用基于语义的文档匹配方法，可以提高查全率。目前，实现标签词与文档语义关联的方法主要是通过同义词库的方式。同义词的获取目前大多需要人工创建和维护，比如《哈工大信息检索研究室同义词词林扩展版》，它是目前应用比较广泛的同义词库，同时也是哈尔滨工业大学花费了大量人力物力才完成的。即便如此，我们发现该词库在2009年之后就不再有更新。因为人工维护同义词库代价较高，更新频率必然会很慢，对于领域专用标签词更是如此，因而无法使用现有的方法，通过人工获得相应的结果。

现有基于关键词的文档与领域标签关联方法存在以下缺点：①关联不全面，只要标签词不出现，就无法建立关联；②关联不准确，因为没有考虑语义相关词对关联度的影响，导致关联度计算结果与事实不一致。

发明内容

本发明的目的在于提供一种文档与标签词语义关联方法及其装置，该发明解决了现有同义词词库需借助人工维护，同义词库更新及时性差，数据不全面，导致缺乏同义词对应的上下位关系词的技术问题。

本发明提供一种文档与标签词语义关联方法，包括以下步骤：步骤S100：获取文档，作为文档语料，文档属于标签词相关领域且具有时效性；步骤S200：构造句法模式并对文档语料进行句法模式匹配，合并符合句法模式的结果为候选提及相关词集合C；步骤S300：用经过训练的Word2vec模型对候选提及相关词C集合进行过滤，得到提及相关词集合V；步骤S400：根据提及相关词和标签词，计算多篇文档与标签词的相关度，并构件标签词与文档的相关度数据库；句法模式包括含多个标签词s的S集合、含多个模式标识词的W集合和N集合，其中W集合为模式标识词集合，N集合为文档语料的句子中处于模式标识词后的所有名词的集合；模式标识词包括同义模式标识词和子概念标识词。

进一步地，步骤S200中包括以下步骤：步骤S210：对文档语料中的句子进行逐句对比；步骤S220：判断句子中是否包含标签词s和模式标识词w；步骤S230：如果包含标签词s和模式标识词w，则将句子中处于模式标识词w后的所有名词归入N集合中，合并多个N集合，得到候选提及相关词集合C。

进一步地，步骤S300中的过滤包括以下步骤：步骤S310：以文档语料训练word2vec模型后，采用训练后的word2vec模型计算候选提及相关词集合C中每个词与标签词的word2vec相关度；步骤S320：选取C集合中与标签词的word2vec相关度大于阈值的词，构造包含多个提及相关词v的集合V。