[发明专利]一种融合句子局部上下文与文档领域信息的词义消歧方法

说明书

本发明涉及一种融合句子局部上下文与文档领域信息的词义消歧方法，属于自然语言处理技术领域。其步骤为：①对歧义词所在的句子进行依存句法分析，获得与歧义词具有直接依存关系的句子局部上下文相关词；②对领域文档集合进行依存句法分析，收集其所包含的全部的依存元组，构建依存元组库；③对依存元组库进行统计分析，找到与歧义词关系最为密切的一组领域相关词；④根据领域相关词的依存分布相似度及其与局部上下文的词义相关度，确定其消歧权重；⑤将句子局部上下文相关词和领域相关词合并，构建相关词集合；⑥根据歧义词的各个词义与相关词集合的加权累加相关度，判定正确词义。本发明公开的方法能够提高词义消歧系统在特定领域上的适应性，提高消歧正确率。

技术领域

本发明涉及到一种词义消歧方法，特别涉及一种融合句子局部上下文与文档领域信息的词义消歧方法，属于自然语言处理技术领域。

背景技术

自然语言处理系统普遍存在“领域失配”问题，词义消歧也不例外。同样的方法对于不同的领域，往往性能差异很大。在大规模词义消歧任务中，其所需处理的文本的领域类型千差万别。如果词义消歧系统无法主动适应文本领域的差别，其消歧性能将大打折扣。“领域适应”已成为制约特定领域上词义消歧性能提高的关键问题。面向特定领域的词义消歧已得到了自然语言处理领域研究者的关注。

面向特定领域的词义消歧方法主要包括有监督的方法和基于知识库的方法。有监督的方法主要针对扩充有效的消歧特征和降低词义标注工作量而展开；这只能减轻对训练语料的部分依赖，面对有监督方法对训练语料的海量需求，显然无法从根本上解决困扰有监督方法的数据稀疏问题。基于知识库的方法的研究主要围绕领域信息的挖掘和利用而展开；为目标领域收集密切相关的词语作为领域信息，为词义消歧系统提供更多的消歧特征。但现有方法对领域信息的挖掘利用并不充分，尚不能将领域信息与歧义词所在句子的局部上下文信息充分融合。

发明内容

本发明的目的是为了克服现有词义消歧技术所面临的“领域失配”问题，主要针对基于知识库的词义消歧方法的领域信息的挖掘和利用问题，提出一种新的融合句子局部上下文与文档领域信息的词义消歧方法。

本发明的目的是通过如下技术方案实现的。

一种融合句子局部上下文与文档领域信息的词义消歧方法，其具体操作步骤如下。

步骤一、对歧义词所在的句子进行依存句法分析，获得与歧义词具有直接依存关系的句子局部上下文相关词；具体如下。

步骤1.1：用符号S表示待处理的句子；用符号w_t表示目标歧义词。

步骤1.2：对句子S进行预处理，主要包括去除乱码字符、特殊符号等，获得预处理后的句子S’。

步骤1.3：使用依存句法分析器，对句子S’进行依存句法分析；并对句子中的词语进行词形还原；获得其依存元组集合R_s。

步骤1.4：从依存元组集合R_s中，提取出包含w_t的依存元组，并将w_t的依存词提取出来，筛选其中的实词，构建句子局部上下文相关词集合C。

步骤二、对领域文档集合进行依存句法分析，收集其所包含的全部的依存元组，构建依存元组库；具体如下。

步骤2.1：根据歧义词所在文档的领域类型Domain，收集隶属于该领域的文档，构建领域文档集合DSet。

步骤2.2：对领域文档集合DSet中的文档逐个进行依存句法分析，获得其依存元组集合，构建依存元组库DependSet。

步骤三、对依存元组库进行统计分析，找到与歧义词关系最为密切的一组领域相关词；具体如下。