[发明专利]结合词向量和自举学习的领域实体上下位关系获取与组织方法

说明书

本发明涉及一种结合词向量和自举学习的领域实体上下位关系获取与组织方法，属于自然语言处理和机器学习技术领域。本发明首先根据自举学习的方式，从旅游领域的文本中获取候选的上下位关系实例，利用候选的上下位关系实例，人工构建旅游领域知识库，借鉴映射矩阵对候选上下位关系实例进行层级关系组织。本发明对上下位关系实现了有效的抽取，为信息抽取、信息检索和机器翻译等工作提供强有力的支撑，与目前识别方法相比，本发明的正确率、召回率、F值均有提高，因此本发明具有一定的研究意义。

技术领域

本发明涉及结合词向量和自举学习的领域实体上下位关系获取与组织方法，属于自然语言处理和机器学习技术领域。

背景技术

上下位关系是一种基本的语义关系，常用于本体、知识库、词典的构建和验证。从技术实现的角度来看，上下位关系获取为其它信息的获取提供了重要支持，其对本体、知识库、词典进行正确性检测，并对其进行扩充和完善。并且能够获取名词短语，特别是未登录词的语义信息，通过扩展可以获取更多的概念间语义关系。总体来说，上下位关系获取是知识获取中一个基本而又关键的问题，是非格式化信息转换为格式化信息过程中的重要步骤，它为进一步的信息处理如数据库查询、数据挖掘、文本挖掘等提供了基础性支持。同时上下位关系获取还能对信息检索、知识问答、个性化信息服务等的实现起到一定的支持作用。

发明内容

本发明提供了一种结合词向量和自举学习的领域实体上下位关系获取与组织方法，以用于解决传统的上下位关系抽取方法对语料依赖程度高，抽取效率比较低的影响。

本发明的技术方案是：一种结合词向量和自举学习的领域实体上下位关系获取与组织方法，所述方法的具体步骤如下：

Step1、首先根据自举学习的方式，从旅游领域的文本中获取候选的上下位关系实例；

Step1.1、首先人工编写爬虫程序，从旅游网站和百科词条上爬取旅游领域文本信息；

本发明考虑到由于不同的网页结构，爬虫程序中爬取的位置和标签也不同，且没有现成的程序，因此针对爬取不同任务要进行编写程序。要尽可能全面地选取不同旅游网页题材的语料。如百度百科词条，旅游网页信息等。

Step1.2、语料的预处理过程采用开源的工具包Ansj完成，包括分词、词性标注、去停用词和命名实体识别过程；

本发明考虑到爬取到的旅游文本中存在一些重复网页、网页标签、无效字符等噪音，这些噪音是无效的。因此，要通过过滤、去噪音等操作去除，得到只含有旅游领域的高质量的文本级语料。

所述步骤Step1.2的具体步骤为：

Step1.2.1、对爬取的网页文本信息进行有效的过滤，去无效字符和网页；

Step1.2.2、对得到的有效网页进行去重、去垃圾信息预处理操作；

Step1.2.3、使用Ansj分词工具对旅游文本进行分词、词性标注、去停用词和命名实体识别的过程。

Step1.3、由于词向量可将词语表征为高密度的低维实数向量，可以很好的表征词语之间的词法、句法以及语义方面的信息，因此选择Google的开源工具包word2vec，采用Skip-gram模型对预处理后的语料进行词向量模型训练；

本发明中词向量模型的训练过程，是上下位关系抽取工作的前提与基础，是不可缺少的一步，同时由于中文主要由字符组成，相比英文而言，字符间的语义关系表达比较复杂，因此中文文本表示成词向量时，必须先进行分词处理。使用分词工具进行分词之后，需要人工校对。

Step1.4、对预处理后的文档进行扫描，筛选出同时含有两个以上领域实体的句子，选取特征上下文；

所述步骤Step1.4的具体步骤为：