[发明专利]结合词向量和自举学习的领域实体上下位关系获取与组织方法

权利要求书

1.结合词向量和自举学习的领域实体上下位关系获取与组织方法，其特征在于：所述方法的具体步骤如下：

Step1、首先根据自举学习的方式，从旅游领域的文本中获取候选的上下位关系实例；

Step1.1、首先人工编写爬虫程序，从旅游网站和百科词条上爬取旅游领域文本信息；

Step1.2、语料的预处理过程采用开源的工具包Ansj完成，包括分词、词性标注、去停用词和命名实体识别过程；

Step1.3、选择Google的开源工具包word2vec，采用Skip-gram模型对预处理后的语料进行词向量模型训练；

Step1.4、对预处理后的文档进行扫描，筛选出同时含有两个以上领域实体的句子，选取特征上下文；

Step1.5、种子集的获取，即每一种上下文文本在去除停用词和形容词后，剩余的每个词都被转化为单独的词向量，然后进行简单的组合得到特征向量，然后采用三个向量的组合来表示任意关系实例；

Step1.6、从Step1.5中获取上下位关系种子集，采用Single-pass聚类的方法生成上下位关系抽取模式；

Step1.7、当利用Step1.6得到抽取模式以后，采用新关系实例获取的方法进行候选关系实例的获取；

Step2、利用候选的上下位关系实例，人工构建旅游领域知识库，借鉴映射矩阵对候选上下位关系实例进行层级关系组织；

Step2.1、人工构建领域知识库作为映射矩阵的训练数据；

Step2.2、通过对训练数据的聚类和相应的映射训练，判断给定的两个实体是否存在上下位关系来进行层级关系组织；

所述步骤Step2.1的具体步骤为：

Step2.1.1、人工编写爬虫程序，从旅游网站和百科词条上爬取旅游领域文本信息；

Step2.1.2、采用开源的工具包Ansj完成，包括分词、词性标注，统计词频，得到和种子同现频率高的词汇作为领域词汇集；

Step2.1.3、采用互动百科的分类体系作为基础，构建出包含10000个领域实体的旅游领域知识库；

所述步骤Step2.2的具体步骤为：

Step2.2.1、从数据集中随机选择K个聚类质心点，将上下位关系实体对(x,y)根据向量偏移y-x采用K-means聚类方法进行聚类；

Step2.2.2、对于Step2.2.1步骤得到的每一个簇分别学习一个映射使Φ_k^*值最小；

其中，Φ_k^*表示映射矩阵，(x,y)表示上下位关系对，意思是给定实体x和它的上位词y，存在矩阵Φ_k，使得其中x表示y的下位词，y是x的上位词，Φ_k表示过渡矩阵；N_k是聚类簇集C_k第k个聚类簇中实体对的数量；

Step2.2.3、从Step2.2.2步骤得到每一类的映射矩阵后，判断新来的词对是否构成上下位关系；

Step2.2.4、采用启发式的规则处理层次结构中冲突问题，当图中出现环的时候，去掉或翻转最弱的边，翻转最弱的边形成一个间接的上下位关系。

2.根据权利要求1所述的结合词向量和自举学习的领域实体上下位关系获取与组织方法，其特征在于：所述步骤Step1.2的具体步骤为：

Step1.2.1、对爬取的网页文本信息进行有效的过滤，去无效字符和网页；

Step1.2.2、对得到的有效网页进行去重、去垃圾信息预处理操作；

Step1.2.3、使用Ansj分词工具对旅游文本进行分词、词性标注、去停用词和命名实体识别的过程。

3.根据权利要求1所述的结合词向量和自举学习的领域实体上下位关系获取与组织方法，其特征在于：所述步骤Step1.4的具体步骤为：

Step1.4.1、以句子为单位对文本进行切分，并进行人工的实体标注；

Step1.4.2、最后对处理过的文档进行扫描，筛选出同时含有两个以上领域实体的句子，选取第一个实体前的词BEF、两个实体间的词BET和第二个实体后的词AFT作为特征上下文。