[发明专利]一种无监督构建建筑领域实体集合的方法

说明书

本发明提出了一种无监督构建建筑领域实体集合的方法，该方法包括以下步骤：S1，获取待筛选文本，将获取的文本中的每个句子切分为M个字或/和词，所述M为大于或者等于1的正整数；S2，选取前K个总体得分最高的词作为候选词集D，所述K为大于或者等于1的正整数；S3，筛选出候选词集D中与建筑领域词集具有相似语义特征的词汇作为领域词。本发明能够对获取的待筛选文本中的词进行分类，筛除过滤掉不属于建筑领域的词。

技术领域

本发明涉及一种知识图谱技术领域，特别是涉及一种无监督构建建筑领域实体集合的方法。

背景技术

作为一种语义网络，知识图谱在大数据的赋能下就已经能够解决很多实际问题。可以设想一下，还有更多的知识表示没有突破规模瓶颈。在大数据的赋能下，其他类型的知识表示也将能够解决更多实际的问题。越来越多的领域应用需要的知识已经突破了知识图谱的范围，对其他知识(比如产生式规则、贝叶斯网络、决策树等)提出了诉求。自然语言是异常复杂的：自然语言有歧义性、多样性，语义理解有模糊性且依赖上下文。机器理解自然语言困难的根本原因在于，人类语言理解是建立在人类的认知能力基础之上的，人类的认知体验所形成的背景知识是支撑人类语言理解的根本支柱。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种无监督构建建筑领域实体集合的方法。

为了实现本发明的上述目的，本发明提供了一种无监督构建建筑领域实体集合的方法，包括以下步骤：

S1，获取待筛选文本，将获取的文本中的每个句子切分为M个字或/和词，所述M为大于或者等于1的正整数；

S2，选取前K个总体得分最高的词作为候选词集D，所述K为大于或者等于1的正整数；

S3，筛选出候选词集D中与建筑领域词集具有相似语义特征的词作为领域词。

在本发明的一种优选实施方式中，在步骤S1中，还包括：将切分得到的所有字或/和词映射到词向量空间上。

在本发明的一种优选实施方式中，在步骤S2中，包括以下步骤：

S21，判断计算得到的凝合度得分是否大于或者等于预设凝和度得分：

若计算得到的凝和度得分大于或者等于预设凝和度得分，则执行步骤S22；

若计算得到的凝和度得分小于预设凝和度得分，则舍去；

S22，判断计算得到的左邻度得分是否大于或者等于预设左邻度得分：

若计算得到的左邻度得分大于或者等于预设左邻度得分，则执行步骤S23；

若计算得到的左邻度得分小于预设左邻度得分，则舍去；

S23，判断计算得到的右邻度得分是否大于或者等于预设右邻度得分：

若计算得到的右邻度得分大于或者等于预设右邻度得分，则计算其总体得分情况；

若计算得到的右邻度得分小于预设右邻度得分，则舍去。

在本发明的一种优选实施方式中，在步骤S21中凝合度得分的计算方法为：

P(X,Y)表示字X与字Y在待筛选文本中出现的联合概率；

P(Y)表示字Y在待筛选文本中出现的概率；

MI(X,Y)表示字X与字Y的凝合度得分；

在步骤S22中左邻度得分的计算方法为：

其中，A表示待筛选文本中出现在字W左侧的所有字组成的集合；