[发明专利]一种文本关系的分析方法及装置、文本关系网络的构建方法

说明书

本发明公开了一种文本关系的分析方法及装置、文本关系网络的构建方法，其中的文本关系的分析方法，包括：对包含m篇独立文本的文本集合中包含的每篇文本进行预处理，获得m篇独立文本构成的语料的所有句子和词汇；分别以语料的每一个词汇为概念主题词，遍历所有句子和词汇，将与概念主题词在同一个句子中共同出现的词汇，纳入概念主题词对应的词汇集合；对每个词汇集合进行词汇元素筛选，构建概念；根据文本集合中的不同文本是否包含相同的概念，确定文本之间的关系。本发明的方法可以提高文本间关系分析的准确性，并构建文本关系网络挖掘文本不同层次内容之间的关系。

技术领域

本发明涉及自然语言处理技术领域，具体涉及一种文本关系的分析方法及 装置、文本关系网络的构建方法。

背景技术

目前在自然语言处理领域，对于文本间关系的量化评估主要是基于文本间 词汇、词频和词汇组织方式的相似度来进行的。然而单纯基于词汇相似度来分 析文本关系常常会导致用词不同但主题相同的文本间关系被错误的评估，同时 这一缺陷也使得难以衡量多个文本之间的复杂内容之间的关系。

由此可知，现有技术中的方法存在分析结果不够准确的技术问题。

发明内容

有鉴于此，本发明提供了一种文本关系的分析方法及装置、文本关系网络 的构建方法，用以解决或者至少部分解决现有技术中的方法存在的结果不够准 确的技术问题。

为了解决上述技术问题，本发明第一方面提供了一种文本关系的分析方法， 包括：

对包含m篇独立文本的文本集合中包含的每篇文本进行预处理，获得m篇 独立文本构成的语料的所有句子和词汇，其中，m为正整数；

分别以语料的每一个词汇为概念主题词，遍历所有句子和词汇，将与概念 主题词在同一个句子中共同出现的词汇，纳入概念主题词对应的词汇集合，其 中，词汇集合包括概念主题词和词汇元素；

对每个词汇集合进行词汇元素筛选，构建概念；

根据文本集合中的不同文本是否包含相同的概念，确定文本之间的关系。

在一种实施方式中，对包含m篇独立文本的文本集合中包含的每篇文本进 行预处理，包括：

对包含m篇独立文本的文本集合中包含的每篇文本进行分句、分词以及去 除停用词。

在一种实施方式中，对每个词汇集合进行词汇元素筛选，构建概念，包括：

统计词汇集合中的每个词汇元素x_j与概念主题词x_i共同出现的文本数量z， 其中，z≤m；

判断文本数量z是否大于或等于第一阈值，如果是，则将词汇元素作为词 汇集合的有效词汇，保留在词汇集合中，否则，将词汇元素从词汇集合中去除。

在一种实施方式中，根据文本集合中的不同文本是否包含相同的概念，确 定文本之间的关系，包括：

根据概念中的概念主题词或者词汇元素在文本中的出现情况，判断文本是 否包含该概念；

对文本集合中每两篇文本包含的概念进行比较，如果两篇文本包含相同的 概念，则两篇文本具有关联。

在一种实施方式中，根据概念中的概念主题词或者词汇元素在文本中的出 现情况，判断文本是否包含该概念，包括：

当一个概念X_I的词汇元素总数为0时，如果概念主题词x_i出现在文本w_i中， 则判定文本w_i包含概念X_I；