[发明专利]一种弱标注环境下的分段式语义标注方法

说明书

本发明提供的是一种弱标注环境下的分段式语义标注方法。(1)输入待标注文本，使用数据挖掘算法自动化构建文本主题相关的“类别‑实体‑关系‑扩展”四层领域本体；(2)使用已构建的四层领域本体对弱标记文本进行语义标注；(3)采用加入注意力机制的卷积神经网络对已标注的段落文本进行段落句群划分；(4)综合使用词袋模型验证句群划分准确性并对新生成的句群的标注信息进行筛选。本发明对历史、文学、娱乐、计算机等不同领域的文本均具有较好的标注和句群划分效果，解决了多学科弱标记资源文本无法准确处理和分析的问题，可以帮助用户缩小检索范围，快速找到搜索结果，提高搜索准确性。

技术领域

本发明涉及的是一种自然语言处理(NLP)方法，具体地说是一种基于文本标注的句群划分方法。

背景技术

伴随着中文互联网世界的跨越式进步，各大中文互联网平台上积累了海量的文本数据，对这些文本数据进行分析和分类，有助于平台构建清晰的用户画像，对平台未来的发展和定位具有重要意义。

但现实生活中，大多数数据的标记都是弱标记(Weak Label)，即不准确、不完整的标记。弱标记样本可能仅包含其对应标记中的小部分，又或者根本没有任何标记。而现有的较为流行的处理数据的方式，效果明显的则都是基于多标记数据的。常见的多标签分类算法如标签Powerset(Label Powerset,LP)、二元关联(Binary Relevance,BR)、组合分类器链(Ensembles of Classifier Chains,ECC)、多标签K近邻(Multi-Label K-NearestNeighbor,ML-KNN)等，都需要训练集中所有数据的标签信息完整，故均不能对弱标记样本进行有效地学习，基本无法使用弱标记训练集获得成熟的模型，也就无法对数据进行有效的分类和进一步解读。

对数据的解读，以对数据的分类标注为主。具体到文本数据，则是对文本进行语义标注。语义标注可以视作一个输入和输出的过程，其输入为无标注的文本，输出为有标注语义信息的文本，它是语义检索、知识挖掘、智能推理等研究领域的一个热点问题，常用的模型有：条件随机场(CRF)模型、递归神经网络(RNN)模型等。而文本语义标注技术，则是将非结构化的自然语言文本数据转变为结构化的语义数据的有效手段。现有的文本语义标注技术的研究方向，主要集中于借助统计学习的手段，对已有的文本资料进行全文的命名实体的标注。但根据此方法形成的语义标注数据，同样存在逻辑结构简单混乱、感情判断不清、命名实体遗漏等问题，针对这一问题，需要将文章带入相应的领域本体中。

领域本体(Domain Ontology,DO)是对领域的一种结构化描述。其具体可根据其作用的不同包含有学科中的类别、概念实体以及实体间的关系和与实体相关的扩展概念及关系间的约束等。因为知识含有显著的学科特征，领域本体可以更加直观合理的表示知识的结构。这里的“学科”其实是一种领域范围的概念，本质上是按照本体创建者的需求来划分的，它可以是一个大类别的学科，也可以是几个学科或者范围的组合，还也可以是一个学科中分出的更小的范围。

目前为止，本体工程中比较有名的几种方法包括TOVE法、Methontology方法、骨架法、IDEF-5法和七步法等，均处于人工建立领域本体的阶段。随着深度学习技术的发展，联合改进经典深度学习算法长短期记忆网络(LSTM)和条件随机场算法(CRF)构建领域本体的技术也已经出现，但准确率相对较低。由于本体工程到目前为止仍处于相对不成熟的阶段，领域本体的建设还处于探索期，因此构建过程中还存在着很多问题。因此，如何自动化的构建一个准确率高的、可以用于标注文本语义数据的领域本体就是目前急需解决的问题之一。

发明内容

本发明的目的在于提供一种能够解决多学科弱标记资源文本无法准确处理和分析的问题，可以帮助用户缩小检索范围，快速找到搜索结果，提高搜索准确性的弱标注环境下的分段式语义标注方法。

本发明的目的是这样实现的：