[发明专利]一种弱标注环境下的分段式语义标注方法

权利要求书

1.一种弱标注环境下的分段式语义标注方法，其特征是：

(1)输入待标注文本，使用数据挖掘方法根据文章标题弱标记，自动构建与文本主题相关的类别-实体-关系-扩展四层领域本体；

(2)使用分词技术将文章按段落带入已构建的四层领域本体中，对弱标记文本的初步语义标注；

(3)将每一自然段的语义标注信息与自然段前后各自一定数目的实词混合，使用skip-gram模型生成词向量，使用加入注意力机制的卷积神经网络进行训练，已标注的段落文本进行段落句群划分，对相邻段落是否属于同一句群进行判断；

(4)使用词袋模型验证句群生成的准确性并对新生成的句群的标注信息进行重新筛选。

2.根据权利要求1所述的弱标注环境下的分段式语义标注方法，其特征是：步骤(1)中构建领域本体的实体词结构时，先使用分词技术，获取文章标题中的实词，并按照结合标题信息的短文本主题词抽取公式计算出文章前200字内的关键实体词，公式为：W(w_i)＝tf(w_i)×df(w_i)×(1+g(w_i))×f_p(w_i)，

其中f_p(w_i)是词汇的位置权重因子，由公式求得：其中，考虑到分词粒度对结果产生的影响，f_t(w_i)是w_i在标题中所占的汉字数目，s_t(d_j)是标题中全部实词的汉字总数，Q为调整系数、与标题内重复包含的该关键词个数的上限有关，经训练取整数2，取得分最高的前n个主题词作为初始的实体词，以获取其领域层次结构，n的大小与文章篇幅正相关。

3.根据权利要求2所述的弱标注环境下的分段式语义标注方法，其特征是：步骤(1)中构建领域本体的类别词结构时，将提取的实体词带入已编码的WordNet名词上下位词关系词典和爬取的完整知乎话题标签关系树中，在两跳内寻找实体词的上位词的集合作为文章领域类别待选择词汇，再分别将集合内待选择词代入关系树中以确定集合内各词是否互相存在上下位词关系，保留每类中处于最上位的待选择词作为文章领域的类别词。

4.根据权利要求3所述的弱标注环境下的分段式语义标注方法，其特征是：步骤(1)中构建领域本体的关系词结构时，将实体词带入百度百科、维基百科、360百科、搜狗百科、互动百科和复旦知识图谱知识库中检索，爬取搜索结果的一级目录并获取实词部分作为备选关系词集合W，并使用关系词得分公式计算关系词得分，保留得分高于阈值的关系词作为文章领域本体的关系词。

5.根据权利要求4所述的弱标注环境下的分段式语义标注方法，其特征是：步骤(1)中构建领域本体的扩展词结构时，通过分别建立实体层m个实体词+关系层n个关系词所对应的m×n个词对，在必应搜索中检索m×n次词对获取网页信息，爬取检索结果前十页内网页的主要内容，分词并保留名词，统计剩余词汇和词频，通过计算TF-IDF值，保留大的词作为待选择的扩展词，通过多维度归一化Bing距离公式计算其归一化距离，公式如下：

其中，M表示Bing索引搜索到的网页总数，f(x)和f(y)分别表示搜索词x和y的命中数量，f(x,y)表示同时出现x和y的网页数量，若x和y从未一起出现在同一网页上，而只是单独出现，则它们之间的归一化Bing距离无穷大；若x和y总是同时出现，则它们之间的归一化Bing距离为0，利用归一化Bing距离对非领域内概念进行过滤，将过滤后得到的词汇作为领域本体第四层的扩展词汇。

6.根据权利要求1-5任何一项所述的弱标注环境下的分段式语义标注方法，其特征是：步骤(2)中使用已构建的四层领域本体对弱标记文本进行语义标注时：将分词并保留名词部分的文章按段落对已构建的四层领域本体进行遍历，提取在领域本体中存在的实词和其所有在领域本体中的上位概念作为该弱标记文本的初步语义标注。