[发明专利]基于多层标注策略的跨境民族文化实体关系抽取方法及装置

权利要求书

1.基于多层标注策略的跨境民族文化实体关系抽取方法，其特征在于：

所述基于多层标注策略的跨境民族文化实体关系抽取方法的具体步骤如下：

Step1、结合跨境民族文化领域特点定义了若干种关系类型，设计标注格式标注句子中的实体对及对应的关系；

Step2、采用融入领域词信息的方法增强预训练模型表征后的字符向量，通过领域词典对跨境民族文化语料进行分词并训练得到领域词向量，设计了卷积神经网络编码提取输入文本中的领域信息并将其融入到预训练模型输出的字符向量中；

Step3、跨境民族文化实体关系抽取需要先识别出文本中所有的头实体确保后续在所有关系条件下的尾实体识别，利用双层标注方式分别对头实体的开始位置和结束位置进行标注；

Step4、利用多层标注策略提取实体关系三元组，多层标注方式针对每一种预定义的关系类型下实体进行标注预测，预测每一种关系下对应尾实体的开始位置与终止位置，最终缓解跨境民族文化实体关系抽取中存在的实体关系重叠问题。

2.根据权利要求1所述的基于多层标注策略的跨境民族文化实体关系抽取方法，其特征在于：所述Step1的具体步骤为：

Step1.1、通过百科词条和跨境民族相关网站获取跨境民族文化数据，数据进行预处理操作；然后标注了包含实体关系三元组的跨境民族文化句子，关系类型包含若干种关系类型；

Step1.2、采用{头实体，关系，尾实体}的标注格式标注句子中的实体对及对应的关系；

Step1.3、采用预训练语言模型对跨境民族文化文本进行字符向量表征，将字符进行处理，然后输入到预训练语言模型中得到输入文本的每个字符的向量表示；跨境民族文化句子被视为字符序列S＝{c₁,c₂，…,c_n}∈V_c，其中V_c是字符级的词汇表，c_i表示在长度为n的句子S中第i个字符，预训练语言模型的思想对跨境民族文化实体每个字符c_i进行字向量表示：

Q＝c_i×W^Q,K＝c_i×W^K,V＝c_i×W^V,

其中，W^Q,W^K,W^V表示权重参数，d_k为输入特征向量的维度，Softmax为归一化操作，g_i表示跨境民族文化字符文本向量表征。

3.根据权利要求1所述的基于多层标注策略的跨境民族文化实体关系抽取方法，其特征在于：所述Step2的具体步骤为：

Step2.1、通过融合领域词典信息的方式对文本中字符向量领域知识信息增强，利用领域词典对文本进行分词，分词后匹配预训练的词向量得到领域词向量矩阵E；

Step2.2、设计了多层卷积编码器提取领域词典信息特征编码表示，其目的是提取领域词典中词语信息的语义知识；通过卷积编码器对词向量进行卷积操作提取领域词典信息特征编码，其中卷积操作是利用滑动窗口对词向量进行局部特征的编码，通过设置卷积核大小来提取文本的h-gram特征，最终得到了领域信息的表示：

c_i＝f(W^c·E[i:i+h]+b^c)，

C＝[c₁,c₂,...,c_n-h+1]，

其中，为偏置向量，为训练参数矩阵，E为词向量矩阵；

Step2.3、在字符向量表示中融入领域词典信息保留文本中的领域信息，将每个字符向量与Step2.2中的领域信息表示融合成一个特征向量，共同构成最终表示：

x_i＝[g_i；z_i].

其中，z_i为Step2.2中得到的领域信息表示，g_i为字符向量。