[发明专利]一种基于多答案损失函数的片段信息抽取模型训练方法

权利要求书

1.一种基于多答案损失函数的片段信息抽取模型训练方法，其特征在于，包括：

标注片段式信息，对文本中的片段式信息采取多准则标注，得到多个标注答案，所述片段式信息是指标注边界模糊的短语或短句；

对文本、标注答案进行预处理，并随机切分训练集、验证集和测试集；

将训练集中预处理后的样本数据输入到基于多答案损失函数的片段信息抽取模型中训练，得到训练集中多个文本对应的答案，其中，所述文本对应的答案包括答案的开始位置、结束位置以及位于开始位置和结束位置的概率。

2.根据权利要求1所述的方法，其特征在于，所述标注片段式信息，对文本中的片段式信息采取多准则标注，得到多个标注答案的过程包括：

对片段式信息分别按最大语义最短片段和最大语义较长片段两个角度标注多个边界，得到多个标注答案片段；其中，所述最大语义最短片段为能够表达出所需抽取信息的完整语义的最短跨度文本，最大语义最短片段为句子中的一个短语片段；所述最大语义较长片段是以最大语义最短片段为基础增加了相关的补充信息，标注边界由标点符号决定，是短语片段或者一个完整的句子。

3.根据权利要求1所述的方法，其特征在于，对文本、标注答案进行预处理，并随机切分训练集、验证集和测试集，包括：

利用BERT模型的分词器对文本进行分词，根据BERT预设的中文词典，对分词后的序列进行编码映射；

设置最大序列长度，将超过最大序列长度的序列截断，并对低于最大序列长度的序列用‘PAD’补齐；

将多个答案片段预处理为多个答案的开始和结束位置；

构造训练集、验证集和测试集，需将标注数据集按照8:1:1随机分成训练集、验证集和测试集。

4.根据权利要求1所述的方法，其特征在于，所述基于多答案损失函数的片段信息抽取模型训练的过程包括：

搭建多答案损失函数的片段信息抽取模型，首先构造BERT的基础结构以及预训练参数，包括四个输入层：词嵌入、段嵌入、位置嵌入、MASK嵌入；其后紧接着12个Transformer的encoding层，Transformer的encoding层用来对文本序列进行特征提取；最后由两个dense层组成，将提取后的特征向量降至1维，并分别进行压缩后利用softmax激活函数归一化，输出片段信息的起始位置和结束位置的概率；

利用多答案损失函数来对所述多答案损失函数的片段信息抽取模型进行训练；

利用基于片段信息抽取模型的评价函数进行评价。

5.根据权利要求4所述的方法，其特征在于，所述多答案损失函数包括：

loss＝loss_start+loss_end

其中，损失函数loss起始位置的loss和结束位置的loss共同决定，每个样本X＝(x₁,x₂,…,x_j,…x_n)存在m个标答P＝(p,p₂,…,p_i,…p_m)，分别对p_i与模型的输出概率q求交叉熵损失函数cross_entropy(p_i,q)，取最小的cross_entropy值作为最终的loss_start或loss_end，其中，分别为第i个标答片段的起始位置和结束位置，q^end分别为模型起始位置输出层和结束位置输出层的概率，p_i(x_j)为第i个标答中第j个字符对应的标签取值，q(x_j)为模型输出层中第j个字符对应的概率。

6.根据权利要求4所述的方法，其特征在于，所述基于片段信息抽取模型的评价函数，包括：

其中，score_k为第k个样本(k∈[1,N])的得分，若存在一个标答与模型输出最大概率的位置一致，则得分为1，否则得分为0，acc_start和acc_end表示起始位置的准确率和结束位置的准确率，acc_start和acc_end是对N个样本的得分取平均值。