[发明专利]一种针对标记不充分数据的半监督命名实体识别方法

权利要求书

1.一种针对标记不充分数据的半监督命名实体识别方法，其特征在于，包括如下步骤：

S1，构建领域适应BERT：使用BERT作为获得词表示的模块，并使用大量无标记的领域数据对原始BERT进行微调，得到领域适应的BERT；

S2，获取ROSE-NER-基础模型：用少量的黄金标记数据训练领域适应的BERT，得到ROSE-NER-基础模型，所述基础模型中，原始的句子输入到词表示模块，词表示模块由领域适应的BERT和BiLSTM构成，然后由BiLSTM输出每个词的BIO标注概率到边界表示模块，最终由边界表示模块输出BIO标注以及实体类别；

S3，预测伪标记：将无标记数据送入ROSE-NER-基础模型，把模型的预测结果作为数据的伪标记,同时设有对抗训练的方法提高模型的鲁棒性，所述对抗训练为min-max的优化问题，即：

其中，θ表示模型参数，(x,y)～D表示从数据分布D中采样的原始训练样本，(x,y)表示原始嵌入和对应的标签，r_adv表示向词嵌入x中添加的扰动，S表示扰动集，L表示损失函数，max表示构建使损失最大的扰动，而min表示寻找到一个模型使得能正确分类受扰动的对抗样本；

S4，扩展数据集：将标记数据和伪标记数据结合起来，一起作为训练数据；

S5,获得最终模型：用经过步骤S4获得的扩展数据集来训练ROSE-NER-基础模型，得到最终的ROSE-NER模型。

2.如权利要求1所述的一种针对标记不充分数据的半监督命名实体识别方法，其特征在于：所述步骤S2中，在抽取实体的具体方法上，使用了半指针-半标注的方式，即两层标注网络，一层标记实体开始位置，一层标记实体结束位置，若一共有N个类型的实体，则需要2*N个这样的标注序列，每两个标注序列一组，共N组，根据“1”标记所在的标记组来确定实体的类型。

3.如权利要求2所述的一种针对标记不充分数据的半监督命名实体识别方法，其特征在于：所述步骤S2的ROSE-NER-基础模型中，其损失函数由Focal Loss的形式组成：L＝Focal(P,Y)，其中P表示预测为某一实体的概率大小，Y表示对应的标签，则损失函数L为：

L＝L_start+L_end

L_start＝Focal(P_start,Y_start)

L_end＝Focal(P_end,Y_end)

其中，L_start代表实体开始位置的损失，L_end代表实体结束位置的损失。

4.如权利要求3所述的一种针对标记不充分数据的半监督命名实体识别方法，其特征在于：所述步骤S2中的损失函数，使用修改后的Focal Loss，即：

其中：

p_t表示预测概率，y表示标签，γ表示聚焦参数，γ≥0，α为平衡因子。

5.如权利要求4所述的一种针对标记不充分数据的半监督命名实体识别方法，其特征在于：所述步骤S3中对抗训练的方法具体为直接对词嵌入表示施加小扰动，模拟数据集在标记中的自然误差，引导模型在训练过程中寻找更稳健的参数，以削弱随机不确定性的影响，同时模型的嵌入表示将与模型一起优化。

6.如权利要求4或5所述的一种针对标记不充分数据的半监督命名实体识别方法，其特征在于：所述步骤S5中最终的ROSE-NER模型，其模型损失函数L_semi为：

L_semi＝(1-β)L(X_label)+βL(X_pseudo)

其中，X_label是黄金标注数据，X_pseudo是伪标记数据，β是可学习的参数。

7.一种如权利要求6所述针对标记不充分数据的半监督命名实体识别方法在医学领域的运用。