[发明专利]一种针对标记不充分数据的半监督命名实体识别方法

说明书

本发明公开了一种针对标记不充分数据的半监督命名实体识别方法，首先，使用无标记的领域数据对BERT进行微调，得到领域适应的BERT；用标记数据训练领域适应的BERT，得到ROSE‑NER‑基础模型；再用ROSE‑NER‑基础模型预测出伪标记数据；最后结合标记数据和伪标记数据，从而训练最终的ROSE‑NER模型。本方法通过使用大量的伪标记数据来扩充少量的标记数据，从而缓解标记数据过少的问题；通过一个修正的损失函数来调整模型训练中黄金标记和伪标记数据的权重；通过对抗训练的方法来减轻噪声数据的影响，大大解决了专业领域的数据标记不足和噪声数据的问题。

技术领域

本发明属于计算机自然语言处理的技术领域，尤其涉及一种针对标记不充分数据的半监督命名实体识别方法。

背景技术

命名实体识别是信息抽取的一个子任务，旨在定位非结构化文本中的命名实体并将其分类为预先定义的类别。近年来随着深度学习技术的广泛应用，当有充足的标注数据时，命名实体识别任务的效果得到了明显的改善，但这些方法仍然面临着数据不充分和噪声的挑战。

深度模型通常对训练数据有很强的要求，这些模型的性能在很大程度上依赖于标注数据的数量和质量。但在许多专业领域，用于标注的注释预算远远少于未标注数据的总数。例如，在医学领域，有大量的未标注的医疗记录、临床报告和生物医学文献。对这些数据进行标注是相当繁重的，因为它需要扎实的医学知识背景，而这只能由医学专家来完成，工作量繁重。这种标记数据不足的情况在现实世界的应用中也普遍存在。除此之外，噪声数据也会严重影响NER模型的稳健性，因而专业领域内的数据标注不充分和数据噪声是我们当前需要主要面对和克服的问题。

发明内容

本发明正是针对现有技术中数据标注不充分且含有数据噪声的问题，提供一种针对标记不充分数据的半监督命名实体识别方法，首先，使用无标记的领域数据对BERT进行微调，得到领域适应的BERT；用标记数据训练领域适应的BERT，得到ROSE-NER-基础模型；再用ROSE-NER-基础模型预测出伪标记数据；最后结合标记数据和伪标记数据，从而训练最终的ROSE-NER模型。本方法通过使用大量的伪标记数据来扩充少量的标记数据，从而缓解标记数据过少的问题；通过一个修正的损失函数来调整模型训练中黄金标记和伪标记数据的权重；通过对抗训练的方法来减轻噪声数据的影响，大大解决了专业领域的数据标记不足和噪声数据的问题。

为了实现上述目的，本发明采取的技术方案是：一种针对标记不充分数据的半监督命名实体识别方法，包括以下几个步骤：

S1，构建领域适应BERT：使用BERT作为获得词表示的模块，并使用大量无标记的领域数据对原始BERT进行微调，得到领域适应的BERT；

S2，获取ROSE-NER-基础模型：用少量的黄金标记数据训练领域适应的BERT，得到ROSE-NER-基础模型，所述基础模型中，原始的句子输入到词表示模块，词表示模块由领域适应的BERT和BiLSTM构成，然后由BiLSTM输出每个词的BIO标注概率到边界表示模块，最终由边界表示模块输出BIO标注以及实体类别；

S3，预测伪标记：将无标记数据送入ROSE-NER-基础模型，把模型的预测结果作为数据的伪标记,同时设有对抗训练的方法提高模型的鲁棒性，所述对抗训练为min-max的优化问题，即：

其中，θ表示模型参数，(x,y)～D表示从数据分布D中采样的原始训练样本，(x,y)表示原始嵌入和对应的标签，r_adv表示向词嵌入x中添加的扰动，S表示扰动集，L表示损失函数，max表示构建使损失最大的扰动，而min表示寻找到一个模型使得能正确分类受扰动的对抗样本；

S4，扩展数据集：将标记数据和伪标记数据结合起来，一起作为训练数据；

S5,获得最终模型：用经过步骤S4获得的扩展数据集来训练ROSE-NER-基础模型，得到最终的ROSE-NER模型。