[发明专利]基于预训练模型与微调技术的医疗文本关系抽取方法

摘要

本发明涉及一种基于预训练模型与微调技术的医疗文本关系抽取方法，包括医疗关系抽取语料的预处理、模型预训练、微调。本发明利用预训练模型作为一维卷积神经网络模型的输入，而现有技术利用词嵌入作为一维卷积神经网络模型的输入，预训练模型比词嵌入更有利于提高医疗文本关系抽取的性能；本发明将一维卷积神经网络模型与预训练模型结合使用，并使用一维卷积神经网络来微调预训练模型，有利于提高模型的性能；通过将一维卷积神经网络的训练误差反向传播到预训练模型来实现模型微调过程，其为动态的模型训练过程；而传统的方法将词嵌入与不同层的输入相结合，仍然从头开始训练主要任务模型，并将预先训练的嵌入视为固定参数，限制了其有用性。

主权项

1.基于预训练模型与微调技术的医疗文本关系抽取方法，其特征在于，包括以下步骤：S1)、对医疗关系抽取语料进行预处理；S2)、利用大规模非结构化的未标注的中、英文医疗文献、病例文本训练预训练模型，具体为：利用性能优异的模型预训练方法BERT对对大规模非结构化的无标注的中、英文医疗文献、病历进行预训练；S3)、利用一维卷积神经网络对步骤S2)所产生的预训练模型进行微调，在微调过程中，训练出能够进行医疗关系抽取的深度神经网络模型，具体为：将一维卷积神经网络与BERT预训练得到的模型进行组合，在步骤S1)所产生的语料上对步骤S2)所产生的预训练模型进行微调，微调的过程即将一维卷积神经网络训练产生的误差反向传播给步骤S2)得到的预训练模型和一维卷积神经网络的各个层中，对预训练模型和一维卷积神经网络中的参数进行调整，最终训练出能够比较准确的进行医疗关系抽取的深度神经网络模型；S4)、对医疗文本关系抽取结果进行后处理；S5)、将训练成功的模型用于医疗关系抽取任务。