[发明专利]基于预训练模型与微调技术的医疗文本关系抽取方法

权利要求书

1.基于预训练模型与微调技术的医疗文本关系抽取方法，其特征在于，包括以下步骤：

S1)、对医疗关系抽取语料进行预处理；

所述的对医疗关系抽取语料进行预处理为对输入的医疗文本进行分词、抽取词干处理，并采用人工标注医疗文本中的药物实体和疾病实体；具有包括以下步骤：

S101)、采用BIO序列标记法将医疗文本中的句子以词为单位进行标注，其中，B表示药物目标或疾病目标开始词；I表示药物目标或疾病目标中间词或结尾词；O表示非药物目标或疾病目标词；

S102)、将上述标注好的数据输入带有条件随机场的双向LSTM神经网络对其进行训练，通过调节神经网络的参数实现模型的优化，实现对医疗文本中的药物实体和疾病实体进行自动识别，即将未进行BIO序列标注的医疗文本输入到训练好的神经网络中，网络输出每一个词的BIO标记，根据这些BIO标注可以找出医疗文本中的药物实体和疾病实体，从而实现药物实体与疾病实体的自动识别；

S2)、利用大规模非结构化的未标注的中、英文医疗文献、病例文本训练预训练模型，具体为：利用性能优异的模型预训练方法BERT对大规模非结构化的无标注的中、英文医疗文献、病历进行预训练；

S3)、利用一维卷积神经网络对步骤S2)所产生的预训练模型进行微调，在微调过程中，训练出能够进行医疗关系抽取的深度神经网络模型，具体为：将一维卷积神经网络与BERT预训练得到的模型进行组合，在步骤S1)所产生的语料上对步骤S2)所产生的预训练模型进行微调，微调的过程即将一维卷积神经网络训练产生的误差反向传播给步骤S2)得到的预训练模型和一维卷积神经网络的各个层中，对预训练模型和一维卷积神经网络中的参数进行调整，最终训练出能够比较准确的进行医疗关系抽取的深度神经网络模型；

S4)、对医疗文本关系抽取结果进行后处理；所述的后处理具体为通过具有相关医疗知识的专家对步骤S3)训练得到的药物与疾病间关系结果进行分析，制定一系列规则模板，对预测结果进行归一化、标准化处理，提高关系抽取结果的准确性；

S5)、将训练成功的模型用于医疗关系抽取任务；对于一个待进行关系抽取的医疗文献或病历，先对其进行药物实体和疾病实体的标注，然后将其输入到步骤S3)在微调的过程中训练出的能够进行医疗关系抽取的深度神经网络模型，并根据步骤S4)对输出的结果进行后处理，将最终结果利用可视化方法将其呈现给用户，使使用者能够方便的获取所输入医疗文本中药物与疾病间的关系信息。

2.根据权利要求1所述的基于预训练模型与微调技术的医疗文本关系抽取方法，其特征在于：步骤S2)中，所述的预训练的方法分为句子级和词语级两类，其中，句子级方法使用前一个句子预测后一个句子，并随机替换后面的句子，生成预训练需要的反例；词语级方法随机遮蔽句子中的一个词，训练模型去猜所遮蔽的词。

3.根据权利要求1所述的基于预训练模型与微调技术的医疗文本关系抽取方法，其特征在于：步骤S3)中，训练产生的误差是指模型训练的结果中与标注的标签不一样的结果，经过数值化操作后得到的数值。