[发明专利]基于预训练模型和微调技术的医疗文本命名实体识别方法

权利要求书

1.基于预训练模型和微调技术的医疗文本命名实体识别方法，其特征在于，包括以下步骤：

S1)、利用文本数据挖掘的相关技术对医疗文本进行预处理；

S2)、利用BERT预训练模型对大规模非结构化的无标注的医疗文本进行预训练，训练出包含医疗领域语义表示信息的预训练模型；

S3)、利用堆叠扩张卷积神经网络IDCNN对步骤S2)所训练出的预训练模型进行微调，训练出能够识别医疗文本中所包含的相关医疗命名实体的深度神经网络模型；

S4)、将训练好的深度神经网络模型用于医疗文本的命名实体识别任务中，以识别更多有价值的命名实体。

2.根据权利要求1所述的基于预训练模型和微调技术的医疗文本命名实体识别方法，其特征在于：步骤S1)中，利用文本数据挖掘的相关技术对医疗文本进行预处理，主要包含以下步骤：

S101)、对医疗文本进行分词处理；

S102)、删除已分词句子中的停用词；

S103)、利用BIO序列标记法标注医疗文本中所存在的解剖部位、独立症状、症状描述、手术、药物相关的临床医疗命名实体；其中，B表示医疗命名实体的开始词；I表示医疗命名实体的中间词或结尾词；O表示非医疗命名实体。

3.根据权利要求1所述的基于预训练模型和微调技术的医疗文本命名实体识别方法，其特征在于：步骤S2)中，对大规模非结构化的无标注医疗文本进行预训练，以获得文本中所包含的丰富语义表示信息。

4.根据权利要求1所述的基于预训练模型和微调技术的医疗文本命名实体识别方法，其特征在于：步骤S3)中，将堆叠扩张卷积神经网络与BERT预训练模型进行结合，对步骤S2)所产生的预训练模型进行微调，得到进行医疗文本命名实体识别的深度神经网络模型。

5.根据权利要求1所述的基于预训练模型和微调技术的医疗文本命名实体识别方法，其特征在于：步骤S4)中，通过将未进行命名实体标注的医疗文本输入到步骤S3)中利用预训练模型和微调技术训练出的深度神经网络模型中，得到该输入文本对应的医疗命名实体BIO标记，将上述标记利用可视化方法呈现给用户，使该系统的使用者能够方便的获取输入的医疗文本中被自动识别出的医疗命名实体信息。