[发明专利]基于预训练模型和微调技术的医疗文本命名实体识别方法在审
| 申请号： | 201910520186.6 | 申请日： | 2019-06-17 |
| 公开（公告）号： | CN110348008A | 公开（公告）日： | 2019-10-18 |
| 发明（设计）人： | 陈涛;杨开漠 | 申请（专利权）人： | 五邑大学 |
| 主分类号： | G06F17/27 | 分类号： | G06F17/27;G06F16/35;G06N3/04;G16H10/00 |
| 代理公司： | 广州市红荔专利代理有限公司 44214 | 代理人： | 吴伟文 |
| 地址： | 529020 广*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种基于预训练模型和微调技术的医疗文本命名实体识别方法，本发明首先利用大规模非结构化的电子病历等医疗文本对BERT预训练模型进行预训练，以训练出包含文本中语义表示信息的预训练模型。利用堆叠扩张卷积神经网络对所产生的预训练模型进行微调，以获得能够进行医疗领域命名实体自动识别的深度神经网络模型。本发明提供的预训练模型能够更为准确的捕获文本中的语义信息，能够更有效的迁移到特定的任务中，提高模型进行命名实体识别的准确性；本发明将堆叠扩张卷积神经网络与预训练模型结合以对模型进行微调，最终进行医疗文本命名实体的识别，不仅能够很好的捕获文本中的语义信息，而且能够进行并行计算，以提高模型训练速度。 | ||
| 搜索关键词： | 训练模型 命名实体 文本 微调 卷积神经网络 语义信息 医疗 堆叠 捕获 神经网络模型 并行计算 电子病历 非结构化 模型训练 医疗领域 语义表示 自动识别 迁移 | ||
【主权项】：
1.基于预训练模型和微调技术的医疗文本命名实体识别方法，其特征在于，包括以下步骤：S1)、利用文本数据挖掘的相关技术对医疗文本进行预处理；S2)、利用BERT预训练模型对大规模非结构化的无标注的医疗文本进行预训练，训练出包含医疗领域语义表示信息的预训练模型；S3)、利用堆叠扩张卷积神经网络IDCNN对步骤S2)所训练出的预训练模型进行微调，训练出能够识别医疗文本中所包含的相关医疗命名实体的深度神经网络模型；S4)、将训练好的深度神经网络模型用于医疗文本的命名实体识别任务中，以识别更多有价值的命名实体。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于五邑大学，未经五邑大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910520186.6/，转载请声明来源钻瓜专利网。
