[发明专利]医学应用模型的预训练方法、装置、存储介质及电子设备

说明书

本公开涉及一种医学应用模型的预训练方法、装置、存储介质及电子设备，该方法包括：获取预训练语料，所述预训练语料包括疾病的名称文本、描述类型的名称文本、以及所述疾病在所述描述类型下的描述文本；基于所述疾病的名称文本和所述描述类型的名称文本对所述描述文本进行掩码处理，以得到训练数据；根据所述训练数据对BERT模型进行MLM训练，以得到预训练完成的BERT模型。采用本公开这种方式，能够增强BERT模型对医学领域的自然语言的语义理解能力，从而提升BERT模型对医学领域的自然语言的编码准确性。

技术领域

本公开涉及自然语言处理技术领域，具体地，涉及一种医学应用模型的预训练方法、装置、存储介质及电子设备。

背景技术

BERT(Bidirectional Encoder Representation from Transformers)是一种预训练的语言表征模型。预训练BERT模型，引入了MLM(Masked Language Model，掩码语言模型)以及NSP(Next Sentence Prediction，下一句预测)两个预训练任务，并在大规模语料上进行预训练(Pre-training)。在具体应用预训练完成的BERT模型的场景中，使用少量标注语料进行微调(Fine-tuning)即可完成文本分类、序列标注、机器翻译、阅读理解、知识问答等下游NLP(Natural Language Processing)任务。

相关技术中，为了保证BERT模型的通用性，训练BERT模型的大规模语料需覆盖各个知识领域，主要包括常识(Commonsense Knowledge)和开放领域知识(Open DomainKnowledge)。基于这样的大规模语料训练出来的预训练BERT模型可用于解决不同领域的自然语言问题。然而，采用这种方式预训练出来的BERT模型在一些专业领域(SpecializedDomain Knowledge)中表现一般，无法很好的解决专业领域内的自然语言处理问题。例如，在医学领域中，因为医学领域专业性极强且容错率低，所以目前的预训练BERT模型在医学领域中适用性不好，无法解决医学领域研究场景下的自然语言问题。

发明内容

本公开的目的是提供一种医学应用模型的预训练方法、装置、存储介质及电子设备，以解决相关技术中存在的问题。

为了实现上述目的，本公开实施例的第一部分提供一种医学应用模型的预训练方法，所述方法包括：

获取预训练语料，所述预训练语料包括疾病的名称文本、描述类型的名称文本、以及所述疾病在所述描述类型下的描述文本；

基于所述疾病的名称文本和所述描述类型的名称文本对所述描述文本进行掩码处理，以得到训练数据；

根据所述训练数据对BERT模型进行MLM训练，以得到预训练完成的BERT模型。

可选地，所述基于所述疾病的名称文本和所述描述类型的名称文本对所述描述文本进行掩码处理，以得到训练数据，包括：

在所述描述文本中包括所述疾病的名称文本和所述描述类型的名称文本的情况下，对所述描述文本中的所述疾病的名称文本和所述描述类型的名称文本进行遮蔽，以得到所述训练数据。

可选地，所述基于所述疾病的名称文本和所述描述类型的名称文本对所述描述文本进行掩码处理，以得到训练数据，包括：

在所述描述文本中不包括所述疾病的名称文本和所述描述类型的名称文本的情况下，构建包括所述疾病的名称文本和所述描述类型的名称文本的问题文本；

对所述问题文本中的所述疾病的名称文本和所述描述类型的名称文本进行遮蔽，得到目标问题文本；

将所述目标问题文本与所述描述文本进行拼接，以得到所述训练数据。

可选地，所述基于所述疾病的名称文本和所述描述类型的名称文本对所述描述文本进行掩码处理，以得到训练数据，包括：