[发明专利]医学应用模型的预训练方法、装置、存储介质及电子设备

权利要求书

1.一种医学应用模型的预训练方法，其特征在于，所述方法包括：

获取预训练语料，所述预训练语料包括疾病的名称文本、描述类型的名称文本、以及所述疾病在所述描述类型下的描述文本；

基于所述疾病的名称文本和所述描述类型的名称文本对所述描述文本进行掩码处理，以得到训练数据；

根据所述训练数据对BERT模型进行MLM训练，以得到预训练完成的BERT模型。

2.根据权利要求1所述的方法，其特征在于，所述基于所述疾病的名称文本和所述描述类型的名称文本对所述描述文本进行掩码处理，以得到训练数据，包括：

在所述描述文本中包括所述疾病的名称文本和所述描述类型的名称文本的情况下，对所述描述文本中的所述疾病的名称文本和所述描述类型的名称文本进行遮蔽，以得到所述训练数据。

3.根据权利要求1所述的方法，其特征在于，所述基于所述疾病的名称文本和所述描述类型的名称文本对所述描述文本进行掩码处理，以得到训练数据，包括：

在所述描述文本中不包括所述疾病的名称文本和所述描述类型的名称文本的情况下，构建包括所述疾病的名称文本和所述描述类型的名称文本的问题文本；

对所述问题文本中的所述疾病的名称文本和所述描述类型的名称文本进行遮蔽，得到目标问题文本；

将所述目标问题文本与所述描述文本进行拼接，以得到所述训练数据。

4.根据权利要求1所述的方法，其特征在于，所述基于所述疾病的名称文本和所述描述类型的名称文本对所述描述文本进行掩码处理，以得到训练数据，包括：

在所述描述文本中不包括所述疾病的名称文本或所述描述类型的名称文本的情况下，构建包括所述疾病的名称文本和所述描述类型的名称文本的问题文本；

将所述问题文本和所述描述文本进行拼接，得到待遮蔽文本；

对所述待遮蔽文本中所述疾病的名称文本和所述描述类型的名称文本进行遮蔽，以得到所述训练数据。

5.根据权利要求3所述的方法，其特征在于，所述将所述目标问题文本与所述描述文本进行拼接，以得到所述训练数据，包括：

将所述目标问题文本拼接在所述描述文本之前，以得到所述训练数据。

6.根据权利要求4所述的方法，其特征在于，所述将所述问题文本和所述描述文本进行拼接，得到待遮蔽文本，包括：

将所述问题文本拼接在所述描述文本之前，以得到所述待遮蔽文本。

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述根据所述训练数据对BERT模型进行MLM训练，包括：

将所述训练数据输入所述BERT模型，得到所述BERT模型输出的预测向量信息，所述预测向量信息是针对所述训练数据中被遮蔽的位置上的目标文本进行向量预测的结果；

根据所述预测向量信息和所述目标文本的真实向量信息计算损失信息；

根据所述损失信息调整所述BERT模型的学习参数。

8.一种医学应用模型的预训练装置，其特征在于，所述装置包括：

获取模块，用于获取预训练语料，所述预训练语料包括疾病的名称文本、描述类型的名称文本、以及所述疾病在所述描述类型下的描述文本；

预处理模块，用于基于所述疾病的名称文本和所述描述类型的名称文本对所述描述文本进行掩码处理，以得到训练数据；

训练模块，用于根据所述训练数据对BERT模型进行MLM训练，以得到预训练完成的BERT模型。

9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。