[发明专利]基于BERT模型的医学应用模型训练方法及装置

权利要求书

1.一种基于BERT模型的医学应用模型训练方法，其特征在于，包括：

获取循证医学训练样本；

对所述循证医学训练样本进行实体词汇屏蔽，得到MLM训练样本；

利用所述MLM训练样本对BERT模型进行MLM训练，得到PICO-BERT模型；

其中，所述实体词汇对应于循证医学中具有实际意义的实体。

2.根据权利要求1所述的基于BERT模型的医学应用模型训练方法，其特征在于，

所述获取循证医学训练样本包括：

获取医学文献；

在所述医学文献中提取PICO实体；所述PICO实体包括：问题的对象、干预措施、备选措施、结果；

将每篇医学文献中的PICO实体确定为一条循证医学训练样本。

3.根据权利要求1所述的基于BERT模型的医学应用模型训练方法，其特征在于，

所述对所述循证医学训练样本进行实体词汇屏蔽，得到MLM训练样本包括：

对所述循证医学训练样本进行分词，得到分词结果；

将所述分词结果与PICO实体进行对齐，得到对齐结果；

利用所述对齐结果中的实体词汇对所述循证医学训练样本进行屏蔽，得到MLM训练样本；

其中，所述PICO实体为循证医学中具有实际自然意义的实体。

4.根据权利要求1所述的基于BERT模型的医学应用模型训练方法，其特征在于，

所述实体词汇包括以下至少一种：疾病种类词汇、药物词汇、生物酶词汇、病理反应词汇。

5.根据权利要求1所述的基于BERT模型的医学应用模型训练方法，其特征在于，

所述利用所述MLM训练样本对BERT模型进行MLM训练，得到PICO-BERT模型包括：

将BERT模型置于训练模式；

将所述MLM训练样本输入所述BERT模型，得到训练后的BERT模型；

将训练后的BERT模型确定为PICO-BERT模型。

6.根据权利要求1至5任一项所述的基于BERT模型的医学应用模型训练方法，其特征在于，

删除所述PICO-BERT模型中的NSP训练任务。

7.一种基于BERT模型的医学应用模型训练装置，其特征在于，包括：

样本获取模块，用于获取循证医学训练样本；

样本处理模块，用于对所述循证医学训练样本进行实体词汇屏蔽，得到MLM训练样本；

模型训练模块，用于利用所述MLM训练样本对BERT模型进行MLM训练，得到PICO-BERT模型；

其中，所述实体词汇对应于循证医学中具有实际意义的实体。

8.根据权利要求7所述的基于BERT模型的医学应用模型训练装置，其特征在于，所述样本处理模块包括：

分词单元，用于对所述循证医学训练样本进行分词，得到分词结果；

对齐单元，用于将所述分词结果与PICO实体进行对齐，得到对齐结果；

屏蔽单元，用于利用所述对齐结果中的实体词汇对所述循证医学训练样本进行屏蔽，得到MLM训练样本；

其中，所述PICO实体为循证医学中具有实际自然意义的实体。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于BERT模型的医学应用模型训练方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述基于BERT模型的医学应用模型训练方法的步骤。