[发明专利]一种基于电子病历文本的可迁移语言模型

权利要求书

1.一种基于电子病历文本的可迁移语言模型，其特征在于，包括如下步骤：

S1：模板术语分离器，以医学知识库为字典，从医学文本S中匹配出对应的术语部分，将匹配的术语进行替换，生成文本模板与专业术语集合；

S2：模板术语编码器，将文本模板与专业术语进行编码，得到文本与术语融合后的向量表征E^l+1；

S3：预训练下游任务层，将利用模板挖词填空、术语还原、否定考量三个任务进行预训练，输出为下游任务的损失，进行模型训练与优化。

2.如权利要求1所述的基于电子病历文本的可迁移语言模型，其特征在于，所述步骤S1中，模板术语分离器包括如下步骤：

S11：输入为病历文本S^Doc、字段名S^key，输出入为字段值S^value，根据字段类型确定不同的处理方式；

S12：利用字典树匹配算法，以医学知识库KG为字典，从医学文本S中匹配出对应的术语部分，再对其进行替换，生成文本模板S_pattern与专业术语集合S_KG。

3.如权利要求1所述的一种基于电子病历文本的可迁移语言模型，其特征在于：所述步骤S2中，模板术语编码器包括如下步骤：

S21：模板术语编码器使用Patten Attention、KG Cross Attention依次捕捉模板的上下文语义信息，建立文本模板与知识库之间的关联信息，具体公式如下；

SelfAttention(X)＝ln(mult_head_h＝12(X，X，X，MASK)+X)

KGCrossAttention(X，K)＝ln(mult_head_h＝12(X，K，K，MASK)+X)

S22：使用FNN层对S21中捕获到的信息进行一次非线性变换，得到融合后的向量表征E^l+1，具体公式如下。

E^l+1＝FFN(KGCrossAttention(SelfAttention(E^l)，K，MASK))

E¹＝layer_normal(add([x_i]^s-max，[p_i]^s_max))

4.如权利要求1所述的一种基于电子病历文本的可迁移语言模型，其特征在于：所述步骤S3中，预训练下游任务层包括如下步骤：

S31：模板挖词填空任务，用于学习模板中每个字的上下文有关表示，具体做法为，从模板中随机选择15％的正常字符，按照80％概率替换为[MASK]，10％替换为词表中的其他字符，10％保持不动，再通过下游任务层将这个字符还原，具体计算公式如下：

H^mlm＝ln(relu(W^mlmD^l+1+b^mlm))

S32：术语还原任务，用于学习模板中的槽与所填术语之间的联系，具体做法为，从术语集中随机选择10％的术语，按照80％概率替换为[MASK]，10％替换为知识库中的其他术语，10％保持不动，再通过下游任务层将这些术语还原，计算公式如下：

H^tmlm＝ln(relu(W^tmlmD^l+1+b^tmlm))

S33：语义倾向判断任务，具体做法为：从语料中利用预定义的规则匹配包含否定含义的段落作为负例，随机挑选一些其他段落作为正例，其中限制正例的最大采样个数等于负例个数，再通过下游任务层预测该段落的倾向，具体计算公式如下：

P(para is positive|Hp)＝sigmod(W^negH^p′’+b^neg)

S34：使用上述三个任务联合预训练模型。