[发明专利]一种基于多任务学习的肠癌诊断电子病历属性值抽取方法

权利要求书

1.一种基于多任务学习的肠癌诊断电子病历属性值抽取方法，其特征在于，包括以下步骤：

步骤一、对于每个实例使用预训练的词嵌入来初始化神经网络模型中的参数：对于每个癌症标本e∈E，E为癌症标本数据集，首先将其文本切成句子或段s_e，然后将其作为癌症样本的一个实例；

步骤二、使用训练数据对步骤一中所述实例进行微调来捕获特定领域的语义或知识；

步骤三、使用BiLSTM层来考虑多条句子上下文信息，以获得更好的句子表示：上下文信息分别传送到BiLSTM的前向序列和后向序列中，对于每个句子s_ei，使用隐藏的向量h_i表示它：

h_i＝[h_i,1,h_i,2,…,h_i,j,…,h_i,w]                       (1)

其中h_i,j是句子s_ei的第j个单词的隐藏向量表示，将前向LSTM表示和后向LSTM表示通过非线性变换连接起来；前向LSTM表示带有文本的标准序列，后向LSTM表示带有相反的序列：

其中，为前向LSTM表示，为后向LSTM表示，σ()表示非线性变换；

步骤四、使用注意力机制为不同的属性提取器选择最重要的实例，并相应地减少其它实例所带来的噪声：使用HAN模型提出的注意力机制来表示所有实例h，其定义如下：

h＝∑_iα_ih_i                                (3)

其中h_i是第i个实例，而α_i是h_i实例的权重，定义如下：

m_i＝tanh(w_sh_i+b_s)                           (5)其中，m_s和m_i是实例或句子级别的上下文向量，w_s和b_s是一个单层的感知机参数用于得到m_i的隐含表示，这些参数均于训练过程中随机初始化和联合学习；m_i^T表示m_i的转置；

步骤五、在输出层使用多任务学习机制，共同学习相关任务以同时解决多个多类问题任务，从而获得更好的结果并减少过拟合的风险：所有实例h被输送到不同的输出层；同时，使用softmax函数获得多个分类结果，

P_c＝softmax(w_ch+b_c)                         (6)

其中P_c是任务c的预测概率，w_c是权重参数，b_c是偏差矢量。