[发明专利]一种基于智能联合学习的疾病诊断系统

权利要求书

1.一种疾病诊断的智能联合学习系统，其特征在于，包括：

上下文特征嵌入表示层，用于自动提取文本类的电子病历中的上下文特征，并对上下文的语义信息进行编码；

医学影像嵌入表示层，用于自动提取病人医学影像的特征；

医学查体实验数据嵌入表示层，用于自动提取病人查体实验产生的结果信息的特征；

医学知识编码层，连接所述上下文特征嵌入表示层、所述医学影像嵌入表示层和所述医学查体实验数据嵌入表示层，用于采用基于规则的抽取方法，对病人的多模特数据根据医学诊断学知识进行线性特征向量形式的编码；

神经网络隐藏层，连接所述上下文特征嵌入表示层、所述医学影像嵌入表示层和所述医学查体实验数据嵌入表示层，用于根据输入的病人多模特数据的类型差异，对文本类的电子病历数据、医学影像数据和查体实验数据的嵌入表示进行训练；

联合学习输出层，用于对所述神经网络隐藏层的训练结果和所述医学知识编码层的线性模型进行联合学习，输出最终的疾病诊断结果。

2.根据权利要求1所述的系统，其特征在于，所述上下文特征嵌入表示层采用下列神经网络模型中的一种来自动提取文本类的电子病历中的上下文特征：双向长短期记忆网络BLSTM、单向长短期记忆网络LSTM、递归神经网络RNN、带有注意力机制的LSTM。

3.根据权利要求1所述的系统，其特征在于，所述医学影像嵌入表示层采用卷积神经网络自动提取病人医学影像的特征。

4.根据权利要求3所述的系统，其特征在于，所述医学影像嵌入表示层首先采用放射医学中的自动提取方法，用病理学标签来标注每张医学影像；在把图像输入到卷积神经网络之前，对图像进行均值和标准差的归一化，并通过旋转、平移和变形等变化来增强训练数据集，以满足卷积神经网络训练对大量数据的要求。

5.根据权利要求1所述的系统，其特征在于，所述医学查体实验数据嵌入表示层采用卷积神经网络自动提取病人查体实验产生的结果信息的特征。

6.根据权利要求1所述的系统，其特征在于，所述医学知识编码层进行的线性特征向量形式的编码为one-hot编码。

7.根据权利要求6所述的系统，其特征在于，所述医学知识编码层根据医学诊断学知识，将病人的多模特数据定义为一组线性特征向量的形式，特征集合中既包含原始医学特征，又包含交叉转换特征；对于原始医学特征其取值进行one-hot编码；所述交叉转换特征定义如下：

其中c_ki是一个布尔变量，x_i表示特征集合中的第i个特征，d表示特征的数量，如果第i个原始医学特征是第k个交叉转换特征的一部分，则取值为1，否则为0。

8.根据权利要求1所述的系统，其特征在于，所述神经网络隐藏层包含了BLSTM网络和CNN网络，分别用来对文本类的电子病历数据和医学影像数据、查体实验数据的嵌入表示进行训练；所述神经网络隐藏层采用预训练的方式，先利用现有的大规模图像数据对CNN的模型参数进行预训练，得到的CNN的参数作为模型的初始值，再将医学影像训练数据作为CNN模型的输入，对模型的参数进行调优。

9.根据权利要求1所述的系统，其特征在于，所述联合学习输出层的联合学习模型包括线性部分和深度部分；经由医学知识编码层获得的一组线性特征向量，通过线性模型y＝w^TX+b构成所述线性部分，其中X为特征向量，w为权重向量，b为偏移量；神经网络模型构成所述深度部分；线性部分和深度部分的输出将通过加权和的形式组合起来，并通过逻辑回归模型来完成模型的联合学习训练；训练采用后向传播的方法同时训练线性部分和深度部分，并采用小批量随机优化。

10.根据权利要求9所述的系统，其特征在于，所述逻辑回归模型定义如下：

其中Y代表分类的标签，x为特征向量，σ(·)表示sigmod函数，θ(x)代表交叉转换特征，w₁是线性模型的权重向量，w_deep是最终激活函数值的向量。