[发明专利]一种基于多时相融合的多任务分类系统及方法

说明书

本发明提供一种基于多时相融合的多任务分类系统及方法，涉及深度学习技术领域。本发明通过动态的更新每个任务的权重来提高多个临床指标的预测准确性。将MRI放射组学映射到相关的临床指标上可以提高多个任务的预测性能。结合放射组学的相关性，通过多任务学习联合预测指标，对肿瘤的最佳治疗是重要的，还可根据多个临床指标进行临床决策。

技术领域

本发明涉及深度学习技术领域，尤其涉及一种基于多时相融合的多任务分类系统及方法。

背景技术

乳腺癌是全世界妇女中最常见的癌症，已成为癌症相关死亡的第二大原因。医学影像多种时相的融合可以为其进行分类时提供一个整体的视角。其中动态对比增强磁共振成像(DCE-MRI)是在快速成像序列基础上进行动态扫描，在乳腺癌预测方面能提供较高的灵敏度。

在动态对比增强磁共振成像中包含八个时相数据。第一时相是未注射造影剂情况下的影像，第二个时相和第八个时相是注射造影剂后每隔一段时间的一个成像情况。在临床上第一时相和第三时相相对来说比较有意义，故DCE影像的第一时相和第三时相进行特征融合。特征融合，来自不同时相的特征的结合，在现代网络结构中占据重要地位。通常通过简单的加权和连接这样的操作进行融合。

融合操作可以在输入层，中间层和决策层进行。早期融合多数表现为影像融合，中间层融合表现为中间层的特征之间混合融合，机器学习的研究表明中间层的融合效果较好。但是不同时相的中间层特征融合有不同或无序的空间维度使融合具有一定的挑战。

医学影像融合之后，在样本个数有限的情况下，结合多任务学习的机制联合预测多个指标。大多数机器学习模型都是独立进行学习的，即单任务学习，也就是说针对一个特定任务设计一个模型，然后进行迭代优化。对于复杂一点的任务，将其拆解成多个任务，多任务的每部分进行建模。但是在对子任务进行建模的时候，很容易忽略任务之间的关联和约束关系，导致整个任务的整体效果不够理想。多任务学习的目的是利用不同任务中包含的知识来提高多个相关任务的泛化性能。相较单任务学习来说，多任务学习在训练阶段存在两个主要的挑战。一是如何共享网络参数，分别是硬参数共享和软参数共享两种方法。第二个是如何平衡不同任务的学习过程。假如有n个学习任务，在这些任务中，任务之间是相互关联的，多任务学习旨在从所有任务中提取相关信息，挖掘尽可能多的信息，任务之间共享这些共同的信息，平衡每一个任务，从而可以提升总体任务的分类效果。多个任务可以共享一个模型，占用内存量较少；关联任务通过共享信息，相互补充，提升彼此的表现。

发明内容

为解决上述技术问题，本发明提出一种基于多时相融合的多任务分类系统及方法，利用多时相影像融合进行多任务联合预测，为不同的任务赋予相应的权值。

一种基于多时相融合的多任务分类系统，包括：输入模块、神经网络模块、特征融合模块以及输出模块；

所述输入模块，用于接收用户输入的DCE影像的第一时相和第三时相的数据，然后将其输入到神经网络中；

所述神经网络模块包括卷积层，池化层以及全连接层，卷积层对输入的图像进行更深入的分析从而得到抽象程度更高的特征；池化层进一步缩小特征节点，从而达到减少整个神经网络中的参数的目的；全连接层用于进行多任务分类；

所述特征融合模块，在特征融合模块对特征进行拼接；

所述输出模块用于对任务分类结果进行输出显示。

另一方面，一种基于多时相融合的多任务分类方法，通过前述一种基于多时相融合的多任务分类系统实现，包括以下步骤：

步骤1：将核磁共振影像的动态对比增强(DCE)影像的第一时相和第三时相进行预处理，将数据转换成统一的jpg格式；

步骤2：将第一时相和第三时相的DCE影像在特征融合模块进行特征融合，分别将第一时相和第三时相的特征进行相加、相乘、取最大值，然后将相加，相乘和最大值得到的结果进行拼接；