[发明专利]基于影像与非影像信息的图像分割方法及系统

说明书

本申请提供了基于影像与非影像信息的图像分割方法及系统。该方法包括：获取待处理的医疗影像以及对应的非图像信息；将医疗影像和非图像信息输入至预先训练好的多模态卷积神经网络中，得到多模态卷积神经网络的输出，该输出表示对医疗影像进行分割的结果。可见，本申请实施例能够利用预先训练好的多模态卷积神经网络实现对医疗影像的分割，具体地实现对放疗器官和靶区的分割。这种方式对操作者没有要求，不需要有经验的医生进行，并且使用卷积神经网络的方式得到的分割结果快速准确，一方面极大地减少了人力成本，另一方面该卷积神经网络还同时考虑非图像信息，从而确保更加科学和精准的放疗器官和靶区的分割。

本发明涉及图像处理领域，尤其涉及基于影像与非影像信息的图像分割方法及系统。

背景技术

有些病人因为病情特殊性需要进行放疗，但是在放疗前需要确定具体的部位。目前一般的操作是：医生根据其经验，结合病人的各种情况，对病人的医疗影像进行针对性的勾靶，从而手动地实现放疗器官和靶区的分割。

这样的做法至少存在以下弊端：

1、手动分割方式对医生的经验要求很高，经验不足的医生不能进行较为精确的勾靶。

2、医生需要花大量的时间和精力勾靶，消耗了大量的人力资源，使得医生在其他事情上的精力缩减。

3、即使医生经验丰富，但是由于是依赖人力的手动方式，不能避免出错的可能性。

考虑到上述弊端，目前可使用的一种方式是基于单纯的医学影像进行学习并实现图像分割，然而这种方式只考虑了影像信息，不能学习到非影像信息，从而因不能进行针对性的勾靶而导致分割的结果不准确。

发明内容

本发明提供基于影像与非影像信息的图像分割方法及系统，能够使用卷积神经网络实现对医疗影像的分割，减小了人力成本。

根据本申请的第一方面，提供了一种基于影像与非影像信息的图像分割方法，包括：

获取待处理的医疗影像以及对应的非图像信息；

将所述医疗影像和所述非图像信息输入至预先训练好的多模态卷积神经网络中，得到所述多模态卷积神经网络的输出，其中，所述输出表示对所述医疗影像进行分割的结果；

其中，所述多模态卷积神经网络包括第一支、第二支和第三支，所述第一支用于将所述医疗影像作为输入并得到第一支输出，所述第二支用于将所述非图像信息作为输入并得到第二支输出，所述第三支用于将所述第一支输出和所述第二支输出进行融合并进行进一步卷积和反卷积从而得到所述多模态卷积神经网络的输出。

所述第一支用于对所述医疗影像进行卷积操作并提取所述医疗影像的特征。

所述第一支包括输入层、至少一个卷积层、最大池化层和丢弃层，其中，所述输入层用于获取所述医疗影像，所述卷积层用于利用卷积核进行卷积操作并输出张量，所述最大池化层用于对时许数据进行最大池化，所述丢弃层用于防止过拟合。

所述第二支用于对所述非图像信息进行特征提取。

所述第二支包括输入层、全连接层和重构层，其中，所述输入层用于获取所述非图像信息，所述全连接层用于根据特征的组合进行分类，所述重构层用于将张量的维度进行重构以使得所述第二支输出的维度与所述第一支输出的维度一致。

所述第三支包括上采样层、卷积层、丢弃层、连结层，其中所述连结层的数量为至少一个。

所述第三支的第一个层为第一连结层，用于所述第一支输出和所述第二支输出进行融合；所述第三支还包括位于第三支的中间的第二连结层，用于将所述第二连结层的上一层的输出与所述第一支的中间卷积层的输出进行融合。

所述非图像信息为放疗信息或者病人信息，包括以下至少一项：放疗周期、术前/术后、病人年龄、病人性别。