[发明专利]一种基于纵横子片的深度神经网络分割方法

说明书

本发明公开了一种基于纵横子片的深度神经网络分割方法。一方面，提出了纵横子片，由两个正交的长方形子片组成。纵横子片能够同时从纵向和横向捕获目标的全局和局部外观信息。另一方面，利用获得的纵横子片，以级联训练的方式迭代地训练两个子模型。在训练期间，需要一个方向的子模型帮助分割另一方向子模型的错误分割区域，以鼓励训练的子模型更加关注目标难以分割的部分。最终的分割结果由所有的子模型多数投票产生。本发明公开提供的分割方法不仅能同时捕获局部细节信息和全局上下文信息，还可以通过级联训练的模式令不同子模型之间互相提供互补信息并实现自我提升，以增强最终的分割结果，并且具有极高的训练效率。

技术领域

本发明涉及神经网络技术领域，更具体的说是涉及一种基于纵横子片的深度神经网络分割方法。

背景技术

无论是在自然图像还是在医学图像中，都有大量的非细长条状、类圆形目标存在，如人脸、心脏、肾肿瘤、肺结节等。对它们的精确分割往往对现实中的生产生活具有极其重要的意义，但这些分割任务通常都具有很大的挑战性。由于主观(例如，不正确的描绘)和客观(例如，图像数量的众多)因素，传统的基于人工的手动描绘已经不能满足基本的需求，虽然3D模型可以充分利用三维信息，但其对内存要求较高，训练时间也较长，阻碍了该类方法在时间受限的工作中的应用。

基于以上问题，我们提出了一种基于2D的深度卷积神经网络(convolutionalneural network,CNN)模型，用以分割这种非细长形目标。与传统的图像分析方法相比，基于CNN的模型所学到的特征在信息量上和判别性上都具有优越的性能，因此被广泛应用于图像分割任务中。但正如上文所述，已有的一些2D CNN模型并不能在特定任务中取得预期效果。除了目标与背景之间模糊的边界、相似的纹理阻碍了现有2D CNN模型性能的发挥外，我们认为提供给现有模型输入层的数据也是影响模型发挥的关键因素。在现有的2D CNN模型中，无论是基于图像的(image-based)还是基于子片的(子片-based)，都是将整张图像或正方形子片作为输入层的数据输入到模型中。这种策略有可能会降低模型的性能。如图1(b)所示，若将其中的蓝色和绿色子片同时输入模型，我们很难确定模型从它们身上学到的特征能够区分指甲和背景。当然，我们可以将子片扩大至黑色方框甚至整张图像，但实验结果将表明这并不能增加模型的分割精度。因为大的子片虽然能包含更多的信息却也意味着更多的噪声。

因此，如何提供一种新的图像分割方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于纵横子片的深度神经网络分割方法，不仅同时捕获局部细节信息和全局上下文信息；级联训练的模式可以令不同子模型之间互相提供互补信息，以增强最终的分割，并且训练效率大大提高。

基于背景技术中的分析，将采用不同于正方形的子片来充分描述目标的纹理和上下文信息。仍以指甲的分割为例，目标呈不规则对称的类圆形。如图1(c)所示，采用长方形子片沿一个方向从一边到另一边完全覆盖整个目标。这样既可以同时集成上下文信息和对称信息，又不会包含过多的冗余信息。与其他基于子片的CNN方法类似，将分割问题转化为像素点的二分类问题。对于每个像素，提取以它为中心的两个子片，一个是纵向子片，另一个是横向子片，统称纵横子片。新模型将对每个纵横子片的中心像素进行分类，判别它们是属于目标还是属于背景。

为了实现上述目的，本发明提供如下技术方案：

一种基于纵横子片的深度神经网络分割方法，具体步骤包括如下：

步骤一：从待分割图像中提取每个像素的纵向子片和横向子片；

步骤二：建立横向子模型和纵向子模型，并不断更新所述横向子模型和所述纵向子模型；

步骤三：将所述步骤一中的提取的所述纵向子片通过所述步骤二更新的所述纵向子模型进行训练；将所述步骤一中的提取的所述横向子片通过所述步骤二更新的所述横向子模型进行训练；