[发明专利]一种基于内窥镜图像的实时的神经外科手术器械分割方法

说明书

本发明属于医学图像处理领域和图像分割技术领域，更具体地，涉及一种基于内窥镜图像的实时的神经外科手术器械分割方法。提出了一套针对内窥镜神经外科手术场景的实时器械实例分割方法，能够应用到临床中，起到在术中实时辅助神经外科手术的作用。本发明还提出了一套针对光斑、倒影、模糊等噪声的数据增广方法，丰富样本的同时，提高模型的学习能力和适应性。

技术领域

本发明属于医学图像处理领域和图像分割技术领域，更具体地，涉及一种基于内窥镜图像的实时的神经外科手术器械分割方法。

背景技术

现有的实例分割方法主要分为两级(two-stage)和单级(one-stage)两种类型。目前在神经外科内窥镜图像场景下并没有相关的实时实例分割工作。

数据增广是深度学习中常用的技巧之一，主要用于增加训练数据集，让数据集尽可能的多样化，使得训练的模型具有更强的泛化能力。现有的数据增广主要包括：水平/垂直翻转、旋转、缩放、裁剪、剪切、平移、对比度、色彩抖动、噪声等。但是传统的数据增广方法中并没有针对内窥镜手术图像的，也没有针对包含光斑、倒影、模糊场景的。

中国专利CN111724365A，公开日为2020.09.29，公开了一种血管内动脉瘤修复手术介入器械检测方法，利用了训练好的快速注意力网络生成介入器械的二值分割掩膜，然后将二值分割掩膜覆盖在待检测图像上获得介入器械的图像。该发明是基于X光透射图像的，提高了器械与组织背景的分类准确率以及速度。并没有针对神经外科内窥镜手术的场景进行研发，无法解决该场景下容易出现的光斑、倒影、模糊等噪声带来的挑战。同时上述实例分割技术大多是在术前诊查阶段为医生提供帮助的，并不能在术中提供实时提示。

目前效果较好的实例分割算法都是从目标检测方法中衍生的，但是实例分割却比目标检测难度大的多。两级检测器的精度依赖于特征定位，该过程有序，无法加速。单级检测器将该过程改进成为并行过程，但是这样一来就要在定位之后进行很多后续的计算，也难以加速。因此实时的实例分割任务一直难以突破。

发明内容

本发明为克服上述现有技术中的至少一个缺陷，提供一种于内窥镜图像的实时的神经外科手术器械分割方法，能够适应外科手术的实施分割任务，分割速度快。

为解决上述技术问题，本发明采用的技术方案是：一种基于内窥镜图像的实时的神经外科手术器械分割方法，包括以下步骤：

S1.采集内窥镜手术图像数据，采用人工标注的方式为图像打上标签，标签将前景即器械与背景进行空间上的分割和语义上的分类；构建数据集，设置交叉验证样本，建立器械实例分割数据库，分为训练集和验证集；

S2.对数据集进行数据增广，包括翻转、旋转、调整图像强度、添加光斑/高斯噪声、图像混合，从而增加数据集的样本数量，丰富样本；

S3.构建网络模型，包括一个特征主干网络，一个特征金字塔网络，一个原型预测分支和一个掩膜系数预测分支；输入是一个二维图像，输出为对该图像的预测结果，包括一组目标检测的边界框、掩膜以及对应类别；

S4.用训练数据集作为训练样本，使用反向传播策略对步骤S3中构造的网络模型进行训练，最小化损失函数，得到优化后的网络权重；

S5.测试模型，使用验证数据样本对训练好的网络模型进行测试，将验证图像输入网络模型，得到预测结果，与标签对比，判断网络是否具有较好适应性。

进一步的，在所述的步骤S2中，在选择具体的数据增广方式时，对于图片翻转、图片旋转、调整图像强度和添加光斑/高斯噪声这几种增广方式，采用随机生成概率的方式为每张图片选择对应的增广方式。

进一步的，所述的随机概率的方式具体包括：首先，分别设置图片旋转概率、图片翻转概率、调整图像强度概率、添加光斑/高斯噪声概率；然后，生成0～1的浮点随机数，当随机数大于提前设定的阈值概率时，则对当前图片使用对应增广方式。