[发明专利]一种手腕部参照骨分割方法

权利要求书

1.一种手腕部参照骨分割方法，其包括以下步骤：

步骤1：采用Faster R-CNN进行参照骨的兴趣区域(Region of Interest,ROI)提取，并且采用各向异性扩散滤波对参照骨ROI图像进行预处理，具体包括：

11)使用LabelImg工具标注800张手腕部X光片图像作为训练集，标注出参照骨在X光图像中的左上角坐标、宽度和高度；将训练集放入Faster R-CNN中进行训练，一次性输入到网络中的图像为1张，迭代20次，基础学习率为0.001，每隔5次迭代基础学习率下降10倍；每次迭代结束，都会保存一个模型，采用第20次迭代结束的模型作为提取参照骨ROI的FasterR-CNN模型；

12)将待测X光片图像输入到Faster R-CNN网络中，并且加载11)中训练的模型，进行参照骨ROI的提取；首先，将手腕X光片图像输入到VGG16模型中得到共享卷积特征图；然后，采用RPN网络生成建议窗口，选取其中前景目标类得分最高的300个建议窗口，并将其映射到卷积特征图上；最后，ROI 池化层将每个候选区域生成固定尺寸的特征图，对候选区域进行分类，计算候选框的回归偏移量，提取出参照骨ROI图像；

13)对于提取出来的参照骨ROI图像，采用各向异性扩散滤波进行图像预处理，公式为：

其中I为参照骨ROI图像，t为迭代次数，设置为2，I₃为预处理后的图像，λ为平滑系数，设置为0.14，x为参照骨ROI图像的横坐标，y为参照骨ROI图像的纵坐标，和分别为东南西北四个方向的梯度，公式如(2-2)所示，cE、cS、cW和cN分别为四个方向的扩散系数，公式如(2-3)所示；

其中k为热传导系数，k的值设置为30；

步骤2：将预处理后的参照骨ROI图像输入到ARU-Net进行分割，具体包括：

21)在使用LabelImg工具标注出训练集中参照骨的位置信息后，根据参照骨在X光片图像中的左上角坐标、宽度和高度，截取出参照骨ROI图像；采用LabelMe工具在参照骨ROI图像上标注出参照骨的轮廓作为ARU-Net的训练集；

22)构建ARU-Net神经网络，采用3次下采样、3次上采样，并且保留U-Net的特征层拼接方法；在下采样或者上采样之前，需要通过残差注意力模块进行特征的提取；

23)构建残差注意力模块，input作为图像的输入或者上一个模块的输出，经过两个卷积核大小为3的卷积层，在每个卷积层后面都会进入批量归一化层和ReLU激活函数，计算得到的特征图temp，公式如(2-4)所示；

temp＝conv₃(conv₃(input)) (2-4)

其中conv₃为与3×3卷积核进行卷积运算、批量归一化和ReLU激活函数的串行计算；

在计算出经过两个卷积层的特征图temp后，首先，temp被分别输入到空间注意力模块和通道注意力模块中；然后，两个模块计算出的权重特征图与temp进行相乘得到通道注意力特征图和空间注意力特征图，由于input与注意力特征图的通道数目不同，所以需要将input的通道数目调整成与注意力特征图的通道数目一致；最后，将注意力的特征图与处理后的input进行相加，得到最后的输出，公式如(2-5)所示；

其中F_c为经过通道注意力模块后的处理操作，F_s为经过空间注意力模块后的处理操作，为逐元素乘法，conv₁为与1×1卷积核进行卷积运算、批量归一化和ReLU激活函数的串行计算；

24)构建通道注意力模块；首先，将维度为h×w×c的temp分别输入到全局平均池化层和全局最大池化层中，得到两个维度为1×1×c的特征图；然后，将这两个特征图输入到共享卷积神经网络中，该卷积神经网络包含三个卷积层，其卷积核大小分别为1×1、3×3和1×1，其卷积核个数分别为c/16、c/16和c，最后计算出的结果为1×1×c的特征图；最后，两个特征图进行相加并且sigmoid函数运算后，即得到最后的通道权重特征图，其公式如(2-6)所示；

其中average为经过平均池化层后的处理操作，max为经过最大池化层后的处理操作，s为sigmoid函数；

25)构建空间注意力模块；首先，将维度为h×w×c的temp分别输入到全局平均池化层和全局最大池化层中，得到两个维度为h×w×1的特征图；然后，将这两个特征图拼接起来，得到一个维度为h×w×2的特征图；最后，将该特征图输入到卷积层中，该卷积层的卷积核为3×3，卷积核个数为1，得到的特征图进行sigmoid函数运算后得到一个维度h×w×1的特征图，该特征图为空间权重特征图，其公式如(2-7)所示；

F_s(temp)＝s(conv₃(cat(average(temp),max(temp)))) (2-7)

其中cat为拼接两个特征图的操作；

26)构建损失函数；采用的损失函数为二进制交叉熵损失函数(binary cross entropyloss,BCE Loss)，其公式如(2-8)所示；

loss＝-[truthlgpre+(1-truth)lg(1-pre)] (2-8)

其中truth为真值，pre为预测值；

27)训练ARU-Net神经网络模型，一共迭代20次，基础学习率为0.1，每隔5次学习率下降10倍，每次迭代结束保存一次模型，选择最后一次迭代的模型作为的ARU-Net模型；

28)将步骤1处理后的参照骨ROI图像I₃输入到ARU-Net网络中，并且加载27)中训练的模型，进行参照骨的分割，得到分割后的图像I₄；

步骤3：对分割后的参照骨ROI图像进行后处理操作，后处理操作依次为漫水填充算法和腐蚀与膨胀，具体包括：

31)针对分割后的图像I₄，首先采用漫水填充算法将I₄的背景由黑色填充成白色，其种子点设置为(0,0)，填充的颜色设置为白色，得到洞孔图像，然后将洞孔图像取反与原始钩骨ROI图像相加，得到孔洞填充后的图像I₅，公式为：

I₅＝floodFill(I₄)+I₄ (2-9)

其中floodFill为漫水填充算法函数；

32)对孔洞填充后的图像I₅依次进行腐蚀和膨胀运算，内核设置均为5×5矩阵，得到最终的参照骨分割图像I₆，公式为：

I₆＝dilate(erode(I₅)) (2-10)

其中erode为腐蚀运算，dilate为膨胀运算。