[发明专利]一种手腕部参照骨分割方法

摘要

一种手腕部参照分割方法，包括：步骤1参照骨兴趣区域图像提取及预处理，步骤2参照骨兴趣区域图像分割，步骤3参照骨兴趣区域后处理。计分法通过评估参照骨组合的成熟指征来计算骨龄，通过该方法计算出的骨龄偏差小。由于参照骨的形状不规则、参照骨与软组织对比度低、参照骨的位置毗邻等因素的影响，为专家准确评估参照骨的成熟指征增大了难度。本发明在保证参照骨分割准确的同时，还保证其具有较强的普适性。首先，采用Faster R‑CNN将参照骨ROI图像提取出来；然后，将预处理后的参照骨ROI图像输入到ARU‑Net中进行分割，ARU‑Net在传统U‑Net基础上添加残差映射和注意力机制，在提高了特征的使用率的同时，也提高了参照骨分割的准确率；最后，采用漫水填充算法和腐蚀与膨胀运算消除预测结果中出现的边缘锯齿、孔洞等现象。

主权项

1.一种手腕部参照骨分割方法，其包括以下步骤：步骤1：采用Faster R‑CNN进行参照骨的兴趣区域(Region ofInterest,ROI)提取，并且采用各向异性扩散滤波对参照骨ROI图像进行预处理，具体包括：11)使用LabelImg工具标注800张手腕部X光片图像作为训练集，标注出参照骨在X光图像中的左上角坐标、宽度和高度；将训练集放入Faster R‑CNN中进行训练，一次性输入到网络中的图像为1张，迭代20次，基础学习率为0.001，每隔5次迭代基础学习率下降10倍；每次迭代结束，都会保存一个模型，采用第20次迭代结束的模型作为提取参照骨ROI的Faster R‑CNN模型；12)将待测X光片图像输入到Faster R‑CNN网络中，并且加载(11)中训练的模型，进行参照骨ROI的提取；首先，将手腕X光片图像输入到VGG16模型中得到共享卷积特征图；然后，采用RPN网络生成建议窗口，选取其中前景目标类得分最高的300个建议窗口，并将其映射到卷积特征图上；最后，RoI池化层将每个候选区域生成固定尺寸的特征图，对候选区域进行分类，计算候选框的回归偏移量，提取出参照骨ROI图像；13)对于提取出来的参照骨ROI图像，采用各向异性扩散滤波进行图像预处理，公式为：其中I为参照骨ROI图像，t为迭代次数，设置为2，I₂为预处理后的图像，λ为平滑系数，设置为0.14，x为参照骨ROI图像的横坐标，y为参照骨ROI图像的纵坐标，和分别为四个方向(东南西北)的梯度，公式如(2‑2)所示，cE、cS、cW和cN分别为四个方向的扩散系数，公式如(2‑3)所示；其中k为热传导系数，k的值设置为30；步骤2：将预处理后的参照骨ROI图像输入到ARU‑Net进行分割，具体包括：21)在使用LabelImg工具标注出训练集中参照骨的位置信息后，根据参照骨在X光片图像中的左上角坐标、宽度和高度，截取出参照骨ROI图像；采用LabelMe工具在参照骨ROI图像上标注出参照骨的轮廓作为ARU‑Net的训练集；22)构建ARU‑Net神经网络，采用3次下采样、3次上采样，并且保留U‑Net的特征层拼接方法；在下采样或者上采样之前，需要通过残差注意力模块进行特征的提取；23)构建残差注意力模块，input作为图像的输入或者上一个模块的输出，经过两个卷积核大小为3的卷积层，在每个卷积层后面都会进入批量归一化层和ReLU激活函数，计算得到的特征图temp，公式如(2‑4)所示；temp＝conv₃(conv₃(input))                    (2‑4)其中conv₃为与3×3卷积核进行卷积运算、批量归一化和ReLU激活函数的串行计算；在计算出经过两个卷积层的特征图temp后，首先，temp被分别输入到空间注意力模块和通道注意力模块中；然后，两个模块计算出的权重特征图与temp进行相乘得到通道注意力特征图和空间注意力特征图，由于input与注意力特征图的通道数目不同，所以需要将input的通道数目调整成与注意力特征图的通道数目一致；最后，将注意力的特征图与处理后的input进行相加，得到最后的输出，公式如(2‑5)所示；其中F_c为经过通道注意力模块后的处理操作，F_s为经过空间注意力模块后的处理操作，为逐元素乘法，conv₁为与1×1卷积核进行卷积运算、批量归一化和ReLU激活函数的串行计算；24)构建通道注意力模块；首先，将维度为h×w×c的temp分别输入到全局平均池化层和全局最大池化层中，得到两个维度为1×1×c的特征图；然后，将这两个特征图输入到共享卷积神经网络中，该卷积神经网络包含三个卷积层，其卷积核大小分别为1×1、3×3和1×1，其卷积核个数分别为c/16、c/16和c，最后计算出的结果为1×1×c的特征图；最后，两个特征图进行相加并且sigmoid函数运算后，即得到最后的通道权重特征图，其公式如(2‑6)所示；其中average为经过平均池化层后的处理操作，max为经过最大池化层后的处理操作，s为sigmoid函数；25)构建空间注意力模块；首先，将维度为h×w×c的temp分别输入到全局平均池化层和全局最大池化层中，得到两个维度为h×w×1的特征图；然后，将这两个特征图拼接起来，得到一个维度为h×w×2的特征图；最后，将该特征图输入到卷积层中，该卷积层的卷积核为3×3，卷积核个数为1，得到的特征图进行sigmoid函数运算后得到一个维度h×w×1的特征图，该特征图为空间权重特征图，其公式如(2‑7)所示；F_s(temp)＝s(conv₃(cat(average(temp),max(temp))))         (2‑7)其中cat为拼接两个特征图的操作；26)构建损失函数；采用的损失函数为二进制交叉熵损失函数(binary cross entropy loss,BCE Loss)，其公式如(2‑8)所示；loss＝‑[truthlgpre+(1‑truth)lg(1‑pre)]            (2‑8)其中truth为真值，pre为预测值；27)训练ARU‑Net神经网络模型，一共迭代20次，基础学习率为0.1，每隔5次学习率下降10倍，每次迭代结束保存一次模型，选择最后一次迭代的模型作为本发明的ARU‑Net模型；28)将步骤1处理后的参照骨ROI图像I₂输入到ARU‑Net网络中，并且加载(27)中训练的模型，进行参照骨的分割，得到分割后的图像I₃；步骤3：对分割后的参照骨ROI图像进行后处理操作，后处理操作依次为漫水填充算法和腐蚀与膨胀，具体包括：31)针对分割后的图像I₃，首先采用漫水填充算法将I₃的背景由黑色填充成白色，其种子点设置为(0,0)，填充的颜色设置为白色，得到洞孔图像，然后将洞孔图像取反与原始钩骨ROI图像相加，得到孔洞填充后的图像I₄，公式为：I₄＝floodFill(I₃)+I₃                     (2‑9)其中floodFill为漫水填充算法函数；32)对孔洞填充后的图像I₄依次进行腐蚀和膨胀运算，内核设置均为5×5矩阵，得到最终的参照骨分割图像I₅，公式为：I₅＝dilate(erode(I₄))                   (2‑10)其中erode为腐蚀运算，dilate为膨胀运算。