[发明专利]基于多任务两级卷积神经网络的膝关节定位方法

权利要求书

1.一种基于多任务两级卷积神经网络的膝关节定位方法，其特征在于包括以下步骤：

第一步，搭建基于多任务两级卷积神经网络的膝关节区域定位网络，基于多任务两级卷积神经网络的膝关节区域定位网络包括第一级网络和第二级网络，第一级网络的输出作为第二级网络的输入；

第一级网络由第一特征提取模块和初步目标检测模块构成；第一特征提取模块从外界接收单膝图像I，对单膝图像I提取第一图像特征，将第一图像特征发送给初步目标检测模块；初步目标检测模块对第一图像特征进行检测，输出单膝图像I中的初步膝关节区域；

第一特征提取模块由5个卷积层和3个最大池化层构成，5个卷积层中包括4个3×3卷积层和1个2×2卷积层，3个最大池化层包括2个2×2最大池化层和1个3×3最大池化层；

第一3×3卷积层对单膝图像I进行卷积操作，第一2×2最大池化层对完成卷积操作的单膝图像I进行池化操作，得到特征图F1；第二3×3卷积层对特征图F1进行卷积操作，第一3×3最大池化层对完成卷积操作的特征图F1进行池化操作，得到特征图F2；第三3×3卷积层对特征图F2进行卷积操作，第二2×2最大池化层对完成卷积操作的特征图F2进行池化操作，得到特征图F3；第四3×3卷积层对特征图F3进行卷积操作，得到特征图F4，第五2×2卷积层对特征图F4进行卷积操作，得到特征图F5，特征图F5即为提取的第一图像特征；

初步目标检测模块包括一个1×1卷积层、膝关节边界框坐标操作层以及第一非极大值抑制筛选层；1×1卷积层对特征图F5进行卷积，得到两组向量，即膝关节的概率向量A1、膝关节边界框坐标偏移向量B1；膝关节边界框坐标操作层根据A1和B1确定膝关节边界框，得到单膝图像I中的膝关节区域；第一非极大值抑制筛选层对单膝图像I中的膝关节区域进行非极大抑制筛选，得到单膝图像I中的初步膝关节区域，将单膝图像I及单膝图像I中的初步膝关节区域发送给第二级网络；

第二级网络由第二特征提取模块和最终目标检测模块构成；第二特征提取模块对从第一级网络接收的单膝图像I以及单膝图像I中的初步膝关节区域进行特征提取，得到第二图像特征；最终目标检测模块对第二图像特征进行目标检测，得到单膝图像I的最终膝关节边界框坐标以及单膝图像I的膝关节区域关键点坐标；

第二特征提取模块由4个卷积层、3个最大池化层和1个全连接层构成，4个卷积层中包括3个3×3卷积层和1个2×2卷积层，3个最大池化层包括2个2×2最大池化层和1个3×3最大池化层；

第二特征提取模块中的第一3×3卷积层对单膝图像I中的初步膝关节区域进行卷积操作，第一2×2最大池化层对完成卷积操作的单膝图像I中的初步膝关节区域进行池化操作，得到特征图F6；第二3×3卷积层对特征图F6进行卷积操作，第二3×3最大池化层对完成卷积操作的特征图F6进行池化操作，得到特征图F7；第三3×3卷积层对特征图F7进行卷积操作，第三2×2最大池化层对完成卷积操作的特征图F7进行池化操作，得到特征图F8；第四3×3卷积层对特征图F8进行卷积操作，得到特征图F9，第一全连接层对特征图F9进行全连接操作，得到特征图F10，特征图F10即为提取的第二图像特征；

最终目标检测模块包括第二全连接层、膝关节边界框以及膝关节区域的关键点坐标操作层以及第二非极大值抑制筛选层；第二全连接层对特征图F10进行全连接，得到三组向量，即膝关节的概率向量A2、膝关节边界框坐标偏移向量B2、膝关节区域六个关键点坐标偏移向量C；膝关节边界框以及膝关节区域的关键点坐标操作层根据A2、B2、C对单膝图像I进行膝关节边界框坐标以及膝关节区域的关键点坐标确定；第二非极大值抑制筛选层对单膝图像I中的膝关节区域及膝关节关键点坐标进行非极大抑制筛选，输出单膝图像I及单膝图像I的最终膝关节区域、以及单膝图像I的膝关节区域关键点坐标；

第二步，对基于多任务两级卷积神经网络的膝关节区域定位网络进行训练，方法是：

2.1准备基于多任务两级卷积神经网络的膝关节区域定位网络的数据：

2.1.1对M张原始图像即包含左右膝的X线片医学图像进行预处理，得到经直方图均衡化处理的2M张单膝图像，M为正整数；

2.1.2标注经直方图均衡化处理后的2M张单膝图像中膝关节真实边界框，方法是：

2.1.2.1初始化变量m＝1；

2.1.2.2人工手动标注第m张单膝图像膝关节区域的6个关键点；6个关键点指膝关节间隙及骨赘处边界的6个点，左膝和右膝的6个点分别为股骨内侧骨赘点FM、股骨外侧骨赘点FL、胫骨内侧骨赘点TM、胫骨外侧骨赘点TL、关节间隙内侧点JSM、关节间隙外侧点JSL；左膝和右膝的6个关键点呈镜像对称；

2.1.2.3根据手动标注的关键点，标注出第m张单膝图像中膝关节的边界框，方法是：

2.1.2.3.1分别计算出第m张单膝图像中6个关键点的中心点坐标(x_mid，y_mid)；记6个关键点坐标分别为(x₁，y₁)、(x₂，y₂)、(x₃，y₃)、(x₄，y₄)、(x₅，y₅)、(x₆，y₆)，6个关键点的中心点坐标(x_mid，y_mid)为：

2.1.2.3.2计算膝关节的宽度w_knee，方法是：计算出6个关键点的最大横坐标x_max和最小横坐标x_min，膝关节宽度w_knee为最大横坐标x_max和最小横坐标x_min之间的差，即：

x_max＝max(x₁，x₂，x₃，x₄，x₅，x₆)；

x_mih＝min(x₁，x₂，x₃，x₄，x₅，x₆)；

w_knee＝x_max-x_min；

2.1.2.3.3标注膝关节区域，获得真实膝关节区域边界框坐标该坐标表示真实膝关节区域边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)；以6个关键点的中心点为中心上下左右各扩展膝关节宽度的0.65倍，作为真正感兴趣的膝关节区域，即标注的边界框，计算公式如下：

2.1.2.4若m≥2M，转2.2；若m2M，令m＝m+1，转2.1.2.2；

2.2为基于多任务两级卷积神经网络的膝关节区域定位网络中第一级网络准备训练样本，方法是：

2.2.1初始化变量m＝1；

2.2.2在第m张单膝图像上为第一级网络准备训练样本，方法是：

2.2.2.1初始化变量k＝1；

2.2.2.2在第m张单膝图像上随机取第k个点，令第k个点的坐标为以点作为随机选取的边界框的左上坐标点；

2.2.2.2取第k个随机选取的边界框的宽和高

2.2.2.3确定第k个随机选取的边界框的坐标，方法是：令点为随机选取的边界框的右下坐标点，随机选取的边界框坐标为代表第k个随机选取的边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)；

2.2.2.4计算第m张单膝图像上第k个随机选取的边界框与标注的边界框的交并比若则将第k个随机选取的边界框即作为训练的正样本，转2.2.2.5；若则将第k个随机选取的边界框即作为训练的部分样本，转2.2.2.5；若则将第k个随机选取的边界框即作为训练的负样本，转2.2.2.5；

2.2.2.5若kK，K为正整数，K为第m张单膝图像上总共随机选取的边界框数目，令k＝k+1，转2.2.2.2；若k≥K，转2.2.2.6；

2.2.2.6若m≥2M，转2.2.3；若m2M，令m＝m+1，转2.2.2；

2.2.3将2.2.2生成的训练样本即正样本、部分样本、负样本尺度缩减为图像长×图像宽×图像通道数为48×48×3；

2.2.4将2.2.3步尺度缩减后的训练样本做镜像操作增广，即将每张训练样本进行左右水平翻转，即对每张训练样本做镜像操作，生成第一级网络训练样本，第一级网络正样本个数为N₁₁、部分样本个数为N₁₂、负样本个数为N₁₃，N₁₁、N₁₂和N₁₃均为正整数；

2.3采用第一级网络训练样本对第一级网络进行训练，得到训练后的第一级网络；

2.4为基于多任务两级卷积神经网络的膝关节区域定位网络中第二级网络准备训练样本，方法是：

2.4.1初始化变量m＝1；

2.4.2利用训练后的第一级网络定位第m张单膝图像I的初步膝关节区域，方法是:

2.4.2.1生成第m张单膝图像I的图片金字塔，方法是：将第m张单膝图像I依次乘以不同的缩放因子s，s为正实数，对第m张单膝图像I进行不同尺度的缩放，得到PP张不同大小的单膝图像，构成单膝图像I的图片金字塔，PP为正整数；图片金字塔中每张图像大小记为图像的高×图像的宽×图像通道数＝H×W×3；

2.4.2.2初始化变量p＝1；

2.4.2.3经过训练的第一特征提取模块提取图片金字塔中第p张图片的特征，得到第一图像特征F5，F5为

2.4.2.4初步目标检测模块采用膝关节区域检测方法对第一图像特征F5进行检测，得到单膝图像I中的膝关节区域；

2.4.2.5若p≥PP，转2.4.2.6；若pPP，令p＝p+1，转2.4.2.3；

2.4.2.6第一非极大值抑制筛选层采用非极大值抑制算法即NMS算法对第m张单膝图片I的所有膝关节区域进行过滤，得到第m张单膝图像I的N₁个初步膝关节区域，N₁为正整数；

2.4.3在第m张单膝图像上为第二级网络准备训练样本，方法是：

2.4.3.1初始化变量n₁＝1，k＝1；

2.4.3.2计算第m张单膝图像I的第n₁个初步膝关节区域与第m张单膝图像I标注的膝关节区域的交并比若将第n₁个初步膝关节区域作为第二级网络训练的正样本，转2.4.3.3；若将第n₁个初步膝关节区域作为第二级网络训练的部分样本，转2.4.3.3；若将第n₁个初步膝关节区域作为第二级网络训练的负样本，转2.4.3.3；

2.4.3.3若n₁≥N₁，转2.4.3.4；若n₁N₁，令n₁＝n₁+1，转2.4.3.2；

2.4.3.4在第m张单膝图像上随机取第k个点即将点作为随机选取的边界框的左上坐标点；

2.4.3.5取第k个随机选取的边界框的宽和高；

2.4.3.6确定第k个随机选取的边界框的坐标：点记为第k个随机选取的边界框的右下坐标点，第k个随机选取的边界框坐标为代表第k个随机选取的边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)；

2.4.3.7计算第m张单膝图像上第k个随机选取的边界框与标注的边界框的交并比若则将第k个随机选取的边界框作为膝关节区域关键点定位的训练数据，转2.4.3.8；若直接转2.4.3.8；

2.4.3.8若kK，令k＝k+1，转2.4.3.4，若k≥K，转2.4.4；

2.4.4若m≥2M，转2.4.5；若m2M，令m＝m+1，转2.4.2；

2.4.5将2.4.3～2.4.4步生成的正样本、部分样本、负样本尺度缩减为48×48×3；

2.4.6将2.4.5步尺度缩减后的正样本、部分样本、负样本做镜像操作增广，方法是：将每张训练样本进行左右方向翻转，即为镜像操作，得到第二级网络的训练样本，第二级网络训练的正样本个数为N₂₁、部分样本个数为N₂₂、负样本个数为N₂₃，N₂₁、N₂₂和N₂₃均为正整数；

2.5采用2.4.6步生成的第二级网络训练样本对第二级网络进行训练，得到训练后的第二级网络；

第三步，对待检测双膝X光片进行预处理，得到经直方图均衡化处理的2张待检测单膝图像；

第四步，基于训练好的多任务两级卷积神经网络的膝关节区域定位网络对2张待检测单膝图像进行膝关节定位，方法是：

4.1初始化变量d＝1；

4.2生成第d张待检测单膝图像的图片金字塔，方法是：将单膝图像进行不同尺度的缩放，缩放因子为s，得到PP张不同大小的单膝图像，设每张图像大小为H×W×3，称为该待检测单膝图像的图片金字塔；

4.3基于训练好的多任务两级卷积神经网络的膝关节区域定位网络中的第一级网络处理第d张待检测单膝图像的图片金字塔，得到初步膝关节区域，方法是：

4.3.1初始化变量p＝1；

4.3.2第一特征提取模块提取第d张待检测单膝图像的图片金字塔中第p张图像的特征，方法是：

4.3.2.1第一特征提取模块中的第一3×3卷积层对第d张待检测单膝图像的图片金字塔中第p张图片进行卷积操作，第一2×2最大池化层对完成卷积操作的第p张图片进行池化操作，输出特征图F1：卷积操作步长为1，最大池化操作步长为2，图片金字塔中第p张图片大小设为H×W×3，经过第一卷积和最大池化操作层得到大小的特征图F1；

4.3.2.2第一特征提取模块中的第二3×3卷积层对特征图F1进行卷积操作，第二3×3最大池化层对完成卷积操作的特征图F1进行池化操作，得到特征图F2：卷积操作步长为1，最大池化操作步长为2，大小的特征图F1经过第二卷积和最大池化操作层得到大小的特征图F2；

4.3.2.3第一特征提取模块中的第三3×3卷积层对特征图F2进行卷积操作，第三2×2最大池化层对完成卷积操作的特征图F2进行池化操作，得到特征图F3：卷积操作步长为1，最大池化操作步长为2，经过第三卷积和最大池化操作层得到大小的特征图F3；

4.3.2.4第一特征提取模块中的第四3×3卷积层对特征图F3进行卷积操作，得到特征图F4：卷积操作步长为1，大小的特征图F3经过第四卷积操作层得到大小的特征图F4；

4.3.2.5第一特征提取模块中的第五2×2卷积层对特征图F4进行卷积操作，得到特征图F5：卷积操作步长为1，大小的特征图F4经过第五卷积操作层得到大小的特征图F5，特征图F5即为第d张待检测单膝图像的图片金字塔的第p张图片输入第一级网络提取的第一图像特征；

4.3.3第一级网络的初步目标检测模块采用膝关节区域检测方法对F5进行检测，得到待检测单膝图像的膝关节区域；

4.3.4若pPP，令p＝p+1，转4.3.2；若p≥PP，则转4.3.5；

4.3.5第二非极大值抑制筛选层采用非极大值抑制算法对第d张待检测单膝图像中的所有膝关节边界框进行过滤，过滤后的边界框在第d张待检测单膝图像上框出膝关节区域，为第一级网络输出的N₁个初步膝关节区域；

4.4第二级网络处理第d张待检测单膝图像的N₁个初步膝关节区域，得到最终膝关节区域以及该区域的关键点，方法是：

4.4.1初始化变量n₁＝1；

4.4.2将第一级网络输出的第d张待检测单膝图像的第n₁个初步膝关节区域尺度归一化为48×48×3；

4.4.3第二级网络提取第d张待检测单膝图像上的第n₁张初始膝关节区域图像的特征，方法是：

4.4.3.1第二特征提取模块中的第一3×3卷积层对第n₁张初始膝关节区域图像进行卷积操作，第一2×2最大池化层对完成卷积操作的第n₁张初始膝关节区域图像进行池化操作，输出特征图F6：卷积操作步长为1，最大池化操作步长为2，尺度归一化的初始膝关节区域图像大小为48×48×3，经过第一卷积和最大池化操作层得到23×23×32大小的特征图F6；

4.4.3.2第二特征提取模块中的第二3×3卷积层对特征图F6进行卷积操作，第二3×3最大池化层对完成卷积操作的特征图F6进行池化操作，输出特征图F7：卷积操作步长为1，最大池化操作步长为2，23×23×32大小的特征图F6经过第二卷积和最大池化操作层得到10×10×64大小的特征图F7；

4.4.3.3第二特征提取模块中的第三3×3卷积层对特征图F7进行卷积操作，第三2×2最大池化层对完成卷积操作的特征图F7进行池化操作，输出特征图F8：卷积操作步长为1，最大池化操作步长为2，10×10×64大小的特征图F7经过第三卷积和最大池化操作层得到4×4×64大小的特征图F8；

4.4.3.4第二特征提取模块中的第四3×3卷积层对特征图F8进行卷积操作，输出特征图F9：第四层卷积操作步长为1，4×4×64大小的特征图F8经过第四卷积操作层得到2×2×128大小的特征图F9；

4.4.3.5第二特征提取模块中的第一全连接层对特征图F9进行全连接操作，输出特征图F10：2×2×128大小的特征图F9经过第一全连接层得到包含256维向量的特征图F10，特征图F10即为提取的第二图像特征；

4.4.4第二级网络的最终目标检测模块处理F10，输出第d张待检测单膝图像的最终膝关节区域及关键点坐标，方法是：

4.4.4.1第二级网络最终目标检测模块的第二全连接层对F10进行全连接，输出三组向量:是膝关节的概率向量膝关节边界框坐标偏移向量膝关节关键点坐标偏移向量其中有一个1维向量，有一个4维向量，有一个12维向量；

4.4.4.2第二级网络最终目标检测模块的膝关节边界框坐标以及膝关节区域关键点坐标操作层对向量进行筛选和计算，得到第d张待检测单膝图像的膝关节区域及膝关节区域的关键点；向量存放的是认为是膝关节的概率值，当概率值不低于β时认为是膝关节，β为第二阈值，β∈[0.5，1]，若的概率值大于β，则第n₁张初步膝关节区域被保留，第n₁张初步膝关节区域边界框坐标为表示第n₁张初步膝关节区域边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)，同时保留膝关节边界框坐标偏移向量和膝关节关键点坐标偏移向量设表示第n₁张膝关节边界框的偏移坐标(左上横坐标偏移量、左上纵坐标偏移量、右下横坐标偏移量、右下纵坐标偏移量)，设表示第n₁个膝关节区域的关键点FM点的偏移坐标(偏移横坐标，偏移纵坐标)，表示第n₁个膝关节区域的关键点FL点的偏移坐标(偏移横坐标，偏移纵坐标)，表示第n₁个膝关节区域的关键点TM点的偏移坐标(偏移横坐标，偏移纵坐标)，表示第n₁个膝关节区域的关键点TL点的偏移坐标(偏移横坐标，偏移纵坐标)，表示第n₁个膝关节区域的JSM点的偏移坐标(偏移横坐标，偏移纵坐标)，表示第n₁个膝关节区域的JSL点的偏移坐标(偏移横坐标，偏移纵坐标)；最终的第n₁个膝关节边界框坐标即第n₁个膝关节边界框的(左上横坐标，左上纵坐标，右下横坐标，右下纵坐标)以及6个关键点坐标即第n₁个膝关节区域的FM点的坐标，即第n₁个膝关节区域的FL点的坐标，即第n₁个膝关节区域的TM点的坐标，即第n₁个膝关节区域的TL点的坐标，即第n₁个膝关节区域的JSL点的坐标，即第n₁个膝关节区域的JSM点的坐标计算如下：

4.4.4.3若n₁N₁，令n₁＝n₁+1，转4.4.2；若n₁≥N₁，转4.4.4.4；

4.4.4.4第二非极大值抑制筛选层采用非极大值抑制NMS算法对第d张待检测单膝图像中膝关节边界框进行筛选，得到第d张待检测单膝图像的最终边界框及最终膝关节区域的关键点；

4.4.4.5若d2，令d＝d+1，转4.2；若d≥2，转第五步；

第五步，结束。