[发明专利]下肢X光影像中关键点提取方法

权利要求书

1.一种下肢X光影像中关键点提取方法，其特征在于，包括：

获取预先进行了N个关键点标注的下肢X光影像，并以此构建训练集；

构建关键点定位神经网络模型，通过关键点定位神经网络模型提取多尺度信息进而提取骨骼的全局空间结构信息，从而预测关键点位置；

训练阶段，训练集中每一训练影像的每一关键点位置数据都被转化为一个通道的高斯图，并且每个通道高斯图的顶点设置为相应关键点的位置，从而得到每一训练影像的N通道标签图；每一训练影像经过关键点定位神经网络模型都会输出包含关键点位置的N通道预测图；通过N通道标签图与N通道预测图的误差构建损失函数并进行网络训练；

测试阶段，将下肢X光影像输入至训练后的关键点定位神经网络模型，获得N通道的预测图，每一通道的预测图对应一个关键点位置；

其中，通过全局依赖捕捉模块提取骨骼的全局空间结构信息；所述全局依赖捕捉模块输入为蕴含多尺度信息的特征图X，大小记为H×W，H、W分别为特征图的高、宽；特征图X中每个点都是一个C维向量，循环计算出每个点与所有点的相关，点i和点j之间的相关计算结果为：

其中，X_i,k、X_j,k表示特征图X中i、j位置处，第k维元素的像素值，0≤i,j≤HW-1；

最终得到大小为H×W的相关图R，相关图R中每个点通道维度都为HW；利用图R来改进特征图X得到输出Y：

其中，R_i,s表示相关图R的位置为i、第s维元素的像素值，X_s,k表示特征图X中位置为s、第k维元素的像素值，0≤i≤HW-1,0≤k≤C-1。

2.根据权利要求1所述的一种下肢X光影像中关键点提取方法，其特征在于，所述关键点定位神经网络模型其包含预处理部分与沙漏型结构部分；所述预处理部分用于对输入的训练影像进行预处理，初步提取特征；所述沙漏型结构部分由一系列具有相同结构的沙漏型子网络级联而成；所述沙漏型子网络对输入特征先进行下采样，再提取多尺度信息及骨骼的全局空间结构信息，最后通过上采样恢复到与输入特征相同大小。

3.根据权利要求1或2所述的一种下肢X光影像中关键点提取方法，其特征在于，通过尺度特征捕捉模块提取输入特征的多尺度信息；所述尺度特征捕捉模块包括四个并行分支：卷积核大小为1×1且扩张率为1的卷积、卷积核大小为3×3且扩张率为1的卷积、卷积核大小为3×3且扩张率为3的空洞卷积、以及卷积核大小为3×3且扩张率为5的空洞卷积；

再通过逐点相加的策略将四个并行分支的结果结合在一起，输出蕴含多尺度信息的特征图。

4.根据权利要求1所述的一种下肢X光影像中关键点提取方法，其特征在于，

通过N通道标签图与N通道预测图的均方误差构建损失函数，表示为：

其中，t_k,n表示标签图中位置为k、第n维元素的像素值，p_k,n表示预测图中对应元素的像素值，标签图与预测图尺寸相同，高、宽分别为H、W。