[发明专利]一种基于细粒度分类的骨龄评估方法

权利要求书

1.一种基于细粒度分类的骨龄评估方法，包括以下步骤：

步骤1：左手手腕骨X光片图像的获取；具体包括：

1)使用python库函数scipy.misc.imread()函数读取待评估的X光片图像，保存为array数据类型；

2)使用python库函数Image.fromarray()函数将array数据类型转化为Image数据类型；

3)使用python库函数transforms.Resize()函数将图像数据都转化成448*448的大小，对所有待评估的X光片图像都使用相同的大小；

4)使用python库函数transforms.ToTensor()将图像数据转化为Tensor向量，以供后续的骨龄评估网络使用；

步骤2：输入基于细粒度分类的骨龄评估网络进行骨龄评估；所述的骨龄评估网络包括特征提取器、兴趣区域选择子网、指导子网和评估子网：

所述的特征提取器使用ResNet50作为特征提取器来提取左手手腕部X光片的图像特征；将ResNet50网络最后的全连接层和Softmax层去除，仅使用网络的特征提取部分；经过特征提取器，将X光片中地图像特征提取出来，生成特征图；

所述的兴趣区域选择子网根据特征提取器所提取出的图像特征，选取出X光片中具有最大信息量的兴趣区域，即具有最多图像特征的兴趣区域；

兴趣区域选择子网的输入为特征提取器所生成的特征图，对这些特征图，采用了特征金字塔网络(Feature Pyramid Networks,FPN)+路径聚合网络(Path AggregationNetwork，PAN)的结构对不同的特征进行了特征融合，其结构如图所示；在特征融合后，特征图中的语言信息以及空间信息被增强，再根据特征图中响应值，选择出具有最大信息量的兴趣区域，记为R1，R2，…，RK；接着计算K个兴趣区域中的信息量，信息量定义为I(R)，兴趣区域选择子网的目的是按顺序选出K个ROI,R1，R2，...，RK，使得它们满足条件I(R1)I(R2)…I(Rk)；

所述的指导子网对兴趣区域选择子网进行优化，使兴趣区域选择子网能够选出最具信息量的ROI；对于ROI选择子网选出的K的兴趣区域，R1，R2，…，RK，指导子网对这些兴趣分别进行分类，计算出其置信度C(R1)，C(R2)，…，C(RK)，并将其反馈给兴趣区域选择子网；置信度指的是将兴趣区域分类为其对应的真实标签的概率，置信度越高证明其对于整个手腕骨X光片进行分类具有越大帮助作用；兴趣区域选择子网根据指导子网的反馈，在网络训练过程中不断优化，使得最后选出的兴趣区域满足公式(1)：

即对于ROI选择子网中被选出的ROI，如果其信息量更大，其置信度也更高；

评估子网进行骨龄评估；对于输入的手腕骨X光片，特征提取器提取出整张图片的特征，兴趣区域选择子网选出K个具有最大信息量的兴趣区域，通过特征提取器提取出图像特征；在骨龄评估子网中，将这K+1个特征连接起来，形成新的图像特征特征；经过两层全连接层，得到最终的骨龄评估结果；

步骤3：获得骨龄评估结果；

在进行骨龄评估时，将0～18岁按月进行划分，每个月为一个分类，共228个分类；

待评估的左手手腕骨X光片输入到骨龄评估网络后，会输出其对应的骨龄值，范围在0～228。