[发明专利]一种基于图像图表示与图神经网络的骨关节健康状态评估方法及系统

权利要求书

1.一种基于图像图表示与图神经网络的骨关节健康状态评估方法，其特征在于，包括：获取骨关节图像并对其进行图表示，得到骨关节图像的节点信息、边信息和邻接矩阵；将骨关节图像的节点信息、边信息和邻接矩阵输入到训练好的基于图神经网络的骨关节健康状态评估模型中，得到最佳骨关节健康状态评估结果；采用训练好的模型对骨关节图像进行评估时，可视化图神经网络对骨关节图像关注区域的热力图；

对基于图神经网络的骨关节健康状态评估模型进行训练的过程包括：

S1：获取带有标签的骨关节图像，其中标签为对骨关节健康等级的描述标记；将带有标签的骨关节图像划分为训练集和测试集；

S2：对骨关节图像中的膝盖部位进行定位，将每张图像均切分为右膝盖图像和右膝盖图像，切分后的图像均带有一个标签；

S3：对每张图像进行图表示，得到图结构信息，包括节点信息、边信息以及邻接矩阵；

S4：将训练集中骨关节图像的图结构信息输入到图神经网络进行训练；将测试集中骨关节图像的图结构信息输入到模型中进行评估，得到最佳的骨关节健康状态评估结果和最佳骨关节健康状态评估模型。

2.根据权利要求1所述的一种基于图像图表示与图神经网络的骨关节健康状态评估方法，其特征在于，对每张图像进行图表示的过程包括：

采用图像像素聚类算法将图像聚类成大小不一的矩形结构，将每个矩形均表示为图的节点，若两个矩形有相交部分则表示两个节点存在相连接的边；

计算每张图像中所有节点的节点信息；节点信息包括：中心坐标、宽度、平均像素、最大像素、最小像素值、像素方差和中心点梯度；

计算每张图像中的边信息；边信息包括两个矩形的像素总和以及两个矩形的重叠像素占总和像素的比例；

根据每张图像中每个节点的入度和出度计算每张图像的邻接矩阵。

3.根据权利要求2所述的一种基于图像图表示与图神经网络的骨关节健康状态评估方法，其特征在于，采用图像像素聚类算法将图像聚类成大小不一的矩形结构的过程包括：

步骤A：设置像素阈值T、纯度阈值P和方差阈值V；

步骤B：在图像中随机选取一个像素点作为中心像素点，计算中心像素点与其周围像素点的像素差值t，若t小于T，则将该点作为异类点；

步骤C：根据异类点与周围像素点的比值并根据该比值计算中心像素点与周围像素点组成区域的纯度p；计算中心像素点与其周围像素点的像素方差v；

步骤D：若p小于P以及v大于V，将当前区域划分为一个矩形并返回步骤B；否则，区域四周扩张，重复步骤C；

步骤E：判断是否存在一个矩阵包含所有像素点，若是，则聚类完成，否则，返回步骤B。

4.根据权利要求3所述的一种基于图像图表示与图神经网络的骨关节健康状态评估方法，其特征在于，计算中心像素点与周围像素点组成区域的纯度的公式为：

其中，p表示纯度，s表示异类点数量，n表示周围像素点数量。

5.根据权利要求1所述的一种基于图像图表示与图神经网络的骨关节健康状态评估方法，其特征在于，得到最佳的骨关节健康状态评估结果的过程包括：

将骨关节图像的节点信息和边信息通过一个线性层映射到256维度，得到映射矩阵；

将映射矩阵和邻接矩阵输入到六层的带残差结构的图注意力网络中得到图中每个节点的特征表示，根据每个节点的特征表示计算图的特征表示；最后对该图进行分类，得到最佳的骨关节健康状态评估结果。

6.根据权利要求1所述的一种基于图像图表示与图神经网络的骨关节健康状态评估方法，其特征在于，可视化图神经网络对骨关节图像关注区域的热力图的过程包括：

对骨关节图像进行图表示，得到骨关节图像的图结构信息；

将图结构信息输入到最佳的模型中进行评估，得到热力图信息，根据热力图信息在原图上画出注意力热力图；其中，热力图信息包括每个节点的注意力分数、原图像上的区域信息、节点的位置坐标以及矩形框大小。

7.一种基于图像图表示与图神经网络的骨关节健康状态评估系统，其特征在于，包括：骨关节图像采集模块、图表示模块、评估模块和解释模块；

所述骨关节图像采集模块用于采集待评估的骨关节图像；

所述图表示模块用于将骨关节图像进行图表示，获得图结构信息；

所述评估模块用于根据图结构信息进行骨关节健康状态评估，得到骨关节健康状态评估结果；

所述解释模块用于对骨关节图像进行解释，可视化骨关节图像关注区域的热力图。