[发明专利]一种基于图像图表示与图神经网络的骨关节健康状态评估方法及系统

说明书

本发明属于图神经网络技术领域，具体涉及一种基于图像图表示与图神经网络的骨关节健康状态评估方法及系统；该方法包括：获取带有标签的骨关节图像；对骨关节图像中的膝盖部位进行定位，将每张图像均切分为左膝盖图像和右膝盖图像；对每张图像进行图表示，得到骨关节图像的节点信息、边信息和邻接矩阵；将训练集输入到基于图神经网络的骨关节健康状态评估模型中进行训练，并且对测试集骨关节健康等级进行评估，得到最佳评估结果和模型；使用该模型评估骨关节健康等级，可视化图神经网络在评估过程中对图像关注区域的热力图；本发明评估精度高，可解释性好，实用性高，具有良好的应用前景。

技术领域

本发明属于图神经网络技术领域，具体涉及一种基于图像图表示与图神经网络的骨关节健康状态评估方法及系统。

背景技术

膝关节骨性关节炎(OA)是最常见的肌肉骨骼疾病。膝关节在全球残疾因子中排名第11位，从而给社会造成了很大的经济负担。据报道，估计每个患者的OA治疗总费用达到19000欧元/年，甚至更多。膝关节骨性关节的健康也越来越受到人们的关注，对于骨关节健康的评估目前主要是通过问答以及X射线影像进行评估，其评估过程存在一定的主观性。

从目前来看，已经提出了基于卷积神经网络图像分类的解决方案来评估膝关节骨性关节炎的严重程度。并且图神经网络(GNN)是图上机器学习的一个强大工具。GNN已经成功的运用于图分类、语义分割以及机器翻译等方面。同时在GNN基础上发展了许多变体网络，如图卷积网络(GCN)、图注意力网络(GAT)，其中GAT对每个节点的邻居节点进行注意力运算有效的解决了GCN无法处理动态图的问题。图神经网络也存在了许多问题，如：深层的图神经网络存在梯度消失、过平滑和过拟合问题。这些挑战限制了GCN在大规模图上的表示能力，后来有研究发现通过残差、密集连接模块能够有效的解决这些问题。

图卷积神经网络和图注意网络等图神经网络通过沿输入图的边缘递归传递神经消息，将节点特征信息与图结构相结合，同时结合图结构和特征信息会导致复杂的模型。深度学习模型的可解释性为其预测提供了人类可以理解的推理。如果不解释预测背后的原因，深度学习算法就像黑匣子，对于一些场景说是无法被信任的。通过合理的解释器，能使得更好的理解模型背后如何工作的。

发明内容

针对现有技术存在的不足，本发明提出了一种基于图像图表示与图神经网络的骨关节健康状态评估方法及系统，该方法包括：获取骨关节图像并对其进行图表示，得到骨关节图像的节点信息、边信息和邻接矩阵；将骨关节图像的节点信息、边信息和邻接矩阵输入到训练好的基于图神经网络的骨关节健康状态评估模型中，得到最佳骨关节健康状态评估结果；采用训练好的模型对骨关节图像进行评估时，可视化图神经网络对骨关节图像关注区域的热力图；

对基于图神经网络的骨关节健康状态评估模型进行训练的过程包括：

S1：获取带有标签的骨关节图像，其中标签为对骨关节健康等级的描述标记；将带有标签的骨关节图像划分为训练集和测试集；

S2：对骨关节图像中的膝盖部位进行定位，将每张图像均切分为右膝盖图像和右膝盖图像，切分后的图像均带有一个标签；

S3：对每张图像进行图表示，得到图结构信息，包括节点信息、边信息以及邻接矩阵；

S4：将训练集中骨关节图像的图结构信息输入到图神经网络进行训练；将测试集中骨关节图像的图结构信息输入到模型中进行评估，得到最佳的骨关节健康状态评估结果和最佳骨关节健康状态评估模型。

优选的，对每张图像进行图表示的过程包括：

采用图像像素聚类算法将图像聚类成大小不一的矩形结构，将每个矩形均表示为图的节点，若两个矩形有相交部分则表示两个节点存在相连接的边；

计算每张图像中所有节点的节点信息；节点信息包括：中心坐标、宽度、平均像素、最大像素、最小像素值、像素方差和中心点梯度；