[发明专利]基于注意力机制的卷积神经网络医学图像关键点检测方法

说明书

本发明提供一种基于注意力机制的卷积神经网络医学图像关键点检测方法，包括如下步骤：构建基于注意力机制的O型卷积神经网络，其包括注意力模块、关键点检测分支和局部增强分支；局部增强分支用于局部前景增强和结构提取；局部增强分支和关键点检测分支对不同层次的信息编码解码来生成热图；本发明利用注意力模块将局部增强分支的特征图引入关键点检测分支；将训练集数据输入到O型卷积神经网络进行训练，将测试集数据数据输入到学习后的O型卷积神经网络得到关键点热图，对关键点热图进行局部最大值提取，得到关键点的坐标。本发明直接在原始图像上执行，更加稳健和准确，能更加有效地整合局部结构特征和上下文信息，并检测细分支的关键点。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于注意力机制的卷积神经网络医学图像关键点检测方法。

背景技术

生物医学图像处理在生物医学研究中发挥着重要作用。关键点是生物医学图像(如视网膜和神经元图像)中的有用标志，广泛用于基于视网膜的人识别、视网膜图像配准、视网膜疾病诊断和神经元重建。在眼科中，关键点是提取视网膜血管拓扑结构的关键点，拓扑结构的变化可用于增殖性糖尿病视网膜病变、高血压性视网膜病变等视网膜疾病的诊断。视网膜图像中的关键点有助于血管结构的配准和血管病变的进展监测与治疗。

然而，因为生物医学图像通常很复杂，在没有分割的情况下很难自动检测到原始生物医学图像中的关键点。例如在视网膜图像中，背景和小血管之间的强度对比度极弱，一些血管相互重叠的现象，这为医学图像的检测增加了难度。

现有技术中基于骨架的方法和大多数基于模型的方法都是在分割图像上执行的。这些方法的性能在很大程度上依赖于图像分割结果的准确性。并且，因为难以对所有感兴趣的特征都进行建模，所以难以检测到与所选特征不相似的关键点,导致基于模型的方法泛化能力不足。并且在预处理步骤中，分割和骨架化可能会引入错误，例如低对比度区域中分支结构的丢失以及血管或神经元结构表面的尖锐刺突。

因此，需要一种基于注意力机制的卷积神经网络医学图像关键点检测方法，来解决现有技术中的存在的问题。

发明内容

本发明提供一种基于注意力机制的卷积神经网络医学图像关键点检测方法，直接在原始图像上执行，无需任何分割或骨架化，在处理原始图像时更加稳健和准确。本发明还提供一个带有注意力模块的局部增强分支来增强微小的细枝前景并使网络专注于低对比度的区域。能更加有效地整合局部结构特征和上下文信息，并检测细分支的关键点，从而解决现有技术中存在的问题。

基于注意力机制的卷积神经网络医学图像关键点检测方法，包括如下步骤：

步骤1，构建基于注意力机制的O型卷积神经网络，所述O型卷积神经网络包括注意力模块、关键点检测分支(JDB)和局部增强分支(LEB)；所述局部增强分支用于局部前景增强和结构提取，且包含有关细分支的丰富信息，并减少细分支和粗分支之间前景的不平衡；所述局部增强分支和关键点检测分支包括编码器和解码器架构，并对不同层次的信息编码解码来生成热图；所述O型卷积神经网络利用注意力模块将局部增强分支的特征图引入关键点检测分支；

步骤2，将训练集数据输入到步骤1中的O型卷积神经网络进行训练，得到学习后的O型卷积神经网络；

步骤3，将测试集数据数据输入到步骤2中学习后的O型卷积神经网络得到关键点热图，然后对所述关键点热图进行局部最大值提取，得到关键点的坐标。

采用这样的方法，本发明能够用于检测原始生物医学图像中具有低对比度和细分支的关键点。本发明提出了一个带有注意力模块的局部增强分支来增强微小的细分支并使O型卷积神经网络更专注于低对比度的区域。这有助于整合局部结构特征和上下文信息，并检测细分支的关键点。本发明的方法能够直接在原始图像上执行，没有任何分割或骨架化，在处理原始图像时更加稳健和准确。

进一步的，所述关键点检测分支包括：