[发明专利]一种基于空间分组注意力模型的外科手术器械图像识别方法

说明书

本发明属于计算机视觉图像分类领域，涉及一种基于空间分组注意力模型的外科手术器械图像识别方法。本方法先针对常见的外科手术采集对应的手术器械图像构建原始数据集，并进行图像增强操作；然后将得到的图像送入神经网络，通过神经网络中嵌入的轻量级空间分组注意力模块来挖掘手术器械图像在特征空间和通道的关联性，对某些特定区域的特征进行增强或抑制，从而达到更好的分类效果，实现对该手术所使用的手术器械的精准分类。

技术领域

本发明属于计算机视觉图像分类领域，涉及一种基于空间分组注意力模型的外科手术器械图像识别方法。

背景技术

手术器械作为手术过程中最为重要的工具之一，对保证手术的顺利完成起着不容忽视的作用。然而，在手术过程中器械丢失的情况时有发生。从较轻的方面来讲，器械可能仅仅是遗落在手术台上；从较重的方面来讲，器械可能遗留在患者体内，危及患者的生命。因此，手术器械的清点工作对手术的顺利开展及完成起着至关重要的作用。手术器械的清点工作通常会在手术前后进行，涉及对该手术所使用器械的识别分类工作。对于手术过程中出现的手术器械丢失的情况，通过清点工作可以快速排查出来，并及时发现遗落的器械，从而减少因手术器械丢失带来的危害。目前手术器械的清点工作均由相关医护人员来完成，但人为的清点工作会受到各种各样因素的影响，例如身体疲累、精神恍惚等，从而导致清点工作的失误。基于以上考虑，本发明提出一种基于深度学习的图像分类方法来辅助手术器械清点工作的开展。

随着人工智能的高速发展，计算机视觉作为人工智能的主要研究领域之一，正在受到越来越多的关注。其中，图像分类作为计算机视觉领域最为基础和活跃的研究方向之一，已经广泛应用于各个领域，例如疾病诊断。然而利用图像分类技术来考察手术器械却鲜有研究涉及。本发明针对手术器械的清点工作，利用图像分类技术提出对手术器械的分类研究。不同于传统的图像分类任务，外科手术器械分类涉及对子类的分类，称为细粒度图像分类。传统意义上的图像分类一般只能识别出图像所属的大类，例如手术刀和手术钳；而细粒度图像分类致力于区分大类下的子类，例如组织镊和敷料镊。细粒度图像分类能够对同属于一个大类下的不同子类进行更加严格的区分，以此来满足更高分类精度场景下的图像分类要求。目前基于深度学习的细粒度图像分类方法主要分为两种：强监督学习方法和弱监督学习方法。

强监督学习方法在相对于弱监督学习仅依赖图像标签的基础之上，还需要依赖人工的标注信息。例如，在训练网络时，需要额外把基于人工的边框标注信息加入到网络进行强监督学习，使网络能够学习到目标的位置信息。此类方法虽然能够取得较好的分类效果，但其不足之处在于：1.需要大量的人力资源进行图像的标注，代价昂贵，操作复杂；2.人工标注的信息并非完全准确。因此，该类方法实用性较差，难以应用到不同的复杂场景中。

目前主流的细粒度图像分类方法是基于注意力机制的弱监督学习方法。该方法在仅仅依赖图像标签信息的情况下，能够实现自动获取图像中具有区分性的区域，通过将所获取的区域图像信息与全局图像信息结合起来对图像进行分类。基于注意力的方法大致分为两种：一阶段注意力学习方法和两阶段注意力学习方法。一阶段注意力学习方法通过把轻量级注意力机制嵌入到网络模型中来保证网络模型的简单性，同时提高原网络在子类上的学习能力。目前该类方法通常是通过压缩通道或空间维度来获得中间注意力特征图。但是该类方法在仅仅依靠注意力特征图的情况下难以准确获取图像中的目标及定位区分性区域，使其对子类的辨别能力不足。两阶段注意力学习通过训练两个网络来达到细粒度分类的效果。通过利用第一阶段的网络模型用来学习一个或多个具有区分性语义信息的区域并把训练所得的区域特征映射到原图得到若干子图，结合第二阶段的网络模型提取子图与原图的特征并融合来实现对该图像的分类。该方法的不足之处是两阶段的训练学习加大了模型的复杂度，使其难以应用到实际应用中。

总之，对于强监督学习方法，人工标注需要耗费财力物力且标注信息未必适合网络模型的学习。对于弱监督学习方法，通过两阶段注意力学习的方法，细粒度图像分类的性能较高，但其网络模型复杂且实时性较差，难以投入实际应用；一阶段注意力学习的方法虽然能够实现一阶段的端到端学习，但其受制于嵌入的注意力模块的设计，不能取得较好的分类效果。

发明内容