[发明专利]基于AI复合模型的图像识别方法、装置、介质和设备

说明书

本发明的实施方式提供了一种基于AI复合模型的图像识别方法、装置、介质和设备。该方法包括：采用高速中精度模型识别图像流中的目标对象，确定包括所述目标对象的图像；通过中速高精度模型对包括所述目标对象的图像进行处理，得到目标对象的相关信息。本申请采用AI复合模型对图像进行识别，可以直接将直播的视频信号作为模型的输入，采用高速模型快速发现视频中需要识别的目标，对于需要进行精准识别的小目标或具有复杂轮廓的对象，调用其中的高精度模型进行处理，最终输出分割区域、目标类别及边框，并叠加显示在视频中作为提醒。从而保证了视频图像如直播中目标检测的实时性，并且减少了精度误差，为用户带来了更好的体验。

技术领域

本发明的实施方式涉及图像识别领域，更具体地，本发明的实施方式涉及一种基于AI复合模型的图像识别方法、装置、介质和设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着计算机断层扫描(computed tomography，CT)、核磁共振成像(magneticresonance imaging，MRI)以及超声(ultrasonic，US)等医学成像技术的产生和飞速发展，医院中产生并存储了大量的可供临床诊断和分析的医学图像。近年来，随着计算机及其相关技术的迅速发展以及图形图像技术的日趋成熟，医务工作者可以从多方位、多层次、多角度地对医学图像进行观察，从而辅助医生对病变体及其他感兴趣区域进行重点分析，提高了临床诊断的准确性。

当前已有不少工作将机器学习方法应用到医疗图像的自动诊断中，但是无法适用于实时性及精度要求都非常高的场景，例如医学图像往往存在很多需要识别检测的小目标，且这些小目标的轮廓可能非常复杂，如果需要对这些目标进行准确识别和检测，往往很难在短时间内完成。

发明内容

在本上下文中，本发明的实施方式期望提供一种基于AI复合模型的图像识别方法、装置、介质和设备。

在本发明实施方式的第一方面中，提供了一种基于AI复合模型的图像识别方法，包括：

采用高速中精度模型识别图像流中的目标对象，确定包括所述目标对象的图像；

通过中速高精度模型对包括所述目标对象的图像进行处理，得到目标对象的相关信息。

在本发明的一个实施例中，所述高速中精度模型中包括用于区分前景和背景的至少包括双分支的神经网络模型，其中至少一个分支采用注意力机制对输入数据进行处理以准确区分前景和背景。

在本发明的一个实施例中，所述至少包括双分支的神经网络模型中的第一分支采用注意力机制对输入第一分支的数据进行处理，第二分支直接将输入其中的数据与经第一分支处理后的输出数据融合以输出结果。

在本发明的一个实施例中，所述第一分支至少采用多通道注意力机制对输入第一分支的数据进行处理。

在本发明的一个实施例中，所述第一分支至少采用空间注意力机制对输入第一分支的数据进行处理。

在本发明的一个实施例中，所述第一分支通过以下步骤采用多通道注意力机制对输入第一分支的数据进行处理：

基于神经网络的损失函数得到各个特征图的权重，其中高价值特征图的权重比低价值或无价值特征图的权重大。

在本发明的一个实施例中，所述第一分支通过以下步骤实现多通道注意力机制对输入第一分支的数据进行处理：

对输入第一分支的数据或第一分支中上一神经网络层处理后的数据进行全局均值池化；

根据全局均值池化之后得到的全局信息计算得到各个特征图的权重。

在本发明的一个实施例中，通过以下方式计算得到各个特征图的权重：