[发明专利]内窥镜影像识别方法、电子设备及存储介质

说明书

本发明提供了一种内窥镜影像识别方法、电子设备及存储介质。所述内窥镜影像识别方法包括：采用第一神经网络模型，对多张原始图像分别进行多个病种类别的病种预测；基于所述多张原始图像的病种预测结果，建立所述多个病种类别的测试样本集，每个测试样本集包括预定数量原始图像的图像特征；采用第二神经网络模型，对所述多个病种类别的测试样本集分别进行病种识别；以及对所述多个病种的病种识别结果进行叠加以获得病例诊断结果，其中，所述第二神经网络模型对所述测试样本集中的多个图像特征进行加权组合以获得所述病种识别结果。该内窥镜影像识别方法对测试样本集的多个图像特征进行加权组合以提高病种识别准确度。

技术领域

本发明涉及医疗设备成像领域，更具体地，涉及基于深度学习的内窥镜影像识别方法、电子设备及存储介质。

背景技术

胶囊内窥镜是检查患者消化道疾病的有效诊疗工具，其中集成有摄像头、LED灯、无线通信模块等器件。在检查时，患者吞下胶囊内窥镜，胶囊内窥镜在消化道中行进的同时拍摄图像，以及将图像传送至患者体外。对胶囊内窥镜采集的图像进行分析以识别消化道中的病灶。与传统的内窥镜检查相比，胶囊内窥镜的优点是对患者造成的痛苦程度小，并且可以对整个消化道进行检查，作为革命性的技术突破已经获得了越来越广泛的应用。

胶囊内窥镜在检查过程中采集大量的图像（例如，几万张图像），对图像的阅片工作变得艰巨且耗时。随着技术的发展，利用图像处理和计算机视觉技术进行病灶识别获得了广泛的关注。然而，在现有的内窥镜影像识别方法中，经由卷积神经网络对胶囊内窥镜采集的每张图像进行病灶识别并获得诊断结果。即使内窥镜影像识别方法的正确率高达90%，对于患者消化道采集的大量图像而言，任意一张图像的病灶识别结果错误均会产生错误的病例诊断结果。

因此，仍然期待进一步改进内窥镜影像识别方法，以提高基于大量图像的病例诊断的准确度。

发明内容

为解决上述技术问题，本发明的目的在于提供一种内窥镜影像识别方法、电子设备及存储介质，其中，在对多张原始图像按照单张图像进病种预测之后，基于病种预测结果对测试样本集的多个图像特征进行病种识别准确度。

根据本发明的第一方面，提供一种内窥镜影像识别方法，包括：采用第一神经网络模型，对多张原始图像分别进行多个病种类别的病种预测；基于所述多张原始图像的病种预测结果，建立所述多个病种类别的测试样本集，每个测试样本集包括预定数量原始图像的图像特征；采用第二神经网络模型，对所述多个病种类别的测试样本集分别进行病种识别；以及对所述多个病种的病种识别结果进行叠加以获得病例诊断结果；其中，所述第二神经网络模型对所述测试样本集中的多个图像特征进行加权组合以获得所述病种识别结果。

优选地，所述第一神经网络模型为卷积神经网络模型，所述卷积神经网络模型输入所述多张原始图像的单张图像，输出所述多个病种类别的图像特征和分类概率。

优选地，所述第二神经网络模型为循环神经网络模型，所述循环神经网络模型输入所述测试样本集中的多个图像特征，输出与所述测试样本集相对应的病种识别结果。

优选地，所述第二神经网络模型包括：第一全连接层，将所述测试样本集中的多个图像特征分别进行降维处理；双向长短期记忆层，对经过降维处理的多个图像特征分别按照前向和后向预测隐藏状态；以及注意力机制，将所述多个图像特征的隐藏状态加权组合成最终特征，其中，所述第二神经网络模型基于所述最终特征获得病种识别结果。

优选地，所述第一全连接层包括多个全连接单元，所述多个全连接单元分别对相应一个图像特征进行降维处理。

优选地，所述双向长短期记忆层包括多个前向长短期记忆单元和多个后向长短期记忆单元，所述多个前向长短期记忆单元分别对相应一个图像特征进行前向预测，所述多个后向长短期记忆单元分别对相应一个图像特征进行后向预测。

优选地，所述加权组合包括对所述多个图像特征的隐藏状态加权求和，所述多个图像特征的权重系数表示对相应病种类别的病种识别影响。