[发明专利]一种基于时序特征学习的消化内镜下病灶跟踪方法

说明书

本发明涉及医疗图像处理技术领域，尤其涉及一种基于时序特征学习的消化内镜下病灶跟踪方法，本方法包含收集病灶视频片段作为训练样本、构建并训练基于卷积神经网络和长短期记忆网络和光流矢量图的跟踪模型，获得网络模型参数、获取消化内镜实时检查视频并解帧为图片、计算相邻两帧图像的光流矢量图、加载基于卷积神经网络和长短期记忆网络和光流矢量图的网络结构及模型参数、实时计算病灶的区域及位置。通过此方法，在消化内镜检查过程中会实时跟踪病灶的区域及位置，供内镜医生参考，可以有效的防止在检查过程中由于光照、角度、遮挡等原因丢失病灶区域。可以提升消化内镜下的病灶的检测和跟踪能力，有效地提高消化内镜的检查质量。

技术领域

本发明涉及医疗图像处理技术领域，尤其涉及一种基于时序特征学习的消化内镜下病灶跟踪方法。

背景技术

《世界癌症报告》指出，癌症是全球主要死因之一，而消化道肿瘤是最常见的恶性肿瘤之一。2015年我国胃癌、结肠癌患病人数大于100万，死亡人数近70万，占癌症总死亡人数的1/4。恶性肿瘤危害人类健康的根本原因是难以早期发现。消化道肿瘤若在早期阶段得到诊断，患者5年生存率可高达90％，若进展至中晚期，患者5年生存率仅为5-25％。因此早期诊断是提高患者生存率的重要策略。消化内镜检查是发现胃肠癌最常用的有力工具。根据国家卫健委内镜诊疗技术专家组报道，2017年我国早期胃癌发现率仅为13％，远远落后于疾病谱相仿的日本(70％)和韩国(50％)等邻国。提高消化内镜的检查质量，刻不容缓。

近年来，以深度神经网络为核心的人工智能技术在多个应用领域成绩斐然。近期一些研究成果表明，计算机通过深度神经网络算法，基于大规模数据集训练的人工智能模型可以在许多应用中取得接近甚至超过人类的表现。深度学习网络目前也应用到了消化内镜中，通过对病灶的检测识别来辅助医生检查。现有技术均采用卷积神经网络(CNN)架构对结肠镜检查中的息肉进行检测，但是目前大多数的卷积神经网络(CNN)方法都是独立地对单帧图像上的病灶进行检测，帧之间较小的波动会导致检测结果的巨大抖动，并且受光照、角度、遮挡等原因影响较大，容易丢失对病灶的检测。刘全胜等人提出基于加速稳健特征(SURF)的模板匹配跟踪算法对肿瘤图像进行跟踪，该论文采用传统的模板匹配算法，需要手动设定Hessian矩阵的阈值，只能用于选取的特定的视频，不具备泛化能力。CN104758004A专利发明了一种超声影像中病灶追踪方法，该发明利用人工提取的图像特征且需要用户输入参考ROI，具有一定的局限性。综上所述，现有的病灶追踪技术受光照、角度变化及遮挡的影响大，准确度低，为此，我们提出一种基于时序特征学习的消化内镜下病灶跟踪方法。

发明内容

基于背景技术存在的技术问题，本发明提出了一种基于时序特征学习的消化内镜下病灶跟踪方法，具有从空间特征、速度矢量、时间序列特征三个维度来完成对病灶的跟踪，具有很高的准确度的特点，解决了现有的病灶追踪技术受光照、角度变化及遮挡的影响大，准确度低的问题。

本发明提供如下技术方案：一种基于时序特征学习的消化内镜下病灶跟踪方法，包括如下步骤：

S1、收集包含病灶的视频片段，将训练片段解帧为图片，由人工标注病灶，并利用解帧后的相邻图片计算光流矢量图；

S2、构建基于卷积神经网络的特征提取网络和基于长短期记忆网络的时间序列预测网络，利用标注后的连续帧图片和对应的光流矢量图作为训练样本对该网络进行训练；

S3、通过内镜检查设备获取消化内镜检查实时视频，缓存当前帧与上一帧的消化内镜图片，并计算当前帧与上一帧两张图片的光流矢量图；

S4、将当前帧内镜图像通过特征提取网络获得特征图，特征图和当前帧的光流矢量经过变形操作得到新的特征图，新的特征图送入时间序列预测网络，计算得出下一帧的病灶预测范围。

优选的，所述特征提取网络由卷积层、ReLU激活层和池化层组成，卷积层用于提取输入消化内镜图像的不同数据特征，ReLU激活层用于把卷积层的输出结果做非线性映射，池化层用于筛选特征。