[发明专利]一种基于时序特征学习的消化内镜下病灶跟踪方法

权利要求书

1.一种基于时序特征学习的消化内镜下病灶跟踪方法，其特征在于：包括如下步骤：

S1、收集包含病灶的视频片段，将训练片段解帧为图片，由人工标注病灶，并利用解帧后的相邻图片计算光流矢量图；

S2、构建基于卷积神经网络的特征提取网络和基于长短期记忆网络的时间序列预测网络，利用标注后的连续帧图片和对应的光流矢量图作为训练样本对该网络进行训练；

S3、通过内镜检查设备获取消化内镜检查实时视频，缓存当前帧与上一帧的消化内镜图片，并计算当前帧与上一帧两张图片的光流矢量图；

S4、将当前帧内镜图像通过特征提取网络获得特征图，特征图和当前帧的光流矢量经过变形操作得到新的特征图，新的特征图送入时间序列预测网络，计算得出下一帧的病灶预测范围。

2.根据权利要求1所述的一种基于时序特征学习的消化内镜下病灶跟踪方法，其特征在于：所述特征提取网络由卷积层、ReLU激活层和池化层组成，卷积层用于提取输入消化内镜图像的不同数据特征，ReLU激活层用于把卷积层的输出结果做非线性映射，池化层用于筛选特征。

3.根据权利要求1所述的一种基于时序特征学习的消化内镜下病灶跟踪方法，其特征在于：所述时间序列预测网络由遗忘门、传入门和输出门组成，遗忘门用于决定让哪些信息继续通过该细胞元，传入门用于决定让多少信息加入到细胞元状态中，输出门用于决定输出哪些信息。

4.根据权利要求3所述的一种基于时序特征学习的消化内镜下病灶跟踪方法，其特征在于：所述时间序列预测网络是根据损失函数进行训练的，所述的损失函数为：

Loss(y,v)＝log(1+e^(-yv))；

其中v表示训练集中等待训练的图像的每个像素的真实值，y∈{+1,-1}表示病灶跟踪范围的标签；通过最小化上述损失函数来训练模型。

5.根据权利要求1所述的一种基于时序特征学习的消化内镜下病灶跟踪方法，其特征在于：所述步骤S2中人工标注的消化内镜图像通过特征提取网络生成特征图，该特征图与对应的光流矢量图融合后进行变形操作得到新的特征图，新的特征图送入时间序列预测网络，训练完毕后得到该网络模型的权重参数，用于后续的计算预测。

6.根据权利要求1所述的一种基于时序特征学习的消化内镜下病灶跟踪方法，其特征在于：所述步骤S4计算得出下一帧的病灶预测范围的结果是与输入尺寸大小相同的矩阵数据，其中每个数据代表该位置像素是否为病灶的概率值，由此最终得出病灶范围。

7.根据权利要求1所述的一种基于时序特征学习的消化内镜下病灶跟踪方法，其特征在于：所述步骤S1和步骤S3中利用TV-L1光流模型来计算连续两帧图像的光流，得到相邻两帧图像的光流矢量图F；TV-L1光流模型的能量函数如下：

其中，I₀和I₁是连续两帧图像，x是I₀上一个像素点；u是二维光流矢量，和是二维梯度，参数λ是数据项的权值常数，第一项为数据约束项，表示同一像素点在前后两帧图像间的灰度值差；第二项是运动正则化约束，即假设运动是连续的。

8.根据权利要求1所述的一种基于时序特征学习的消化内镜下病灶跟踪方法，其特征在于：所述步骤S2中的训练采用随机梯度下降法来训练，采用SGD优化器，其中学习率0.001，动量值momentum为0.9，权重衰减系数为0.005，训练完成后，获得模型的权重系数。