[发明专利]一种半监督手术视频流程识别方法

权利要求书

1.一种半监督手术视频流程识别方法，其特征在于：该方法包括以下步骤：

S1：用卷积自编码器对视频进行空间特征提取；

S2：从同视频上下文中提取一对视频帧进行时序排序任务学习，提取时序特征；

S3：通过多分类识别网络识别手术视频流程阶段；

S4：输出手术视频流程阶段识别结果；

在所述步骤S1中，卷积自编码器经过无监督逐层贪心预训练和系统性参数优化的多层非线性卷积网络从无类标数据中提取高维复杂输入数据的分层特征；

在所述步骤S2中，通过外科手术具有相对固定的逻辑顺序特性，设计卷积时序判别网络对手术视频进行时序排序任务学习，以减少模型训练所需要的样本数量；

在所述步骤S2中，将预先训练的Encoder网络对手术视频帧按时间顺序进行排序学习，将来自同一视频的一对帧被送到已训练的Encoder网络的两个输入层，并且两条链中的相应层分享权重；

在所述步骤S2中，将两个Encoder网络的输出连接起来，并用两个全连接层进行处理；如果第一帧先于第二帧则输出1，否则输出0；进行无监督的二次特征提取；

在所述步骤S3中，基于卷积自编码、时序判别网络无监督的方式训练网络模型，将卷积时序判别网络的损失函数调整为softmax函数，对手术视频数据进行半监督的学习，微调整体网络，对手术流程进行识别；

在所述步骤S3中，取U-NET网络的Encoder网络进行改进为卷积编码的Encoder网络；并将通道数降为原始网络的一半，去掉原始网络的快捷连接；

在所述步骤S3中，通过无监督训练后Encoder网络再连接两层全连接层；采样手术视频分辨率为256×256，将帧中RGB通道像素值映射到[-0.5,0.5]；

初始学习率λ被设置为10^-3，动量设置为0.9，批量大小为256，为防止过拟合采用L1和L2正则化。

2.根据权利要求1所述的一种半监督手术视频流程识别方法，其特征在于：在所述步骤S3中，整个网络有18个卷积层，4次下采样，4次上采样，通过机SGD优化算法进行训练网络求解参数。

3.根据权利要求1所述的一种半监督手术视频流程识别方法，其特征在于：在所述步骤S4中，对手术视频流程识别结果进行分析，评估的指标包括精确率、召回率、准确率和Jaccard系数。