[发明专利]一种半监督手术视频流程识别方法

说明书

本发明涉及一种半监督手术视频流程识别方法，属于人工智能与医疗应用领域。该方法包括步骤1.用卷积自编码器对视频进行空间特征提取；2.从同视频上下文中提取一对视频帧进行时序排序任务学习，提取时序特征；3.通过多分类识别网络识别手术视频流程阶段；4.输出手术视频流程阶段识别结果。本发明作为开放性外科手术视频流程自动识别检测工具，是实现未来人工智能医疗手术室的一种低代价实现高效判别手术视频流程阶段的方法。

技术领域

本发明属于人工智能和医疗应用领域涉及一种半监督手术视频流程识别方法。

背景技术

随着现代精准外科范式的建立，手术种类与形式也越来越多、过程越来越复杂，利用术前和术中的多种影像全面助力外科手术是大势所趋。鉴于此围绕外科手术及其相关活动的智能化已经成为当前AI医疗的研究热点。然而实现真正意义上的手术及其相关活动智能化，核心前提和挑战在于计算机对外科手术视频流程的识别和理解。由于手术视频流程是一个具有很强逻辑性的动态过程，而计算机对其进行智能分解、识别是一个情景感知的过程。要求计算机根据人类的思维和感知来分析手术流程，从低级像素特征和高级语义特征之间实现跨越是手术视频流程理解中最重要的一步，也是计算机视觉视频理解领域颇具挑战的一个研究课题。目前，人们利用人工智能和计算机视觉的方法进行手术流程识别检测已取得不少突破，但是训练这种方法，需要大量的标记手术视频数据，然而在医学领域，对外科手术视频数据的标记需要专家知识。收集足够数量的标记外科手术视频数据是困难的、耗时的。因此，急需以深度学习理论中卷积神经为研究基础，采用半监督的方式对腹腔镜胆囊切除术手术进行流程自动化识别研究。

发明内容

有鉴于此，本发明的目的在于提供一种半监督手术视频流程识别方法。

为达到上述目的，本发明提供如下技术方案：

一种半监督手术视频流程识别方法，该方法包括以下步骤：

S1：用卷积自编码器对视频进行空间特征提取；

S2：从同视频上下文中提取一对视频帧进行时序排序任务学习，提取时序特征；

S3：通过多分类识别网络识别手术视频流程阶段；

S4：输出手术视频流程阶段识别结果。

进一步，在所述步骤S1中，卷积自编码器经过无监督逐层贪心预训练和系统性参数优化的多层非线性卷积网络从无类标数据中提取高维复杂输入数据的分层特征。

进一步，在所述步骤S2中，通过外科手术具有相对固定的逻辑顺序特性，设计卷积时序判别网络对手术视频进行时序排序任务学习，以减少模型训练所需要的样本数量。

进一步，在所述步骤S2中，将预先训练的Encoder网络对手术视频帧按时间顺序进行排序学习，将来自同一视频的一对帧被送到已训练的Encoder网络的两个输入层，并且两条链中的相应层分享权重。

进一步，在所述步骤S2中，将两个Encoder网络的输出连接起来，并用两个全连接层进行处理；如果第一帧先于第二帧则输出1，否则输出0；进行无监督的二次特征提取。

进一步，在所述步骤S3中，基于卷积自编码、时序判别网络无监督的方式训练网络模型，将卷积时序判别网络的损失函数调整为softmax函数，对手术视频数据进行半监督的学习，微调整体网络，对手术流程进行识别。

进一步，在所述步骤S3中，取U-NET网络的Encoder网络进行改进为卷积编码的Encoder网络；并将通道数降为原始网络的一半，去掉原始网络的快捷连接。

进一步，在所述步骤S3中，通过无监督训练后Encoder网络再连接两层全连接层；采样手术视频分辨率为256×256，将帧中RGB通道像素值映射到[-0.5,0.5]；