[发明专利]一种基于双模态交互和状态反馈的快速实时视频目标分割方法

权利要求书

1.一种基于双模态交互与状态反馈的快速实时视频目标分割方法，其特征在于，包括以下步骤：

步骤一、模型训练，利用服务器对网络模型进行训练，通过降低网络损失函数优化网络参数，直至网络收敛，获得基于双模态交互与状态反馈的快速实时视频目标分割的网络权重；

步骤二、模型推断，利用训练阶段获得的网络权重，在新的视频序列分割第一帧给定的目标。

2.根据权利要求1所述的一种基于双模态交互与状态反馈的快速实时视频目标分割方法，其特征在于，所述步骤一的模型训练具体包括以下步骤：

S11、利用服务器执行训练视频片段生成单元，生成长度为T的训练视频片段，其中T≥2；

S12、利用服务器执行查询编码单元，进行查询图像键值编码对的提取，当前帧图像为I_t，查询图像键值编码对为t表示时刻，t＞1，Q表示查询图像；

S13、利用服务器执行参考编码单元，利用保护图像分支和掩膜分支的不共享参数的双分支残差网络，提取参考帧图像特征和参考帧目标掩膜特征并进行双模态交互，参考帧图像的上一帧图像为I_t-1，参考帧目标掩膜的上一帧目标掩膜预测结果为M_t-1，输出参考键值编码对并存储于存储器中，R表示参考图像，M是指存储器的等效容量的最大值；

S14、利用服务器执行掩膜重建单元，对输入到步骤S13中的掩膜分支的目标掩膜预测结果进行重建，输出重建后的目标掩膜；

S15、利用服务器执行状态估计单元，对所述步骤S13中输入的目标掩膜预测结果进行状态估计，提供状态反馈，输出预测的状态分数s_t-1；

S16、利用服务器执行匹配单元，根据查询图像键值编码对来检索存储器中历史帧特征中的信息，得到最终的匹配特征；

S17、利用服务器执行解码单元，输出查询帧最终的分割结果M_t；

S18、利用服务器进行网络训练，采用端到端的方式训练；具体为，将分割损失函数L_s、重建损失函数L_r和状态评估损失函数L_e进行联合，并使用自适应权重来自动平衡各部分损失函数，得到最终的总损失函数L_total；

S19、利用服务器优化目标函数，目标函数采用所述步骤S18中的总损失函数L_total，获取局部最优网络参数作为基于双模态融合和状态反馈的快速实时视频目标分割的网络权重。

3.根据权利要求2所述的一种基于双模态交互与状态反馈的快速实时视频目标分割方法，其特征在于，所述步骤S11具体为：从多个视频数据集的任意视频中有间隔地随机抽取T张图像，将T张图像分别进行T次不同的仿射变换,仿射变换包括平移、缩放、翻转、旋转和剪切，形成训练视频片段；

或者，从图像数据集中任意抽取一张图像，进行T次不同的仿射变换，形成训练视频片段。

4.根据权利要求2所述的一种基于双模态交互与状态反馈的快速实时视频目标分割方法，其特征在于，所述步骤S13具体为：利用包含图像分支和掩膜分支这一不共享参数的双分支残差网络分别对输入的参考帧图像和参考帧目标掩膜预测结果进行特征提取；再将掩膜分支的每个阶段的特征和图像分支对应阶段的特征分别通过一个挤压激励块后相加；然后将相加后的特征注入到图像分支；最后图像分支输出参考键值编码对参考键值编码对被直接存入到存储器。

5.根据权利要求2所述的一种基于双模态交互与状态反馈的快速实时视频目标分割方法，其特征在于，所述步骤S16具体为：使用查询图像键值编码对中的与存储器中历史帧特征中的计算相似度，归一化后作为权重对存储器中历史帧特征中的进行加权求和得到检索特征，将检索特征和查询特征中的拼接作为最终的匹配特征。

6.根据权利要求5所述的一种基于双模态交互与状态反馈的快速实时视频目标分割方法，其特征在于，所述步骤S17具体为：使用多个残差块作为解码器，将所述步骤S16中的匹配特征以及通过跳跃连接引入的所述步骤S12中的查询编码特征作为输入，输出最终的分割结果M_t。