[发明专利]一种基于双模态交互和状态反馈的快速实时视频目标分割方法

说明书

本发明公开了一种基于双模态交互和状态反馈的快速实时视频目标分割方法，包括以下步骤：步骤一、模型训练，利用服务器对网络模型进行训练，通过降低网络损失函数优化网络参数，直至网络收敛，获得基于双模态交互和状态反馈的快速实时视频目标分割方法的网络权重；步骤二、模型推断，利用训练阶段获得的网络权重，在新的视频序列中分割第一帧给定的目标。通过双模态特征交互，加强目标外观表示的学习，减弱背景中外形特征相似、颜色相似的目标的干扰，使系统能够在复杂的环境中准确地分割目标；以及通过状态反馈固定存储器有效容量并自适应地更新存储器中的特征，使系统能够有效利用历史帧中的目标信息，并具有较高的推断速度和内存利用效率。

技术领域

本发明属于计算机视觉的技术领域，具体涉及一种基于双模态交互和状态反馈的快速实时目标分割方法。

背景技术

视频目标分割是计算机视觉领域的基本任务之一，在现实生活中具有重要的应用价值和意义，例如视频剪辑、自动驾驶等。在深度学习的推动下，视频目标分割任务取得了很大的进展。本技术主要面向的是半监督视频目标分割任务，在测试时要求用户提供第一帧(通常情况)或关键帧的目标掩膜，算法自动分割其余视频帧。由于目标遮挡、变形、运动模糊和比例变换等问题，半监督视频目标分割任务最具挑战性的一点在于如何学习到稳定的目标外观。

目前，半监督视频目标分割任务主流的算法大致可分为两大类，在线学习方法和离线学习方法。在线学习方法在推断过程中根据历史帧(通常是第一帧)及其掩膜来微调模型，让模型学习当前分割的视频序列中的目标外观，能够有效提升分割结果质量，但通常速度较慢；离线学习方法在推断过程中不更新模型参数，通常结合目标跟踪等技术，或者使用各种匹配方法来离线学习目标外观，通常速度快于在线学习方法。最近，基于匹配的方法给半监督视频目标分割任务带来很大的进展，这些方法使用存储器来存储历史帧特征，很好地提升了分割结果的质量，然而他们的实时性不够，难以满足实际使用；而且如何有效组织存储器中的特征以避免内存溢出等问题依然处于探索当中。此外，目前的主流方法并没有充分利用目标掩膜中蕴含的丰富的边缘纹理信息，而这些信息能够很好地帮助加强目标外观的学习以及减弱背景物体的干扰，因此，造成了大量的信息浪费。

发明内容

针对上述问题，我们提出一种基于双模态交互和状态反馈的快速实时视频目标分割方法，双模态交互目的在于通过图像特征和掩膜特征的相互交融加强目标外观的学习，减弱背景的干扰，以提高分割质量；状态反馈的目的在于给系统提供分割结果的状态分数，辅助组织存储器中特征，以提高整个系统的时空效率。

本发明针对现有基于深度学习的半监督视频目标分割方法中，对掩膜利用不充分导致的分割结果轮廓粗糙易受背景干扰等问题、储存器储存的特征逐渐增多导致可能的内存溢出问题以及推理速度较慢等问题，提出一种基于双模态交互和状态反馈的快速实时目标分割方法。旨在通过双模态特征交互，加强目标外观表示的学习，减弱背景中外形特征相似、颜色相似的目标的干扰，使系统能够在复杂的环境中准确地分割目标；以及通过状态反馈固定存储器有效容量并自适应地更新存储器中的特征，使系统能够有效利用历史帧中的目标信息，并具有较高的推断速度和内存利用效率。

为了达到上述发明目的，本发明采用以下技术方案。一种基于双模态交互和状态反馈的快速实时视频目标分割方法，包括以下步骤：

步骤一、模型训练，利用服务器对网络模型进行训练，通过降低网络损失函数优化网络参数，直至网络收敛，获得基于双模态交互与状态反馈的快速实时视频目标分割的网络权重；

步骤二、模型推断，利用训练阶段获得的网络权重，在新的视频序列中分割第一帧给定的目标。

进一步的，所述步骤一的模型训练具体包括以下步骤：

S11、利用服务器执行训练视频片段生成单元，生成长度为T的训练视频片段，其中T≥2；