[发明专利]基于掩码指导特征净化的非监督视频目标分割方法

说明书

本发明公开了一种基于掩码指导的特征净化视频目标分割方法，属于特征学习和图像目标分割技术领域。该方法首先构造训练数据集。使用编码器得到嵌入特征，将嵌入特征输入前向预测解码器生成前向预测掩码。随后使用前向预测编码与嵌入特征对输入进行掩码平均池化操作，得到全局目标特征。将其通过注意力传播操作得到经过前景增强后的嵌入特征并与嵌入特征进行拼接后，输入反馈解码器生成反馈重估计预测掩码。通过融合得到目标分割结果。本发明保证有意义信息能够输入到解码器中而无用信息被过滤，克服了中层特征忽视语意内容这一缺陷，使神经网络提取的特征在视频目标分割任务上取得了更加优秀的效果。

技术领域

本发明涉及深度学习领域和视频目标分割领域，尤其是涉及到视频目标分割中的特征表达方法，该方法能够在视频目标分割数据集上得到更加准确的分割结果。

背景技术

随着多媒体和网络技术的发展，视频已经成为重要的多媒体信息载体。如何从海量的中视频提取有价值的信息，从而完成视频分析以及语意解析，已经成为计算机视觉领域的研究热点。出色的特征表达不仅能够表示视频场景的类别信息，而且能够获取视频的目标语意信息。随着海量的视频数据被采集，如何将视频分析与计算机视觉问题相结合，从而得到出色的特征表达能力是进行视频语意分析的重中之重。现有视频分析任务给社会与学术发展带来便利的同时，也带来了一定的挑战。例如如何有效在缺乏在线指导的情况下，对视频目标进行正确分割以提取视频中关键目标信息，从而应用于视频监控、跟踪领域。缺乏在线指导的非监督视频目标分割在过去一些年在相关领域取得了广泛的研究和长足的进展。目前大量互联网公司和研究机构纷纷投入巨资加入到了非监督视频目标分割任务中，通过上述相关方法完成该任务，这也意味着该任务已经成为了研究的主流。非监督视频目标分割任务具有很高的应用价值，在视频监控方面可以帮助筛选显著运动目标；在自动驾驶方面可以辅助驾驶；在生物医学方面可以帮助医生进行辅助治疗识别等工作。

人类具有出色的视觉自我视觉净化能力，其视觉净化机制在一般情况下会遵从预定义的视觉通路，而当反馈信息进入视觉通路时，能够自觉调整通过反馈信息指导的视觉语义信息。除此以外，认知心理学表明，感知语义和注意力信息能够调节神经响应，从而进一步调整从浅层到深层次的侧向连接。从而经过内部分析有选择性地在他们的视觉范围中关注不同目标部位来迭代地反复修正视觉信息，该能力可以视为人类的视觉净化能力。该感知机制能够通过没有外界指导的条件下，多次分析输入信息并对其进行重要性筛选，经过自我反馈修正信息对输入信号进行优先级别划分。在此情况下，优先级别高的信息会被优先处理，从而提升视觉信息处理的效果。其中获得自我反馈修正的方式有多种，针对于分割任务来说，人类通过不断聚焦重估计的过程利用历史注意信息指导后续认知特征的净化，逐步筛选出有价值特征进行后续分割。

非监督视频目标分割是计算机视觉中重要的一个基础问题，其目的旨在确定输入视频中主要目标所对应的掩码信息或者目标对应的语义信息。该任务主要面对的挑战在于视频中的遮挡问题以及复杂背景问题等。本方法主要解决在仅有训练集分割标签而缺少任何测试集先验的情况下，进行目标分割。为了完成上述目标，，相关工作通常使用孪生网络提取视频中相关性信息或者使用外部记忆机制来进行完成目标分割任务。但是这些方法首先都需要同时输入多帧的帮助当前帧进行分割，这在一定程度上使计算量加倍；此外这些方法通常都在整个图像上传播信息，而目标在大多数视频中都只占很小的区域，这也会一定程度造成背景扰乱前景的现象。

基于以上分析，两种对于真实场景的观测驱动本方法提出了本章模型：1)为了更好地分割图像中的主要目标，人类通常需要从底层到高层且从高层到底层地对语义进行解析。2)在视觉处理的过程中，人眼的聚焦过程可以看成从关注图像整体忽略背景而逐步专注于前景的过程。基于上述真实场景观察，本方法期望将图像自身的中间分割过程看成是得到最终精细分割结果过程中的一个精细语义选择算子，该精细选择算子得益于粗分割结果从而能够达到修正分割结果的效果。

发明内容