[发明专利]通过混合时域自适应的视频动作分割

说明书

本申请涉及通过混合时域自适应的视频动作分割，并公开了用于训练视频分割系统的计算机实施的方法。视频分割系统用于将一组动作标签分配给视频的帧。方法包括：对于来自第一组视频数据和来自第二组视频数据的每个输入视频，将输入视频的帧的一组帧级特征输入至视频分割网络，第一组视频数据包括具有关联的动作标签的视频，第二组视频数据包括不具有关联的动作标签的视频；对于来自第一组视频数据和来自第二组视频数据的每个输入视频，输出最终组帧级预测，其中来自输入视频的一组帧中的至少一些帧的每个帧具有关联的标签预测；计算视频分割网络的损失；以及使用计算的损失更新视频分割网络。

技术领域

本公开总体上涉及用于可以提供改进的计算机性能、特征和用途的计算机学习的系统和方法。更具体地，本公开涉及用于视频动作分割的系统和方法。

背景技术

视频动作分割对于包括视频监视和人类活动的分析的广泛应用是重要的。给定视频，典型的目标是按时间同时分割视频，并预测具有对应动作类别的每个分段。尽管鉴于深度神经网络的近期成功，视频分类已经显示了巨大的进步，但是在长期未修剪的视频中在时间上定位和识别动作片段仍然具有挑战性。

动作分割方法可以被分解为使用卷积神经网络提取低级特征和应用高级时间模型。受到语音合成的进步的鼓舞，最近的方法依赖于时间卷积以使用时间卷积滤波器的层次结构来捕获跨帧的远距离依赖性。

尽管这些时间模型的成功，但是性能增益来自于用于完全监督学习的密集注释的数据。由于逐帧手动精确注释动作既费时又极具挑战性，这些方法不容易扩展到大规模的现实世界应用。因此，越来越多地关注利用辅助数据来缓解该问题，辅助数据在某种程度上更容易获得。例如，一些研究人员使用动作抄本获得动作发生顺序的先验知识。然而，即使在这些辅助数据的情况下，数据量也可能受到限制。

因此，需要用于使用未标记数据的视频动作分割的系统和方法。

发明内容

本申请涉及一种用于训练视频分割系统的计算机实施的方法，该视频分割系统用于将一组动作标签分配给视频的帧。其中，方法包括：对于来自第一组视频数据和来自第二组视频数据的每个输入视频，将输入视频的帧的一组帧级特征输入至视频分割网络。第一组视频数据包括具有关联的动作标签的视频，第二组视频数据包括不具有关联的动作标签的视频。该视频分割网络包括：至少一个域自适应时间卷积网络。至少一个域自适应时间卷积网络包括：多层时间卷积网络，接收与输入视频的一组帧级特征相关的输入，并输出一组时空细化的帧级特征；分类层，接收一组时空细化的帧级特征，并输出一组帧级预测；局部时域自适应模型，接收一组时空细化的帧级特征，并输出一组时空细化的帧级特征来自于第一组视频数据还是第二组视频数据的输入视频的域预测；域关注池化组件，接收一组时空细化的帧级特征和域预测，并使用域关注权重将一组时空细化的帧级特征组合为视频级特征；以及全局时域自适应模型，接收视频级特征，并输出视频级特征来自于第一组视频数据还是第二组视频数据的输入视频的视频级域预测。方法还包括：对于来自第一组视频数据和来自第二组视频数据的每个输入视频，输出最终组帧级预测，其中来自输入视频的一组帧中的至少一些帧的每个帧具有关联的标签预测；计算视频分割网络的损失；以及使用计算的损失更新视频分割网络。计算的损失包括以下中的至少一个：响应于输入视频来自第一组视频数据，与相对于输入视频的关联的动作标签的最终组帧级预测有关的预测损失；局部域损失，表示在预测一组时空细化的帧级特征来自于第一组视频数据还是第二组视频数据的输入视频时的错误；以及全局域损失，表示在预测视频级特征来自于第一组视频数据还是第二组视频数据的输入视频时的错误。