[发明专利]一种基于多阶段聚合Transformer模型的视频语句定位方法

摘要

本发明公开了一种基于多阶段聚合Transformer模型的视频语句定位方法，在视频语句Transformer模型中，每个视频切片或者单词都可以根据自身的语义自适应地聚合和对齐来自两种模态中所有其他视频切片或者单词的信息。通过多层叠加，最后所得到的视频语句联合表示具有丰富的视觉语言线索捕捉能力，能够实现更精细的匹配。在多阶段聚合模块中，将其开始阶段的阶段特征、中间阶段的阶段特征和结束阶段的阶段特征串联起来，构成该候选片段的特征表示。由于所获得的特征表示捕捉了不同阶段的特定信息，因此非常适合准确定位视频片段的起始位置和终止位置。这两个模块整合在一起，形成一个既有效又高效的网络，提高视频语句定位的准确度。