[发明专利]一种人物社交关系演化捕捉的方法、装置及相关产品

权利要求书

1.一种人物社交关系演化捕捉的方法，其特征在于，所述方法包括：

响应于获取的目标视频，生成具有关联关系的视频剪辑帧序列；所述视频剪辑帧序列包含人物角色；

根据预设算法，提取所述视频剪辑帧序列中每个视频剪辑帧的多视角视觉特征，构建每个视频剪辑的剪辑级图；所述剪辑级图用于表示人物社交关系的状态；

基于第一预设注意力机制处理所述剪辑级图，确定场景级人物特征和人物对特征；其中，所述第一预设注意力机制为包含各时段的历史信息演变趋势，用于使所述场景级人物特征和人物对特征包含时间维度信息；

根据所述场景级人物特征和人物对特征，确定所述人物角色的场景级社交关系图，以捕捉所述目标视频的人物社交关系演化。

2.根据权利要求1所述方法，其特征在于，所述根据预设算法，提取所述视频剪辑帧序列中每个视频剪辑帧的多视角视觉特征，构建每个视频剪辑的剪辑级图，包括：

基于第一预设算法从所述视频剪辑帧序列中提取人物特征、人物对特征和片段视频特征；所述片段视频特征包含场景信息；

基于第二预设算法从所述视频剪辑帧序列中的对话文件中提取对话特征；其中，所述人物特征、人物对特征、片段视频特征和对话特征组成所述多视角视觉特征；

根据所述多视角视觉特征和第二预设注意力机制，构建所述每个视频剪辑的剪辑级图；所述剪辑级图由所述多视角视觉特征组成；所述第二预设注意力机制为图注意力机制，用于构建所述剪辑级图。

3.根据权利要求2所述方法，其特征在于，所述根据所述多视角视觉特征和第二预设注意力机制，构建所述每个视频剪辑的剪辑级图，包括：

将所述多视角视觉特征作为所述剪辑级图的不同节点，利用第二预设注意力机制传播所述不同节点的信息；

对所述不同节点分配不同权重，并对相邻节点传递信息，生成所述每个视频剪辑的剪辑级图。

4.根据权利要求1所述方法，其特征在于，所述根据所述场景级人物特征和人物对特征，确定所述人物角色的场景级社交关系图，包括：

将所述场景级人物特征和人物对特征输入至预设的第三预设注意力机制，调整所述场景级人物对特征；

将调整后的所述场景级人物对特征发送至全连接层，对人物对的社交关系进行分类，获取人物角色的场景级社交关系图。

5.根据权利要求4所述方法，其特征在于，所述方法还包括：

根据确定的所述人物角色的场景级社交关系和时间维度滑动窗口，生成不同视频剪辑帧序列的人物角色的场景级的社交关系图；

依照时间演化顺序合并所述人物角色的场景级的社交关系图，生成全局演化社交关系图。

6.根据权利要求1-5任意一项所述方法，其特征在于，所述响应于获取的目标视频，生成具有关联关系的视频剪辑帧序列，包括：

获取所述目标视频；

根据情节和场景将所述目标视频分割成多个视频剪辑片段；

对所述多个视频剪辑片段进行等间距采样，获取视频剪辑帧序列；

对所述视频剪辑帧序列进行人物角色定位和重识别，确定视频剪辑帧之间的关联关系，生成具有关联关系的视频剪辑帧序列。

7.根据权利要求6所述方法，其特征在于，所述对所述视频剪辑帧序列进行人物角色定位和重识别，确定视频剪辑帧之间的关联关系，包括：

基于预训练的人物检测器检测所述视频剪辑帧，获取人物框和人物框对应的置信度；

响应于所述置信度大于第一预设阈值，确定所述人物框包含人物角色；

利用带有标识符标记的人脸框匹配所述包含人物角色的人物框，对人物框进行重识别；

基于第三预设算法对所述包含人物角色的所有人物框进行体特征提取，确定人物框特征；

基于余弦相似度计算所述人物框特征与已标注人物框特征的相似度；

响应于所述相似度大于预设阈值，所述人物框与所述已标注人物框为同一人物角色。