[发明专利]社交关系增强的复杂视频人物检索方法

权利要求书

1.一种社交关系增强的复杂视频人物检索方法，其特征在于，包括：

对于待检索视频进行采样得到视频帧序列，并从待检索视频中提取出相应的文本信息；

对所述视频帧序列进行人物检测与场景分割，并结合待检索视频的时间戳，建立每一场景所包含的人物区域集合；对于每一人物区域集合构建相应的关系传播图，其中人物区域作为节点，称为候选节点，候选节点之间以完全图的方式连接，为每一候选节点初始化一个类别向量，以及将每一候选节点与给定的目标查询人物集合对应的关系图中所有查询节点连接；

对于每一关系传播图，结合相应的文本信息预测两个候选节点之间的关系与类别概率；利用候选节点与查询节点对应的视觉特征以及候选节点之间的关系与类别概率，计算候选节点之间、以及候选节点与查询节点之间的相似度，并结合邻居节点特征聚合的方式更新每个候选节点的类别向量，直至收敛；类别向量中每一维代表属于一个目标查询人物的概率，维度数为目标查询人物的数目，收敛后类别向量中概率最大值则表示候选节点为对应的目标查询人物，将候选节点对应的人物区域的图像以及候选节点迭代后的类别向量作为对应目标查询人物的检索结果。

2.根据权利要求1所述的一种社交关系增强的复杂视频人物检索方法，其特征在于，所述对于待检索视频进行采样得到视频帧序列，并从待检索视频中提取出相应的文本信息包括：

对于待检索视频，采用等间距采样的方式，得到视频帧序列；

从待检索视频中提取出相应的文本信息，并进行去噪和时间轴校正处理；其中，文本信息包括：弹幕文本信息与字幕文本信息。

3.根据权利要求1所述的一种社交关系增强的复杂视频人物检索方法，其特征在于，所述对所述视频帧序列进行人物检测与场景分割，并结合待检索视频的时间戳，建立每一场景所包含的人物区域集合的步骤包括：

对于视频帧序列中的每一帧，进行人物区域的检测，并提取每一人物区域的视觉特征以及记录每一人物区域对应待检索视频的时间戳；

基于视觉风格变换，将视频帧序列分割为若干视频帧片段，每一视频帧片段作为一个场景，记录每一场景对应待检索视频的起止时间戳；

基于每一场景对应待检索视频的起止时间戳以及每一人物区域对应待检索视频的时间戳，建立每一场景对应的人物区域集合。

4.根据权利要求1所述的一种社交关系增强的复杂视频人物检索方法，其特征在于，所述候选节点与查询节点对应的视觉特征包含两类特征：重识别特征与面部特征；

通过将候选节点对应的人物区域图像以及查询节点对应的目标查询人物图像，分别输入至基于多尺度卷积的行人重识别网络以及基于人脸识别的卷积网络，提取出以上两类特征。

5.根据权利要求1所述的一种社交关系增强的复杂视频人物检索方法，其特征在于，所述利用相应的文本信息预测两个候选节点之间的关系与类别概率的公式为：

其中，r_kj与p_kj各自表示两个候选节点g_k与g_j之间的关系预测结果与类别概率；SVM表示校准支持向量机；e^t表示候选节点所处场景内文本信息的文本表征向量；为两个候选节点g_k与g_j的性别表征，为两个候选节点g_k与g_j的年龄表征。