[发明专利]文本与图像联合建模的面向人物的视频摘要提取方法

权利要求书

1.一种文本与图像联合建模的面向人物的视频摘要提取方法，其特征在于，包括：

对原始视频数据进行预处理，获得等间距的视频帧序列以及与原始视频数据相关的文本信息；

利用人物检测的方法逐帧地、无差别地定位出所有的人物区域，并通过一定范围的时间窗口筛选出相关的文本信息；

根据选出的人物区域与相关的文本信息，利用重识别的方法将每一人物与目标人物进行匹配，将匹配成功的人物区域所属的视频帧作为关键帧，并保存相应的文本信息；

根据时间相关性聚合所有关键帧，并补充一些过渡帧以形成流畅的视频片段，再结合对应的文本信息，从而得到面向人物的视频摘要。

2.根据权利要求1所述的一种文本与图像联合建模的面向人物的视频摘要提取方法，其特征在于，所述对原始视频数据进行预处理包括：

对原始视频数据进行等间距的采样，得到一个由视频帧组成的序列；

并对与原始视频数据相关的文本进行去噪和时间轴校正；其中，对于弹幕文本信息，采用正则规则过滤符号字符，并根据打字速度对弹幕文本信息的发送时间进行矫正。

3.根据权利要求1所述的一种文本与图像联合建模的面向人物的视频摘要提取方法，其特征在于，所述利用人物检测的方法逐帧地、无差别地定位出所有的人物区域，并通过一定范围的时间窗口筛选出相关的文本信息包括：

对于一个视频帧序列，使用基于Faster R-CNN的人物检测方法逐帧地、无差别地定位出所有在序列中出现的人物区域；根据人物区域所属的视频帧的时刻为基准，使用不同范围的时间窗口分别筛选出相关的弹幕文本信息与字幕文本信息。

4.根据权利要求1所述的一种文本与图像联合建模的面向人物的视频摘要提取方法，其特征在于，所述根据选出的人物区域与相关的文本信息，利用重识别的方法将每一人物与目标人物进行匹配，将匹配成功的人物区域所属的视频帧作为关键帧包括：

从目标视频帧中定位出目标人物区域作为目标对象，并提取相应的文本信息；

将定位出的所有人物出现的区域作为候选对象；

对于每一候选对象，均利用沙漏状的卷积网络结构去提取其与目标对象的多尺度的视觉特征，并计算整体的视觉相异向量；同时，利用长短期记忆网络和神经主题模型分别提取候选对象以及目标对象所对应的文本信息的语义特征向量，并通过注意力机制实现视觉相异向量与语义特征向量的融合，从而判定候选对象是否与目标对象匹配；

将匹配的候选对象所属的视频帧作为关键帧。

5.根据权利要求4所述的一种文本与图像联合建模的面向人物的视频摘要提取方法，所述对于每一候选对象，均利用沙漏状的卷积网络结构去提取其与目标对象的多尺度的视觉特征，并计算整体的视觉相异向量包括：

利用沙漏状的卷积网络结构在不同的尺度上生成目标对象和候选对象的视觉特征图对，并对视觉特征图对进行匹配和包扎操作，从而得到特征差异图；

将每一尺度的特征差异图通过全局池化、每个维度的平方化和批量标准化来计算相应的视觉相异向量，最后，将不同尺度对应的视觉相异向量拼接起来作为一个整体的视觉相异向量，通过整体的视觉相异向量来表征目标对象和候选对象在视觉层面上的差异性。

6.根据权利要求5所述的一种文本与图像联合建模的面向人物的视频摘要提取方法，所述利用长短期记忆网络和神经主题模型提取相关的文本信息的语义特征向量包括：

对于弹幕文本信息从两个个角度进行向量化表示：使用多层的字符级长短期记忆网络建模弹幕中的序列信息，提取弹幕的N维的语义向量；使用基于变分自编码器的神经主题模型作为弹幕语义的提取器，将弹幕文本信息中的字符在P个主题上的分布作为字符向量构成弹幕文本的表征；弹幕文本信息的向量表示为文本中所有N维的语义向量与字符向量的均值；

对于字幕文本信息，使用基于负采样的Skip-gram模型对基于结巴分词后的字幕词语进行了S维的向量化表示，字幕文本信息的语义特征向量表示为文本中所有词向量的均值；

所述的N、P与S均为设定的整数；

基于上述方式，分别对候选对象以及目标对象所对应的文本信息进行处理，获得相应的语义特征向量。