[发明专利]一种基于多模态信息融合理解的全媒体新闻智能编目方法

权利要求书

1.一种基于多模态信息融合理解的全媒体新闻智能编目方法，其特征在于，包括以下步骤：

1)获取原始新闻视频，分割镜头片段并定位场景关键帧；

2)生成多个切片片段，具体包括：

A)通过已训练的用于新闻场景分类任务的残差网络来提取各个场景关键帧的视觉特征并推理获得最高匹配度的面向新闻场景的场景分类标签；

B)基于步骤A)中获得的各个片段的场景分类标签进行相邻同场景合并处理；

C)：将步骤B)处理后仍保留的镜头边界标记作为新闻视频的切片标记，将相邻镜头边界标记之间的帧序列作为一个切片片段，生成多个切片片段；

3)对步骤2)获得的切片片段进行视觉特征提取并生成新闻描述文本；

4)对步骤2)获得的切片片段进行语音识别获得语音文本；

5)抽取步骤2)获得的切片片段的图像帧识别获得字幕条文本；

6)识别步骤2)获得的切片片段中的人脸特征并在新闻人物库中进行匹配，得到人物信息文本；

7)将步骤3)得到的新闻描述文本、步骤4)得到的语音文本、步骤5)得到的字幕条文本、步骤6)得到的人物信息文本，输入到多模态融合的生成模型处理，生成新闻关键词及综合编目描述，经过整理和组装后输出，完成新闻智能编目；

多模态融合的生成模型处理，具体包括：

将新闻描述文本、语音文本、字幕条文本和人物信息文本输入到已通过新闻语料文本训练的嵌入层中，使文本转化为语义特征向量，然后将这些向量通过统一映射层分别映射到统一的语义空间中，接着将统一语义空间中的向量传入新闻语义融合层进行融合理解以获得消除了冗余信息的新闻融合特征，最后将新闻融合特征通过已训练的文本解码层来生成综合编目描述以及新闻关键词的关键度；

所述的多模态融合的生成模型采用以下公式：

文本嵌入：V_x＝x₁v₁+x₂v₂+…+x_nv_n；

式中：x_i为被嵌入文本基于嵌入字典的One-hot编码的第i位，n为嵌入字典的维度；v_i为该文本对应嵌入字典中的向量行；V_x为该文本嵌入后的向量；

统一映射：

式中：A，b和f(·)分别表示映射层权重矩阵、偏置向量和激活函数；k为输入向量x的维度；m为映射后的统一域的向量维度；

语义融合：

式中：x_i为模态i在统一语义空间中的向量，w_i为x_i对应的新闻语义权重系数；A，b和f(·)分别表示融合层的末层的权重矩阵、偏置向量和激活函数；

文本解码：该过程由多个长短期记忆网络堆叠实现：

L₁＝LSTM₁(R)

L_i+1＝LSTM_i+1(L_i)

C(L_i)＝f(L_i；W,b)

Output_text＝[O_L1,O_L2,O_L3,…]

Output_criticality＝[C(L₁),C(L₂),C(L₃),…]

式中：R为融合后的特征向量；LSTM_i+1(·)为第i+1个长短期记忆网络的函数表示，它的特征输出为L_i+1，文本输出为O_Li+1；f(·；W,b)为关键度运算的函数表示，其中W，b分别为承担该运算的层的权重矩阵与偏置向量，基于L_i运算获得的关键度表示为C(L_i)；Output_text为最终生成的完整文本描述，它是各个长短期记忆网络的文本输出所组成的队列；Output_criticality为文本描述中各个词对应的关键度所组成的队列。