[发明专利]基于视频内容理解和用户动态兴趣的短视频推荐方法

权利要求书

1.一种基于视频内容理解和用户动态兴趣的短视频推荐方法，其特征在于，包括步骤：

(1)利用深度学习技术提取短视频的多模态特征；

(2)利用PCA降维和数据标准化技术进行将视频特征与社交特征、用户特征进行融合得到深度融合特征；

(3)基于深度融合特征和观影记录，通过自我注意力机制和循环神经网络构建用户动态兴趣模型；

(4)基于用户动态兴趣模型和情景信息，采用多层感知机对候选短视频集实现视频内点击预测与推荐；

所述步骤(1)包括：

(1.1)提取短视频关键帧，利用深度学习技术提取视频的视觉特征；

(1.2)从视频中提取音频文件，并提取听觉特征；

所述步骤(1.1)包括：

a、利用深度卷积神经网络提取短视频的RGB特征，其具体步骤如下：

短视频的RGB特征提取；

利用预训练的ResNet模型对视频的RGB特征进行提取，ResNet中引入残差结构，解决神经网络中的退化问题，残差结构的计算公式：

其中，x代表网络结构的输入，代表卷积层/池化层操作后的输出，

所述残差结构是2层或3层输出后加上之前的输入x，

利用ResNet模型的最后一个全连接层的1000维的向量作为关键帧RGB特征表示，短视频的RGB特征最终由所有关键帧的RGB特征融合而得，融合公式：

其中，代表第i个关键帧的RGB特征，F_R代表短视频的RGB特征；

b、利用C3D模型提取短视频的运动特征，其具体步骤如下：

用预训练的3D CNN模型对视频的运动特征进行提取，3D卷积的时间维度为3，即对连续的3帧图像进行卷积，通过堆叠多个连续的帧组成一个立方体，然后在立方体中运用3D卷积核，用3D CNN模型的最后一个全连接层的4096维的向量作为连续关键帧运动特征表示，短视频的运动特征最终由所有连续关键帧的运动特征融合而得，融合公式如下：

其中，代表第i个连续关键帧的运动特征，F_S代表短视频的运动特征，

(1.2)短视频的音频特征提取；

首先将音频文件从视频中分离出，再对其进行融合，融合公式如下：

F_A＝concat([F_MFCC,F_ZCR,……])

其中，F_MFCC代表梅尔频率倒谱系数的特征表示，F_ZCR代表过零率的特征表示，省略了其他22个音频特征的表达形式，F_A代表短视频的听觉特征。

2.根据权利要求1所述的基于视频内容理解和用户动态兴趣的短视频推荐方法，其特征在于，所述步骤(2)具体地，先利用PCA对各个特征进行降维，在保留99％以上的信息，同时减小特征维度；再利用数据标准化，将不同特征映射到同一语义空间中；最后进行拼接融合。

3.根据权利要求1所述的基于视频内容理解和用户动态兴趣的短视频推荐方法，其特征在于，所述步骤(3)中用户动态兴趣模型包括兴趣提取层和兴趣演化层：

(3.1)兴趣提取层利用自我注意力机制进行兴趣提取，学习历史行为之间的影响；

(3.2)兴趣演化层利用循环神经网络和注意力机制，对每个候选短视频的兴趣演化过程进行学习。

4.根据权利要求1所述的基于视频内容理解和用户动态兴趣的短视频推荐方法，其特征在于，所述步骤(4)具体地，采用多层感知机，判断用户是否对该视频感兴趣，从而完成视频内容点击预测；将候选视频集按照预测点击率排序，将预测点击率高的视频推荐给该用户。