[发明专利]基于视频内容理解和用户动态兴趣的短视频推荐方法

说明书

本发明公开了一种基于视频内容理解和用户动态兴趣的短视频推荐方法，首先利用深度学习技术提取视频的深度视觉特征，从视频中提取音频文件并提取听觉特征；再利用PCA降维和数据标准化等技术将视频特征与社交特征、用户特征进行融合得到深度融合特征用于用户历史行为的特征表示；然后利用自我注意力机制，提取历史行为对当前兴趣的影响，再利用循环神经网络学习对候选视频的兴趣演化路径，得到精准的用户动态兴趣；最后利用多层感知机对视频候选集进行点击概率预测和推荐。本发明实施于短视频的个性化推荐，采用本发明的技术方案，将有效提高推荐的准确度。

技术领域

本发明属于网络视频技术领域，尤其涉及一种基于视频内容理解和用户动态兴趣的短视频推荐方法。

背景技术

随着移动终端的普及和网络的提速，短平快的视频受到各大平台和用户的青睐，短视频平台逐渐崛起，随之而来的是信息过载和个性化需求的问题。海量的视频对视频消费者和视频生产者而言都是巨大的挑战。对视频消费者来说，面临如何从海量视频中找到用户真正感兴趣的视频的困难；对视频供应商来说，面临如何将视频分发给合适的用户的困难。正式这些迫切的需求，使得移动短视频个性化推荐成为了一个热门的研究课题。

应用于个性化推荐的方法包括基于内容的推荐方法、基于协同过滤的推荐方法、混合推荐、基于知识的推荐方法、基于数据挖掘的推荐方法等。

目前，对视频推荐的方法仅考虑用户对视频历史行为的偏好，而不探索视频内容。而移动短视频的个性化推荐与普通资源的个性化推荐相比，存在非结构化的视频信息难以利用的问题。

此外还存在以下几个问题：(1)移动短视频往往没有与视频内容相符的标题、描述等信息；(2)移动短视频的分类仅为粗略类别，难以准确表达用户兴趣；(3)用户反馈数据稀疏。考虑到以上因素，现在急需一种能够实现对视频内容进行理解，进一步捕获用户动态兴趣以实现更精准和个性化的短视频推荐方法。

发明内容

发明目的：针对以上问题，本发明提出一种基于视频内容理解和用户动态兴趣的短视频推荐方法，通过视频内容理解，能对用户动态兴趣进行更精准的捕获，以达到更加精准的个性化推荐，用来弥补现在短视频推荐方案中对视频内容利用的匮乏的问题。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于视频内容理解和用户动态兴趣的短视频推荐方法，包括步骤：

(1)利用深度学习技术提取短视频的多模态特征；

(2)利用PCA降维和数据标准化技术进行将视频特征与社交特征、用户特征进行融合得到深度融合特征；

(3)基于深度融合特征和观影记录，通过自我注意力机制和循环神经网络构建用户动态兴趣模型；

(4)基于用户动态兴趣模型和情景信息，采用多层感知机对候选短视频集实现视频内点击预测与推荐。

进一步地，所述步骤(1)包括：

(1.1)提取短视频关键帧，利用深度学习技术提取视频的视觉特征；

a、利用深度卷积神经网络提取短视频的RGB特征；

b、利用C3D模型提取短视频的运动特征。

(1.2)从视频中提取音频文件，并提取听觉特征。

进一步地，所述步骤(2)具体地，先利用PCA对各个特征进行降维，在保留99％以上的信息，同时减小特征维度；再利用数据标准化，将不同特征映射到同一语义空间中；最后进行拼接融合。

进一步地，所述步骤(3)中用户动态兴趣模型包括兴趣提取层和兴趣演化层：

(3.1)兴趣提取层利用自我注意力机制进行兴趣提取，学习历史行为之间的影响；