[发明专利]一种基于深度学习的自适应视频编码方法

说明书

本发明公开了一种基于深度学习的自适应视频编码方法。所述方法包括以下步骤：利用多样化的视频资料库生成训练数据和测试数据；构建深度学习的神经网络模型；所述神经网络模型包括卷积神经网络CNN特征提取器、长短期记忆网络LSTM特征提取器、全连接层以及输出层；使用训练数据对深度学习的神经网络模型进行训练；使用测试数据对训练好的模型进行验证；应用所述神经网络模型得到预测的CRF_optimal(v)的取值；根据得到的CRF_optimal(v)进行视频压缩。该方法对每个视频较准确地预测满足视频质量评价分数的编码参数，从而实现满足用户体验前提下视频编码的码率自适应。

技术领域

本发明涉及视频编解码技术领域，尤其涉及一种基于深度学习的自适应视频编码方法。

背景技术

视频压缩，也称视频编码，其目的是消除视频信号间存在的冗余信息。随着多媒体数字视频应用的不断发展和人们对视频云计算需求的不断提高，原始视频信源的数据量已使现有传输网络带宽和存储资源无法承受，因而经编码压缩后的视频才是宜在网络中传输中的信息，视频编码技术已成为目前国内外学术研究和工业应用的热点之一。

同一个视频，视频编码的压缩率越高，压缩失真越高，用户体验的视频质量越差；压缩率越低，视频的存储和传输的成本越高。如何在两者之间找到一个平衡是视频编码技术中的一个难点。

自适应的视频编码就是要为每一个视频或视频片段，找出满足用户体验要求的编码的参数，以达到满足视频质量又节省带宽的目的。

发明内容

本发明提供了一种基于深度学习的自适应视频编码方法，深度学习的方法可以对每个视频较准确地预测满足视频质量评价分数的编码参数，从而实现满足用户体验前提下视频编码的码率自适应。

本发明提供的一种基于深度学习的自适应视频编码方法，包括以下步骤：

(1)利用多样化的视频资料库生成训练数据和测试数据；

(1.1)对样本视频数据使用不同的固定码率系数CRF进行压缩编码；

(1.2)对每个已编码的视频按照一视频质量评价体系进行评分；

(1.3)针对每个样本视频v，选取使得编码的视频能够达到一个满意的质量分数SCORE_TARGET的最大的CRF，记为CRF_optimal(v)，当CRF设置为CRF_optimal(v)时，压缩的视频在达到一个满意的视觉效果的同时能够节省最多的码率；

(1.4)把样本数据按照一定的比例随机分为训练数据和测试数据；

(2)构建深度学习的神经网络模型；所述神经网络模型包括卷积神经网络CNN特征提取器、长短期记忆网络LSTM特征提取器、全连接层以及输出层，所述全连接层分别与所述CNN特征提取器、LSTM特征提取器、输出层相连；

(2.1)所述CNN特征提取器通过CNN模型提取视频空间域的特征；

(2.2)所述LSTM特征提取器通过LSTM模型来提取视频时间域的特征；

(2.3)所述全连接层融合上述提取的视频空间域的特征和时间域的特征，进行CRF_optimal(v)的预测；

(2.4)输出层的输出值为预测的CRF_optimal(v)的值；

(2.5)计算所述神经网络模型的损失函数L₂：