[发明专利]一种基于深度学习的自适应视频编码方法

权利要求书

1.一种基于深度学习的自适应视频编码方法，其特征在于，包括以下步骤：

(1)利用多样化的视频资料库生成训练数据和测试数据；

(1.1)对样本视频数据使用不同的固定码率系数CRF进行压缩编码，CRF为编码器的码率控制的参数，对于同一个视频，CRF值越大压缩度越高，压缩的视频质量越低；在x264、x265编码器中CRF的等级范围为[0,51]；在AV1编码器中，CRF的取值对应于视频编码器的帧量化参数；

(1.2)对每个已编码的视频按照一视频质量评价体系进行评分，所述视频质量评价体系为视频质量多方法评价融合VMAF；

(1.3)针对每个样本视频数据v，选取使得编码的视频能够达到一个满意的质量分数SCORE_TARGET的最大的CRF，记为CRF_optimal(v)，当CRF设置为CRF_optimal(v)时，编码的视频在达到一个满意的视觉效果的同时能够节省最多的码率；

(1.4)把样本视频数据按照一定的比例随机分为训练数据和测试数据；

(2)构建深度学习的神经网络模型；所述神经网络模型包括卷积神经网络CNN特征提取器、长短期记忆网络LSTM特征提取器、全连接层以及输出层，所述全连接层分别与所述CNN特征提取器、所述LSTM特征提取器、所述输出层相连；

(2.1)所述CNN特征提取器通过CNN模型提取视频空间域的特征；

(2.2)所述LSTM特征提取器通过LSTM模型来提取视频时间域的特征；

(2.3)所述全连接层融合上述提取的视频空间域的特征和时间域的特征，进行CRF_optimal(v)的预测；

(2.4)输出层的输出值为预测的CRF_optimal(v)的值；

(2.5)计算所述神经网络模型的损失函数L₂：

其中m表示样本视频数据的个数，表示CRF的预测值，CRF⁽ⁱ⁾表示样本视频数据i的CRF实际值，表示对样本视频数据i的CRF预测值；利用所述损失函数L₂对所述神经网络模型中各层的参数进行调整；

(3)使用训练数据对深度学习的神经网络模型进行训练；

(4)使用测试数据对训练好的模型进行验证；

(5)应用所述构建的神经网络模型；

(5.1)把输入视频作为输入送到训练好的深度学习的神经网络模型中；

(5.2)在模型的输出端得到预测的CRF_optimal(v)的取值；

(6)视频编码：编码器对输入的样本视频数据v进行压缩编码，CRF设置为CRF_optimal(v)，输出编码视频码流。