[发明专利]基于深度学习的自适应编码方法及系统、设备、介质

说明书

本发明公开了一种基于深度学习的自适应编码方法及系统、设备、介质，该方法包括：输入视频，对输入视频中的每一帧进行基于深度学习的自适应降采样，得到降采样后的图像；将降采样后的图像进行编码，然后将其压缩到解码端；在解码端进行解码；对解码后的视频进行视频上采样，得到重建视频。该系统包括：基于深度学习的自适应降采样模块，用于对输入视频进行基于深度学习的自适应降采样，得到降采样后的图像；编码模块，用于将降采样后的图像进行编码，然后将其压缩到解码端；解码模块，用于解码；重建视频模块，用于对解码后的视频进行视频上采样，得到重建视频。本发明基于深度学习来改变分辨率，从而提升了性能，且与现有的编码标准可兼容。

技术领域

本发明涉及视频编码技术领域，特别涉及一种基于深度学习的自适应编码方法及系统、设备、介质。

背景技术

现有的基于深度学习的视频或者图像编码算法，由于与现有标准并不兼容，因此很难在实际应用中部署。

现有的基于深度学习的视频编码方法，普遍需要在编码器部分，嵌入深度学习的技术，替换已有的部分模块(比如进行模式选择或者性能增强或者超分辨或者端到端训练)。因此，需要解码器也进行对应的修改，也就是需要解码器同样嵌入对应的深度神经网络。但是，现有的视频编码标准(h264，h265等)已经在产业界得到了广泛应用，有大量的对应的解码芯片，如果引入深度学习技术，就不能充分利用已有的解码芯片，不能够进行广泛有效的部署。

发明内容

本发明针对上述现有技术中存在的问题，提出一种基于深度学习的自适应编码方法及系统、设备、介质，通过基于深度学习的自适应降采样，自适应选择每一帧的分辨率，从而提高了性能；并且本发明仅仅涉及图像分辨率的改变，而不涉及编码器的改变，从而能够兼容现有的编码器，能够进一步提升性能。

为解决上述技术问题，本发明是通过如下技术方案实现的：

根据本发明的第一方面，提供一种基于深度学习的自适应编码方法，其包括：

S11：输入视频，对所述输入视频中的每一帧进行基于深度学习的自适应降采样，得到降采样后的视频；

S12：将所述S11得到的降采样后的视频进行编码，然后将其压缩到解码端；

S13：在解码端进行解码；

S14：对解码后的视频进行视频上采样，得到重建视频。

较佳地，所述S11中的对所述输入视频进行基于深度学习的自适应降采样具体包括：

S111：将所述输入视频降采样到预设分辨率；

S112：对降采样后的视频中的每一帧进行基于深度学习的细化，得到最终的降采样后的视频。

较佳地，所述基于深度学习的细化具体包括：

S1121：将输入视频中的每一帧经过多层卷积层以及平均池化层，得到降采样后的特征；

S1122：将降采样后的特征经过多层卷积层以及双线性插值层，得到升采样后的特征，得到细化后的视频帧。

较佳地，所述基于深度学习的细化具体包括：自适应选择所述降采样后的视频中每一帧的分辨率。

较佳地，所述基于深度学习的细化包括：多层卷积神经网络处理、平均池化层降采样处理以及双线性插值上采样处理；多个所述卷积神经网络处理、平均池化层降采样处理以及双线性插值上采样处理的层数可以根据需要进行自由选择。

较佳地，所述S11中的基于深度学习的自适应降采样的降采样倍数包括多个；

进一步地，所述S12与所述S13之间还包括：