[发明专利]一种基于深度神经网络的信号处理方法

说明书

本发明公开了一种基于深度神经网络的信号处理方法，首先根据当前帧与前一帧均方差的阈值将视频帧分为关键帧和非关键帧，再分别对应为其训练网络模型进行压缩；对于非关键帧，采用了基于上下文与超先验的熵模型自编码器进行帧内预测；对于非关键帧，提取光流信息和深度信息结合生成运动信息，从而进行帧重构，再对重构帧与真实帧之间的残差进行提取编码，最终在解码端根据传输的运动信息和残差信息结合前一帧来生成当前帧。本发明充分利用了深度神经网络强大的非线性表达能力和联合训练的优势，是一个压缩效果超越h.264的端到端视频压缩方法。

技术领域

本发明涉及涉及视频压缩领域，具体涉及一种结合光流信息与深度信息进行帧预测的视频压缩方法。

背景技术

图像/视频编码通常是指将图像/视频压缩成二进制代码以便于存储和传输的计算技术。压缩根据能否保证图像/视频从比特完美地重建分为无损编码和有损编码。对于自然图像/视频，无损编码的压缩效率通常低于要求，因此大部分工作都集中在有损编码上。有损图像/视频编码解决方案主要从两个方面进行评估：一是压缩效率，通常用比特数(编码速率)来衡量，越低越好；其次是产生的损失，通常用重构图像/视频的质量来衡量，与原始图像/视频相比，质量越高越好。

图像/视频编码是计算机图像处理、计算机视觉和视觉通信的基础和实现技术。在过去的三十年中，已经制定了一系列关于图像/视频编码的标准。如JPEG、JPEG 2000、H.264，H.265，等等。目前,H.265/HEVC于2013年正式出版，代表了最先进的图像/视频编码技术。

目前，视频已经占据了互联网接近80%的流量，而这数字预计仍会继续上升。另一方面，随着视频技术的进步，特别是超高清视频的普及，也迫切需要进一步提高压缩效率，在有限的存储和有限的传输带宽下适应超高清视频。因此，HEVC、MPEG和VCEG组成联合视频专家团队(Joint Video Experts Team, JVET)，探索先进的视频编码技术，并开发联合探索模型(Joint Exploration Model, JEM)进行研究。此外，自2018年以来，JVET团队一直致力于开发一种新的视频编码标准，非正式地称为通用视频编码(VVC)，作为HEVC的继承者。预计VVC在保持相同质量的同时，相比HEVC可节省约50%的比特，从而提高压缩效率，尤其是对于高清视频而言。尽管如此，值得注意的是，VVC的改进可能是以乘性编码/解码复杂度为代价实现的。

近年来，深度神经网络在图像处理领域取得了很大的进展，在视频处理如视频检测、视频超分辨、视频去噪等方面也有了一定的发展。深度神经网络因其强大的线性表达能力和联合训练的优势，在图像/视频领域表现出了强大的潜力。但深度神经网络在视频压缩方面的发展还处于起步阶段，也因此，拥有广泛的前景和可能。

目前，深度学习在视频压缩领域的应用主要分为两大类，其一是作为深度学习工具应用于传统视频编码器，至今已有很多工作证明将传统编码模块与深度学习结合是非常有效的，这些模块包括且不限于运动补偿和插帧网络，帧内预测编码模块，比特率控制模块和后处理模块；其二是以深度神经网络为视频编码核心的端到端深度视频压缩框架。由于目前深度视频压缩是一个新兴的研究题目，因此至今为止所提出的端到端深度视频压缩内容并不多。

发明内容

本发明的目的在于提供一种基于深度神经网络的信号处理方法（视频压缩方法），利用神经网络强大的非线性表达能力和联合训练的优势，构建一个端到端的视频压缩框架，包括如下步骤：

S1，收集和整理公开的高清视频数据集，构建神经网络训练集和测试集；

S2，对于待压缩视频，计算前后两帧间的均方差，并根据阈值将帧分为关键帧和非关键帧；

对于关键帧，采用帧内预测，即图像压缩的方式；

对于非关键帧，则采用帧间预测；

S3，构建和训练两个网络模型分别用于关键帧和非关键帧的压缩；