[发明专利]高效低延时的HEVC编码器数据缓存与处理方法

说明书

本发明提出一种高效低延时的HEVC编码器数据缓存与处理方法，目的是为了使H.265/HEVC硬编码器能尽可能降低编码延时，同时减少因越来越高视频质量带来日益剧增的存储空间、数据带宽压力，提出一种高效率的编码数据存取方案。实现了自适应输入视频分辨率，从而控制数据缓存与重构图像边缘填充宽度；实现了搜索框重构像素的滑动窗读取，降低了DDR4带宽需求与数据读取延时；通过合理控制每次读写DDR4的突发长度，以的CTU块为单位储存数据，减少DDR4换行或切换bank，从而进一步提高存储系统的效率。

技术领域

本发明属于视频编解码技术技术领域，尤其涉及一种高效低延时的HEVC编码器数据缓存与处理方法，特别是一种针对异构FPGA的HEVC视频编码数据高效存取方案。

背景技术

高效视频编码标准——H.265/HEVC(High Efficiency Video Coding)在相同视频压缩质量情况下，比上一代编码标准H.264提高了约50％的编码效率，但同时H.265相对H.264也增加了复杂度^[1]。H.265硬编码器要压缩编码超高清视频还需要解决一个重要的问题：如何满足其成倍增加的数据吞吐量，同时尽可能降低存取延时、减少存储带宽压力。由于H.265标准中可在8×8至64×64范围内动态划分CTU，支持33种帧内预测模式^[3]，这更增加了对内存空间访问的需求。

为了尽可能降低编码延时与存储带宽，现有技术提出了多种解决方案，例如：(1)将新型的非易失性存储器，如ReRAM、STT-RAM等与DRAM组成分层内存结构，有效地节约了总体存储器面积、降低了编码数据存取功耗。但该方案中DRAM与非易失性存储器需要不同的存储控制器管理对内存的访问，这无疑增加了硬件成本^[4]。该方案把编码过程中的去方块滤波、亮度色度预测所需数据分为独立的数据存取事件处理，增加了DDR的访问次数，无法使访问存储器的效率得到进一步提升。(2)采用FPGA拓展的PCIe接口接收待编码的视频数据，然后缓存至DDR中，再利用SRIO(Serial RapidIO)接口将FPGA预处理后的数据送至DSP芯片中，在DSP芯片上完成HEVC压缩编码^[5]。该方案硬件成本高，使用多个接口连接不同硬件电路增加了系统的不稳定性，也增大了视频编码延时，传输带宽利用率不高。(3)设计一种DDR-BRAM-LUT三级物理存储结构，使用DDR进行帧缓存、用BRAM行缓存、用LUT缓存参考像素^[6]。这在一定程度上缓解了片外存储器的带宽压力，但没有考虑CTU在内存中的存储安排与DDR访问效率的关系，数据存取效率不高。

参考文献

[1]J.Vanne,M.Viitanen,T.D.Hamalainen,A.Hallapuro,“Comparative Rate-Distortion-Complexity Analysis of HEVC and AVC Video Codecs”，IEEE Trans.onCAS for Video Technology,vol.22,no.12,pp.1885-1898,Dec.2012.

[2]Bouaafia,S.,Khemiri,R.,Messaoud,S.et al.Deep CNN Co-design forHEVC CU Partition Prediction on FPGA-SoC.Neural Process Lett(2022).https://doi.org/10.1007/s11063-022-10765-1

[3]Bouaafia,S.,Khemiri,R.,Messaoud,S.et al.Deep CNN Co-design forHEVC CU Partition Prediction on FPGA-SoC.Neural Process Lett(2022).

https://doi.org/10.1007/s11063-022-10765-1