[发明专利]一种面向智能无损压缩算法的异构计算加速方法

说明书

本发明公开了一种面向智能无损压缩算法的异构计算加速方法，其特征在于将智能无损压缩算法分解为三部分：神经网络预测推理、预测值纠偏和哈夫曼编码，其步骤包括：1)对待压缩图像进行分组，将每组图像分区量化后并行输入到GPU中，GPU利用神经网络对输入的每一图像进行预测推理，得到对应图像的像素值概率矩阵并发送给CPU；2)CPU对每一像素值概率矩阵进行预测值纠偏计算，得到对应图像的待编码数据；然后将每组图像的待编码数据存入到缓存区；缓冲区设置多个读取接口；3)FPGA通过多个读取接口从缓存区并行读取待编码数据进行哈夫曼编码，得到对应图像的无损压缩数据。本发明显著提高计算资源利用率并降低整体的解压缩时间。

技术领域

本发明属于异构计算与可计算存储领域，涉及一种面向智能无损压缩算法的异构计算加速方法，具体涉及一种采用GPU、CPU和FPGA联合加速基于神经网络预测模型与哈夫曼编码压缩序列图像算法的方法。

背景技术

压缩方法按照信息有无损失可以分为有损压缩和无损压缩。有损压缩中不相关或者不重要的数据被直接忽略，解压后得到的数据与原始数据不同。而无损压缩中，每个细节都会被保存，只有统计冗余被消除，即可以完整重构原始数据。近年来，人工智能得到了飞速发展。在数据无损压缩领域，深度学习也受到了越来越多的关注，由于softmax层与熵编码天然可结合，已有研究人员将其作为压缩的一部分与传统编码方法结合，用于探索文本压缩比的优化。

高能同步辐射光源是我国面向多学科综合研究平台类重大科技基础设施。其中，一期建设的实验线站预计每天会产生数百TB的原始实验数据，海量数据对存储和传输带来极大压力。因此，数据压缩作为一种减少数据量的方法可以用于缓解该问题。实验线站产生的数据中占比最高的是硬X成像实验线站产生的图像数据，这些数据因其科学潜力，因此需对其中包含的信息无损保存。在该场景下结合专用与通用压缩算法压缩率较好的智能无损压缩可以获得较好的应用。

目前智能压缩算法的局限性在于压缩效率较低，无法应用于实时压缩。其中既有算法串行导致计算资源利用率低，又有编码消耗CPU计算资源过大，限制在有限计算资源下整体的可并行性。因此需要一种系统性加速方案提高智能压缩算法的压缩效率以应用于实际生产环境。

目前的压缩算法加速方案通常是对针对整体算法中某一环节进行优化，如对网络结构进行剪枝加速神经网络计算，或者对编码部分进行硬件加速。

智能压缩算法作为一个整体，应该研究其各个环节中的计算瓶颈，分别加速神经网络推理与编码难以达成对整个压缩系统的优化。目前基于CNN神经网络的智能无损压缩算法依然存在压缩耗时过长的问题。

发明内容

针对现有技术中存在的问题，本发明的目的在于提供一种面向智能无损压缩算法的异构计算加速方法。本发明测试了智能压缩算法中的各个环节耗时，分别对其进行加速优化并对系统整体调优，以实现加速。

本发明提出了对于智能无损压缩算法的分解方法、调用异构计算资源时采用的流水线结构以及对序列图像采用的分组压缩解压缩方法。

本发明的技术方案为：

一种面向智能无损压缩算法的异构计算加速方法，其特征在于将智能无损压缩算法分解为三部分：神经网络预测推理、预测值纠偏和哈夫曼编码，其步骤包括：

1)对待压缩图像进行分组，将每组图像分区量化后并行输入到GPU中，GPU利用神经网络对输入的每一图像进行预测推理，得到对应图像的像素值概率矩阵并发送给CPU；

2)所述CPU对每一所述像素值概率矩阵进行预测值纠偏计算，得到对应图像的纠偏值矩阵作为待编码数据；然后将每组图像的待编码数据存入到缓存区；所述缓冲区设置多个读取接口；

3)FPGA通过多个读取接口从所述缓存区并行读取待编码数据进行哈夫曼编码，得到对应图像的无损压缩数据。