[发明专利]用于深度神经网络频繁传输的压缩方法及系统

说明书

本发明公开了用于深度神经网络频繁传输的压缩方法及系统，扩展深度神经网络压缩至传输领域，利用深度神经网络模型之间的潜在冗余性进行压缩，减少深度神经网络在频繁传输下的开销。本发明的优势在于：本发明结合了深度神经网络在频繁传输上的多个模型之间的冗余性，利用了深度神经网络之间的知识信息进行压缩，减少了所需传输的大小和带宽。在相同带宽限制下，能更好地将深度神经网络进行传输，同时允许深度神经网络在前端进行针对性压缩的可能，而非只能将深度神经网络进行针对性压缩后进行部分的还原。

技术领域

本发明属于人工智能技术领域，具体涉及一种用于深度神经网络频繁传输的压缩方法及系统。

背景技术

随着人工智能的发展，深度神经网络展现了强大的能力，并在各个领域取得了卓越的效果，并且各种深度神经网络模型不断发展，并且广泛的在网络中传播并发展。然而随着深度神经网络的发展，其运行时需要的庞大计算资源和存储开销亦备受关注，因此，如何能在保持深度神经网络强大性能的情况下，减小深度神经网络的体积和计算能力，许多深度神经网络压缩的方法被提出。例如采取对网络剪枝、奇异值分解、二值深度神经网络构建、知识蒸馏等方式，结合量化、哈夫曼编码等，可以将深度神经网络在一定程度上进行压缩，并形成轻量级的网络。大部分方法针对某一项给定任务进行压缩，并将原网络进行重新训练，压缩的时间较长，并不一定可以进行对压缩后的网络解压缩。

图1展示了传统的深度神经网络压缩的算法。如图1所示，传统的深度神经网络可选地采用数据驱动或非数据驱动的方式，针对深度神经网络采用剪枝、低秩分解、卷积核选择、模型重构等不同算法(或不选)，生成初步压缩的深度神经网络模型，而后可选地采用知识迁移或重新训练，并重复上述做法，最终产生一个初步压缩的深度神经网络模型。同时，初步压缩的深度神经网络模型大部分程度上无法再解压还原回初始的原始网络模型。

在得到初步压缩的深度神经网络模型后，可选地，采取量化的方式对网络模型进行量化，而后可选地，采用编码的方式对深度神经网络进行编码，最终生成编码的量化的深度神经网络模型。

图2展示了采用传统深度神经网络压缩的方法用于网络上传输的流程示意图。如图2所示，基于当前传统深度网络压缩从单个模型角度对深度神经网络进行压缩，我们将其归并于单模型压缩方法。可选地，可以通过量化或编码的方式对原始网络进行压缩，并传输编码的压缩的深度神经网络。在解码端，对接收到的编码的压缩模型进行解码后，可以得到量化的压缩的深度神经网络。

然而目前的方法均从“减少深度神经网络存储、计算开销”角度出发，而随着深度神经网络频繁更新和在网络上频繁传输，深度神经网络带来的传输开销亦是一个亟待解决的问题。通过减少存储大小间接减少传输的开销是一种可行的方法，但是在面对更宽泛的深度神经网络频繁传输条件下，就需要一种能够在传输阶段对深度神经网络进行压缩的方法，让模型能在传输端进行高效的压缩，在接收端对传输的压缩模型进行解压，并且最大程度保持原有深度神经网络的属性。例如，在带宽限制但不考虑接收端存储大小时，若在接收端频繁接收深度神经网络模型时，需要提出一种用于深度神经网络传输的压缩方法和系统。

发明内容

针对深度神经网络频繁传输下高额的带宽开销，本发明提供一种针对用于深度神经网络频繁传输的压缩方法和系统，扩展深度神经网络压缩至传输领域，利用深度神经网络模型之间的潜在冗余性进行压缩，减少深度神经网络在频繁传输下的开销，即利用频繁传输下的多个模型进行压缩。

根据本发明的一个方面，提供了一种用于深度神经网络频繁传输的压缩方法，包括：

基于本次和历史传输的一个或多个深度神经网络模型，将待传输模型部分或全部与历史传输的模型之间部分或全部的模型差异进行组合，生成一个或多个预测残差，并将相关预测所需信息进行传输；

基于接收到的一个或多个量化的预测残差和在接收端存储的深度神经网络进行组合，对原存储的深度神经网络模型进行替换或累加，生成接收的深度神经网络。