[发明专利]一种基于RNN的模型压缩加密方法

说明书

一种基于RNN的模型压缩加密方法，利用RNN网络来产生压缩神经网络，同时结合量化剪枝等压缩方法，在一定程度上可以减小模型的大小；通过模型压缩的参数微调形成数据集，并尽量在数据集上追求更高的准确率，减少RNN网络的泛化能力，更好的来实现拟合压缩模型参数，使得业务模型达到较好的准确率。设计多层RNN网络的Encoder‑Decoder的网络结构，利用重构误差来训练网络模型，将Decoder公开，采用特征向量作为密钥来保护压缩模型，有效利用神经网络的不可解释性，使得很难通过输出模型能反推出输入特征向量。另外，将不同的特征向量作为密钥分发给不同的用户，当出现模型密钥泄露，可以追查到具体的泄密方，保护模型安全性。

技术领域

本发明涉及信息安全技术领域，具体涉及一种基于RNN的模型压缩加密方法。

背景技术

循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归且所有节点（循环单元）按链式连接的递归神经网络。RNN是为序列数据建模的重要工具，能够有效利用历史数据的时序信息，形成更加合理的预测，常见的RNN有双向循环神经网络BRNN（Bi-directional RNN ）、长短期记忆网络（LSTM，Long Short-Term Memory），门控循环单元GRU(Gated Recurrent Unit)等。

近年来，深度学习领域逐渐从理论向工程落地发展，特别是在物联网大环境下，需要深度学习应用更加高效，而现有的复杂模型更多的是追求准确率，物联网端侧的资源无法满足，或者成本太高，无法实现真正的商业落地。模型压缩是实现深度学习模型商业化的一个重要的落地方向，其目标是保证模型预测效果的前提下，尽可能地降低模型的大小，使用更少的资源来完成AI业务，更好的适应设备端的资源要求，通过合理的成本完成应用落地。另一方面，深度学习模型作为重要的资产，通常承载着算法的核心，为更好的保护开发者知识产权，需要通过模型加密隐藏模型的结构参数等重要信息。在这种情况下，如何有效的利用RNN技术实现深度学习模型的压缩加密成为亟须解决的问题。

发明内容

本发明为了克服以上技术的不足，提供了一种基于RNN的模型压缩加密方法，将压缩模型参数由RNN网络来生成表示，并通过RNN网络的输入来控制输出的压缩模型，结合神经网络的不可解释性，将RNN网络输入数据作为密钥来加密压缩模型，进而保护模型安全性的方法。

本发明克服其技术问题所采用的技术方案是：

一种基于RNN的模型压缩加密方法，包括如下步骤：

a)根据业务建立深度学习神经网络模型结构，利用标注数据集进行训练，得到神经网络模型M；

b)对神经网络模型M进行模型压缩，得到压缩模型C；

c)对压缩模型C中的参数进行分层聚合转换，形成压缩后模型参数向量序列S；

d)将RNN网络模型的编码器Encoder和解码器Decoder联合起来进行训练，使得模型参数向量序列S与模型参数向量序列S经过RNN网络模型生成的墨香参数向量序列S’的重构误差最小，训练后形成多组特征向量序列Key和生成模型参数向量序列S’；

e)将生成模型参数向量序列S’利用分层聚合的逆转换处理，形成网络模型G；

f)验证网络模型G的所占空间大小以及通过步骤a)中的标注数据集亚征准确率；

g)将RNN网络模型R的解码器Decoder公开，为不同的客户分配不同的特征向量序列Key；

h)客户将通过特征向量序列Key生成网络模型G用于实际业务；

i)当网络模型G出现密钥泄露时，通过特征向量序列Key的不同追查泄密方。