[发明专利]具有IP保护的可重构神经网络训练及使用方法

说明书

本发明公开了一种具有IP保护的可重构神经网络训练及使用方法，包括步骤：设定数据集、任务集和参数集，每个数据集对应一个任务，不同的任务共享相同的参数集，参数集包括权重和偏置；对数据集的数据预处理，初始化神经网络模型；根据初始化的神经网络模型，以batch为单位喂入第m个数据集，m＝1，开始训练；当训练第m个任务时，将模型根密钥设置为任务对应的根密钥，通过根密钥将模型参数集重构到任务对应的参数排列，采用反向传播算法更新模型参数集；交替数据集重复训练过程，直至m＝M，得到具有IP保护的可重构神经网络模型。本发明可执行不同领域的多个任务，且最大化地提高了模型的内存效率。

技术领域

本发明涉及深度学习领域，具体涉及一种具有IP保护的可重构神经网络训练及使用方法。

背景技术

深度学习(DL,DeepLearning)从属于机器学习(ML,MachineLearning)领域，是其中的一个研究方向。深度学习就是学习数据集中样本数据的特征和规律，其学习的目标就是让机器能够像人一样具有分析学习能力，从而能够识别文字、图像和声音等不同领域的数据。深度学习允许由多个处理层组成的计算模型学习具有多个抽象级别的数据表示。这些方法极大地改善了语音识别，视觉对象识别，对象检测以及许多其他领域的最新技术。深度学习通过使用反向传播算法指示机器应如何更改其内部参数来发现大型数据集中的复杂结构，这些内部参数用于根据前一层的表示来计算每一层的表示。

深度学习模型是一种深层模型，利用多层非线性变换进行特征提取，由低层特性抽取出高层特征进行更抽象的表示。广义上来说，深度学习所用到的神经网络主要分为以下几种：循环神经网络、深度置信网络、卷积神经网络等。

如今，已经探索了使用深度神经网络来解决各种任务，例如计算机视觉，自然语言处理和语音识别。随着机器学习即服务(MLaaS)的部署，训练有素的模型被放到云端以提供推理服务。然而，许多关键任务(例如，自动驾驶)在预测或推理阶段需要零延迟或最小延迟，因此等待时间和延迟成为了云端与用户之间交互的阻碍。此外，当模型托管在云端上时，它会被限制在固定级别的网络带宽上，而这种带宽并不总是可以实现的。此外，将模型托管在云端时会对数据隐私构成威胁，例如，数据不得离开设备。一种简单的解决方案是将模型托管在本地化的普及移动计算平台上，例如物联网(IoT)设备。

然而，DNN模型有大量的参数，这些参数通常以float32的精度存储，这要求占用大量的模型内存。例如，AlexNet有几千万个参数，可以使模型大小达到240MB，内存受限的设备很难满足这样的内存需求。我们注意到，目前常用的方法是使用现场可编程门阵列(FPGA)来加速推理，而其片上内存可低至10MB。此外，浮点运算(FLOPS)也很多，例如ResNet-50处理大小为224×224的图像大约需要41亿次FLOPS。FLOPS可以用于GPU等高性能硬件，但无人机和手表等低功耗物联网设备可能无法很好地支持。

上述的大尺寸模型和大范围浮点运算的要求使DNN模型成为重量级网络，并给模型推断或预测带来显著的延迟，从而阻碍了它们在物联网设备上的普遍部署。因此，当DNN模型安装在物联网设备上时，该模型应尽可能轻量。一个实用的解决方案是通过模型量化来降低模型运行的精度，这已经引起了学术界和工业界的极大关注。

尽管深度神经网络(DNN)模型在各种应用中表现出惊人的性能，但其庞大的模型规模和广泛的浮点运算(FLOPS)使得模型难以部署到移动计算平台，特别是物联网(IoT)设备上。一个有效的解决方案是使用模型量化，它减少了模型的大小，并使用一般微控制器都支持的整型运算(MCU通常不支持FLOPS)。