[发明专利]一种部署到HTML5的模型压缩方法

说明书

本发明涉及一种部署到HTML5的模型压缩方法，包括：步骤1：获得原始的未经压缩的模型；步骤2：确认运算单元的重要性和剩余网络在验证集上的准确率；步骤3：构建主要压缩模型及对应的模型参数，构建辅助压缩模型及对应的模型参数；步骤4：计算出验证子集的预测概率、其余验证子集的预测概率和验证集总准确率；步骤5：判断是否满足停止压缩的条件，并确定最终输出的压缩模型；步骤6：将压缩模型部署到HTML5上，并判断是否使用辅助压缩模型。本发明缩小了网络结构，降低计算资源，使得总体在模型规模、预算时间、权重存储等方面均有压缩，并保证了可接受的准确率；通过辅助模型，弥补单个压缩模型的不足，参考辅助模型的结果，来提升整体预测能力。

技术领域

本发明涉及数据处理技术领域，具体涉及一种部署到 HTML5 的模型压缩方法。

背景技术

在 HTML5 的使用场景中，为了响应快、降低耗费资源、提高用户使用体验感和页面的顺畅度，需要用到模型压缩的方法，在压缩模型结构降低计算的同时，还要保证一定的模型预测能力，避免过多地牺牲模型效果。而深层次的模型中，大量模型权重中，含有一部分对预测贡献力弱的权重值，适当的剔除一些，一定程度上降低了模型的复杂度和网络结构，减少了权重数量，并保留了重要的权重值，还具备接近未压缩前的模型的预测能力，使得压缩模型可以在广泛的场景中应用。

在风险控制场景中，由于风险事件的出现量，比起正常事件，一般会低得多；模型的预测情况，也呈现极端化，比如预测有风险（1）和无风险（0）两类，会有绝大多数比例的实例是无风险的、少量有风险的实例；预测时，还有一部分实例呈现出不确定性高的情况（预测概率值在 0.5 左右）。压缩模型的过程中，不确定性高的（趋近于 0.5）的那些样本实例，预测精度也会受到影响。

发明内容

本发明提供了一种部署到 HTML5 的模型压缩方法，在压缩的过程中，降低不确定性高的那些样本实例造成预测精度受到的影响。同时，此类压缩模型的方法同时适用于多分类模型中。

本发明一种部署到 HTML5 的模型压缩方法，包括：

A.使用常规模型训练方法，在训练集上训练模型，验证集 Val 上评估模型，达到预定的评估效果后，获得原始的未经压缩的模型 M_A 和模型 M_A 对应的网络权重 W_A；

B.从模型的输入到输出的处理过程，逐层检验模型每层运算单元去除后的预测能力， 确认运算单元的重要性，给出运算单元去除后，剩余网络在验证集上的准确率 Acc_A；

C.设定一个初始准确率阈值，并根据这个初始准确率阈值、步骤 B 中的准确率Acc_A，构建辅助压缩模型 M_C来提升准确率；辅助压缩模型 M_C 在第一次使用模型时未构建，辅助压缩模型M_C 的提升准确率此时为 0；构建主要压缩模型 M_B 及对应的模型参数 W_B，将重要性低的运算单元构成新的通路网络，并通过新的通路网络构建辅助压缩模型 M_C 及对应的模型参数 W_C，主要压缩模型 M_B 和辅助压缩模型 M_C 为初始压缩模型；辅助压缩模型 M_C 的提升准确率为使用模型 M_C 后带来的准确率提升值，即：辅助压缩模型 M_C 的提升准确率 =主要压缩模型 M_B、辅助压缩模型 M_C一起使用的准确率−主要压缩模型 M_B的准确率；

D.在验证集 Val 上评估主要压缩模型 M_B，输入分类任务并预测分类任务的概率，形成验证子集和其余验证子集并计算出验证子集的预测概率、其余验证子集的预测概率，最终获取验证集 Val 总准确率；

E.若步骤 D 中的验证集 Val 总准确率步骤 B 中的初始准确率阈值，则停止压缩，并使用上一版本的主要压缩模型 M_B 和辅助压缩模型 M_C；若步骤 D 中的最后准确率≥步骤B 中的初始准确率阈值，则重复步骤 C 和步骤 D，直至满足停止压缩的条件成立；