[发明专利]用于深度学习模型的矩阵压缩方法和装置

说明书

技术领域

本发明的实施方式涉及计算机领域，更具体地，本发明的实施方式涉及用于深度学习模型的矩阵压缩方法和装置。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

深度学习模型被越来越广泛地应用于数据分析中，其通过对不同层的节点之间的线性层和非线性层，对数据进行映射、运算等处理，并在处理中对模型进行训练、修正、更新，从而最终提升分类或预测的准确性。在深度学习模型中，通常最后一层线性层是连接隐节点与输出的分类节点的处理层。假设隐节点数目为M，分类节点数目为N，则最后一层线性层的权重矩阵为M*N。在实际处理过程中，N是一个较大的数目，导致深度学习模型的参数量会随着N的增加而增加，运算量非常大。

为了减少运算量，采用了基于SVD矩阵分解技术的模型压缩方法，在该方法中，通常会对最后一层线性层的权重矩阵M*N进行奇异值(SVD)分解，分解为由M*K和K*N的两个矩阵相乘来近似表示该权重矩阵，即拆分成两个线性层结构。在深度学习模型中，权重矩阵表示节点之间连接边的反馈影响程度，而通常权重矩阵中很多元素值接近于0，反映了很多节点之间并没有强的反馈关系。然而，基于SVD矩阵分解技术的模型压缩方法将这些接近于0的元素与具有强反馈关系的元素按照类似的方式进行处理，运算量仍然很大。此外，基于SVD矩阵分解技术的模型压缩方法也没有考虑如何选择K，来优化运算结果，同时减少运算量。

发明内容

因现有技术中的深度学习模型中，模型压缩方法仍然将接近于0的矩阵元素与具有强反馈关系的矩阵元素按照类似的方式进行处理，运算量仍然很大。此外，这些模型压缩方法也没有考虑如何选择K，来优化运算结果，同时减少运算量。

因此在现有技术中，用于深度学习模型的矩阵压缩方法和装置运算量很大，效率低下，所获得的模型准确率较低，这是非常令人烦恼的过程。

为此，非常需要一种改进的用于深度学习模型的矩阵压缩方法和装置，以便有效压缩矩阵，减少运算量，提高数据处理的效率，实现深度学习模型的优化，从而提高深度学习模型的准确性和可靠性。

在本上下文中，本发明的实施方式期望提供一种用于深度学习模型的矩阵压缩方法和装置。