[发明专利]一种机器翻译中的一次剪枝压缩方法

说明书

本发明公开一种机器翻译中的一次剪枝压缩方法，包括以下步骤：1)对机器翻译模型中自注意力部分的参数点乘一个值为0或1的矩阵c，矩阵c的值表示是否对其对应的模型连接进行剪枝操作；2)通过损失函数对矩阵c求导，对导数值进行由大到小的排序，保留前κ个导数值的路径连接，其中κ是模型稀疏度；3)在一个批次的训练数据上进行一次前馈与反馈过程，从中学习到适应翻译模型的矩阵c；4)使用求得的矩阵c优化后续的模型计算，并达到更少的存储消耗。本发明剪枝方法在机器翻译上凭借连接敏感度进行一次剪枝的压缩方法，克服了以往剪枝方法需要多次迭代的弊端，只需要在一个批次的训练数据上使用一次前馈与反馈就可以得到最终的剪枝结构。

技术领域

本发明涉及一种神经机器翻译压缩技术，具体为一种机器翻译中的一次剪枝压缩方法。

背景技术

机器翻译(Machine Translation或MT)又称为自动翻译，是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支，是人工智能的终极目标之一，具有重要的科学研究价值。

纵观机器翻译的发展历程，机器翻译使用技术经历了几次变化，最早使用的是规则法(rule based machinetranslation，RBMT)通过制定大量的语法规则来进行双语翻译，这种方式虽然取得了一定的成果，但是其中的某些方法实现很困难，基于规则的翻译器在翻译结果上的表现也很单一，对于语言在多种语境下的处理不够灵活。同时此方法逐渐暴露出了一些其他的问题，比如，人工书写的规则覆盖度有限、规则数量增加导致的冲突、语种扩充困难等问题。虽然随后兴起的基于实例的方法可以一定程度上缓解以上问题，但是问题仍然没有得到根本解决。在上世纪九十年代初，统计法(statistical machinetranslation，SMT)的出现取代了传统的规则法。统计方法对大量平行句对分析，构建统计翻译模型，这种通过数学手段对翻译问题建模的方式改善了需要使用大量规则的弊端，所以系统的鲁棒性和扩展性都大大增强了。但是基于统计的方法对建模方式以及数据都有很强的依赖，虽然相较于规则的方法来说基于统计的方法变得灵活了许多，但是一个好的模型仍然对许多先验的设置存在较高的要求。

相比传统的基于统计的机器翻译方法，神经机器翻译系统只需要将模型与一部分超参数设置好就能取得较好的效果，如果模型的表示能力够强，并且有足够的设备，那么神经机器翻译系统将会自动地把数据中的特征抽取出来。相较于基于规则的方法与基于统计的方法，神经机器翻译具有更好的鲁棒性，并且算法会自动学习数据中的知识，而不是通过预先的规则设定。但由于神经网络本身的特点，其内部存在着大量的矩阵运算，因此其在使用的过程中会更加耗时。并且对于资源受限的小型设备，计算与存储的优化更为关键，因此神经机器翻译系统的解码优化也成为翻译系统能否实用化的关键。

传统的机器翻译剪枝方法在实际使用中解码速度慢，模型存储消耗大，实用性差，不能满足翻译软件实时响应的需求。尽管大网络具有良好的性能，但是随着移动设备越来越普及，小设备移动性强，消耗低的优点渐渐显露，能否在资源受限设备上使用机器翻译方法变成了机器翻译技术应用的关键问题，在传统的剪枝方法中，剪枝需要在模型上进行反复的迭代才能取得最好的剪枝结果，这限制了机器翻译技术的应用，阻碍了机器翻译技术的发展。

发明内容

针对现有技术中机器翻译的方法在实际使用中解码速度慢，模型存储消耗大，不能满足翻译软件实时响应的需求等不足，本发明要将解决的技术问题是提供一种在机器翻译上凭借连接敏感度进行一次剪枝的压缩方法，能够在快速推理的最新实现基础上，且在模型性能几乎没有下降的前提下，降低存储消耗。

为解决上述技术问题，本发明采用的技术方案是：

本发明一种机器翻译中的一次剪枝压缩方法，于包括以下步骤：

1)对机器翻译模型中自注意力部分的参数点乘一个值为0或1的矩阵c，矩阵c的值表示是否对其对应的模型连接进行剪枝操作；