[发明专利]神经网络语言模型压缩方法及系统

权利要求书

1.一种神经网络语言模型压缩方法，所述神经网络语言模型包括输入嵌入层、隐藏层和输出嵌入层，所述方法包括：

在所述输入嵌入层与所述隐藏层之间设置第一投影层；

在所述隐藏层和所述输出嵌入层之间设置第二投影层；

分别将所述输入嵌入层、第一投影层、隐藏层、第二投影层和输出嵌入层的参数权重矩阵配置为二值化权重矩阵，以构成压缩后的神经网络语言模型。

2.根据权利要求1所述的方法，其中，还包括：

预先训练所述神经网络语言模型作为教师模型；

将所述压缩后的神经网络语言模型作为学生模型；

将训练数据输入所述教师模型以得到所述教师模型在词表上的概率分布；

将所述概率分布和对应于所述训练数据的预测标签的独热向量的插值确定为所述学生模型的训练目标；

以所述训练数据作为所述学生模型的输入来训练所述学生模型。

3.根据权利要求1所述的方法，其中，所述神经网络语言模型为前馈神经网络模型或者循环神经网络模型。

4.根据权利要求1所述的方法，其中，所述神经网络语言模型为LSTM语言模型。

5.一种神经网络语言模型压缩系统，所述神经网络语言模型包括输入嵌入层、隐藏层和输出嵌入层，所述系统包括：

第一设置模块，用于在所述输入嵌入层与所述隐藏层之间设置第一投影层；

第二设置模块，用于在所述隐藏层和所述输出嵌入层之间设置第二投影层；

权重矩阵配置模块，用于分别将所述输入嵌入层、第一投影层、隐藏层、第二投影层和输出嵌入层的参数权重矩阵配置为二值化权重矩阵，以构成压缩后的神经网络语言模型。

6.根据权利要求5所述的系统，其中，还包括：

第一训练模块，用于预先训练所述神经网络语言模型作为教师模型；

配置模块，用于将所述压缩后的神经网络语言模型作为学生模型；

概率分布确定模块，用于将训练数据输入所述教师模型以得到所述教师模型在词表上的概率分布；

训练目标确定模块，用于将所述概率分布和对应于所述训练数据的预测标签的插值确定为所述学生模型的训练目标；

第二训练模块，用于以所述训练数据作为所述学生模型的输入来训练所述学生模型。

7.根据权利要求5所述的系统，其中，所述神经网络语言模型为前馈神经网络模型或者循环神经网络模型。

8.根据权利要求5所述的系统，其中，所述神经网络语言模型为LSTM语言模型。

9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任意一项所述方法的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-4中任意一项所述方法的步骤。