[发明专利]神经网络内部表示信息量确定方法、装置、设备、介质

权利要求书

1.一种神经网络内部表示信息量确定方法，包括：

利用所述神经网络对输入文本向量进行处理，并提取所述神经网络中的特征处理层生成的内部表示；

利用探针解码器对目标文本向量以及所述内部表示进行拟合处理，得到概率值，其中，所述概率值表示由所述内部表示映射成所述目标文本向量的概率；以及

基于所述概率值确定所述内部表示相对于所述目标文本向量的信息量。

2.根据权利要求1所述的方法，其中，所述探针解码器包括自关注处理层、编码-解码注意力处理层和全连接处理层。

3.根据权利要求1所述的方法，其中，所述神经网络是机器翻译神经网络，所述机器翻译神经网络包括编码器网络和解码器网络，所述解码器网络包括至少一个解码器，所述解码器包括自关注处理层、编码-解码注意力处理层和全连接处理层，

其中，所述特征处理层是属于所述解码器网络中的处理层。

4.根据权利要求1所述的方法，其中，所述基于所述概率值确定所述内部表示相对于所述目标文本向量的信息量包括：

基于所述概率值计算用于表征所述信息量的负对数似然相似度。

5.根据权利要求3所述的方法，其中，所述目标文本向量是所述输入文本向量的翻译文本向量，所述方法还包括：

基于所述内部表示相对于所述目标文本向量的信息量，改变所述机器翻译神经网络的网络结构。

6.根据权利要求5所述的方法，其中，所述全连接处理层包括加和归一化层和前馈层，其中，所述改变所述机器翻译神经网络的网络结构包括：

确定所述全连接处理层的内部表示相对于所述目标文本向量的第一信息量，并分别确定所述全连接处理层中的所述加和归一化层和所述前馈层的内部表示相对于所述目标文本向量的第二信息量和第三信息量；

基于所述第一信息量、第二信息量和第三信息量，确定删除所述全连接处理层中的至少一部分。

7.根据权利要求3所述的方法，其中，所述目标文本向量是以下中的一种：

所述输入文本向量；

所述输入文本向量的翻译文本向量，其中，所述输入文本向量对应于第一语言，所述翻译文本向量对应于不同于所述第一语言的第二语言。

8.一种神经网络内部表示信息量确定装置，包括：

内部表示单元，配置成利用所述神经网络对输入文本向量进行处理，并提取所述神经网络中的特征处理层生成的内部表示；

概率单元，配置成利用探针解码器对目标文本向量以及所述内部表示进行拟合处理，得到概率值，其中，所述概率值表示由所述内部表示映射成所述目标文本向量的概率；以及

信息量计算单元，配置成基于所述概率值确定所述内部表示相对于所述目标文本向量的信息量。

9.根据权利要求8所述的装置，其中，所述探针解码器包括自关注处理层、编码-解码注意力处理层和全连接处理层。

10.根据权利要求8所述的装置，其中，所述神经网络是机器翻译神经网络，所述机器翻译神经网络包括编码器网络和解码器网络，所述解码器网络包括至少一个解码器，所述解码器包括自关注处理层、编码-解码注意力处理层和全连接处理层，

其中，所述特征处理层是属于所述解码器网络中的处理层。

11.根据权利要求8所述的装置，其中，所述信息量计算单元配置成：

基于所述概率值计算用于表征所述信息量的负对数似然相似度。