[发明专利]神经网络内部表示信息量确定方法、装置、设备、介质

说明书

本公开提供了一种神经网络内部表示信息量确定方法、装置、设备、介质。所述神经网络内部表示信息量确定方法包括：利用所述神经网络对输入文本向量进行处理，并提取所述神经网络中的特征处理层生成的内部表示；利用探针解码器对目标文本向量以及所述内部表示进行拟合处理，得到概率值，其中，所述概率值表示由所述内部表示映射成所述目标文本向量的概率；基于所述概率值确定所述内部表示相对于所述目标文本向量的信息量。

技术领域

本公开涉及自然语言处理技术领域，更具体地，涉及一种神经网络内部表示信息量确定方法、装置、设备、介质。

背景技术

神经网络模型通过神经元之间的交互操作将输入信息编码映射到输出。在神经网络模型中，随着任务难度的增加，网络结构的复杂性随之增加，此外，完全相同的网络模块也存在被叠加多次的情形。目前，无法量化描述神经网络中各个网络模块所学到的信息，也即无法明确它们各自对于输出起到了怎样的作用，这限制了对于神经网络处理过程的深入理解。

发明内容

本公开提供一种神经网络内部表示信息量确定方法、装置、设备、介质，用于确定神经网络中的特征处理层生成的内部表示的信息量。

根据本公开的一方面，提供了一种神经网络内部表示信息量确定方法，包括：利用所述神经网络对输入文本向量进行处理，并提取所述神经网络中的特征处理层生成的内部表示；利用探针解码器对目标文本向量以及所述内部表示进行拟合处理，得到概率值，其中，所述概率值表示由所述内部表示映射成所述目标文本向量的概率；以及基于所述概率值确定所述内部表示相对于所述目标文本向量的信息量。

根据本公开的一些实施例，所述探针解码器包括自关注处理层、编码-解码注意力处理层和全连接处理层。

根据本公开的一些实施例，所述神经网络是机器翻译神经网络，所述机器翻译神经网络包括编码器网络和解码器网络，所述解码器网络包括至少一个解码器，所述解码器包括自关注处理层、编码-解码注意力处理层和全连接处理层，其中，所述特征处理层是属于所述解码器网络中的处理层。

根据本公开的一些实施例，所述基于所述概率值确定所述内部表示相对于所述目标文本向量的信息量包括：基于所述概率值计算用于表征所述信息量的负对数似然相似度。

根据本公开的一些实施例，所述目标文本向量是所述输入文本向量的翻译文本向量，所述方法还包括：基于所述内部表示相对于所述目标文本向量的信息量，改变所述机器翻译神经网络的网络结构。

根据本公开的一些实施例，所述全连接处理层包括加和归一化层和前馈层，其中，所述改变所述机器翻译神经网络的网络结构包括：确定所述全连接处理层的内部表示相对于所述目标文本向量的第一信息量，并分别确定所述全连接处理层中的所述加和归一化层和所述前馈层的内部表示相对于所述目标文本向量的第二信息量和第三信息量；基于所述第一信息量、第二信息量和第三信息量，确定删除所述全连接处理层中的至少一部分。

根据本公开的一些实施例，所述目标文本向量是以下中的一种：所述输入文本向量；所述输入文本向量的翻译文本向量，其中，所述输入文本向量对应于第一语言，所述翻译文本向量对应于不同于所述第一语言的第二语言。

根据本公开的另一方面，还提供了一种神经网络内部表示信息量确定装置，包括：内部表示单元，配置成利用所述神经网络对输入文本向量进行处理，并提取所述神经网络中的特征处理层生成的内部表示；概率单元，配置成利用探针解码器对目标文本向量以及所述内部表示进行拟合处理，得到概率值，其中，所述概率值表示由所述内部表示映射成所述目标文本向量的概率；以及信息量计算单元，配置成基于所述概率值确定所述内部表示相对于所述目标文本向量的信息量。

根据本公开的一些实施例，所述探针解码器包括自关注处理层、编码-解码注意力处理层和全连接处理层。