[发明专利]特征编码方法、装置、电子设备及可读存储介质

说明书

本发明实施例提供一种特征编码方法、装置、电子设备及可读存储介质，获取待分析语句；将所述待分析语句输入至预先训练好的特征编码模型中，获得所述特征编码模型输出的特征编码结果；所述特征编码模型为注意力模块和训练好的生成对抗网络模型中的编码模块共同训练所得到。本发明实施例中的特征编码方法利用注意力模块和训练好的生成对抗网络模型中的编码模块共同训练特征编码模型，提高了特征编码模型的鲁棒性。

技术领域

本发明涉及自然语言处理领域，尤其涉及一种特征编码方法、装置、电子设备及可读存储介质。

背景技术

语义理解是自然语言处理领域的重要问题之一，其任务是将自然语言解析为结构化、机器可读的表征语义信息的特征编码。特征编码模型的鲁棒性是语义理解领域不可规避的问题，其衡量的是特征编码模型的抗噪能力。当对输出语句的内容进行扰动后，特征编码模型抽取的语句关键特征会存在不准确的问题，导致机器不能理解语句的真实语义。

加强特征编码模型的抗噪能力需要使用大量加噪语句作为训练样本来训练特征编码模型。现有技术中获取加噪语句主要有基于规则的加噪方法和基于回译的加噪方法。然而，前者无法保证噪声的覆盖率，后者则强依赖于翻译器的效果。另外，这两种方法所生成的加噪语句可能会改变原始语句的含义，导致用噪声语句训练的特征编码模型在准确理解语句的真实含义方面效果不佳。

发明内容

本发明实施例提供一种特征编码处理方法、装置、电子设备及可读存储介质，用以解决现有技术中特征编码方法准确性较低、鲁棒性不强的问题。

第一方面，本发明实施例提供一种语义理解处理方法，包括：

获取待分析语句；

将所述待分析语句输入至预先训练好的特征编码模型中，获得所述特征编码模型输出的特征编码结果；

所述特征编码模型为基于注意力模块和训练好的生成对抗网络模型中的编码模块共同训练所得到。

优选地，其中所述生成对抗网络模型为以语句样本对为训练样本，以与所述语句样本对对应的用于表征加噪类型的加噪向量为样本标签训练得到；所述基于注意力的特征编码模型为以所述语句样本对为训练样本训练得到；所述语句样本对包括原始语句和加噪语句，所述加噪语句为对所述原始语句进行加噪得到。

优选地，所述生成对抗网络模型包括编码模块和判别模块，所述生成对抗网络模型通过如下方式训练得到：

将语句样本对中的原始语句和加噪语句分别进行向量化处理，得到原始语句向量和加噪语句向量；

将原始语句向量和加噪语句向量分别输入编码模块，得到所述编码模块输出的与原始语句向量和加噪语句向量分别对应的原始第一特征和加噪第一特征；

将所述原始第一特征和所述加噪第一特征分别输入判别模块，得到所述判别模块输出的所述原始第一特征对应的预测标签和所述加噪第一特征对应的预测标签；

以所述加噪第一特征对应的预测标签以及所述原始第一特征对应的预测标签均趋近于原始语句的样本标签为目标，对所述生成对抗网络模型的参数进行更新。

优选地，所述特征编码模型通过以下方式训练得到：

将所述生成对抗网络模型训练完成后，将语句样本对中的原始语句和加噪语句分别进行向量化处理，得到原始语句向量和加噪语句向量；

将原始语句向量和加噪语句向量输入训练好的生成对抗网络模型中的编码模块，得到该编码模块输出的与原始语句向量和加噪语句向量分别对应的原始第二特征和加噪第二特征；

将原始第二特征和加噪第二特征分别输入注意力模块，得到所述注意力模块输出的与所述原始第二特征和所述加噪第二特征分别对应的原始关键特征和加噪关键特征；