[发明专利]自然语言处理的训练方法、装置、自动问答方法和装置

说明书

本公开提供了用于自然语言处理的训练方法和装置、自动问答方法和装置、电子设备以及计算机可读存储介质。所述训练方法包括：获取用于训练的语料库；初始化语料库的表示集，表示集的每一组成元素表示语料库中一个词；以表示集作为参数构造目标函数；以及执行训练，调整表示集，获得训练后的表示集，训练后的表示集使得目标函数满足预定训练结束条件；其中，目标函数包括正负样本相对差异表示部分，用于使得训练后语料库中的正样本和负样本满足预定收敛条件。根据本公开实施例训练方法，通过在训练方法中，针对特定的应用场景构造目标函数，实现对于词表示的进一步优化。

技术领域

本公开涉及自然语言处理领域，更具体地，本公开涉及一种用于自然语言处理的训练方法和装置、自动问答方法和装置、电子设备以及计算机可读存储介质。

背景技术

自然语言处理(NLP)是人工智能技术重要的应用领域之一。在自然语言处理过程中，首先需要把自然语言这种符号信息转化为计算机能识别形式的数字信息。这样就把自然语言理解的问题要转化为机器学习的问题。这种符号信息转化为计算机能识别形式的过程被称为自然语言的表示过程。

当前，存在诸如Word2vec、Fast-text等多种不同的语言表示方法，通常都是根据不同的应用意图构造目标函数来解决各自应用场景的问题。例如，基于自然语言处理的问答系统和检索系统这两个不同应用场景的区别在于问答系统需要兼顾语义的相似性，而检索系统更多是考虑词出现的共现词的权重。因此，希望能够提供适应于自然语言处理的特定应用场景的训练方法，通过该训练方法获得适用于该特定应用场景的自然语言表示。

发明内容

鉴于上述问题而提出了本公开。本公开提供了一种用于自然语言处理的训练方法和装置、自动问答方法和装置、电子设备以及计算机可读存储介质。

根据本公开的一个方面，提供了一种用于自然语言处理的训练方法，包括：获取用于训练的语料库；初始化所述语料库的表示集，所述表示集的每一组成元素表示所述语料库中一个词；以所述表示集作为参数构造目标函数；以及执行训练，调整所述表示集，获得训练后的所述表示集，所述训练后的所述表示集使得所述目标函数满足预定训练结束条件；其中，所述目标函数包括正负样本相对差异表示部分，用于使得训练后所述语料库中的正样本和负样本满足预定收敛条件。

此外，根据本公开一个方面的训练方法，其中，所述表示集为表示矩阵，并且一个所述组成元素为所述表示矩阵的一列。

此外，根据本公开一个方面的训练方法，其中，所述预定训练结束条件为所述训练后的所述表示集使得所述目标函数最小化，并且所述预定收敛条件为所述语料库中的正样本和负样本在表示空间中的距离最大化。

此外，根据本公开一个方面的训练方法，其中，所述语料库中s_i和为正样本对，s_i和为负样本对，所述s_i、和经由所述嵌入表示矩阵W的嵌入表示分别为r_i、和所述正样本对s_i和的相似度表示为

所述负样本对s_i和的相似度表示为

所述正负样本相对差异表示部分表示为

其中，s_i、和分别代表所述语料库中的一条语料，r_i、和分别代表s_i、和的表示向量，所述相似度表示指示两个所述表示向量之间的余弦相似度，μ为取值在0到1之间的惩罚系数，K是所述语料库中的样本数。

此外，根据本公开一个方面的训练方法，其中，所述目标函数还包括正负样本绝对值表示部分，所述正负样本绝对值表示部分表示为：

所述目标函数L表示为：