[发明专利]句子向量生成方法、装置、计算机设备及存储介质

说明书

本申请公开了句子向量生成方法、装置、计算机设备及存储介质，涉及人工智能技术领域，可以提升句子向量生成的准确性。其中方法包括：对获取到的初始句子文本进行语义分割，得到分割后的句子文本；利用预先构建的句子向量生成模型，通过用于预测所述句子文本上下文的编码处理，得到所述句子文本的向量表示，所述句子向量生成模型为训练好的序列到序列模型的编码层。本申请适用于基于图书文本句子向量的图书推荐。

技术领域

本申请涉及人工智能技术领域，尤其涉及句子向量生成方法、装置、计算机设备及存储介质。

背景技术

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向，句子向量(sentence embedding)作为文本数据的向量表示被广泛应用在自然语言处理的诸多应用场景中。通过将文本数据映射到可量化的向量空间，得到表征文本数据特征、语义、语法等信息的句子向量表示，进而利用向量聚类，分类等方法得到文本句子之间的关系，能够实现句子向量在实际场景中的应用。

现有用于句子向量构造的解决方案主要包括基于词向量平均值的构造方法和基于对比学习的构造方法，基于词向量平均值的构造方法如word2vec、glove、bert等；基于对比学习的构造方法，通过使用不同的方式，如dropout、替换、删除、反译等方式构建对比学习的正样本。现有解决方案存在的不足为：1)基于词向量平均值的构造方法，其破坏了句子中词语之间的依赖关系，特征提取的准确性较低；2)基于对比学习的构造方法，虽然获取正样本的方法很多，但随机选取的负样本和原始句子之间的相似度较低，导致模型的训练难度较低，模型在实际任务中的迁移能力不足，进而导致生成的句子向量的准确度较低。

发明内容

有鉴于此，本申请提供了句子向量生成方法、装置、计算机设备及存储介质，主要目的在于解决现有技术中，基于词向量平均值的构造方法存在句子特征提取的准确性较低，以及基于对比学习的构造方法存在模型在实际任务中的迁移能力不足，导致生成的句子向量的准确度较低的技术问题。

根据本申请的一个方面，提供了一种句子向量生成方法，该方法包括：

对获取到的初始句子文本进行语义分割，得到分割后的句子文本；

利用预先构建的句子向量生成模型，通过用于预测所述句子文本上下文的编码处理，得到所述句子文本的向量表示，所述句子向量生成模型为训练好的序列到序列模型的编码层；

其中，所述训练好的序列到序列模型通过下述步骤得到：

利用初始序列到序列模型，对构建的句子样本集中的上下文句子对序列中的当前句子进行编码处理和上下文解码处理，得到所述当前句子的上文预测句子和下文预测句子；

根据上文预测句子和下文预测句子，得到训练好的序列到序列模型。

根据本申请的另一方面，提供了一种句子向量生成装置，该装置包括：

模型训练模块，可以用于利用初始序列到序列模型，对构建的句子样本集中的上下文句子对序列中的当前句子进行编码处理和上下文解码处理，得到所述当前句子的上文预测句子和下文预测句子；以及，根据上文预测句子和下文预测句子，得到训练好的序列到序列模型；

预处理模块，用于对获取到的初始句子文本进行语义分割，得到分割后的句子文本；

编码模块，用于利用预先构建的句子向量生成模型，通过用于预测所述句子文本上下文的编码处理，得到所述句子文本的向量表示，所述句子向量生成模型为训练好的序列到序列模型的编码层。

依据本申请又一个方面，提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述句子向量生成方法。

依据本申请再一个方面，提供了一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述句子向量生成方法。