[发明专利]一种词向量和句向量互信息最大化的句嵌入方法及系统

说明书

本发明提供一种词向量和句向量互信息最大化的句嵌入方法及系统，其中方法包括编码第一待识别句子中的各词语；对第一待识别句子中目标词向量的多个维度进行置零操作；编码第二待识别句子中的各词语；将第一词向量矩阵中的每个词向量经过多头自注意力层计算；将第二词向量矩阵中的每个词向量经过多头自注意力层计算；对第三词向量矩阵进行平均池化操作；对第一整体句向量进行维度置零操作；计算第二整体句向量与第四词向量矩阵中对应的词向量的点积；计算第四词向量矩阵中词向量和第二整体句向量的互信息；将第四词向量矩阵中词向量和第二整体句向量的互信息最大化。本发明解决了现有的无监督句嵌入方法使用效果不佳的问题。

技术领域

本发明属于文字处理技术领域，尤其涉及一种词向量和句向量互信息最大化的句嵌入方法及系统。

背景技术

目前句嵌入方法主要分为两类：有监督句嵌入方法和无监督句嵌入方法。其中有监督句嵌入方法在下游任务上的表现比无监督句嵌入方法要好，现有的常用有监督模型有InferSent，USE，Sentence BERT等，但是这些有监督句嵌入方法的训练过程往往需要大量优质的已标注数据集，而对数据进行标注需要耗费大量的人工成本，因此无监督句嵌入方法应运而生。

无监督句嵌入方法不需要数据标注就可完成训练，现有的常用无监督句嵌入方法有skip-thought，FastSent，IS-BERT等。以句子“Agirl is playing a guitar”为例，在现有的BERT模型中，该句子首先会直接通过BERT层，编码得到一个词向量序列。然后，使用卷积神经网络层对该词向量序列进行特征抽取，得到局部词向量，对局部词向量做平均池化操作后得到整体句向量。最后的训练目标是最大化整体句向量与局部词向量之间的互信息。

然而，卷积神经网络层对句子进行特征抽取时，受限于卷积窗口的大小，无法使得每个词得到所有的上下文信息，比如当前句子“Agirl is playing a guitar”长度为6，如果卷积窗口大小为3，那么每个词都只能获得包括自身在内的一共三个词的语义信息，使用效果不佳。因此，亟需一种能够产生更好表示句子的无监督句嵌入方法。

发明内容

本发明针对现有技术中的不足，提供一种词向量和句向量互信息最大化的句嵌入方法及系统。

第一方面，本发明提供一种词向量和句向量互信息最大化的句嵌入方法，包括：

编码第一待识别句子中的各词语，得到第一词向量矩阵，所述第一词向量矩阵包括对第一待识别句子中每个词语编码后得到的词向量；

对第一待识别句子中目标词向量的多个维度进行置零操作，得到第二待识别句子；

编码第二待识别句子中的各词语，得到第二词向量矩阵，所述第二词向量矩阵包括对第二待识别句子中每个词语编码后得到的词向量；

将第一词向量矩阵中的每个词向量经过多头自注意力层计算，得到第三词向量矩阵；

将第二词向量矩阵中的每个词向量经过多头自注意力层计算，得到第四词向量矩阵；

对第三词向量矩阵进行平均池化操作，得到第一待识别句子的第一整体句向量；

对第一整体句向量进行维度置零操作，得到第二整体句向量；

计算第二整体句向量与第四词向量矩阵中对应的词向量的点积，得到正例样本对和负例样本对的分数；

根据正例样本对和负例样本对的分数，计算第四词向量矩阵中词向量和第二整体句向量的互信息；

将第四词向量矩阵中词向量和第二整体句向量的互信息最大化。

进一步地，所述根据正例样本对和负例样本对的分数，计算第四词向量矩阵中词向量和第二整体句向量的互信息，包括：

根据以下公式计算第四词向量矩阵中词向量和第二整体句向量的互信息：