[发明专利]一种词向量和句向量互信息最大化的句嵌入方法及系统

权利要求书

1.一种词向量和句向量互信息最大化的句嵌入方法，其特征在于，包括：

编码第一待识别句子中的各词语，得到第一词向量矩阵，所述第一词向量矩阵包括对第一待识别句子中每个词语编码后得到的词向量；

对第一待识别句子中目标词向量的多个维度进行置零操作，得到第二待识别句子；

编码第二待识别句子中的各词语，得到第二词向量矩阵，所述第二词向量矩阵包括对第二待识别句子中每个词语编码后得到的词向量；

将第一词向量矩阵中的每个词向量经过多头自注意力层计算，得到第三词向量矩阵；

将第二词向量矩阵中的每个词向量经过多头自注意力层计算，得到第四词向量矩阵；

对第三词向量矩阵进行平均池化操作，得到第一待识别句子的第一整体句向量；

对第一整体句向量进行维度置零操作，得到第二整体句向量；

计算第二整体句向量与第四词向量矩阵中对应的词向量的点积，得到正例样本对和负例样本对的分数；

根据正例样本对和负例样本对的分数，计算第四词向量矩阵中词向量和第二整体句向量的互信息；

将第四词向量矩阵中词向量和第二整体句向量的互信息最大化。

2.根据权利要求1所述的句嵌入方法，其特征在于，所述根据正例样本对和负例样本对的分数，计算第四词向量矩阵中词向量和第二整体句向量的互信息，包括：

根据以下公式计算第四词向量矩阵中词向量和第二整体句向量的互信息：

其中，F_i为第一待识别句子中第i个词；G为第二整体句向量；L_JSD(F_i,G)为第四词向量矩阵中词向量和第二整体句向量的互信息；T为第二整体句向量与第四词向量矩阵中对应的词向量的点积；F_i'为除第一待识别句子之外的句子中的词；sp即softplus激活函数，定义为sp(z)＝log(1+e^z)；E_P表示数学期望；P为正例样本的数据分布；为负例样本的数据分布。

3.根据权利要求2所述的句嵌入方法，其特征在于，所述将第四词向量矩阵中词向量和第二整体句向量的互信息最大化，包括：

根据以下公式最大化互信息：

其中，Θ为最大化互信息；|S|为总的句子数；S为当前文本所有的句子；s为第一待识别句子；L_JSD(F_i,G)为第四词向量矩阵中词向量和第二整体句向量的互信息；l为当前文本所有的句子中最长的句子包含的单词数。

4.一种词向量和句向量互信息最大化的句嵌入系统，其特征在于，包括：

第一编码模块，用于编码第一待识别句子中的各词语，得到第一词向量矩阵，所述第一词向量矩阵包括对第一待识别句子中每个词语编码后得到的词向量(e0)；

第一维度置零模块，用于对第一待识别句子中目标词向量的多个维度进行置零操作，得到第二待识别句子；

第二编码模块，用于编码第二待识别句子中的各词语，得到第二词向量矩阵，所述第二词向量矩阵包括对第二待识别句子中每个词语编码后得到的词向量(e1)；

第一计算模块，用于将第一词向量矩阵中的每个词向量经过多头自注意力层计算，得到第三词向量矩阵；

第二计算模块，用于将第二词向量矩阵中的每个词向量经过多头自注意力层计算，得到第四词向量矩阵；

平均池化模块，用于对第三词向量矩阵进行平均池化操作，得到第一待识别句子的第一整体句向量；

第二维度置零模块，用于对第一整体句向量进行维度置零操作，得到第二整体句向量；

第三计算模块，用于计算第二整体句向量与第四词向量矩阵中对应的词向量的点积，得到正例样本对和负例样本对的分数；

第四计算模块，用于根据正例样本对和负例样本对的分数，计算第四词向量矩阵中词向量和第二整体句向量的互信息；

互信息优化模块，用于将第四词向量矩阵中词向量和第二整体句向量的互信息最大化。