[发明专利]一种短文本相似度计算系统及其训练方法

权利要求书

1.一种短文本相似度计算系统，其特征在于，包含以下模块：文本切分模块、文本编码器、文本相似度计算神经网络模块；

所述文本切分模块，用于将文本切分为token的序列；并在序列的开头处拼接上[BOS]标记、结尾处拼接上[EOS]标记，其中[BOS]表示文本开头，[EOS]表示文本结尾；

所述文本编码器，用于将文本编码为token序列的向量表示；

所述文本相似度计算神经网络模块，通过计算第一文本编码对第二文本编码的注意力，将注意力归一化得到两个文本的相似度；相似度的计算方法如下：

S(text1,text2)＝attention(text1,text2)

其中S(text1,text2)表示两个文本的相似度,attention(text1,text2)表示第一文本编码对第二文本编码的注意力,text1表示第一文本，text2表示第二文本；所述第一文本编码对第二文本编码的注意力为第一文本中所有token对第二文本的注意力归一化后的平均，计算方法如下：

attention(text1,text2)＝sum(sigmoid(attention(token,text2)))/length(text1)其中attention(token,text2)为第一文本经编码得到与上下文语境相关的token向量对第二文本向量的注意力，length(text1)为第一文本中token的个数。

2.根据权利要求1所述的系统，其特征在于，

所述文本相似度计算神经网络模块包括：

第一两层前馈网络，将第一文本token的向量矩阵变换为注意力机制的query,其中第一层神经元使用relu作为激活函数，第二层不使用激活函数；

第二两层前馈网络，将第二文本的向量矩阵变换为注意力机制的key,所述key与第一两层前馈网络得到的query具有相同的维度，所述第二两层前馈网络的第一层神经元使用relu作为激活函数，第二层神经元不使用激活函数。

3.一种权利要求1或2所述的短文本相似度计算系统的训练方法，其特征在于，包含以下步骤：

S1、接收训练数据，包括给定的第一文本text1和第二文本text2,以及是否相似的二分类标签0或1，其中0为不相似，1为相似；

S2、以50％的概率随机交换第一文本和第二文本；

S3、使用所述文本切分模块将第一文本text1切分为token序列；并在序列的开头处拼接上[BOS]标记、结尾处拼接上[EOS]标记，其中[BOS]表示文本开头，[EOS]表示文本结尾；

S4、使用所述文本切分模块将第二文本text2切分为token序列；并在序列的开头处拼接上[BOS]标记、结尾处拼接上[EOS]标记，其中[BOS]表示文本开头，[EOS]表示文本结尾；

S5、使用文本编码器对text1编码得到第一文本每个token在上下文中的编码；

S6、使用第一两层前馈网络变换token的编码为注意力机制的query；

S7、使用文本编码器对text2编码并取[BOS]对应的编码作为第二文本的编码；

S8、使用第二两层前馈网络变换第二文本的编码为注意力机制的key；

S9、使用矩阵乘法计算第一文本每个token对第二文本的注意力，使用sigmoid将注意力归一化；

S10、将第一文本所有token对第二文本的注意力求平均得到第一文本对每二文本的注意力作为相似度；

S11、根据真实的相似分类标签和预测的相似度计算交叉熵损失；

S12、使用adam优化器通过降低分类交叉熵损失来优化神经网络的参数。

4.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现如权利要求1或2所述的系统。

5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1或2所述的系统。