[发明专利]文本处理方法、装置、电子设备和计算机可读介质

说明书

本申请提供了一种文本处理方法、装置、电子设备和计算机可读介质，属于计算机技术领域。所述方法包括：确定第一文本信息的多个第一词向量和第二文本信息的多个第二词向量；将所述多个第一词向量输入长短期记忆网络，得到所述长短期记忆网络输出的第一句向量，并将所述多个第二词向量输入所述长短期记忆网络，得到所述长短期记忆网络输出的第二句向量，其中，所述第一句向量与所述第一文本信息对应，所述第二句向量与所述第二文本信息对应，所述长短期记忆网络包括词典中的词汇的信息；利用所述第一句向量和所述第二句向量确定所述第一文本信息与所述第二文本信息之间的相似度。本申请提高了相似度计算的效率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种文本处理方法、装置、电子设备和计算机可读介质。

背景技术

文本语义相似度在不同的自然语言处理任务中扮演着重要角色。随着人工智能时代的来临，人们对于信息提取的需求变得越来越迫切，所以探究如何计算文本相似度对大量信息的处理有重要意义。文本相似度研究文本之间相关或者匹配的程度，文本语义相似度的计算方法一般是将两个句子输入至模型中，判断两个句子的语义是否相同。

文本相似度的计算方法从最初的基于规则到深度学习的方法经历了很长的发展历程。基于规则、机器学习的方法一般都是基于分类或聚类，包括词袋模型、VSM模型和LDA模型等。但这些方法都是用来解决数据量较小的结构化数据，需要人工提取文本特征，当文本规模较大时，文本中的特征项较多，上述方法中使用到的高维稀疏矩阵则会导致文本相似度的计算效率低。

发明内容

本申请实施例的目的在于提供一种文本处理方法、装置、电子设备和计算机可读介质，以解决文本相似度的计算效率低的问题。具体技术方案如下：

第一方面，提供了一种文本处理方法，所述方法包括：

确定第一文本信息的多个第一词向量和第二文本信息的多个第二词向量；

将所述多个第一词向量输入长短期记忆网络，得到所述长短期记忆网络输出的第一句向量，并将所述多个第二词向量输入所述长短期记忆网络，得到所述长短期记忆网络输出的第二句向量，其中，所述第一句向量与所述第一文本信息对应，所述第二句向量与所述第二文本信息对应，所述长短期记忆网络包括词典中的词汇的信息；

利用所述第一句向量和所述第二句向量确定所述第一文本信息与所述第二文本信息之间的相似度。

可选地，所述得到所述长短期记忆网络输出的第一句向量包括：

确定所述第一文本信息中的当前词向量和位于所述当前词向量之前的相邻词向量；

根据所述相邻词向量和所述当前词向量生成综合词向量；

在所述综合词向量与所述词典中的词汇匹配不成功的情况下，通过所述长短期记忆网络调节所述综合词向量的分词结果，直至所述长短期记忆网络得到的至少一个目标词向量与所述词典中的词汇匹配成功，其中，所述词典中包含多个词汇的信息；

根据多个所述目标词向量得到所述第一句向量。

可选地，所述调节所述综合词向量的分词结果包括：

确定所述相邻词向量中的至少一个第一字符和所述当前词向量中的至少一个第二字符，其中，所述相邻词向量和所述当前词向量均包含多个字符，所述第一字符和所述第二字符相邻，所述第一字符和所述第二字符的字符数量的和值小于所述相邻词向量的字符数量和所述当前词向量的字符数量的和值；

将所述第一字符和所述第二字符进行组合，得到一个目标词向量；

将所述相邻词向量中除所述第一字符之外的字符作为一个目标词向量，并将所述当前词向量中除所述第二字符之外的字符作为一个目标词向量。

可选地，根据所述相邻词向量和所述当前词向量生成综合词向量之后，所述方法还包括：