[发明专利]一种基于主题模型和LSTM的句子相似度计算方法

说明书

本申请公开了一种基于主题模型和LSTM的句子相似度计算方法，包括：对两个句子分别进行以下处理：根据句子生成对应的词向量和主题向量，将词向量和主题向量融合得到融合的向量，将融合的向量作为LSTM层的输入，得到对应的LSTM输出；将两个句子的LSTM输出作为全连接层的输入，经过Dropout和正则化处理后，得到两个句子的相似度。本申请还公开了一种对应的系统。应用本申请公开的技术方案，能够提高句子相似度计算的准确性。

技术领域

本申请涉及句子匹配技术领域，特别涉及一种基于主题模型和长短期记忆网络(LSTM)的句子相似度计算方法。

背景技术

在智能问答系统中，主要包括3个模块：问句理解、信息检索和答案抽取。其中，问句理解是智能问答系统处理的第一步，在实际应用中，为了避免自然语言理解的困难，在拥有问句-答案对的情况下，问句匹配可以达到很好的效果。问句匹配需要将用户输入的自然语言问题和问答系统中的问句-答案对的问句进行匹配，通过匹配得到问句-答案对中的问句，进而得到答案。

在问句匹配的过程中，需要进行句子相似度计算。句子相似度计算是以自然语言处理技术为基础，计算两个句子之间的相似度。由于问句一般较短，属于短文本相似性计算的范畴，因此，短文本相似性计算的相关方法可以借鉴。

现有技术中应用最广的是以“词袋”作为基本单位，不考虑整个句子表达的完整语义。向量空间模型是最常用的问句相似度计算模型，它是通过TF-IDF来计算每个词的权重，然后将这些权重当做词向量，通过余弦值来计算词语之间的距离，最终输出句子相似度。具体流程是：

首先，将问句通过词袋模型转化成一个个的特征词，然后，运用统计的方法获得各个特征词的TF-IDF的值。其中，TF(Term Frequency：词频)值是特征词在问句中出现的次数。假设问句1中一个特征词出现了两次，那么它的TF值就是2。IDF(Inverse D0cumentFrequency：逆文本频率指数)值是由该特征词在所有的问句模板中出现的数量来决定的，例如该特征词一共在10个问句中出现了，那么，对于问句1而言，该特征词的IDF值如下：

其中，N表示问句库中问句的集合个数；

df_t＝10，表示该特征词在10个问句中出现了。

而TF-IDF值就是将TF值乘以IDF值得到的。TF-IDF值的计算基于统计的权重计算方式，在全局文本集包含的语料特征足够的情况下，这种基于统计学的方法经过实践检验是一种有效的特征项权重衡量方法。

通过TF-IDF可以将每一个句子变成一个向量，并计算两两向量之间的余弦值，最终得到两个句子之间的相似度。

然而，上述传统的利用“词袋”计算句子相似度的方法，会丢失一些信息，并且没有考虑到问句的语义信息，只是简单地根据编辑距离、词汇匹配的方法判断句子的相似性，其鲁棒性不高。如果单纯地使用单个词的词向量进行相似度分析存在明显的缺点：没有考虑词序，且词向量区别不明确。例如下面两个句子：

1、按照上述方法计算“初中毕业就该上高中”和“高中毕业就该上初中”的相似度，计算结果为1；显然，这两个句子实际所表达的意思完全相反。

2、按照上述方法计算“工作辛苦”和“工作安逸”的相似度，其结果可能非常高；而这两个短语实际所表达的意思也是完全相反。

发明内容

本申请提供了一种基于主题模型和LSTM的句子相似度计算方法和系统，以提高句子相似度计算的准确性。

本申请公开了一种基于主题模型和LSTM的句子相似度计算方法，包括：

对两个句子分别进行以下处理：根据句子生成对应的词向量和主题向量，将词向量和主题向量融合得到融合的向量，将融合的向量作为LSTM层的输入，得到对应的LSTM输出；