[发明专利]一种基于多关键词对匹配的文本相似度计算系统、方法、及存储介质

权利要求书

1.一种基于多关键词对匹配的文本相似度计算系统，其特征在于，至少包括依次相连的：

文本预处理模块：将获取到的第一文本P、第二文本Q分别进行预处理，得到预处理后的文本对P，Q；

预训练模块：将文本对P，Q通过预训练得到每个词的词向量；

上下文模块：将预训练得到每个词的词向量进行语义编码，得到文本对P，Q的语义向量；

关键词对抽取模块：从文本对P，Q中抽取多个具有不同语义层面的关键词对；

词级别相似度计算模块：通过词级别的任务计算文本对P，Q词级别的相似度；

句子级别相似度计算模块：通过句子级别的任务计算文本对P，Q句子级别的相似度；

相似度结果输出模块：将文本对P，Q词级别的任务和句子级别的任务得到的相似度值经过权重加权求和，得到文本相似度值。

2.如权利要求1所述的基于多关键词对匹配的文本相似度计算系统，其特征在于：所述的预处理模块，对原始数据集完成分词、去停用词，得到文本对P，Q。

3.如权利要求1所述的基于多关键词对匹配的文本相似度计算系统，其特征在于：所述的预训练得到每个词的词向量为，使用Word2vec算法训练预处理后文本对P，Q的词-向量矩阵。

4.如权利要求1所述的基于多关键词对匹配的文本相似度计算系统，其特征在于：所述的上下文表示模块，首先对文本对P，Q序列进行词嵌入表示，然后将词嵌入表示通过一个BiLSTM得到文本对P，Q的上下文表示h^p，h^q。

5.如权利要求1所述的基于多关键词对匹配的文本相似度计算系统，其特征在于：所述的关键词对抽取模块，提出一种基于词对的注意力机制WP-Attention来计算文本对P，Q对P和Q的注意力分数，选择注意力分数最大的一组词作为关键词对w^p，w^q，使用不同的参数抽取多组表示不同语义层面的关键词对w^p_k，w^q_k，k＝1，2，...，K。

6.如权利要求1所述的基于多关键词对匹配的文本相似度计算系统，其特征在于：所述的词级别相似度计算模块，通过词级别的任务计算对每一个关键词对的语义向量进行相似度计算，再将结果求平均之后作为文本对P，Q词粒度的相似度。

7.如权利要求1所述的基于多关键词对匹配的文本相似度计算系统，其特征在于：所述的句子级别相似度计算模块，首先进行去噪，即仅保留抽取的关键词，得到关键词序列，然后送入BiLSTM聚合得到文本对P，Q的句子语义向量，分别对文本P，Q的语义向量进行相似度的计算作为文本对P，Q句子粒度的相似度。

8.一种基于多关键词对匹配的文本相似度计算方法，其特征在于：包括如下步骤：

步骤S1：将第一文本P、第二文本Q分别进行预处理，包括分词、去停用词处理，得到预处理后的文本对P，Q；

步骤S2：将预处理之后的文本对P，Q通过Word2vec预训练得到词向量；

步骤S3：将文本对P，Q进行词向量嵌入表示，然后使用BiLSTM得到文本对P，Q的上下文表示；

步骤S4：使用提出的WP-Attention机制从文本对P，Q中抽取多个具有不同语义层面的关键词对；

步骤S5：通过词级别的任务计算文本对P，Q词级别的相似度，即对每一个关键词对的语义向量进行相似度计算，再将结果求平均之后作为文本对P，Q词粒度的相似度；

步骤S6：通过句子级别的任务计算文本对P，Q句子级别的相似度，即首先对文本对P，Q进行去噪，仅保留抽取关键词，得到关键词序列，然后送入BiLSTM聚合得到文本对P，Q的句子语义向量，分别对文本P，Q的语义向量进行相似度的计算作为文本对P，Q句子粒度的相似度；

步骤S7：将步骤S5和S6得到的相似度值加权求和，得到最终的相似度值，输出结果。