[发明专利]一种基于语义相关度模型的中文文本摘要获取方法

说明书

本发明公布了一种基于语义相关度模型的中文文本摘要获取方法，设计文本编码器利用深度神经网络将原文本进行压缩，得到原文本的编码向量；设计摘要解码生成器生成摘要的解码向量；再通过构建语义相关度模型，得到原文本的编码向量和摘要的解码向量之间的相关度，作为原文本和生成摘要之间相关性的度量；再通过训练语义相关度模型最大化所述相关度，由此生成完整的摘要。使用本发明技术方案生成文本摘要，能够提高生成摘要的质量和准确度，尤其提高生成摘要与原文本的语义相关度。

技术领域

本发明属于自然语言处理领域，涉及中文文本摘要算法，具体涉及一种基于语义相关度模型的中文文本摘要获取方法。

背景技术

现有中文文本摘要算法包括基于序列到序列模型的文本摘要算法，该算法基于深度学习技术，在训练阶段让算法预测的摘要与标准答案尽可能接近，经过一段时间后的训练，该算法可以对中文的文本进行自动摘要。但是，由于训练阶段的目标函数是交叉熵函数，因此，上述方法会导致最后训练得到的模型在字面上与标准摘要相近，但是在语义上与标准摘要可能相差很远。采用现有方法从中文文本摘要中产生的摘要与原文本语义相关度较低，生成摘要的准确度不高，质量不佳。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于语义相关度模型的中文文本摘要获取方法，得到的摘要的语义表达更为准确，能够解决中文文本摘要中产生的摘要与原文本语义相关度较低的问题。

本发明提供的技术方案是：

一种基于语义相关度模型的中文文本摘要获取方法，通过构建语义相关度模型，得到原文本的编码向量和摘要的解码向量之间的相关度，作为原文本和生成摘要之间相关性的度量；再通过训练语义相关度模型最大化上述相关度，由此生成完整的摘要；包括如下步骤：

A.设计文本编码器，利用深度神经网络将原文本进行压缩，得到原文本的编码向量V_s，即原文本经文本编码器进行压缩后得到的信息；

B.设计摘要解码生成器，在第一个时刻输入原文本的编码向量V_s和起始的句子开始的标识符，利用深度神经网络循环地在每一时刻输入上一个时刻预测得到的字或者标识符，经过网络结构输出当前时刻预测的字，经过一定的循环次数得到若干个连续的字，即为一段完整的摘要；解码生成器还同时生成上述完整摘要的解码向量V_t，生成向量的过程与步骤A相同；

C.构建语义相关度模型，语义相关度模型为余弦相似函数，表示为式1：

其中，V_s为文本编码器生成的编码向量，V_t为摘要解码生成器生成的向量，符号‖·‖代表向量的二范数。余弦相似函数输入文本编码器和摘要解码生成器输出的语义解码向量，输出两个向量之间的相关度，作为原文本和生成摘要之间相关性的度量；

D.在训练语义相关度模型时，需要最大化步骤C得到的相关度。模型的训练使用亚当(Adam)优化算法。在训练过程中，先随机选取训练数据中的若干个样本，对这些样本依照语义相关度模型计算目标函数，目标函数表示为式2：

其中，为训练数据中的正确摘要，p(y|x；θ)为解码生成器预测出摘要的概率，λ为模型的权重系数，cos(V_s,V_t)为语义相关模型计算出的相关度值。训练的目标是最大化模型的目标函数：先计算目标函数的梯度，再使用亚当(Adam)优化算法依照梯度更新模型的参数。

E.经过一定轮数的训练后，在开发数据集上能达到最好效果时停止训练，此时解码生成器即可生成完整的摘要。