[发明专利]基于滑窗相关性计算和Copy机制的工单摘要总结方法

说明书

本发明涉及客服工单总结方法，具体涉及基于滑窗相关性计算和Copy机制的工单摘要总结方法，利用滑窗对文本进行分片处理，并对文本中的关键信息进行抽取并保存，计算每个滑窗分片信息之间的相关性，并对滑窗的特征向量进行拼接，将生成的拼接矩阵转换为文字信息，生成初步摘要内容，将抽取的关键信息嵌入文字信息中，生成完备摘要内容；本发明提供的技术方案能够有效克服现有技术所存在的无法生成语序连贯通顺、信息完整的摘要总结的缺陷。

技术领域

本发明涉及客服工单总结方法，具体涉及基于滑窗相关性计算和Copy机制的工单摘要总结方法。

背景技术

在当前的人工智能领域，自然语言处理的预训练模型已经被广泛使用，比如当前热门的Transfromer模型。Transfromer模型采用了Attention机制，即在处理一个词的时候，能考虑到该词前、后单词的信息，获取上下文的语义，从而建立起文本的长距离依赖关系。

在实际业务场景中，尤其是基于人人对话的客服领域，经过语音转写后的文本信息基本上都属于长文本甚至是篇章级别的。而当前的Transformer模型在实际业务中主要作为文本特征的抽取器，受限于输入字长的限制和当前计算机的硬件条件，无法一次性处理长度超过512字长的文本信息。而如果仅仅对文本信息做简单地截取，只处理前512字长的信息，可能会造成关键信息的丢失，无法生成语序连贯通顺，且信息完整的摘要总结。

发明内容

(一)解决的技术问题

针对现有技术所存在的上述缺点，本发明提供了基于滑窗相关性计算和Copy机制的工单摘要总结方法，能够有效克服现有技术所存在的无法生成语序连贯通顺、信息完整的摘要总结的缺陷。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

基于滑窗相关性计算和Copy机制的工单摘要总结方法，包括以下步骤：

S1、利用滑窗对文本进行分片处理，并对文本中的关键信息进行抽取并保存；

S2、计算每个滑窗分片信息之间的相关性，并对滑窗的特征向量进行拼接；

S3、将生成的拼接矩阵转换为文字信息，生成初步摘要内容；

S4、将抽取的关键信息嵌入文字信息中，生成完备摘要内容。

优选地，S2中将各滑窗分片信息输入Transformer模型中的encoder层，并采用下式计算所述每个滑窗分片信息之间的相关性：

其中，是模型的三个特征向量，W为权重，分别表示每个注意力头对特征向量的贡献程度，由深度学习反向传播算法确定，表示模型中的多头注意力机制，T表示矩阵的转置，包含每个滑窗分片信息。

优选地，所述对滑窗的特征向量进行拼接，包括：

将每个注意力头生成的特征向量经过最大池化层后进行矩阵拼接，整个拼接矩阵包含每个滑窗分片信息以及每个滑窗分片信息之间的相关性。

优选地，所述拼接矩阵输入Transformer模型中的decoder层中转换成文字信息。

优选地，S1中所述滑窗设置为512字长。

优选地，S1中所述文本中的关键信息根据业务场景确定，文本中的关键信息根据业务场景利用自然语言处理工具进行抽取并保存。

优选地，S4中所述生成完备摘要内容之后，利用自然语言处理工具进行语义混淆度评分，并将语义混淆度最低的完备摘要内容作为摘要的最终生成结果。