[发明专利]一种基于聚类与自动摘要的文本意图归纳方法及装置

说明书

本发明涉及文本摘要归纳技术领域，具体公开了基于聚类与自动摘要的文本意图归纳方法及装置，具体包括以下步骤：通过抽样选择模块将用户问题分为抽中问题和剩余问题；抽中问题通过预训练特征提取模块和层次聚类模块处理得到K个簇，并计算每个簇的中心向量；剩余问题通过预训练特征提取模块和问题分配模块处理并将用户问题分配到距离最近的簇，完成将所有用户问题分配到K个簇并获得每个簇用户问题的总数；通过摘要提取模块获得每个簇能够代表核心意图；审核、创建、标注和训练模型。本发明只需要对少部分数据进行层次聚类，剩余的数据直接分配到聚类好的距离最近的簇，节省了内存资源和CPU计算资源的占用，提高了层次聚类的速度。

技术领域

本发明涉及文本意图归纳技术领域，具体的说，是一种基于聚类与自动摘要的文本意图归纳方法及装置。

背景技术

随着电商行业的急速发展，网上购物成为了大多数人必不可少的日常，在各大电商平台的商家需要招募大量的客服人员对买家进行答疑解惑，与日俱增的咨询量使得商家对客服机器人的需求逐渐提高。在智能客服领域，意图识别是一个重要任务，旨在理解客服场景中买家发来的问题。而意图识别的实现方式有很多种，传统做法是基于一些规则匹配，后来大家利用机器学习进行相似度匹配、语义分类等。所谓相似度匹配，是针对每一种买家问题的意图设置对应的代表这个意图的常规问法示例，假设有100种意图(“什么时候发货？”、“能否退货？”等)，我们就可以将每一个买家发来的问题与这100种意图对应的问法示例进行相似度匹配，如果匹配度非常高，则认为买家的问题属于该意图。另一种是语义分类，即对每种买家问题的意图定义一个名称，而机器学习或者深度学习模型就学习如何把每一个买家问题分类到正确的意图名称上，比如“我刚刚下单，你们今天可以发货吗？”，则分类到的意图名称为“今天是否能发货”。不论是相似度匹配还是语义分类，我们的首要任务都是发现、定义意图，有了明确的意图，我们就可以将真实的买家问题归类到对应的意图上，并进行后续操作，这里的后续操作是指针对相应意图回复买家答案。

目前业界没有可行的方案，没有在这方面做出应用的企业，且这方面的应用比较原始，基本上靠人力一条一条看买家的问题记录，通过单纯的人工检索来达到发现新的意图的目的。

1.纯人工发现，需要从数十上百万买家问题(短文本)中寻找新的意图(未定义的意图)。耗时耗力，效率低下。

2.人工发现且定义的新意图，依然需要去寻找更多相关买家问题并标注到该意图下，以便后续的模型训练。模型的数据冷启动慢，效率低。

3.人工发现意图时需要不断地思考每一条买家问题的意图，并且在数十万上百万的买家问题中，会在不同位置都发现类似意图的买家问题，需要人工在心里或者手动聚合到一起，并抽象出一个意图。操作繁杂，重复性劳动多。

发明内容

本发明的目的在于提供一种基于聚类与自动摘要的文本意图归纳方法及装置，只需要对少部分数据进行层次聚类，剩余的数据直接分配到聚类好的距离最近的簇，节省了内存资源和CPU计算资源的占用，提高了层次聚类的速度。

本发明通过下述技术方案实现：

一种基于聚类与自动摘要的文本意图归纳方法，具体包括以下步骤：

步骤S1：用户问题通过抽样选择模块将用户问题分为抽中问题和剩余问题；

步骤S2：对于抽中问题依次通过预训练特征提取模块和层次聚类模块处理得到K个簇，并计算每个簇的中心向量；

步骤S3：对于剩余问题依次通过预训练特征提取模块和问题分配模块处理并将每一条用户问题分配到距离最近的簇，完成将所有用户问题都分配到K个簇并获得每个簇用户问题的总数；

步骤S4：针对每个簇通过摘要提取模块进行自动摘要提取，获得能够代表该簇的核心意图的核心问题；

步骤S5：最后以每个簇包含核心问题与该簇的用户问题数目的方式进行审核、创建、标注和训练模型。