[发明专利]一种基于聚类与自动摘要的文本意图归纳方法及装置

权利要求书

1.一种基于聚类与自动摘要的文本意图归纳方法，其特征在于，具体包括以下步骤：

步骤S1：用户问题通过抽样选择模块将用户问题分为抽中问题和剩余问题；

步骤S2：对于抽中问题依次通过预训练特征提取模块和层次聚类模块处理得到K个簇，并计算每个簇的中心向量；

步骤S3：对于剩余问题依次通过预训练特征提取模块和问题分配模块处理并将每一条用户问题分配到距离最近的簇，完成将所有用户问题都分配到K个簇并获得每个簇用户问题的总数；

步骤S4：针对每个簇通过摘要提取模块进行自动摘要提取，获得能够代表该簇的核心意图的核心问题；

步骤S5：最后以每个簇包含核心问题与该簇的用户问题数目的方式进行审核、创建、标注和训练模型；

所述步骤S1具体是指：设定抽样数为N，N大于全部用户问题包含的意图种类；

当用户问题量≤N时，则不进行抽样，数据直接流入预训练特征提取模块；

当用户问题量大于N时，抽样选择模块对大量用户问题随机抽样N条作为抽中问题，其中大量用户问题为M条，剩下M-N条作为剩余问题。

2.根据权利要求1所述的一种基于聚类与自动摘要的文本意图归纳方法，其特征在于，所述步骤S2具体包括以下步骤：

步骤S21：抽中问题经过预训练特征提取模块，输出抽中问题的特征向量并将抽中问题的特征向量进入层次聚类模块；

步骤S22：层次聚类模块对抽中问题的特征向量进行层次聚类运算，随后输出为K个簇，其中每个簇包含若干条相似且意图等价的用户问题；

步骤S23：计算每个簇的中心向量。

3.根据权利要求2所述的一种基于聚类与自动摘要的文本意图归纳方法，其特征在于，所述步骤S3具体包括以下步骤：

步骤S31：剩余问题经过预训练特征提取模块，输出剩余问题的特征向量；

步骤S32：计算剩余问题的特征向量与K个簇的中心向量的欧几里得距离；

步骤S33：将剩余问题分别通过问题分配模块分配到欧几里得距离最近的簇；完成将所有用户问题都分配到K个簇并获得每个簇用户问题的总数。

4.根据权利要求3所述的一种基于聚类与自动摘要的文本意图归纳方法，其特征在于，所述步骤S4具体是指：利用TextRank算法进行计算每个簇中各个用户问题的重要性，最终选择最重要的用户问题作为核心意图，获得每个簇的核心问题。

5.根据权利要求1-4任一项所述的一种基于聚类与自动摘要的文本意图归纳装置，其特征在于，包括：

抽样选择模块：用于接收客户端发出的用户问题，对用户问题随机抽样，并将用户问题分为抽中问题和剩余问题；

预训练特征提取模块：抽中问题和剩余问题中的每个用户问题先经过预训练特征提取模块处理，被切分为字/词，字/词经过词典匹配转换为编号，并映射到对应的字/词向量，该用户问题对应的字/词向量序列输入句向量编码模块，输出的即为该用户问题的特征向量；

层次聚类模块：将抽中问题的特征向量进行层次聚类运算，随后输出为K个簇，每个簇包含若干条用户问题，每个簇的若干条用户问题为相似且极有可能意图等价；

问题分配模块：将剩余问题中每个用户问题分别分配到与K个簇的中心向量欧几里得距离最近的簇；

摘要提取模块：利用TextRank算法进行计算每个簇中各个用户问题的重要性，最终选择最重要的用户问题作为核心意图。

6.根据权利要求5所述的一种基于聚类与自动摘要的文本意图归纳装置，其特征在于，所述层次聚类模块包括：

距离计算模块：采用欧几里得距离计算方式和矩阵乘法计算计算出N个特征向量之间的欧氏距离；

层次聚类算法模块：将N个特征向量所对应的簇，通过寻找该簇欧几里得距离最近的另一个簇，通过簇与簇之间不断地合并，直到所有的簇之间都无法满足小于阈值T的平均距离范围，则聚类完成并得到K个簇，其中N＞K。