[发明专利]一种基于形态和语义相似度的对话短文本聚类方法

说明书

技术领域

本发明属于短文本聚类技术领域，涉及一种基于字符串编辑距离相似度与词语语义相似度的对话短文本聚类方法。

背景技术

随着移动通信和移动互联网的飞速发展，出现各种人机智能对话系统，例如Siri、google now、小i机器人等。以小i机器人为例，用户数已超过1亿，每年有100亿次的对话访问并产生大量有价值的对话文本数据，这些数据是用户兴趣挖掘和智能对话系统知识库改进的重要数据源。针对这些对话文本数据进行聚类分析可以将相似的对话文本聚集起来并形成若干个重要的聚类中心，从而可以提高挖掘用户兴趣并提炼出知识来更新和完善知识库效率。因此针对对话文本的聚类算法研究具有广阔的应用场景和巨大的价值。

这类对话文本是一种特殊的短文本，通常只有一两句话，甚至只有几个词语或指令。对话短文本具有以下特点：

(1)特征信息少，只包含少量的词。

(2)主题单一，一个对话短文本通常只讨论一件事情。

(3)形式不规则，口语化特征明显。

(4)同义词、大小写字母混用以及输入错误现象突出。

由于对话短文本的这些特点，从而导致基于词袋向量的传统聚类算法不能很好处理这类文本数据。为了解决短文本的信息稀疏性，不少学者也提出相应的方法。一种常用的方法是利用相关的长文本作为辅助数据来扩充短文本的信息。例如Sahami等将短文本输入搜索引擎获取返回的最相关的文本集合，这些文本数据作为相应短文本的辅助数据信息，这种方法在一定程度上较好的解决了短文本的信息稀疏性，但是需要大量的外部辅助数据，从而导致应用场景受到很大的限制。另一种常用的方法是利用知识库扩展词的特征表示，例如Hu等利用WordNet或Wikipedia知识库解决特征信息稀疏性的问题，这种方法可以从语义层面补充特征信息，但对于口语化、错误噪音严重的短文本也不能较好处理。

发明内容

本发明的目的是针对现有聚类技术对智能对话系统产生的对话短文本聚类处理能力存在的缺陷而提出的一种形态和语义相似度相结合的短文本聚类方法(FS-STC)，其中形态相似度采用字符串编辑距离相似度，语义相似度基于HowNet或WordNet知识库的词语语义相似度。

实现本发明目的的具体技术方案是：

一种基于形态和语义相似度的对话短文本聚类方法，该方法包括以下具体步骤：

步骤S1：对于中文短文本采用分词工具进行分词处理，然后利用正则匹配与字符串替换来过滤掉无效字符、连续空格、大小写混用噪音信息；对于英文短文本采用词干提取工具进行预处理；

步骤S2：利用TF-IDF和TextRank方法进行关键词提取来获取候选关键词以及对应的权重值；将去除噪音的短文本和关键词集合相结合起来形成带有权重值的格式化短文本；根据带有权重的格式化短文本定义一种新的短文本和类中心的表示方式；

步骤S3：聚类开始的时候，类中心集合为空；当第一个对话短文本输入之后，发现类中心集合为空，则以当前短文本为基础建立一个类中心，并加入类中心集合；当第二个短文本输入之后，遍历类中心集合发现存在一个类中心，根据短文本和类中心的表示方式，结合形态和语义因素来计算当前短文本与类中心的相似度距离D；形态因素采用编辑距离相似度；语义因素采用知网、同义词林和WordNet知识库的词语语义相似度；如果D小于阈值T，则将该对话短文本加入该类中心并更新该类中心；否则从类中心集合中取下一个类中心进行同样判断，当遍历完了类中心集合之后依旧没有符合要求的类中心，则需要以该短文本为基础建立一个新的类中心并加入类中心集合；依次循环上述过程，直到所有对话短文本完成聚类；最终的类中心集合则为所需聚类结果，每个对话短文本与最终类中心集合中哪个类中心的相似度距离最小，则该对话短文本就属于这个类。

所述步骤S1中新的对话短文本与类中心的表示方式为：

ⅰ)短文本ST由原始短文本RST、规整化字符串文本FST和关键词集合KWL三部分组成，其短文本ST的数学描述为：ST＝{RST,FST/WT,KWL＝[KW₁/wt₁,...,KW_i/wt_i,...]}，WT表示FST的权重，wt_i表示KW_i的权重；

ⅱ)类中心Center由类标号CID、类权重CWT、类成员数目CMN、原始短文本集合CRSTL、规整化字符串文本集合CFSTL和关键词集合CKWL组成，其类中心Center的数学描述为：