[发明专利]短文本主题识别方法、装置及计算机可读存储介质

说明书

本发明公开了一种短文本主题识别方法，该方法包括：获取短文本样本；对短文本样本进行预处理，得到词语集；计算所述词语集中词语的词语权重；根据所述词语权重，计算所述词语集中词语之间的相似度；根据所述词语集中词语之间的相似度，对所述词语集中的词语进行聚类，得到聚类后的主题词；根据聚类后的主题词确定所述词语集中词语的词频；所述词语集中词语的词频训练文档主题生成模型；获取目标短文本消息；将所述目标短文本消息输入所述文档主题中生成模型，得到所述目标短文本消息的主题词。本发明还提出一种短文本主题识别装置以及一种计算机可读存储介质。本发明能实现能准确的从短文本中识别出用户的意图，从而根据用户意图提供用户需求的服务。

技术领域

本发明涉及计算机技术领域，尤其涉及一种短文本主题识别方法、装置及计算机可读存储介质。

背景技术

如今短文本在各种应用场景中非常普遍，短文本通常是指长度比较短，一般不超过160个字符的文本形式，如微博、聊天信息、新闻主题、观点评论、问题文本、手机短信、文献摘要等。短文本中一般包含着客户的许多意图，对其进行深入的挖掘有重大的应用价值。短文本分类任务的目的就是自动对用户输入的短文本进行处理，得到有价值的输出。在聊天机器人的构建过程中，对用户的意图进行识别是其中比较重要的一个部分，但现有技术中在短文本数据的情况下计算出来的用户意图正确率较低。

发明内容

本发明提供一种短文本主题识别方法、装置及计算机可读存储介质，其主要目的在于实现能准确的从短文本中识别出用户的意图，从而根据用户意图提供用户需求的服务。

为实现上述目的，本发明还提供一种短文本主题识别方法，所述方法包括：

获取短文本样本；

对短文本样本进行预处理，得到词语集；

计算所述词语集中词语的词语权重；

根据所述词语权重，计算所述词语集中词语之间的相似度；

根据所述词语集中词语之间的相似度，对所述词语集中的词语进行聚类，得到聚类后的主题词；

根据聚类后的主题词确定所述词语集中词语的词频；

利用所述词语集中词语的词频训练文档主题生成模型；

获取目标短文本消息；

将所述目标短文本消息输入所述文档主题中生成模型，得到所述目标短文本消息的主题词。

优选地，所述对短文本样本进行预处理，得到词语集包括：

利用切词方法将所述短文本样本进行断字切词，得到多个字词；

从所述多个字词中去除停用词，得到处理后的字词；

对处理后的字词执行字词原形化操作，将原形化操作后的词语作为词语集。

优选地，所述计算所述词语集中词语的词语权重包括：

获取每个词语所在的文本的长度；

计算每个词语在其所在文本中出现的次数；

利用TF-IDF方法，并根据每个词语所在的文本的长度及每个词语在其所在文本中出现的次数，计算每个词语的词语权重。

优选地，所述根据所述词语权重，计算所述词语集中词语之间的相似度包括：

对于任意两个词语，分别获取两个词语的文本属性，所述文本属性包括数值属性、类别属性；

根据两个词语的数值属性，计算两个词语间的数值距离；

根据两个词语的所在的类别，计算两个词语的类别间的距离；