[发明专利]一种区分主题的方法及装置

说明书

本发明公开了一种区分主题的方法及装置，用于识别待训练数据属于已知主题还是新主题，所述区分主题的方法从已知主题对应的数据中抽取数据进行标注，将标注的数据与待训练数据合并成训练数据集；然后对训练数据集进行聚类，聚类得到训练数据所属的主题；最后根据标注的数据来区分聚类得到的主题是已知主题还是新主题。本发明的装置包括数据抽取模块、聚类模块和主题区分模块。本发明的方法及装置减少了人对问题的理解和机器对问题理解的差异，能够准确地区分客户所提出的问题。

技术领域

本发明属于数据处理技术领域，尤其涉及一种区分主题的方法及装置。

背景技术

用户在使用产品或者服务的时候经常会遇到自己无法处理的问题，或者需要咨询的问题，进而会寻求客服帮助。每天用户的咨询量非常大，咨询的角度也不同，很多用户都在问相同的问题，有些是客服已经知道的老问题，有一些是没有被发现的新问题。

了解用户提出的问题，可以对产品的设计和改进提供帮助。例如如果发现新问题，有可能是产品需要改进的点。如果老问题的咨询量变多或者变少，则可能是某个功能块用户数减少，也是需要引起注意的。因此，如何从大规模的对话中找出问题，并且能区分出新问题和老问题，是非常必要的并且重要的。

LDA(Latent Dirichlet Allocation)方法是一种文档主题生成模型，非常适合从大量的对话中获取问题，每一篇文档代表了一些主题所构成的一个概率分布，而每一个主题又代表了很多单词所构成的一个概率分布。语料库中的每一篇文档与T(通过反复试验等方法事先给定)个主题的一个多项分布相对应，将该多项分布记为θ。每个主题又与词汇表(vocabulary)中的V个单词的一个多项分布相对应，将这个多项分布记为φ。上述词汇表是由语料库中所有文档中的所有互异单词组成，但实际建模的时候要剔除一些停用词(stopword)，还要进行一些词干化(stemming)处理等。θ和φ分别有一个带有超参数(hyperparameter)α和β的Dirichlet先验分布。对于一篇文档d中的每一个单词，从该文档所对应的多项分布θ中抽取一个主题z，然后再从主题z所对应的多项分布φ中抽取一个单词w。将这个过程重复Nd次，就产生了文档d，这里的Nd是文档d的单词总数。

LDA方法是一种非监督机器学习技术，LDA可以用来识别大规模文档集(documentcollection)或语料库(corpus)中潜藏的主题信息，通过聚类发现问题。但是LDA方法本身不能区分哪些是新问题哪些是老问题，而且人对问题的理解和机器的理解存在差异，有些老问题可能被打散变成新问题，聚类出来的问题并不一定是想要的问题。

发明内容

本发明的目的是提供一种区分主题的方法及装置，以解决现在技术无法区分聚类得到的主题是新主题还是老主题，或者聚类得到的主题并不一定是想要的主题等技术问题。

为了实现上述目的，本发明技术方案如下：

一种区分主题的方法，用于识别待训练数据属于已知主题还是新主题，所述区分主题的方法包括：

从已知主题对应的数据中抽取数据进行标注，将标注的数据与待训练数据合并成训练数据集；

对训练数据集进行聚类，聚类得到训练数据所属的主题；

根据标注的数据来区分聚类得到的主题是已知主题还是新主题。

进一步地，所述对训练数据集进行聚类，所采用的聚类方法为LDA聚类方法。

进一步地，所述LDA聚类方法聚类的主题数目大于已知主题的数目。

进一步地，所述从已知主题对应的数据中抽取数据进行标注，将标注的数据与待训练数据合并成训练数据集，所标注的标注数据少于待训练数据。

进一步地，所述根据标注的数据来区分聚类得到的主题是已知主题还是新主题，包括：