[发明专利]词典降维方法及装置、信息分类方法及装置

说明书

技术领域

本发明涉及信息处理技术领域，特别是涉及一种词典降维方法及装置、信 息分类方法及装置。

背景技术

目前，在自然语言处理过程中，经常需要先将文本分配到对应的处理模块 中，提高执行的效率。如文本描述内容分类、文本情感分类、广告类别、垃圾 邮件过滤系统中分类。在这些分类处理中需要构建词典，用于对文本内容进行 向量化。由于并不是每一个出现过的词对于分类都能够产生影响，因此需要尽 可能使得产生的词典越小越好，从而有效的降低计算的复杂度。

在现有技术中，基于SVD、LDA、PCA的降维方法都是基于矩阵分解来 实现降维效果的，其准确率较高，但是由于大矩阵分解的效率较低，所以利用 上述方法降维需要耗费大量的时间，通过多次调优也很难达到最优的结果。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地 解决上述问题的词典降维方法及装置、信息分类方法及装置。

本发明提供一种词典降维方法，包括：

对从问答日志中获取的语料进行预处理，得到文本数据；

对文本数据进行分词处理，得到多个语料词语；

对语料词语进行过滤处理，得到包括多个关键词的词典；

根据问答日志统计语料涉及到的信息分类，计算词典中每个关键词的信息 熵，将信息熵小于信息熵阈值的关键词从词典中删除，其中，信息熵表示该关 键词在各信息分类中出现的概率。

本发明提供一种信息分类方法，包括：上述词典降维方法。

本发明还提供了一种词典降维装置，包括：

预处理模块，用于对从问答日志中获取的语料进行预处理，得到文本数据；

分词模块，用于对文本数据进行分词处理，得到多个语料词语；

过滤模块，用于对语料词语进行过滤处理，得到包括多个关键词的词典；

计算模块，用于根据问答日志统计语料涉及到的信息分类，计算词典中每 个关键词的信息熵，将信息熵小于信息熵阈值的关键词从词典中删除，其中， 信息熵表示该关键词在各信息分类中出现的概率。

本发明提供一种信息分类装置，包括：上述词典降维装置。

本发明有益效果如下：

通过利用词在不同类别中的信息熵快速过滤候选词对构建的词典进行降 维，解决了现有技术中的词典降维方法需要耗费大量的时间，通过多次调优也 不能达到最优结果的问题，能够快速的过滤对分类无用的词语对词典进行降， 降维后的词典对于分类结果具有很好的准确率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术 手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、 特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领 域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并 不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的 部件。在附图中：

图1是本发明实施例的词典降维方法的流程图；

图2是本发明实施例的词典降维方法的详细处理的流程图；

图3是本发明实施例的词典降维装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了 本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被 这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本 公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了解决现有技术中的词典降维方法需要耗费大量的时间，通过多次调优 也不能达到最优结果的问题，本发明提供了一种词典降维方法及装置以及信息 分类方法及装置，以下结合附图以及实施例，对本发明进行进一步详细说明。 应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

方法实施例一

根据本发明的实施例，提供了一种词典降维方法，图1是本发明实施例的 词典降维方法的流程图，如图1所示，根据本发明实施例的词典降维方法包括 如下处理：