[发明专利]词典降维方法及装置、信息分类方法及装置

权利要求书

1.一种词典降维方法，其特征在于，包括：

对从问答日志中获取的语料进行预处理，得到文本数据；

对所述文本数据进行分词处理，得到多个语料词语；

对所述语料词语进行过滤处理，得到包括多个关键词的词典；

根据所述问答日志统计所述语料涉及到的信息分类，计算所述词典中每个 关键词的信息熵，将信息熵小于信息熵阈值的关键词从所述词典中删除，其中， 所述信息熵表示该关键词在各信息分类中出现的概率。

2.如权利要求1所述的方法，其特征在于，所述预处理包括：将语料数 据的格式统一为文本格式，过滤脏词、敏感词和停用词中的一种或多种，并将 过滤后的文本数据按照标点划分为多行。

3.如权利要求1所述的方法，其特征在于，所述分词处理采用字典双向 最大匹配法、viterbi方法、HMM方法和CRF方法中的一种或多种。

4.如权利要求1所述的方法，其特征在于，所述过滤处理采用以下任一 种或两种方式：

根据词性对所述语料词语进行过滤，保留名词、动词以及形容词；

根据频次对所述语料词语进行过滤，保留频次大于频次阈值的语料词语。

5.如权利要求1所述的方法，其特征在于，所述信息分类包括所述语料 所涉及的意图类别；计算所述词典中关键词的信息熵包括：计算所述词典中每 个关键词在每个意图类别中出现的概率。

6.如权利要求1所述的方法，其特征在于，所述信息熵的计算公式为： H(X)＝-Σp(x_i)logp(x_i)，其中，H(X)表示关键词的信息熵，p(x_i)表示关键词 在第i个意图类别中出现的概率，i＝1，2，…，n，n为意图类别的个数。

7.一种信息分类方法，其特征在于，包括如权利要求1-6中任一项所述 的词典降维方法。

8.如权利要求7所述的方法，其特征在于，所述信息分类包括：文本描 述内容分类、文本情感分类、广告类别分类或垃圾邮件过滤分类。

9.一种词典降维装置，其特征在于，包括：

预处理模块，用于对从问答日志中获取的语料进行预处理，得到文本数据；

分词模块，用于对所述文本数据进行分词处理，得到多个语料词语；

过滤模块，用于对所述语料词语进行过滤处理，得到包括多个关键词的词 典；

计算模块，用于根据所述问答日志统计所述语料涉及到的信息分类，计算 所述词典中每个关键词的信息熵，将信息熵小于信息熵阈值的关键词从所述词 典中删除，其中，所述信息熵表示该关键词在各信息分类中出现的概率。

10.如权利要求9所述的装置，其特征在于，所述预处理模块具体用于： 将语料数据的格式统一为文本格式，过滤脏词、敏感词和停用词中的一种或多 种，并将过滤后的文本数据按照标点划分为多行。

11.如权利要求9所述的装置，其特征在于，所述分词模块具体用于：采 用字典双向最大匹配法、viterbi方法、HMM方法和CRF方法中的一种或多种 进行分词处理。

12.如权利要求9所述的装置，其特征在于，所述过滤模块具体用于：

采用以下任一种或两种方式进行过滤处理：

根据词性对所述语料词语进行过滤，保留名词、动词以及形容词；

根据频次对所述语料词语进行过滤，保留频次大于频次阈值的语料词语。

13.如权利要求9所述的装置，其特征在于，所述信息分类包括所述语料 所涉及的意图类别；

所述计算模块具体用于：计算所述词典中每个关键词在每个意图类别中出 现的概率。