[发明专利]热词的处理方法和装置

权利要求书

1.一种热词的处理方法，其特征在于，包括：

对从目标标签的文本中获取到的目标语料进行分词处理，得到多个分词；

将所述多个分词进行聚类，得到多个聚类结果集；

计算所述多个分词中的每个分词在聚类集合中的熵值，其中，所述熵值用于表征所述分词的特征程度，所述聚类集合为所述多个聚类结果集的集合；

从所述多个分词中筛选出熵值大于预设阈值的分词，得到目标分词；以及

从统计出的与所述目标标签相关联的热词中删除所述目标分词。

2.根据权利要求1所述的方法，其特征在于，计算所述多个分词中的每个分词在聚类集合中的熵值包括：

计算分词Ai在目标聚类结果集Bij中出现的概率Pij，其中，i依次取1至n，n为所述多个分词的数量，j依次取1至m(i)，m(i)为所述分词Ai对应的目标聚类结果集的数量之和，所述目标聚类结果集Bij为所述多个聚类结果集中包含所述分词Ai的聚类结果集；

根据概率Pi1至概率Pim(i)计算所述分词Ai在所述聚类集合中的熵值。

3.根据权利要求2所述的方法，其特征在于，根据概率Pi1至概率Pim(i)计算所述分词Ai在所述聚类集合中的熵值包括：

根据公式计算所述分词Ai在所述聚类集合中的熵值，其中，H_Ai为所述分词Ai在所述聚类集合中的熵值。

4.根据权利要求2所述的方法，其特征在于，计算分词Ai在目标聚类结果集Bij中出现的概率Pij包括：

统计所述分词Ai在所述目标聚类结果集Bij中出现的次数Cij；

获取所述目标聚类结果集Bij中包含的分词的总出现次数Cij'；

根据所述次数Cij和所述总出现次数Cij'计算所述分词Ai在所述目标聚类结果集Bij中出现的概率Pij。

5.根据权利要求1所述的方法，其特征在于，在对从目标标签的文本中获取到的目标语料进行分词处理，得到多个分词之前，所述方法还包括：

将从所述目标标签的文本中爬取到的文本内容作为所述目标语料。

6.根据权利要求1所述的方法，其特征在于，在从所述多个分词中筛选出熵值大于所述预设阈值的分词，得到目标分词之后，所述方法还包括：

根据所述目标分词生成热词黑名单。

7.一种热词的处理装置，其特征在于，包括：

分词单元，用于对从目标标签的文本中获取到的目标语料进行分词处理，得到多个分词；

聚类单元，用于将所述多个分词进行聚类，得到多个聚类结果集；

计算单元，用于计算所述多个分词中的每个分词在聚类集合中的熵值，其中，所述熵值用于表征所述分词的特征程度，所述聚类集合为所述多个聚类结果集的集合；

筛选单元，用于从所述多个分词中筛选出熵值大于预设阈值的分词，得到目标分词；以及

删除单元，用于从统计出的与所述目标标签相关联的热词中删除所述目标分词。

8.根据权利要求7所述的装置，其特征在于，所述计算单元包括：

第一计算模块，用于计算分词Ai在目标聚类结果集Bij中出现的概率Pij，其中，i依次取1至n，n为所述多个分词的数量，j依次取1至m(i)，m(i)为所述分词Ai对应的目标聚类结果集的数量之和，所述目标聚类结果集Bij为所述多个聚类结果集中包含所述分词Ai的聚类结果集；

第二计算模块，用于根据概率Pi1至概率Pim(i)计算所述分词Ai在所述聚类集合中的熵值。

9.根据权利要求8所述的装置，其特征在于，所述第二计算模块包括：

第一计算子模块，用于根据公式计算所述分词Ai在所述聚类集合中的熵值，其中，H_Ai为所述分词Ai在所述聚类集合中的熵值。

10.根据权利要求8所述的装置，其特征在于，所述第一计算模块包括：

第一统计子模块，用于统计所述分词Ai在所述目标聚类结果集Bij中出现的次数Cij；

第二统计子模块，用于统计所述目标聚类结果集Bij中包含的分词的总出现次数Cij'；

第二计算子模块，用于根据所述次数Cij和所述总出现次数Cij'计算所述分词Ai在所述目标聚类结果集Bij中出现的概率Pij。