[发明专利]一种内容去重的方法及装置

权利要求书

1.一种内容去重方法，其特征在于，所述方法包括：

根据目标微类型包括的各内容的内容描述信息，计算所述各内容属于M个内容主题中的每个内容主题的第一概率，M为大于1的整数；

根据所述各内容属于所述每个内容主题的第一概率，获取所述目标微类型的主题向量，所述目标微类型为N个微类型中的一个，N为大于1的整数；

根据所述N个微类型中的每个微类型的主题向量，对所述N个微类型进行聚类得到K个聚类，K为大于1的整数；

从所述K个聚类中的每个聚类中分别选择所述每个聚类对应的微类型，并将所述选择的微类型组成待推荐的微类型集合；

其中，所述根据目标微类型包括的各内容的内容描述信息，计算所述各内容属于所述M个内容主题中的每个内容主题的第一概率，包括：

对目标内容的内容描述信息进行分词得到多个词语，并将所述多个词语构成所述目标内容的语料库，所述目标内容为所述目标微类型中的任一个内容；

将所述语料库输入到预设主题模型进行主题运算，得到所述目标内容属于所述M个内容主题中的每个内容主题的第一概率。

2.如权利要求1所述的方法，其特征在于，所述根据所述各内容属于所述每个内容主题的第一概率，获取所述目标微类型的主题向量，包括：

获取属于同一内容主题的各内容的各第一概率，根据所述各第一概率获取所述目标微类型属于所述内容主题的第二概率；

将所述目标微类型属于所述M个内容主题中的每个内容主题的第二概率组成所述目标微类型的主题向量。

3.如权利要求1所述的方法，其特征在于，所述从所述K个聚类中的每个聚类中分别选择所述每个聚类对应的微类型，包括：

根据目标聚类中包括的每个微类型的主题向量，确定所述目标聚类的质心的质心向量，所述目标聚类为所述K个聚类中的任一个；

根据所述每个微类型的主题向量和所述质心的质心向量，分别计算所述每个微类型与所述质心之间的距离；

根据所述每个微类型与所述质心之间的距离，从所述目标聚类中选择所述目标聚类对应的微类型。

4.如权利要求1所述的方法，其特征在于，所述从所述K个聚类中的每个聚类中分别选择所述每个聚类对应的微类型，包括：

统计目标聚类中的每个微类型包括的内容数目，所述目标聚类为所述K个聚类中的任一个；

根据所述每个微类型的内容数目，从所述目标聚类中选择所述目标聚类对应的微类型。

5.如权利要求1所述的方法，其特征在于，所述从所述K个聚类中的每个聚类中分别选择所述每个聚类对应的微类型之后，还包括：

根据所述微类型集合中的每个微类型包括的各内容的观看时间分别计算所述每个微类型的推荐指数，根据所述每个微类型的推荐指数从所述微类型集合中选择并推荐微类型。

6.一种内容去重的装置，其特征在于，所述装置包括：

计算模块，用于根据目标微类型包括的各内容的内容描述信息，计算所述各内容属于M个内容主题中的每个内容主题的第一概率，M为大于1的整数；

获取模块，用于根据所述各内容属于所述每个内容主题的第一概率，获取所述目标微类型的主题向量，所述目标微类型为N个微类型中的一个，N为大于1的整数；

聚类模块，用于根据所述N个微类型中的每个微类型的主题向量，对所述N个微类型进行聚类得到K个聚类，K为大于1的整数；

选择模块，用于从所述K个聚类中的每个聚类中分别选择所述每个聚类对应的微类型，并将所述选择的微类型组成待推荐的微类型集合；

其中，所述计算模块包括：

构成单元，用于对目标内容的内容描述信息进行分词得到多个词语，并将所述多个词语构成所述目标内容的语料库，所述目标内容为所述目标微类型中的任一个内容；

输入单元，用于将所述语料库输入到预设主题模型进行主题运算，得到所述目标内容属于所述M个内容主题中的每个内容主题的第一概率。