[发明专利]一种内容去重的方法及装置

说明书

本申请是关于一种内容去重的方法及装置，属于通信领域。所述方法包括：根据目标微类型包括的各内容的内容描述信息，计算所述各内容属于M个内容主题中的每个内容主题的第一概率，M为大于1的整数；根据所述各内容属于所述每个内容主题的第一概率，获取所述目标微类型的主题向量，所述目标微类型为N个微类型中的一个，N为大于1的整数；根据所述N个微类型中的每个微类型的主题向量，对所述N个微类型进行聚类得到K个聚类，K为大于1的整数；从所述K个聚类中的每个聚类中分别选择所述每个聚类对应的微类型，并将所述选择的微类型组成微类型集合。本申请能够避免微类型之间出现大量重复内容。

技术领域

本申请涉及通信领域，特别涉及一种内容去重的方法及装置。

背景技术

目前各大内容网站为了提升用户体验，将更多更优的内容呈现给用户，都在陆陆续续推出瀑布流呈现方式，该呈现方式可以实现在网页中无限加载。这里的内容可以为视频或音乐等内容，例如以视频为例，目前的视频网站以瀑布流式呈现方式显示视频。

为了适应瀑布流呈现方式，内容往往定义成千上万个微类型，每个微类型包括多个内容，然后以瀑布流显示各微类型及其对应的内容。由于定义的微类型随着时间的积累会越来越多，在定义微类型时可能存在定义的部分微类型比较相似，该部分微类型之间差异化较小，对于该部分微类型中的任意两个微类型，该两个微类型之间包括有大量的重复内容。

这样在做个性化推荐时，可能存在某两个微类型之间或某几个微类型之间可能会有大量的重复内容。

发明内容

为了避免微类型之间出现大量重复内容，本申请实施例提供了一种内容去重的方法及装置。所述技术方案如下：

第一方面，本申请提供了一种内容去重的方法，所述方法包括：

根据目标微类型包括的各内容的内容描述信息，计算所述各内容属于M个内容主题中的每个内容主题的第一概率，M为大于1的整数；

根据所述各内容属于所述每个内容主题的第一概率，获取所述目标微类型的主题向量，所述目标微类型为N个微类型中的一个，N为大于1的整数；

根据所述N个微类型中的每个微类型的主题向量，对所述N个微类型进行聚类得到K个聚类，K为大于1的整数；

从所述K个聚类中的每个聚类中分别选择所述每个聚类对应的微类型，并将所述选择的微类型组成待推荐的微类型集合。

可选的，所述根据目标微类型包括的各内容的内容描述信息，计算所述各内容属于所述M个内容主题中的每个内容主题的第一概率，包括：

对目标内容的内容描述信息进行分词得到多个词语，并将所述多个词语构成所述目标内容的语料库，所述目标内容为所述目标微类型中的任一个内容；

将所述语料库输入到预设主题模型进行主题运算，得到所述目标内容属于所述M个内容主题中的每个内容主题的第一概率。

可选的，所述根据所述各内容属于所述每个内容主题的第一概率，获取所述目标微类型的主题向量，包括：

获取属于同一内容主题的各内容的各第一概率，根据所述各第一概率获取所述目标微类型属于所述内容主题的第二概率；

将所述目标微类型属于所述M个内容主题中的每个内容主题的第二概率组成所述目标微类型的主题向量。

可选的，所述从所述K个聚类中的每个聚类中分别选择所述每个聚类对应的微类型，包括：

根据目标聚类中包括的每个微类型的主题向量，确定所述目标聚类的质心的质心向量，所述目标聚类为所述K个聚类中的任一个；

根据所述每个微类型的主题向量和所述质心的质心向量，分别计算所述每个微类型与所述质心之间的距离；