[发明专利]话题检测的方法和装置

说明书

本发明公开了一种话题检测的方法和装置，涉及互联网技术领域，能够获取网络侧产生的新话题以及已知话题的新文档。本发明的方法主要包括：话题检测系统获取文档采集系统采集的文档；根据预设分配规则，将文档分配给多个话题检测子系统进行话题检测处理，以便每个话题检测子系统对历史话题集合进行更新以及获得新话题集合；分别获取各个话题检测子系统对应的更新后的历史话题集合以及新话题集合；根据各个话题检测子系统对应的更新后的历史话题集合以及新话题集合，更新系统话题集合，所述系统话题集合包括在进行本次话题检测前，获得的所有话题。本发明主要适用于检测新话题的场景中。

技术领域

本发明涉及互联网技术领域，尤其涉及一种话题检测的方法和装置。

背景技术

随着互联网技术的发展，网络上的信息量呈指数增长，信息过剩与知识匮乏并存的矛盾日益凸显。因此，如何有效地组织并展现网络数据，提高人们获取知识的效率是长期以来的热点研究问题。由此，话题检测技术应运而生。

话题检测技术是指从互联网中的各个文档中识别出未知的话题以及已知话题的相关文档。人们利用话题检测技术可以获知互联网中某一领域或者全网最近产生了哪些新话题，也可以获知已知话题的延续报道，从而能够从大量的网络信息中获取需要的内容。在实际应用中，当利用话题检测技术从获取的新文档中识别出未知的话题以及已知话题的相关文档后，需要更新系统话题集合，即将识别出来的新话题以及已知话题的新文档更新至记录文档话题的话题集合中，以便后续根据系统话题集合对话题进行综合分析。然而，现有的话题检测系统只能对获得的新文档进行一一处理，因此，当获得的新文档较多时，无法快速完成对所有新文档的话题检测操作，从而无法快速获知与网络更新速度相匹配的新话题以及已知话题的新文档，进而无法对系统话题集合实现实时更新。

发明内容

鉴于上述技术问题，本发明提出了一种话题检测的方法和装置，能够解决当获得的新文档较多时，现有的话题检测系统无法快速完成对所有新文档的话题检测操作，从而无法快速获知与网络更新速度相匹配的新话题以及已知话题的新文档，进而无法对系统话题集合实现实时更新的问题。

一方面，本发明提供一种话题检测的方法，所述方法包括：

话题检测系统获取文档采集系统采集的文档；

根据预设分配规则，将所述文档分配给多个话题检测子系统进行话题检测处理，以便每个话题检测子系统对历史话题集合进行更新以及获得新话题集合，其中，所述历史话题集合是在各个话题检测子系统进行话题检测前为各个话题检测子系统分配的已有的话题集合，所述新话题集合包括至少一个新话题，所述新话题为根据与所述历史话题集合中的话题均不匹配的文档生成的话题；

分别获取各个话题检测子系统对应的更新后的历史话题集合以及新话题集合；

根据各个话题检测子系统对应的更新后的历史话题集合以及新话题集合，更新系统话题集合，所述系统话题集合包括在进行本次话题检测前，获得的所有话题。

另一方面，本发明提供一种话题检测的装置，所述装置应用于话题检测系统侧，所述装置包括：

获取单元，用于获取文档采集系统采集的文档；

分配单元，用于根据预设分配规则，将所述获取单元获取的所述文档分配给多个话题检测子系统进行话题检测处理，以便每个话题检测子系统对历史话题集合进行更新以及获得新话题集合，其中，所述历史话题集合是在各个话题检测子系统进行话题检测前为各个话题检测子系统分配的已有的话题集合，所述新话题集合包括至少一个新话题，所述新话题为根据与所述历史话题集合中的话题均不匹配的文档生成的话题；

所述获取单元，还用于分别获取各个话题检测子系统对应的更新后的历史话题集合以及新话题集合；