[发明专利]词库的生成以及利用词库的文档分类方法及装置

说明书

本申请公开了词库的生成以及利用词库的文档分类方法及装置。词库的生成方法包括：获取指定网络交互平台中指定等级的各分类类目下的各文档的标题信息；通过各所述文档的标题信息，确定各所述分类类目分别对应的各关键词以及各所述关键词在对应分类类目下的权重分；根据各所述分类类目、各所述分类类目分别对应的各所述关键词以及各所述关键词的所述权重分生成词库。该词库的生成方法通过指定网络交互平台中各分类类目下的各文档生成的词库，用于将目标网络交互平台中的文档分类到指定网络交互平台，从而为同类网络交互平台间的资源整合奠定了基础。

技术领域

本申请涉及计算机技术领域，尤其涉及词库的生成以及利用词库的文档分类方法及装置。

背景技术

随着互联网技术的持续发展，出现了越来越多的网络交互平台，这些网络交互平台为人们的日常生活提供了极大的便利。例如，网络电商平台的出现使用户可以在网上方便地购买商品；网络游戏平台的出现使用户可以通过网络进行电子游戏；网络教育平台使得用户可以通过网络方便地学习。

然而，大量网络交互平台的出现，在给人们的生活带来便利的同时，也为同类网络交互平台之间的资源整合增加了难度。例如，对于两个网络电商平台A和B，如果需要将B平台的商品整合到A平台，由于A平台和B平台上对于商品分类的标准通常不同，甚至分类类目也可能不同，这时候通常难以将B平台的商品整合到A平台。因此，在同类网络交互平台之间进行资源整合时，由于分类标准甚至分类类目的不同，通常难以进行资源整合。因此，同类网络交互平台之间如何进行资源整合是目前业界亟待解决的问题。

发明内容

本申请实施例提供词库的生成以及利用词库的文档分类方法及装置，用于解决现有技术中，同类网络交互平台之间进行资源整合时，由于分类标准甚至分类类目的不同，通常难以进行资源整合的问题。

本申请实施例提供一种词库的生成方法，所述词库用于将目标网络交互平台中的文档分类到指定网络交互平台，该方法包括：

获取指定网络交互平台中指定等级的各分类类目下的各文档的标题信息；

通过各所述文档的标题信息，确定各所述分类类目分别对应的各关键词以及各所述关键词在对应分类类目下的权重分，所述权重分用于评估在将关键词所在分类类目与所述分类类目之外的其它分类类目进行区分时的区分度，所述关键词指所述关键词对应的分类类目下根据预定规则的指定词；

根据各所述分类类目、各所述分类类目分别对应的各所述关键词以及各所述关键词的所述权重分生成词库。

优选的，关键词在对应分类类目下的权重分通过如下方法确定：

确定所述关键词在对应的分类类目中的词频；

通过各所述分类类目下的各文档的标题中包含所述关键词的文档数以及各所述分类类目下文档的总数，确定所述关键词的反文档频率；

通过所述关键词在对应的分类类目中的词频以及所述关键词的所述反文档频率确定所述关键词在对应分类类目下的权重分。

优选的，所述通过各所述文档的标题信息，确定各所述分类类目分别对应的各关键词具体包括：

对各所述文档的标题进行归一化处理；

对归一化处理后的各所述文档的标题进行切词处理以及实体词识别，得到用于描述实体事物的实体词；

确定各所述分类类目分别对应的各实体词的词频，实体词的词频用于描述所述实体词在对应的所述分类类目中出现的次数或频率；

将各所述实体词分别作为当前实体词，判断所述当前实体词的词频是否大于预设阈值，若是，则将所述当前实体词确定为对应的分类类目的关键词。