[发明专利]词库的生成以及利用词库的文档分类方法及装置

权利要求书

1.一种词库的生成方法，其特征在于，所述词库用于将目标网络交互平台中的文档分类到指定网络交互平台，所述目标网络交互平台为资源被整合的平台，包括：

获取指定网络交互平台中指定等级的各分类类目下的各文档的标题信息，其中，所述指定网络交互平台是接收整合资源的平台，所述指定等级的各分类类目具体包括各一级类目和/或各叶子类目；

通过各所述文档的标题信息，确定所述文档的标题对应的各实体词，所述实体词用于描述实体事物，所述实体词是通过对各所述文档的标题进行归一化处理，对归一化处理后的各所述文档的标题进行切词处理以及实体词识别获得的，所述归一化处理包括字母大小写转换、繁体和简体转换以及时态转换中的至少一种；根据所述实体词，确定各所述分类类目分别对应的各关键词以及各所述关键词在对应分类类目下的权重分，所述权重分用于评估在将关键词所在分类类目与所述分类类目之外的其它分类类目进行区分时的区分度，所述关键词指所述关键词对应的分类类目下根据预定规则的指定词；

根据各所述分类类目、各所述分类类目分别对应的各所述关键词以及各所述关键词的所述权重分生成词库。

2.如权利要求1所述方法，其特征在于，关键词在对应分类类目下的权重分通过如下方法确定：

确定所述关键词在对应的分类类目中的词频；

通过各所述分类类目下的各文档的标题中包含所述关键词的文档数以及各所述分类类目下文档的总数，确定所述关键词的反文档频率；

通过所述关键词在对应的分类类目中的词频以及所述关键词的所述反文档频率确定所述关键词在对应分类类目下的权重分。

3.如权利要求1所述方法，其特征在于，所述通过各所述文档的标题信息，确定所述文档的标题对应的各实体词，所述实体词用于描述实体事物；根据所述实体词，确定各所述分类类目分别对应的各关键词具体包括：

对各所述文档的标题进行归一化处理；

对归一化处理后的各所述文档的标题进行切词处理以及实体词识别，得到用于描述实体事物的实体词；

确定各所述分类类目分别对应的各实体词的词频，实体词的词频用于描述所述实体词在对应的所述分类类目中出现的次数或频率；

将各所述实体词分别作为当前实体词，判断所述当前实体词的词频是否大于预设阈值，若是，则将所述当前实体词确定为对应的分类类目的关键词。

4.如权利要求3所述方法，其特征在于，所述方法还包括，当当前分类类目对应的各实体词的词频均小于预设阈值时，将所述当前分类类目中词频最大的实体词确定为所述当前分类类目中的关键词，所述当前分类类目包括各所述分类类目中的任意一个分类类目。

5.如权利要求1所述方法，其特征在于，所述根据各所述分类类目、各所述分类类目分别对应的各所述关键词以及各所述关键词的所述权重分生成词库具体包括：

将各所述关键词分别作为当前关键词，根据所述当前关键词、所述当前关键词对应的分类类目以及所述当前关键词在对应分类类目下的权重分生成关联组；

根据各所述关联组生成词库。