[发明专利]一种基于网页内容分类进行分词处理的方法和装置

权利要求书

1.一种基于网页内容类别进行分词处理的方法，包括：

提取搜索资源中网页内容的文本信息；

依据所述网页内容类别划分所述文本信息所属类别；

按照所述文本信息所属类别对应的分词词典，对所述文本信息进行分词处理。

2.如权利要求1所述的方法，其特征在于，还包括：

针对所述类别，采用分词处理获得的第一分词建立倒排索引。

3.如权利要求1至2任一项所述的方法，其特征在于，所述针对所述类别，采用分词处理获得的第一分词建立倒排索引的步骤包括：

针对所述类别，记录出现的所述类别对应的第一分词的出现位置；

将所述第一分词及其对应的出现位置记录在倒排索引中。

4.如权利要求1至3任一项所述的方法，其特征在于，所述分词词典通过以下方式生成：

获取第一训练文档；

划分所述第一训练文档所属类别；

对所述类别对应的所述第一训练文档进行分词处理，获得第二分词；

统计所述类别对应的所述第二分词的词频数和第一同现率；

采用所述第二分词及其第一同现率生成所述类别对应的分词词典。

5.如权利要求1至4任一项所述的方法，其特征在于，所述第一同现率包括第一词频数与第二词频数的比值；

其中，所述第一词频数包括当前第二分词出现在目标第二分词之后的词频数；所述目标第二分词包括出现在当前环境分词之前的一个或多个第二分词；

所述第二词频数包括所述目标第二分词总的词频数。

6.如权利要求1至5任一项所述的方法，其特征在于，所述分词词典通过以下方式更新：

获取第二训练文档；

划分所述第二训练文档所属的类别；

按照所述类别对应的分词词典，对所述文本信息进行分词处理，获得第三分词

统计所述类别对应的所述第三分词的词频数和第二同现率；

采用所述第三分词及其第二同现率更新所述类别对应的分词词典。

7.如权利要求1至6任一项所述的方法，其特征在于，所述第二同现率包括第三词频数与第四词频数的比值；

其中，所述第三词频数包括当前第三分词出现在目标第三分词之后的词频数；所述目标第三分词包括出现在当前环境分词之前的一个或多个第三分词；

所述第四词频数包括所述目标第三分词总的词频数。

8.如权利要求1至7任一项所述的方法，其特征在于，所述按照所述文本信息所属类别对应的分词词典，对所述文本信息进行分词处理的步骤包括：

按照所述文本信息所属类别对应的分词词典，以及通用词典，对所述文本信息进行分词处理；

将分词处理后获得的词频数最高的分词，作为分词处理获得的第一分词。

9.如权利要求1至8任一项所述的方法，其特征在于，所述按照所述文本信息所属的类别对应的分词词典，对所述文本信息进行分词处理的步骤包括：

当所述文本信息所属的类别为多个时，分别按照所述类别对应的分词词典，对所述文本信息进行分词处理；

将分词处理后获得的词频数最高的分词，作为分词处理获得的第一分词。

10.一种基于网页内容类别进行分词处理的装置，包括：

提取模块，适于提取搜索资源中网页内容的文本信息；

划分模块，适于依据所述网页内容类别划分所述文本信息所属类别；

分词模块，适于按照所述文本信息所属类别对应的分词词典，对所述文本信息进行分词处理。