[发明专利]网页文本分类的方法和装置，网页文本识别的方法和装置

权利要求书

1.一种网页文本分类的方法，其特征在于，包括：

采集网页中的文本数据；

对所述文本数据进行分词，获得基础分词；

计算各基础分词的第一属性值和第二属性值；其中，所述第一属性值为所述基础分词的信息增益值，所述第二属性值为所述基础分词相对于预定义的各个分类的卡方统计量值的标准差；

依据所述第一属性值和第二属性值计算各基础分词的特征值；

依据所述特征值从所述基础分词中筛选出特征分词；

计算各特征分词相应的权重；

将所述权重作为相应特征分词的特征向量，采用所述特征向量训练出分类模型；

其中，所述特征值为所述基础分词的区分度；

通过如下公式依据所述第一属性值和第二属性值计算各基础分词的特征值：

其中，score为基础分词的区分度，igScore为基础分词的信息增益值，chiScore为基础分词对相对于预定义的各个分类的卡方统计量值，所述n为预定义的分类的数量。

2.根据权利要求1所述的方法，其特征在于，所述依据所述特征值从所述基础分词中筛选出特征分词的步骤包括：

将所述基础分词按照其对应的特征值由高至低排列；

提取预设数量的，所述特征值高于预设阈值的基础分词作为特征分词。

3.根据权利要求1所述的方法，其特征在于，所述计算各特征分词相应的权重的步骤包括：

获取各特征分词在相应网页的文本数据中出现的次数；

统计所述网页的文本数据中特征分词的总数；

依据所述特征分词的特征值，各特征分词在相应网页的文本数据中出现的次数，以及，所述网页的文本数据中特征分词的总数，计算得到各特征分词相应的权重。

4.根据权利要求3所述的方法，其特征在于，通过如下公式依据所述特征分词的特征值，各特征分词在相应网页的文本数据中出现的次数，以及，所述网页的文本数据中特征分词的总数，计算得到各特征分词相应的权重：

其中，weight为特征分词的权重，tf为特征分词在相应网页的文本数据中出现的次数，n为网页的文本数据中特征分词的总数，score为特征分词的区分度。

5.根据权利要求1或4所述的方法，其特征在于，所述计算各特征分词相应的权重的步骤还包括：

对所述特征分词的权重进行归一化处理。

6.根据权利要求5所述的方法，其特征在于，通过以下公式对所述特征分词的权重进行归一化处理：

其中，norm(weight)为归一化之后的权重，weight为所述特征分词的权重，min(weight)为所述网页中文本数据中最小weight值，max(weight)为所述网页中文本数据中最大weight值。

7.一种网页文本识别的方法，其特征在于，包括：

提取待识别网页中的文本数据；

对所述文本数据进行分词，获得基础分词；

计算各基础分词的第一属性值和第二属性值；其中，所述第一属性值为所述基础分词的信息增益值，所述第二属性值为所述基础分词相对于预定义的各个分类的卡方统计量值的标准差；

依据所述第一属性值和第二属性值计算各基础分词的特征值；

依据所述特征值从所述基础分词中筛选出特征分词；

计算各特征分词相应的权重；

将所述权重作为特征向量输入预先训练出的分类模型中，获得分类信息；

针对所述待识别网页标记分类信息；

其中，所述特征值为所述基础分词的区分度；通过如下公式依据所述第一属性值和第二属性值计算各基础分词的特征值：

其中，score为基础分词的区分度，igScore为基础分词的信息增益值，chiScore为基础分词对相对于预定义的各个分类的卡方统计量值，所述n为预定义的分类的数量。