[发明专利]网页文本分类的方法和装置，网页文本识别的方法和装置

说明书

本申请实施例提供了一种网页文本分类的方法和装置，网页文本识别的方法和装置，该网页文本分类的方法包括：采集网页中的文本数据；对所述文本数据进行分词，获得基础分词；计算各基础分词的第一属性值和第二属性值；依据所述第一属性值和第二属性值计算各基础分词的特征值；依据所述特征值从所述基础分词中筛选出特征分词；计算各特征分词相应的权重；将所述权重作为相应特征分词的特征向量，采用所述特征向量训练出分类模型。本申请实施例不仅有效保证了特征提取的客观性与准确性，还兼顾了特征对分类影响，从而提高了网页文本分类的准确性，更方便于用户在海量的文本中及时准确地获得有效的信息。

技术领域

本申请涉及文本分类的技术领域，特别是涉及一种网页文本分类的方法，一种网页文本分类的装置，一种网页文本识别的方法，以及，一种网页文本识别的装置。

背景技术

在当今的信息社会，各种形式的信息都极大的丰富了人们的生活，尤其随着Internet的大规模普及，网络上的信息量在飞速增长当中，如各种电子文档、电子邮件和网页充满网络上，从而造成信息杂乱。为了快速、准确、全面地找到我们所需要的信息，文本分类成为了有效组织和管理文本数据的重要方式，越来越受到广泛的关注。

网页文本分类是指按照预先定义的主题类别，根据海量网页文档的内容，确定相应网页的类别。网页文本分类采用的技术基础是基于内容的纯文本分类。基本方法是，在抓取到的网页集合中，对每篇网页文本进行纯文本的内容抽取，得到相应的纯文本。再将抽取出的纯文本组成新的文档集合，在新的文档集合上应用纯文本分类算法进行分类。再根据纯文本与网页文本的对应关系，对网页文本进行分类，即应用网页的纯文本内容信息，对网页进行分类。

由于海量文本所具有的多意性、模糊性、各异性等特点，已有技术中，在分类特征的选取上难以令人满意，例如，往往会夸大某些无效词的作用，或者，忽略某些特征分词的重要属性，从而导致网页文本分类的准确度极低。

发明内容

鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种网页文本分类的方法，一种网页文本识别的方法，和相应的一种网页文本分类的装置，一种网页文本识别的装置。

为了解决上述问题，本申请实施例公开了一种网页文本分类的方法，包括：

采集网页中的文本数据；

对所述文本数据进行分词，获得基础分词；

计算各基础分词的第一属性值和第二属性值；

依据所述第一属性值和第二属性值计算各基础分词的特征值；

依据所述特征值从所述基础分词中筛选出特征分词；

计算各特征分词相应的权重；

将所述权重作为相应特征分词的特征向量，采用所述特征向量训练出分类模型。

优选地，所述第一属性值为所述基础分词的信息增益值，所述第二属性值为所述基础分词相对于预定义的各个分类的卡方统计量值的标准差，所述特征值为所述基础分词的区分度。

优选地，通过如下公式依据所述第一属性值和第二属性值计算各基础分词的特征值：

其中，score为基础分词的区分度，igScore为基础分词的信息增益值，chiScore为基础分词对相对于预定义的各个分类的卡方统计量值，所述n为预定义的分类的数量。

优选地，所述依据所述特征值从所述基础分词中筛选出特征分词的步骤包括：

将所述基础分词按照其对应的特征值由高至低排列；

提取预设数量的，所述特征值高于预设阈值的基础分词作为特征分词。