[发明专利]基于机器学习的文本分类方法及终端设备

权利要求书

1.一种基于机器学习的文本分类方法，其特征在于，该方法包括：

通过网络爬虫抓取多个网页；

针对所述多个网页中的任一网页，获取所述网页的统一资源定位符URL和锚文本；

对所述网页的URL和锚文本进行处理，获得第一词组集合；

根据所述第一词组集合和预设置的第二词组集合，计算所述网页与预设类别的相关度，其中，所述第二词组集合中的词组用于标识所述预设类别；

若所述网页与预设类别的相关度大于第一预设值，则对所述网页进行处理得到网页文本；

获取预设训练集，针对所述训练集中的任一文本，所述文本为经过人工分类的文本，所述文本标注有对应的子类别，所述子类别为预设子类别列表中的一种子类别，所述预设子类别列表中的所有子类别构成所述预设类别；

通过所述训练集对预设置的深度神经网络文本分类模型进行训练，直至达到预设的训练终止条件，通过所述深度神经网络文本分类模型对所述网页文本进行文本分类处理，得到所述网页的子类别。

2.根据权利要求1所述的文本分类方法，其特征在于，所述第二词组包括m个词组，所述根据所述第一词组集合和预设置的第二词组集合，计算所述网页与所述预设类别的相关度包括：

获取第一词组集合中属于第二词组集合的词组的个数n；

根据n与m的比值，计算所述网页与所述预设类别的相关度。

3.根据权利要求1所述的文本分类方法，其特征在于，在将所述网页文本进行文本分类处理之后，该方法还包括：

将所述网页的URL放入预设数据库；

通过所述网络爬虫按照预设时间间隔抓取所述预设类别的网页；

针对所述网络爬虫抓取到的任一网页，根据所述网页的URL判断所述网页的URL是否属于预设数据库中的URL；

若所述网页的URL属于预设数据库中的URL，则丢弃所述网页。

4.根据权利要求3所述的文本分类方法，其特征在于，在丢弃所述网页之前，该方法还包括：

在所述预设数据库中为所述网页的URL、所述网页所对应的网页文本的子类别和抓取所述网页的时间建立唯一映射关系；

判断预设数据库中存储的抓取所述网页的时间和此次抓取所述网页的时间之间，所述网页是否存在更新；

若所述网页存在更新，则通过所述深度神经网络文本分类模型对所述网页的网页文本进行分类处理，并在所述预设数据库中更新所述网页的URL、所述网页所对应的子类别和抓取所述网页的时间的唯一映射关系；

若所述网页不存在更新，则丢弃所述网页。

5.根据权利要求1-4任一项所述的文本分类方法，其特征在于，所述深度神经网络文本分类模型包括4层，分别为输入层、第一隐藏层、第二隐藏层和输出层，所述输入层的输入为所述网页文本所对应的特征向量，所述第一隐藏层包括第一预设数目的节点，所述第二隐藏层包括第二预设数目的节点，所述第一隐藏层和所述第二隐藏层的激活函数为relu函数，所述输出层为所述网页文本为所述预设子类别列表中每一种子类别的概率，所述输出层的激活函数为logistics函数。

6.根据权利要求1所述的文本分类方法，其特征在于，所述获取预设训练集包括：

通过论坛网站，获取与所述预设类别相关的多个网页；

通过对处理后的所述多个网页的网页文本进行人工分类，得到所述训练集。

7.根据权利要求1所述的文本分类方法，其特征在于，该方法还包括：

获取测试集，所述测试集中包含多个经人工分类的网页文本；

针对所述训练集中的任一子类别的所有网页文本，通过聚类分析算法得到该子类别所对应的簇；

获得该子类别所对应的簇的中心点和半径；

依次计算所述测试集中的网页文本与所述中心点的距离；

将与所述中心点的距离小于等于所述半径的网页文本标记为目标网页文本；

若目标网页文本的数目低于预设数目，则在训练集中删除该子类别以及该子类别所对应的所有网页文本。