[发明专利]网页栏目识别模型训练方法、使用方法、装置和存储介质

权利要求书

1.一种网页栏目识别模型训练方法，其特征在于，所述方法包括：

选取第一数量的网页栏目url，第二数量的网页内容url，以及每一个url所对应的标题长度，其中，第一数量和第二数量的比值在预设范围内；

对网页栏目url进行处理，得到对应的第一字符串特征；

对网页内容url进行处理，得到对应的第二字符串特征；

对所述标题长度进行归一化处理，得到标题长度特征；

将所述第一字符串特征和所述第二字符串特征，以及所述标题长度特征划分为训练集和验证集；

将所述训练集输入到所选取的机器学习模型中进行训练，得到训练后的机器学习模型；

采用验证集对训练后的机器学习模型进行测试，得到评价参数，其中，所述评价参数包括不限于：精确度和召回率；

并在所述评价参数达到设定的阈值时，确定为合格模型。

2.根据权利要求1所述网页栏目识别模型训练方法，其特征在于，所述选取第一数量的网页栏目url，第二数量的网页内容url，以及每一个url所对应的标题长度的步骤，包括：

抓取网页栏目url和网页内容url，以及每一个url所对应的标题长度；

对每一网页栏目url和网页内容url的数据进行字符串识别，获得多组数据，其中，每一组数据为包含相同字符串格式的url；

从多组数据中，选择第一数量的网页栏目url和第二数量的网页内容url。

3.根据权利要求2所述网页栏目识别模型训练方法，其特征在于，在所述对每一网站的数据进行字符串识别，获得多组数据的步骤之后，所述方法还包括：

获得每一组数据的url个数；

判断url个数是否小于预设阈值；

如果是，删除该组数据。

4.根据权利要求2所述网页栏目识别模型训练方法，其特征在于，所述对网页栏目url进行处理，得到对应的第一字符串特征的步骤，包括：

对网页栏目url进行解码；

对解码后的网页栏目url进行分词处理得到词表；

对所述词表中的词进行向量化处理，获得第一字符串特征。

5.根据权利要求2所述网页栏目识别模型训练方法，其特征在于，所述抓取网页栏目url和网页内容url，以及每一个url所对应的标题长度的步骤，包括：

从数据采集系统url库中获取所有网站首页url；

根据所述网站首页url，获取每个网站中的网页栏目url和网页内容url。

6.根据权利要求2-5任一项所述网页栏目识别模型训练方法，其特征在于，所述对每一网站的数据进行字符串识别，获得多组数据的步骤，包括：

采用聚类或者通过正则对url路径进行匹配，将字符串格式相同的url划分为一组，获得多组数据。

7.根据权利要求1所述的网页栏目识别模型训练方法，其特征在于，所述将所述训练集输入到所选取的机器学习模型中进行训练，得到训练后的机器学习模型的步骤，包括：

将所述训练集输入到支持向量机或逻辑回归或朴素贝叶斯中进行训练，得到训练后的机器学习模型。

8.利用权利要求1-7任一项所述的网页栏目识别模型训练方法所获得网页栏目识别模型的使用方法，其特征在于，所述使用方法包括：

获取待检测url，并进行分词处理，获得向量化的字符串特征和归一化的标题长度特征，其中，待检测url是网页栏目url或者网页内容url，所述标题长度特征是每一个待检测url所对应的标题长度；

将向量化的字符串特征和归一化的标题长度特征输入预先训练好的机器学习模型；

根据机器学习模型的输出结果，确定所述待检测url的分类类型，其中，所述分类类型为：网页栏目url和网页内容url。