[发明专利]模型的在线训练方法、服务器及存储介质

权利要求书

1.一种模型的在线训练方法，应用于服务器，其特征在于，所述方法包括：

爬取步骤：接收用户发送的种子网页，利用爬虫工具爬取该种子网页内的所有网页链接；

筛选步骤：利用预设的筛选器筛选出符合要求的网页链接；

预处理步骤：从筛选后的网页链接所指向的网页中获取网页源码，对网页源码进行预处理，得到网页的可用词集；

调用步骤：利用ETL处理方式将得到的可用词集按照预设格式存储到数据库中，作为训练数据，并调用模型对训练数据进行在线训练；

生成步骤：调整模型参数，验证模型准确性，生成完整的模型；

存储步骤：将生成的模型存储到模型服务器的指定目录。

2.根据权利要求1所述的模型的在线训练方法，其特征在于，所述筛选步骤还包括：

根据具体的模型训练设置相应的网址库，筛选器访问网页链接所指向的页面，并将访问的网页链接分配到对应的网址库。

3.根据权利要求1所述的模型的在线训练方法，其特征在于，所述预处理包括网页清洗、分词、去停用词。

4.根据权利要求1或3所述的模型的在线训练方法，其特征在于，所述网页清洗的步骤包括：

利用正则表达式提取出网页中关于标题、关键字及描述的文本；

利用正则表达式清洗所述文本中与网页内容无关的信息。

5.根据权利要求1所述的模型的在线训练方法，其特征在于，所述ETL处理方式是指通过抽取、转换、加载的方式对数据进行处理的过程。

6.根据权利要求1所述的模型的在线训练方法，其特征在于，所述生成步骤包括：

将训练数据分为训练集和验证集；

将训练集代入构建的多元回归模型Y＝A+B₁X₁+B₂X₂+……+B_nX_n的变量X₁、X₂、……、X_n中训练，自动调整模型参数B₁，B₂，……，B_n；

将验证集代入该模型中进行验证，得到完整的模型。

7.一种服务器，其特征在于，所述服务器包括：存储器、处理器及显示器，所述存储器上存储有模型在线训练程序，所述模型在线训练程序被所述处理器执行，可实现如下步骤：

爬取步骤：接收用户发送的种子网页，利用爬虫工具爬取该种子网页内的所有网页链接；

筛选步骤：利用预设的筛选器筛选出符合要求的网页链接；

预处理步骤：从筛选后的网页链接所指向的网页中获取网页源码，对网页源码进行预处理，得到网页的可用词集；

调用步骤：利用ETL处理方式将得到的可用词集按照预设格式存储到数据库中，作为训练数据，并调用模型对训练数据进行在线训练；

生成步骤：调整模型参数，验证模型准确性，生成完整的模型；

存储步骤：将生成的模型存储到模型服务器的指定目录。

8.根据权利要求7所述的服务器，其特征在于，所述筛选步骤还包括：

根据具体的模型训练设置相应的网址库，筛选器访问网页链接所指向的页面，并将访问的网页链接分配到对应的网址库。

9.根据权利要求7所述的服务器，其特征在于，所述生成步骤包括：

将训练数据分为训练集和验证集；

将训练集代入构建的多元回归模型Y＝A+B₁X₁+B₂X₂+……+B_nX_n的变量X₁、X₂、……、X_n中训练，自动调整模型参数B₁，B₂，……，B_n；

将验证集代入该模型中进行验证，得到完整的模型。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括模型在线训练程序，所述模型在线训练程序被处理器执行时，可实现如权利要求1至6中任一项所述模型的在线训练方法的步骤。