[发明专利]模型的在线训练方法、服务器及存储介质

说明书

本发明提供了一种模型的在线训练方法、服务器及存储介质，该方法根据用户发送的种子网页，利用爬虫工具爬取该种子网页内的所有网页链接，并利用筛选器筛选出符合要求的网页链接。接着，从筛选后的网页链接所指向的网页中获取网页源码，进行预处理，得到可用词集。然后，利用ETL处理方式将可用词集按照预设格式存储到数据库中，并调用模型对训练数据进行在线训练。最后，调整模型参数，验证模型准确性，生成完整的模型，并将生成的模型存储到模型服务器的指定目录。利用本发明，可以在线进行模型训练。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种模型的在线训练方法、服务器及计算机可读存储介质。

背景技术

随着人工智能(Artificial Intelligence,AI)的迅速发展，利用模型训练进行深度学习的技术手段也广泛的运用于各领域中。目前的模型训练主要依赖于静态的数据进行离线训练，也即是说基于内部获得的静态数据进行训练。这种离线训练机制对于实时要求较高的场景的适用性较差，同时也不适用于需要大量外部数据进行深度学习的场景。

发明内容

鉴于以上内容，本发明提供一种模型的在线训练方法、服务器及计算机可读存储介质，其主要目的在于定向抓取外部数据，实现全自动化模型的在线训练。

为实现上述目的，本发明提供一种模型的在线训练方法，该方法包括：

爬取步骤：接收用户发送的种子网页，利用爬虫工具爬取该种子网页内的所有网页链接；

筛选步骤：利用预设的筛选器筛选出符合要求的网页链接；

预处理步骤：从筛选后的网页链接所指向的网页中获取网页源码，对网页源码进行预处理，得到网页的可用词集；

调用步骤：利用ETL处理方式将得到的可用词集按照预设格式存储到数据库中，作为训练数据，并调用模型对训练数据进行在线训练；

生成步骤：调整模型参数，验证模型准确性，生成完整的模型；

存储步骤：将生成的模型存储到模型服务器的指定目录。

优选地，所述筛选步骤还包括：

根据具体的模型训练设置相应的网址库，筛选器访问网页链接所指向的页面，并将访问的网页链接分配到对应的网址库。

优选地，所述预处理包括网页清洗、分词、去停用词。

优选地，所述网页清洗的步骤包括：

利用正则表达式提取出网页中关于标题、关键字及描述的文本；

利用正则表达式清洗所述文本中与网页内容无关的信息。

优选地，所述ETL处理方式是指通过抽取、转换、加载的方式对数据进行处理的过程。

优选地，所述生成步骤包括：

将训练数据分为训练集和验证集；

将训练集代入构建的多元回归模型Y＝A+B₁X₁+B₂X₂+……+B_nX_n的变量X₁、X₂、……、X_n中训练，自动调整模型参数B₁，B₂，……，B_n；

将验证集代入该模型中进行验证，得到完整的模型。

此外，本发明还提供一种服务器，该服务器包括：存储器、处理器及显示器，所述存储器上存储模型在线训练程序，所述模型在线训练程序被所述处理器执行，可实现如下步骤：