[发明专利]一种实现模型训练的方法、计算机存储介质及终端

说明书

本文公开一种实现模型训练的方法、计算机存储介质及终端，包括：确定标记数据集和未标记数据集中包含的每一份数据的时间信息；根据确定的时间信息，从标记数据集和未标记数据集中选出包含第一预设组数据的第一数据；将预先训练获得的第一深度学习模型通过选出的第一数据进行训练，获得第二深度学习模型；其中，第一数据为根据时间信息确定的早于预设时刻的数据；第一数据中的每一组数据包含标记数据集中的一份数据和未标记数据集中的一份数据。本发明实施例通过确定用于模型训练的数据的时间信息，对已有的第一深度学习模型通过早于预设时刻的数据进行进一步训练，避免了模型训练时发生知识遗忘问题。

技术领域

本文涉及但不限于网络安全技术，尤指一种实现模型训练的方法、计算机存储介质及终端。

背景技术

近年来，网络安全形势依旧严峻，高危安全漏洞频发，为了最小化漏洞带来的安全风险，政企机构的安全管理员一般需要通过检索一些权威的公开漏洞数据源和一些第三方非结构化漏洞数据源，来了解其所关注的软件的最新漏洞情报及与之相关的威胁情报。

由于现代软件往往依赖诸多组件，需要针对每个关注的软件，获取该软件直接或间接依赖的所有组件的列表，并定期检索该软件及其依赖的所有组件是否存在漏洞，但是人工检索成本高昂，容易遗漏重要漏洞情报，且存在滞后性，若没有在漏洞披露之后的第一时间检索到相关漏洞情报信息，错过了最佳应急响应时间，会造成不可小觑的损失。因此，为了在第一时间提取到最准确全面的漏洞情报信息，必需借助自动化的漏洞信息提取技术，从公开的漏洞数据源中提取受影响的软件和组件之间的依赖关系以及受影响版本等漏洞情报信息。

相关技术中的非结构化漏洞情报信息提取的研究往往基于深度学习模型，然而，在基于小批次梯度下降算法的训练中，深度学习模型在训练过程中会发生知识遗忘；除小批次梯度下降算法之外，动量梯度下降算法(Momentum)、自适应动量梯度下降算法(Adam，Adaptive Momentum)和前向均方根梯度下降算法(RMSProp，Root mean squarepropagation)等算法，在解决自然语言处理(NLP)任务时，尤其是实体识别和关系提取等任务时，训练集越复杂，包含的模式越多样，就越容易发生知识遗忘；如何解决知识遗忘问题成为一个有待解决的问题。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本发明实施例提供一种实现模型训练的方法、计算机存储介质及终端，能够避免模型训练时发生知识遗忘问题。

本发明实施例提供了一种实现模型训练的方法，包括：

确定标记数据集和未标记数据集中包含的每一份数据的时间信息；

根据确定的时间信息，从标记数据集和未标记数据集中选出包含第一预设组数据的第一数据；

将预先训练获得的第一深度学习模型通过选出的第一数据进行训练，获得第二深度学习模型；

其中，所述第一数据为根据时间信息确定的早于预设时刻的数据；所述第一数据中的每一组数据包含所述标记数据集中的一份数据和所述未标记数据集中的一份数据。

另一方面，本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述实现模型训练的方法。

再一方面，本发明实施例还提供一种终端，包括：存储器和处理器，所述存储器中保存有计算机程序；其中，

处理器被配置为执行存储器中的计算机程序；

所述计算机程序被所述处理器执行时实现如上述实现模型训练的方法。