[发明专利]一种基于动态时序图的模型性能推理方法与装置

说明书

本发明公开了一种基于动态时序图的模型性能推理方法与装置，通过将神经网络模型的训练过程映射为时间演化图，提取时间演化图中的节点特征，为了能够预测异构模型的性能，提出进一步提取节点特征中的多维统计特征，将多维统计特征聚合为时序特征，实现对模型性能的预测。本发明方法提出的神经网络模型构图方式，比现有的卷积层中的展开构图方式更简洁、计算效率更高，同时不会牺牲预测任务的性能。本发明通过捕获模型训练阶段早期的神经网络动态来解决神经网络模型性能预测问题，能减少神经网络训练结果的不确定性，提高模型训练效率。

技术领域

本发明涉及人工智能、图像分类领域，具体涉及一种基于动态时序图的模型性能推理方法。

背景技术

神经网络推动了许多领域的发展，包括计算机视觉、图像处理、自然语言处理和生物信息学等领域。随着任务复杂度的增加，网络变得更深更大，需要更多的计算资源、训练数据和时间。但即使耗费了大量的训练资源和训练时间，神经网络的最终性能却是不确定的，如模型训练阶段使用不合适的学习率使得模型最终性能较差。

许多大数据以大规模图或网络的形式呈现。许多非图结构的大数据，常会被转换为图模型进行分析。图数据结构很好地表达了数据之间的关联性。过去一些工作尝试理解和解释深层神经网络的内部机理。实现这一目标的其中一种方法包括将神经网络表示为其底层图结构，并研究选定的图属性，如聚类系数、路径长度和模块化等。例如，2020年You等人将网络表示为捕获消息传递过程的关系图，并研究网络的预测性能与架构更改之间的相关性。然而，对于神经网络结构作为图的研究比较有限，文献中对于底层图在训练过程中的结构变化大多被忽略。

基于以上考虑，本发明提出了一种基于动态时序图的模型性能推理方法，在训练阶段捕获早期的神经网络动态来预测神经网络的性能。

发明内容

针对现有技术不足，本发明提出了一种基于动态时序图的模型性能推理方法与装置。

为实现上述技术目的，本发明的技术方案为：

本发明实施例的第一方面提供了一种基于动态时序图的模型性能推理方法，包括以下步骤：

(1)选取数据集，构建种子模型，设定模型训练参数，使用数据集训练种子模型，得到种子模型的检查点；

(2)读取步骤(1)生成的种子模型的检查点，初始化无向有权图，将种子模型的映射为时间演化图；

(3)计算时间演化图对应的特征向量中心性，得到图节点特征；

(4)将步骤(2)得到的时间演化图中t时刻的图称为时间静态图，利用图节点特征计算每个时刻静态图的统计特征，聚合得到时序特征；

(5)基于时序特征构建损失函数，训练得到性能预测分类器，通过性能预测分类器完成模型性能推理。

进一步地，所述数据集为包括Cifar10、Cifar100或Mnist在内的数据集；所述种子模型为包括Lenet5、VGG、Resnet在内的深度学习模型。

进一步地，所述构建种子模型具体为：改变种子模型训练的学习率和随机失活率，生成足量的种子模型其中lr_n和drop_n分别表示不同学习率和不同随机失活率的数量。

进一步地，所述训练种子模型具体为：

设为一神经网络在学习率lr_i和dropout率drop_j下，训练迭代T次得到的模型集；每个表示为t训练时刻保存的检查点，即为模型的t时刻的权重参数θ；其中每组模型集的训练损失函数为：