[发明专利]输变电巡检模型网络结构搜索方法、系统及存储介质

说明书

一种输变电巡检模型网络结构搜索方法、系统及存储介质，属于深度神经网络结构设计技术领域，搜索方法包括根据输变电巡检任务需求设计多个基础网络模块；从多个基础网络模块中选择若干数量的模块构建超网络；采用剪枝策略对超网络进行训练，从超网络的每一个隐藏层选择出一个最优基础网络模块，将选择出的所有基础网络模块按顺序进行串联，获得输变电巡检模型目标网络结构。本发明基于超网络剪枝策略实现神经网络结构搜索，通过基础网络模块设计、超网络构建、超网络剪枝训练三个步骤实现神经网络结构的自动化搜索，能够便捷高效的自动设计性能优异的神经网络结构，避免过多算力消耗，提高深度学习模型的研发效率，降低研发成本，减少人力消耗。

技术领域

本发明属于深度神经网络结构设计技术领域，具体涉及一种输变电巡检模型网络结构搜索方法、系统及存储介质。

背景技术

随着计算机与GPU(graphics processing unit)算力的增长，深度神经网络不仅在语音识别、图像理解以及自然语言处理等人工智能领域得到广泛应用，而且在癌症检测、自动驾驶和复杂游戏等复杂系统中也得到应用。深度神经网络在识别任务中已经超越了人类的准确度，对比传统算法有着巨大的突破，如手工设计的方向梯度直方图(histogram oforiented gradient,HOG)特征(Dalal和Triggs,2005)和尺度不变特征变换(scale-invariantfeature transform,SIFT)特征(Lowe,2004)等。这些性能的提升主要是由于深度神经网络能够提取很高层次的特征，从而得到对输入数据更加有效的表示。除此之外，GPU算力的提升使得神经网络的层数进一步增加，表征能力进一步增强。神经网络的结构从AlexNet进化到VGGNe，再到GoogLeNet和ResNet，神经网络的结构变得越来越复杂。

深度神经网络之所以能取得很好的性能，很大程度上是由于优秀的网络结构设计。神经网络结构搜索即对于给定任务，自动捜索出合适的神经网络结构，期望它的性能(在目标任务上的精度)超过人类专家设计的网络结构。通常神经网络结构搜索可以分成3个维度：搜索空间(search space)、搜索策略(search strategy)和性能评估策略(performance estimation strategy)。搜索策略是指从搜索空间A中选取某个神经网络结构a，然后用性能评估策略来估计该网络结构的泛化性能，最后将估计的泛化性能反馈给搜索策略，进一步改进搜索策略。

目前常见的神经网络结构搜索是基于强化学习方法。其主要思想是先构造一个由循环神经网络(RNN)组成的控制器，由控制器逐步生成网络结构，在这个过程中通过强化学习策略进行指导。该方法使用一个递归神经网络作为控制器来生成模型描述：使用控制器生成它们的超参数来作为令牌序列。一旦控制器RNN结束生成一个架构，一个带着此架构的神经网络被构造好和训练好。在收敛时，在外设的验证集上的网络精度被记录，控制器RNN的参数θ然后被优化，从而最大化所提出架构的期望验证精度。控制器预测的令牌列表可以被看作是为一个子网络设计体系架构的动作列表。在收敛阶段，子网络将在数据集上获得一个精度R，使用精度R作为奖励信号，然后使用强化学习来训练控制器。基于强化学习的神经网络搜索方法参数收敛困难，在训练过程中需要消耗大量的算力，难以在实际业务应用中推广。

发明内容

本发明的目的在于针对上述现有技术中的问题，提供一种输变电巡检模型网络结构搜索方法、系统及存储介质，能够便捷高效的自动设计性能优异的神经网络结构，提高深度学习模型研发效率，降低研发成本，减少人力消耗。

为了实现上述目的，本发明有如下的技术方案：

第一方面，提供一种输变电巡检模型网络结构搜索方法，包括：

根据输变电巡检任务需求设计多个基础网络模块；

从多个基础网络模块中选择若干数量的模块构建超网络；