[发明专利]并行选取超参数设计多分支卷积神经网络识别行人的方法

说明书

本发明并行选取超参数设计多分支卷积神经网络识别行人的方法，包括步骤：1)初始化多分支卷积神经网络架构；2)自适应的根据具体任务，自动化筛选构建单元，迭代并行添加到各分支，构成精度和运算量可分离的分支卷积神经网络；3)验证评估，保留最高精度下降5％以内的所有模型，选择其中计算量最小的模型为选取结构；4)将最有筛选的多分支卷积神经网络拆分开来，单个分支使用或者两两分支组合作为基准模型，存储在终端设备，离线推理识别行人。本发明中多分支卷积神经网络的各个分支一起，根据具体的行人识别数据集，在每个迭代周期选取超1次参数，生成构建块，这些构建块并行添加到各分支去训练，然后选择出性能优异的超参数保存模型。

技术领域

本发明属于深度学习研究领域，具体涉及一种并行选取超参数设计多分支卷积神经网络识别行人的方法。

背景技术

机器学习和深度学习的模型好坏，很大程度上归根于“调参”，即超参数的优化。深度学习主要算法之一的卷积神经网络处理目标识别、检测、实例分割、场景理解、强化学习等任务，主要需要完成网络结构的设计以及超参数的调整和优化，而超参数的调整优化一般取决于人工调参，需要依赖超参数、训练误差、泛化误差和计算资源等经验和直觉，并且需要耗费大量的时间和精力。因此，现如今越来越多的超参数的调优，都在向自适应、自动化的方向上靠拢，它们旨在使用带有策略的启发式搜索在更短的时间内找到最优超参数，除了初始设置之外，并不需要额外的手动调参。

如果网络模型较为简单，超参数较少，常见的超参数自动搜索方法是网格搜索。网格搜索即设立超参数范围集合，然后得到超参数集合的笛卡尔积，作为候选参数送入网络一一训练，直到选出最佳精度的组合。显而易见，如果网络结构过于复杂，超参数集合庞大，网格搜索就有点得不偿失了。随机搜索方法在网格搜索方法的基础上做了改进。首先，为每个超参数集合选择了一个分布，例如，Bernoulli分布，然后按照这个分布从超参数集合中生成超参数的随机组合，送入网路进行训练，选择最佳精度组合，但是，随机搜索适合于粗选、普查，容易遗漏关键数据。因此，启发式搜索，利用问题拥有的启发信息来引导搜索，既能节省时间，降低问题复杂度，又可以减少搜索范围，它在状态空间中，会对每一个搜索的位置进行评估，得到最好的位置，再从这个位置进行搜索直到选取最佳组合。启发式搜索常见算法有进化规划、进化策略、遗传算法等。Google brain利用强化学习，使用500块TeslaP100训练4天多得到NASNet，不管在精度还是在速度上都超越了人工设计的经典结构。同时，自从早期的神经网络研究以来，硬件设计者已经致力于可以加速神经网络算法的训练和推理的专用硬件实现。不同形式的专用硬件的研究已经持续了好几十年，比如专用集成电路的数字，模拟和混合实现(组合数字和模拟组件)。近年来更灵活的现场可编程门阵列实现也得到了长足发展。因此，专门针对不同的硬件平台，去研究和设计卷积神经网络结构有助于软件硬件结合的更好的发展。

发明内容

本发明的目的在于提供一种并行选取超参数设计多分支卷积神经网络识别行人的方法。

本发明采用如下技术方案来实现的：

并行选取超参数设计多分支卷积神经网络识别行人的方法，包括以下步骤：

1)初始化多分支卷积神经网络架构；

2)自适应的根据具体任务，自动化筛选构建单元，迭代并行添加到各分支，构成精度和运算量可分离的分支卷积神经网络；

3)验证评估，保留最高精度下降5％以内的所有模型，选择其中计算量最小的模型为选取结构；

4)将最有筛选的多分支卷积神经网络拆分开来，单个分支使用或者两两分支组合作为基准模型，存储在终端设备，离线推理识别行人。

本发明进一步的改进在于，步骤1)的具体实现方法如下：