[发明专利]基于演化计算的机器视觉多任务神经网络架构搜索方法

说明书

本发明公开了一种基于演化计算的机器视觉多任务神经网络架构搜索方法，首先初始化种群，对种群中的个体的多任务泛化能力进行评估，然后通过二进制锦标赛选择算法随机获得两个染色体，并比较两个染色体多任务泛化表现，选择表现更好的一个作为父本，再选择两个父本进行交叉、变异操作，产生两个子代，对子代的多任务泛化表现进行评估，之后合并子代和父代，根据评估结果进行环境选择，生成新的种群，进行新一轮的演化，直到达到预定的终止条件，输出多任务泛化能力最好的个体。本发明使用遗传算法来优化多任务网络模型体系结构，在无需人工参与的情况下，能够自动搜索到适合于多任务学习的神经网络模型，提高多任务网络的跨任务信息融合能力。

技术领域

本发明涉及神经网络领域，具体涉及一种基于演化计算的机器视觉多任务神经网络架构搜索方法。

背景技术

目前，在针对单机器视觉任务，比如，图像分类、目标识别方面的相关技术，无论是传统的非神经网络方法还是如今基于卷积神经网络的深度学习方法都已经发展的较为成熟。然而，现实场景中往往需要同时处理多个任务。比如：无人驾驶，需要同时进行道路目标识别、目标深度估计等，以保障无人驾驶汽车能够安全的运行。多任务学习旨在充分利用多个相关联任务之间的信息，提高模型的泛化能力和单个任务的表现。

多任务学习技术从传统方法不断发展到如今的基于卷积神经网络的深度学习方法。传统方法主要分为两类：一类是通过正则化的方法，比如L1、L2正则化，来构建任务之间的稀疏关系。该类方法预先假设多任务学习只需要利用到少量的任务之间信息，但是若任务的相关联度不高会导致模型的整体表现较差；另一类方法是通过聚类的方法，比如贝叶斯优化、支持向量机,来建模任务之间的关系，将相似的任务聚类在一起，在相似任务之间学习共享的信息。然而以上的传统方法都是假设数据和目标是线性关系，并不适用于如今复杂的实际应用环境。

近年来，得益于深度学习的快速发展，其灵活的层次化表示结构以及强大的特征提取能力，受到多任务学习研究人员的广泛关注。当前基于神经网络的方法主要分为两种：硬参数共享和软参数共享，如图2所示。硬参数共享，如图2(a)，是多个任务共享网络的特征提取层，然后在网络的末端设计各自的输出层。该类方法虽然可以降低任务的过拟合风险，但是由于多个任务共享同一个特征提取层，所以该类方法对任务的相关联程度也有很高的要求。如果任务之间的关联度较为松散，将会极大影响模型的最终表现。而在多任务的实际应用场景中，任务的相关联程度往往不是很高。

因此，近年来最新的多任务学习模型主要是基于软参数共享的方法。在软参数共享(如图2(b))中，每个任务都有一个自己特定的主干网络，不同的主干网络通过共享连接学习有用的信息(特征)，以促进所有任务的表现。软参数共享重点关注于怎样融合特征，以及在模型的哪个位置融合特征。目前大多数方法都是关注如何进行特征的融合，最新的方法有：1.十字交叉网络(Cross Stitch Network)提出的线性融合方法，线性融合单元将不同的任务的特征进行加权线性组合。2.神经判别降维网络(NeuralDiscriminativeDimensionality Reduction,NDDR-Network)将不同任务的特征在通道维度上进行拼接后，通过1x1卷积操作进行特征的学习，再降维以满足下一层的输入要求。

虽然以上基于软参数共享的方法，提高了多任务学习模型的性能，但目前手工设计的网络在特征融合位置的选择上往往带有很强的主观性。比如最新的NDDR网络将特征融合操作简单的放在了VGG-16的每个卷积层之后，以融合相同层级特征。这种方式可能会导致融合一些无用的信息，从而影响到模型的性能。

发明内容

针对现有技术中的上述不足，本发明提供了一种基于演化计算的机器视觉多任务神经网络架构搜索方法。

为了达到上述发明目的，本发明采用的技术方案为：

一种基于演化计算的机器视觉多任务神经网络架构搜索方法，包括如下步骤：

S1、初始化具有多个多任务神经网络个体的模型种群；