[发明专利]一种跨域的大范围场景生成方法

说明书

本发明公开了一种跨域的大范围场景生成方法,属于图像生成技术领域；首先，设定目标场景中各背景的对应分布情况以及各前景目标的语义特征；根据背景各自的比例，随机生成背景分割图，再将每一个前景目标根据语义特征依次加入背景分割图中；然后，将分割图像与预先设定好的某特征向量进行融合；对特征融合后的图像，利用神经网络的多卷积层进行编码，提取高级特征，得到高级语义特征图，并利用残差网络进一步融合；最后，对融合的残差结果，使用上采样结构进行解码；最终输出彩色场景生成结果。本发明对于数据不足、样本难以获取的大范围视角任务提供了数据生成的方法，并且省去了手动给出分割标注图的过程，效果良好、实用性更强。

技术领域

本发明属于图像生成技术领域，涉及一种跨域的大范围场景生成方法。

背景技术

近年来，随着国家对低空领域使用权的不断开放，飞行器经常被用来执行辅助灾情巡查以及特殊场景监视等任务。在这些任务中，场景信息的获取与分析是最为重要的环节之一，然而很多场景在实际操作中是第一次接触，缺乏预先的经验，对信息的分析带来很大的挑战。场景生成方法可以针对目标场景的特征进行模拟，对于场景数据难以提前获取或数据缺失的情况均有不可估量的作用。

目前许多深度学习任务需要大量样本作为训练集，采用的算法也都是对样本进行分类或者回归，前提是样本充足。针对样本不足的情况，迁移学习方法可以将其他样本集特征通过算法适当的迁移到新的样本集上，但依旧存在不同样本集之间的差别，无法达到较理想的结果。小样本学习方法，如元学习，采用了一些网络训练技巧，能够在样本不足的情况下加速网络的优化过程，但没有从根本上解决样本的问题。

对抗生成网络提供了一种思路，可以人为地引导模型生成虚拟数据，当虚拟数据逼近真实数据时，可以近似代替真实数据，在数据不足或缺乏数据的情况下可以用于数据生成。

在大多数对抗生成网络模型都是在高级语义层面进行优化，生成的图像分辨率较低，细节比较模糊，无法对真实场景进行精细模拟，因而也不能应用到实际任务当中。

现有的逐像素生成法拥有较好的效果，它借助了神经网络的卷积操作，提取低维特征，进一步用反卷积进行上采样，得到逐像素复原后的模拟图像，过程中采用了残差网络进行特征融合。但此方法由于整个网络输入需要一个与输出等大小的分割标注图，每一类物体所在区域用相同值的像素表示，这对输入的要求较高，需要提前获取分割标注图，在一定程度上限制了其应用。

发明内容

本发明一种跨域的大范围场景生成方法，采用现有的逐像素生成法，将简单的场景描述作为输入，通过特征可视化生成分割标注图，不用手动提前给出分割标注图，既可以生成关于场景图的数据集，也可以通过语义特征人为引导网络输出想要的数据，对样本少、数据难以获取的任务有较大意义，为不同的任务需求提供了充足的选择，是一个应用广泛，效果突出的方法。

具体步骤包括：

步骤一、设定目标场景中各背景的对应分布情况以及各前景目标的语义特征；

背景包括：天空、陆地和海洋三类；对应的分布情况为各背景的像素所占的比例，分别用m₁，m₂和m₃表示。

语义特征包括：前景目标的种类，每类前景目标的数量，每类前景目标中每个目标各自的尺寸、姿态和坐标等。

前景目标的种类包括飞行器，车辆和船舶三类；

步骤二、根据背景各自的比例，随机生成背景分割图，再将每一个前景目标根据语义特征依次加入背景分割图中。

首先，生成一张只有背景的分割图：