[发明专利]一种跨域的大范围场景生成方法

权利要求书

1.一种跨域的大范围场景生成方法，其特征在于，具体步骤如下：

步骤一、设定目标场景中各背景的对应分布情况以及各前景目标的语义特征；

背景包括：天空、陆地和海洋三类；

语义特征包括：前景目标的种类，每类前景目标的数量，每类前景目标中每个目标各自的尺寸、姿态和坐标等；

前景目标的种类包括飞行器，车辆和船舶三类；

步骤二、根据背景各自的比例，随机生成背景分割图，再将每一个前景目标根据语义特征依次加入背景分割图中；

首先，生成一张只有背景的分割图：

背景分割图的尺寸与目标场景图的大小相同，海洋、陆地和天空各自为一个整体，天空在分割图像最上方，占面积比例m₁；剩下部分包含陆地和海洋，分别按照比例m₂和m₃通过简单随机低阶曲线划分，分布在图像中下方；

其中海洋、陆地和天空三部分中，每部分面积中包括的像素取值都相同，三部分的像素值取值不同；

然后，在生成的背景分割图上，按照海上目标，地面目标和空域目标的先后顺序，分别加入每一个前景目标；

具体过程为：针对某类前景目标，依次选择该类前景目标下的某个目标，根据该目标的姿态，设定该姿态对应的像素轮廓图；

然后，根据当前目标的尺寸对像素轮廓图进行调整，并按照当前目标的坐标，将调整后的像素轮廓图放置在背景分割图上对应的位置上；

该像素轮廓图中包括的所有像素取值相同；

同理，将该类前景目标下的所有目标一一放置到背景分割图上，直至放完三类前景目标中所有的目标；

每类前景目标中的所有目标的像素轮廓图中包括的像素取值都相同，目标中的像素取值和背景中的像素取值对应不同的整数，且每个目标的像素轮廓图中的像素取值覆盖背景中的像素值；

最终的分割图尺寸为W*H，对应宽度和高度；分割图上每一个数值对应一类前景目标或背景；

步骤三、将分割图像与预先设定好的某特征向量进行融合；

针对同一类前景目标，网络预先训练该类下的不同小类，针对每一小类中的每个物体，得到每个物体的特征向量，长度均为L；

融合是根据选择的某个物体，将分割图像与长度为L的特征向量逐像素拼接，最终得到尺寸为W*H*(l+L)的特征图；

步骤四、对特征融合后的特征图，利用神经网络的多卷积层对低级特征图像进行编码，提取高级特征，得到高级语义特征图；

步骤五、对高级语义特征图利用残差网络进一步融合；

步骤六、对融合的残差结果，使用上采样结构进行解码；最终输出尺寸为W*H*3的3通道的彩色场景生成结果。

2.如权利要求1所述的一种跨域的大范围场景生成方法，其特征在于，步骤一中所述的各背景的对应分布情况为各自的像素所占的比例，分别用m₁，m₂和m₃表示。

3.如权利要求1所述的一种跨域的大范围场景生成方法，其特征在于，所述的步骤四具体为：对特征融合后的尺寸为W*H*(l+L)的特征图使用串联的3层卷积层进行下采样，对特征进行降维和编码，从而得到尺寸缩小的高级语义特征图；

每个卷积层的卷积核大小均为3×3，代表其感受野的大小，卷积核的步长分别为2，代表每次卷积核滑窗的步长为2；卷积核的通道数依次为64，512和1024；每经过一层卷积层，特征图长、宽尺寸都减小为原来的一半，语义特征级别也在逐次提升；经过三层卷积层后，长和宽尺寸都缩小为原来的每一层卷积后都要通过归一化层和激活函数层。

4.如权利要求1所述的一种跨域的大范围场景生成方法，其特征在于，所述的步骤五具体为：采用三个相互串联的残差结构，每个结构相同，且均不改变特征图的尺寸；单个残差结构包含了4层卷积层；当输入特征图为x时，首先通过卷积核大小为1×1的卷积层，通道数为512；再通过3×3的卷积层，通道数为256；再通过卷积核大小为5×5的卷积核，通道数为128；最后通过卷积核大小为1×1的卷积核，通道数为1024；每一层卷积之后都要经过归一化和激活函数，此时最后一层卷积的输出为中间特征F(x)，与原特征图x相加，得到最终特征输出结果F(x)+x。

5.如权利要求1所述的一种跨域的大范围场景生成方法，其特征在于，所述的步骤六具体为：将结果F(x)+x采用三层反卷积层，尺寸与解码过程的卷积层尺寸一一对应，反卷积层步长也为2，核大小也为3×3；经过三层反卷积之后，特征图长宽还原为W×H；三个反卷积层的通道数依次为512、64和3，将编码后的低维度高层特征进行解码，并将尺寸放大到目标图像尺寸；最终的输出尺寸为W*H*3，得到一个3通道的彩色图像，即为生成的场景图。