[发明专利]3D-360度全景图像生成方法及装置

权利要求书

1.一种3D-360度全景图像生成方法，其特征在于，包括如下步骤：

获取环绕多相机的各个相机的图像，每个相机一幅图像；

将获取的多幅图像预处理为符合网络模型输入要求的图像；其中，所述网络模型经对包括多组经过虚拟相机生成的图像样本集和与其对应的3D左右眼视图进行迭代训练获取；所述网络模型经卷积神经网络训练获取，所述卷积神经网络包括依次连接的多个第一卷积层、第一激活函数层、池化层、多个反卷积层、第二卷积层和第二激活函数层；

所述网络模型的训练方法包括：

获取虚拟相机生成的图像样本集，及与其对应的多幅3D左右眼视图；

对图像样本集进行预处理；

将各组经过预处理的图像样本集输入卷积神经网络中，并输出生成的多幅左右眼视图，根据各组图像样本集计算得到的多幅左右眼视图和虚拟相机得到的多幅左右眼视图计算预测误差，并采用有监督的反向传播方法对卷积神经网络进行迭代训练，得到深度学习的网络模型；

利用卷积神经网络生成多幅左右眼视图的方法包括：

S1：通过第一卷积层对获取的图像进行卷积运算，通过第一激活函数层对卷积运算结果进行非线性变换，通过池化层对非线性变换结果进行池化操作；

S2：重复S1获取多个尺度不断下降的特征图；

S3：通过反卷积层对前半部分处理结果的特征图结果采样，获取多个尺度不断上升的特征图；然后将相同尺度的网络前半部分特征图和后半部分特征图并联，再通过第二卷积层对处理结果进行卷积运算，通过第二激活函数层对第二卷积层的卷积运算结果进行非线性变换；

S4：重复S3获取多幅左右眼视图的预测结果；

将经过预处理的多幅图像输入网络模型中，计算获取多幅左右眼视图；

获取的多幅左右眼视图进行后处理，恢复原图像大小及像素值值域；

将经后处理的多幅左眼视图按照顺序拼接得到左眼全景视图，多幅右眼视图按照顺序拼接得到右眼全景视图，将左眼全景视图和右眼全景视图上下拼接，即得到所需全景图像。

2.根据权利要求1所述的一种3D-360度全景图像生成方法，其特征在于，第一激活函数层、第二激活函数层中采用的激活函数为线性整流函数；池化层采用最大池化方式。

3.根据权利要求1所述的一种3D-360度全景图像生成方法，其特征在于，所述图像或图像样本集的预处理方法包括：

将图像缩放至标准尺寸；

将缩放后的图像像素数值归一化，使得所有像素数值位于0-1之间；

将归一化图像中每个像素数值进行0均值化。

4.根据权利要求1所述的一种3D-360度全景图像生成方法，其特征在于，所述图像后处理方法包括：

将图像像素数值乘以系数，使其恢复至原图像像素值值域；

将数值值域恢复的图像放大至标准尺寸。

5.根据权利要求1所述的一种3D-360度全景图像生成方法，其特征在于，通过虚拟相机获取图像样本集及与其对应的3D左右眼视图的方法包括：

使用VR图形引擎模拟多个虚拟相机环绕摆放，形成环形虚拟相机组；

设置第一组虚拟相机，使其完全水平等比例排布，虚拟成像场景中包含有景深的物体和纹理，每个虚拟相机单独成像，获取一组图像集；

在上述环形虚拟相机组圆内部放置第二组两个虚拟相机，第二组虚拟相机只记录相机光心正前方垂直方向像素，系统模拟该第二组两个虚拟相机以环形虚拟相机圆心为中心转动，记录第二组两个虚拟相机的光心正前方扫描成像，每扫描经过外围的两个虚拟相机，即分别记录一幅左眼视图和一幅右眼视图，将第二组两个虚拟相机转动360度，则记录了任意两个相邻的外围虚拟相机对应的左右眼视图；

重复上述步骤，获取多组图像样本和与其对应的左右眼视图数据。

6.一种3D-360度全景图像生成装置，其特征在于，包括：

环绕多相机图像获取模块，用于获取环绕多相机拍摄的图像，每个相机获取一幅图像；

网络模型训练模块，用于训练网络模型；所述网络模型经对包括多组经过虚拟相机生成的图像样本集和与其对应的3D左右眼视图进行迭代训练获取；

所述网络模型训练模块基于卷积神经网络进行训练，包括依次连接的多个第一卷积层、第一激活函数层、池化层、多个反卷积层、第二卷积层和第二激活函数层；

所述第一卷积层对获取的图像进行卷积运算；

所述第一激活函数层对卷积运算结果进行非线性变换；

所述池化层对非线性变换结果进行池化操作，获取多个尺度不断下降的特征图；

所述反卷积层对特征图结果采样，然后将相同尺度的特征图和特征图采样获取的新的特征图并联；

所述第二卷积层对反卷积层处理结果进行卷积运算；

所述第二激活函数层对第二卷积层的卷积运算结果进行非线性变换，获取多幅左右眼视图的预测结果；

图像预处理模块，连接环绕多相机图像获取模块，用于将获取的图像预处理为符合网络模型输入要求的图像；

视图预测模块，连接网络模型训练模块和图像预处理模块，用于将经过预处理的多幅图像输入网络模型训练模块生成的网络模型中，获取多幅左右眼视图；

视图后处理模块，连接视图预测模块，用于将获取的多幅左右眼视图恢复至原图像大小及像素值值域；

全景图像拼接模块，连接视图后处理模块，用于将经后处理的所有左眼视图拼接得到左眼全景视图，将将经后处理的所有右眼视图拼接得到右眼全景视图，将左眼全景视图和右眼全景视图上下拼接，即得到所需全景图像。