[发明专利]用于实现预定照相模式的移动终端及其成像方法

说明书

本申请涉及移动终端的成像领域，具体地公开了一种用于实现预定照相模式的移动终端及其成像方法，其基于深度神经网络的人工智能技术在高维特征空间将在不同拍照模式下所获得的图像进行图像融合并通过生成器神经网络反向还原回图像，以实现不同拍摄模式下的图像融合，丰富图像效果。

技术领域

本发明涉及移动终端的成像领域，且更为具体地，涉及一种用于实现预定照相模式的移动终端及其成像方法。

背景技术

目前，越来越多的移动终端配备有超广角相机，以用于实现远摄功能，获取大视野照片。这种大视野照片相比于一般的相机所拍摄出来的照片，会带来令人震撼的背景效果，因此受到用户的广泛称赞。

但是同时，用户可能期望结合不同模式下的拍摄效果，例如，期望结合人像模式下对于人像的细节捕捉和超广角远摄模式下的宏大背景。目前已有一些用于不同拍照模式下的图像融合的图像处理手段，但这些图像处理手段大多聚焦于源图像域空间，也就是，将不同拍摄模式下的图像进行直接地融合。但是，这种图像融合手段无法充分挖掘出图像中隐性信息，导致最终的图像融合效果难以满足用户的需求。

因此，需要一种优化的图像融合方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种用于实现预定照相模式的移动终端及其成像方法，其基于深度神经网络的人工智能技术在高维特征空间将在不同拍照模式下所获得的图像进行图像融合并通过生成器神经网络反向还原回图像，以实现不同拍摄模式下的图像融合，丰富图像效果。

根据本申请的一个方面，提供了一种用于实现预定照相模式的移动终端，其包括：

源图像单元，用于通过移动终端获得人像模式下的人像图像和超广角远摄模式下的超广角图像；

卷积单元，用于使用卷积神经网络分别从所述人像图像和所述超广角图像中获得人像特征图和超广角特征图；

背景截取单元，用于从所述人像特征图中截取其背景部分以获得第一背景特征图以及从所述超广角特征图中截取其背景部分以获得第二背景特征图；

差分单元，用于计算所述第一背景特征图和所述第二背景特征图之间的差分以获得差分特征图；

矩阵分解单元，用于对所述差分特征图进行行本征值分解，以获得经过排序后的对角本征值矩阵和包含相应本征向量作为列的本征向量矩阵；

坐标变化矩阵生成单元，用于基于所述对角本征值矩阵和所述本征向量矩阵，获得本征关联坐标矩阵；

尺度变化单元，用于将所述第一背景特征图和所述第二背景特征图通过线性变换转换为与所述本征关联坐标矩阵具有相同的尺寸，以获得第一变换背景特征图和第二变换背景特征图；

背景变换融合单元，用于基于所述本征关联坐标矩阵对所述第一变换背景特征图进行坐标变换再与所述第二变换背景特征图进行融合，以获得融合背景特征图；

背景人像融合单元，用于从所述人像特征图中截取其人像部分以获得人像特征图并与所述融合背景特征图进行融合，以获得最终特征图；以及

合成图像生成单元，用于将所述最终特征图输入生成器神经网络，以获得融合所述人像图像和所述超广角图像的融合图像。

在上述用于实现预定照相模式的移动终端中，所述背景截取单元，进一步用于：确定背景部分在所述人像图像中的位置；基于所述背景部分在所述人像图像中的位置，从所述人像特征图中截取出所述第一背景特征图；确定背景部分在所述超广角图像中的位置；以及，基于所述背景部分在所述超广角图像中的位置，从所述超广角特征图中截取出所述第二背景特征图。