[发明专利]用于实现预定照相模式的移动终端及其成像方法

权利要求书

1.一种用于实现预定照相模式的移动终端，其特征在于，包括：

源图像单元，用于通过移动终端获得人像模式下的人像图像和超广角远摄模式下的超广角图像；

卷积单元，用于使用卷积神经网络分别从所述人像图像和所述超广角图像中获得人像特征图和超广角特征图；

背景截取单元，用于从所述人像特征图中截取其背景部分以获得第一背景特征图以及从所述超广角特征图中截取其背景部分以获得第二背景特征图；

差分单元，用于计算所述第一背景特征图和所述第二背景特征图之间的差分以获得差分特征图；

矩阵分解单元，用于对所述差分特征图进行行本征值分解，以获得经过排序后的对角本征值矩阵和包含相应本征向量作为列的本征向量矩阵；

坐标变化矩阵生成单元，用于基于所述对角本征值矩阵和所述本征向量矩阵，获得本征关联坐标矩阵；

尺度变化单元，用于将所述第一背景特征图和所述第二背景特征图通过线性变换转换为与所述本征关联坐标矩阵具有相同的尺寸，以获得第一变换背景特征图和第二变换背景特征图；

背景变换融合单元，用于基于所述本征关联坐标矩阵对所述第一变换背景特征图进行坐标变换再与所述第二变换背景特征图进行融合，以获得融合背景特征图；

背景人像融合单元，用于从所述人像特征图中截取其人像部分以获得人像特征图并与所述融合背景特征图进行融合，以获得最终特征图；以及

合成图像生成单元，用于将所述最终特征图输入生成器神经网络，以获得融合所述人像图像和所述超广角图像的融合图像。

2.根据权利要求1所述的用于实现预定照相模式的移动终端，其中，所述背景截取单元，进一步用于：确定背景部分在所述人像图像中的位置；基于所述背景部分在所述人像图像中的位置，从所述人像特征图中截取出所述第一背景特征图；确定背景部分在所述超广角图像中的位置；以及，基于所述背景部分在所述超广角图像中的位置，从所述超广角特征图中截取出所述第二背景特征图。

3.根据权利要求1所述的用于实现预定照相模式的移动终端，其中，所述矩阵分解单元，进一步用于以如下公式对所述差分特征图的各个特征矩阵进行行本征值分解，以获得经过排序后的对角本征值矩阵和包含相应本征向量作为列的本征向量矩阵；

其中，所述公式为：R＝M₁Λ₁M₁^T，其中Λ₁＝diag(λ₁,λ₂,…,λ_N),λ₁≥λ₂≥…≥λ_N，是经过排序后的对角本征值矩阵，且M₁＝[m₁,m₂,…,m_N]是包含相应本征向量作为列的本征向量矩阵。

4.根据权利要求1所述的用于实现预定照相模式的移动终端，其中，所述坐标变化矩阵生成单元，进一步用于以如下公式基于所述对角本征值矩阵和所述本征向量矩阵，获得本征关联坐标矩阵；

其中，所述公式为：

其中是最大的两个本征值的对角矩阵的按位置平方根矩阵，且M₂＝[m₁,m₂]包含M₁的前两列。

5.根据权利要求1所述的用于实现预定照相模式的移动终端，其中，所述背景变换融合单元，进一步用于将所述本征关联坐标矩阵与所述第一变换背景特征图进行矩阵相乘再与所述第二变换背景特征图进行按位置相加，以获得所述融合背景特征图。

6.根据权利要求1所述的用于实现预定照相模式的移动终端，其中，所述卷积神经网络为深度残差网络。

7.根据权利要求1所述的用于实现预定照相模式的移动终端，其中，所述生成器神经网络为反卷积神经网络。