[发明专利]图像处理方法及装置

权利要求书

1.一种图像处理方法，其特征在于，包括：

获取当前视频用户的多帧场景图像；

获取所述当前视频用户的多帧深度图像；

逐帧处理所述场景图像和所述深度图像以提取所述当前视频用户在所述场景图像中的人物区域而获得各帧人物区域图像；

根据各帧所述人物区域图像获取所述当前视频用户的动作姿态；

根据所述当前视频用户的动作姿态，控制虚拟背景中的物体执行与所述动作姿态关联的动作行为；

将各帧所述人物区域图像与控制物体执行所述动作行为后得到的虚拟背景对应帧进行融合。

2.如权利要求1所述的方法，其特征在于，所述根据各帧所述人物区域图像获取所述当前视频用户的动作姿态，包括：

逐帧对所述人物区域图像进行身体部位识别，以及对所述身体部位识别的各个像素进行部位标注，得到各帧人体部位标注图像；

逐一比对各帧所述人体部位标注图像中的同一身体部位，确定所述当前视频用户的各个所述身体部位对应的当前动作姿态。

3.如权利要求1所述的方法，其特征在于，所述根据所述当前视频用户的动作姿态，控制虚拟背景中的物体执行与所述动作姿态关联的动作行为，包括：

根据所述动作姿态获取当前视频用户的意图；

控制虚拟背景中的物体执行与所述动作姿态关联的动作行为。

4.如权利要求1所述的方法，其特征在于，所述根据所述当前视频用户的动作姿态，控制虚拟背景中的物体执行与所述动作姿态关联的动作行为，包括：

从所述当前视频用户的动作姿态中获取所述当前视频用户的面部表情；

控制虚拟背景中的物体执行与所述面部表情关联的动作行为。

5.如权利要求1所述的方法，其特征在于，还包括：

获取所述当前视频用户的语音；

控制虚拟背景中的物体执行与所述语音关联的动作行为。

6.如权利要求1所述的方法，其特征在于，所述获取所述当前视频用户的多帧深度图像，包括：

多次向所述视频用户投射结构光；

多次拍摄经所述当前视频用户调制的多帧结构光图像；

逐帧解调所述结构光图像的各个像素对应的相位信息以得到各帧结构光图像对应的所述深度图像。

7.如权利要求6所述的方法，其特征在于，所述逐帧解调所述结构光图像的各个像素对应的相位信息以得到各帧结构光图像对应的所述深度图像，包括：

逐帧解调所述结构光图像中各个像素对应的相位信息；

将所述相位信息转化为深度信息；

根据所述深度信息生成各帧结构光图像对应的所述深度图像。

8.如权利要求1所述的方法，其特征在于，所述逐帧处理所述场景图像和所述深度图像以提取所述当前视频用户在所述场景图像中的人物区域而获得各帧人物区域图像，包括：

逐帧识别所述场景图像中的人脸区域；

从所述深度图像中获取与所述人脸区域对应的深度信息；

根据所述人脸区域的深度信息确定所述人物区域的深度范围；和

根据所述人物区域的深度范围确定与所述人脸区域连接且落入所述深度范围内的人物区域以获得各帧所述人物区域图像。

9.一种图像处理装置，其特征在于，包括：

第一获取模块，用于获取当前视频用户的多帧场景图像；

第二获取模块，用于获取所述当前视频用户的多帧深度图像；

处理模块，用于逐帧处理所述场景图像和所述深度图像以提取所述当前视频用户在所述场景图像中的人物区域而获得各帧人物区域图像；

动作姿态获取模块，用于根据各帧所述人物区域图像获取所述当前视频用户的动作姿态；

动作控制模块，用于根据所述当前视频用户的动作姿态，控制虚拟背景中的物体执行与所述动作姿态关联的动作行为；

融合模块，用于将各帧所述人物区域图像与控制物体执行所述动作行为后得到的虚拟背景对应帧进行融合。

10.一种电子装置，其特征在于，所述电子装置包括：

一个或多个处理器；

存储器；和

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行权利要求1至8任意一项所述的图像处理方法的指令。

11.一种计算机可读存储介质，其特征在于，包括与能够摄像的电子装置结合使用的计算机程序，所述计算机程序可被处理器执行以完成权利要求1至8任意一项所述的图像处理方法。