[发明专利]图像处理装置、图像处理方法、程序以及远程通讯系统

说明书

本公开涉及能够以更少的计算量提供良好的用户体验的图像处理装置、图像处理方法、程序以及远程通讯系统。从由拍摄装置从显示装置的正面以外的方向拍摄朝向显示装置的正面的用户而得到的图像，检测拍到用户的面部的面部区域、以及拍到用户的躯干的躯干区域。然后，基于面部区域来生成像从正面拍摄用户的面部而得到的正面面部图像，并基于躯干区域校正为像从正面拍摄用户的躯干而得到的正面躯干图像，从而将正面面部图像以及正面躯干图像结合。本技术例如能够应用于远程通讯系统。

技术领域

本公开涉及图像处理装置、图像处理方法、程序以及远程通讯系统，特别是涉及能够以更少的计算量提供良好的用户体验的图像处理装置、图像处理方法、程序以及远程通讯系统。

背景技术

以往，正在推进住在遥远的地方的用户彼此能够好像相互面对那样实现远程的远程通讯系统的开发。在这样的远程通讯系统中，通过对每个用户朝向正面那样的图像进行显示，例如能够使得用户彼此的视线一致、用户相互从正面观察那样的姿势等。由此，能够向进行远程通讯的用户提供良好的用户体验。

例如，在专利文献1中公开了一种即使在对话者没有正对显示面的情况下下，也能够通过透视校正显示看上去像对话者彼此的视线一致那样的图像的远程系统。另外，在专利文献2中公开了一种生成三维模型数据，并在三维模型的表面粘贴纹理，从而能够显示看上去像朝向正面那样的图像的远程系统。

专利文献1:日本特开2011－97447号公报

专利文献2:日本特开2014－86773号公报

然而，在上述的专利文献1所公开的技术中，没有与全身像对应，并且在应用于大画面的情况下，难以使相互的用户的视线一致。另外，在上述的专利文献2所公开的技术中，由于除了计算量膨大之外，还需要高精度的深度信息，所以需要更高性能的装置。

发明内容

本公开是鉴于这样的状况而完成的，能够以更少的计算量提供良好的用户体验。

本公开的一个方面的图像处理装置具备：检测部，从由拍摄装置从显示装置的正面以外的方向拍摄面对显示图像的显示装置的正面的用户而得到的图像，检测拍到上述用户的面部的面部区域、以及拍到上述用户的躯干的躯干区域；正面面部生成部，基于上述面部区域来生成像从正面拍摄上述用户的面部那样的正面面部图像；躯干校正部，基于上述躯干区域，校正为像从正面拍摄上述用户的躯干那样的正面躯干图像；以及结合部，将上述正面面部图像以及上述正面躯干图像结合。

本公开的一个侧面的图像处理方法或者程序包括：从由拍摄装置从显示装置的正面以外的方向拍摄朝向显示图像的显示装置的正面的用户而得到的图像，检测拍到上述用户的面部的面部区域、以及拍到上述用户的躯干的躯干区域；基于上述面部区域来生成像从正面拍摄上述用户的面部那样的正面面部图像；基于上述躯干区域，校正为像从正面拍摄上述用户的躯干那样的正面躯干图像；以及将上述正面面部图像以及上述正面躯干图像结合。

本公开的一个方面的远程通讯系统具备：通信装置，与远程的对象至少进行图像的收发；显示装置，对从对象侧发送来的图像进行显示；拍摄装置，从上述显示装置的正面以外的方向拍摄朝向上述显示装置的正面的用户；检测部，从由上述拍摄装置拍摄上述用户而获得的图像，检测拍到上述用户的面部的面部区域、以及拍到上述用户的躯干的躯干区域；正面面部生成部，基于上述面部区域来生成像从正面拍摄上述用户的面部那样的正面面部图像；躯干校正部，基于上述躯干区域，校正为像从正面拍摄上述用户的躯干那样的正面躯干图像；以及结合部，将上述正面面部图像以及上述正面躯干图像结合。

在本公开的一个方面中，从由拍摄装置从显示装置的正面以外的方向拍摄朝向显示图像的显示装置的正面的用户而得到的图像，检测拍到用户的面部的面部区域、以及拍到用户的躯干的躯干区域，基于面部区域来生成像从正面拍摄用户的面部那样的正面面部图像，基于躯干区域，校正为像从正面拍摄用户的躯干那样的正面躯干图像，将正面面部图像以及正面躯干图像结合。