[发明专利]图像处理系统以及图像处理方法

说明书

技术领域

本发明涉及图像处理系统以及图像处理方法，更加详细地说，涉及进行基于利用单色图案的单镜头拍摄(One shot)三维测量的高密度的形状复原的图像处理系统以及图像处理方法。

背景技术

最近，动态的3维场景的复原受到瞩目。例如，通过对人体进行实时测量并解析该动作来实现不需要安装设备的界面的游戏用产品取得大的成功(例如，参照非专利文献1)。进一步地，将这样的产品用作自动移动的机器人的眼睛的研究也正在被推进，并强烈地认识到动物体测量的重要性。当前能够利用的动物体扫描仪无法像测量静态的场景的3维扫描仪那样实现高精度、高密度的测量。但是，一般认为，如果能够实现更进一步的精度以及密度的提高的话，则能够显著扩展医疗应用、流体解析等应用范围。

作为进行运动着的对象的形状测量的方法，从仅采用摄影机的立体方法直到基于Time-of-Flight(TOF，飞行时间)方式的激光扫描，存在许多方法。其中，对通过采用投影仪与摄影机的系统而被结构化了的光线进行投影的方法适用于得到运动着的物体的形状数据，所以最近人们热衷于其开发、研究(例如，参照非专利文献1-4)。

对被结构化了的光线进行投影的方法大致被分类为时间编码法与空间编码法。空间编码法是从单一图像进行形状复原(单镜头拍摄扫描)的方法，所以适于以高帧速率来测量动物体。因此，正被积极地研究。在空间编码法中，将能够从投影图案整体中唯一地确定的对应点信息，直接嵌入到2维图案。为此，需要在某种程度上大的区域，所以复原密度容易变低。另外，也容易产生由基于表面形状变化的图案的失真等所导致的译码错误等。

作为高效地将对应点信息嵌入到2维图案的方法，考虑使用颜色信息的方法。使用多种颜色来将多个比特信息嵌入到各点的方法被广泛地利用(例如，参照非专利文献3、5-8)。但是，在利用颜色信息的情况下，目标物体的表面需要充分地反射RGB的各颜色要素。另外，在市面上出售的投影仪中，各颜色要素之间的光谱分布相互干扰，所以在各像素的颜色的确定中容易产生误差。因此，作为不利用颜色的空间编码方法，提出了利用虚线图案、网格图案等的方法。然而，到目前为止，无法完全解决模糊性、密度降低的问题。

作为主动测量方法，一般已知基于TOF扫描仪、主动立体的系统。关于动物体的主动测量方法，也研究了各种方法。在多数TOF激光扫描仪中，向想要测量的对象照射点激光，测量直到该激光返回到检测器为止的时间。因此，一次仅测量一点，不适于在短时间内测量宽的范围。因此，为了测量动物体等，存在以下装置，该装置通过对宽范围照射而被时间调制了的光，针对二维传感器的各像素而观测该调制，从而实现距离图像的测量(例如，参照非专利文献9、10)。但是，在现实中，容易受到基于其他光源的干扰的影响，分辨率也比通常的摄影机低。

另一方面，在基于主动立体的测量方法中，在多数情况下，通过照射点激光或线激光并进行扫描来测量对象。因此，测量耗费时间，所以不适合于动物体的测量。通过利用视频投影仪等面状光源，能够缩短测量时间，但需要解决对应点问题。作为其解决方法，主要有时间编码方式与空间编码方式(例如，参照非专利文献5)。

在时间编码方式中，对多个图案进行投影，在图案的各点的时间变化中对信息进行编码。因此，可以说不适于动物体测量。为了弥补该缺点，提出了几种方法。例如，高速地切换图案的方法(例如，参照非专利文献11)、使用相位图案来减少必要的张数的方法(例如，参照非专利文献12)、或者使用DMD图案的方法(例如，参照非专利文献13)等。

另外，作为与通常的主动立体稍微不同的手段，也提出了使用2台以上的摄影机来对时间变化的图案进行照射的时空立体法(例如，参照非专利文献14)等。当前，也介绍了组合动作推测而在基于100fps左右的测量中成功了的例子。然而，由于需要多个帧的信息，所以本质上不适于高速的物体的测量。

另一方面，空间编码方式使用静态图案，从仅一张的输入图像复原形状，所以适于动物体测量。但是，由于需要将信息嵌入到图案的空间上的区域，所以分辨率低。反而，由于对象物体表面的纹理、形状而图案失真，所以容易变得不稳定。因此，提出了许多减轻该不利情况的方法。例如，有以下方法：为了使得不存在相同组合而采用多种颜色带的方法(例如，参照非专利文献15、16)、利用特异的虚线的方法(例如，参照非专利文献17、18)、将信息嵌入到二维的图案的方法(例如，参照非专利文献1、19)等。然而，还不存在在精度、分辨率以及稳定性这些所有方面都满足足够的性能的方法。

现有技术文献

非专利文献