[发明专利]基于多双目立体视觉的运动捕获方法

说明书

技术领域

本发明涉及电子信息技术领域，尤其是计算机视觉领域。

背景技术

运动捕获技术是一项目前在国际上广泛应用的高新技术。运动捕获技术是通过在表演者各关节部位安置传感器，当表演者做出动作时，捕获设备会检测并记录表演者各关节在三维空间的运动轨迹，并将其转化为数字化的“抽象运动”。这些运动数据可以用来驱动不同的角色模型，使得这些角色模型做出与表演者一模一样的动作，从而在计算机上实现了运动再现，并最终生成动画序列。

目前，运动捕获技术已经充分的运用到影视广告和游戏制作等相关行业中，它具有高速度、高质量、极具真实性等特点，不仅极大地提高动画制作的水平和效率，降低了成本，而且使动画制作过程更为直观，效果更为生动。因此，该技术拥有广阔的应用前景和巨大的商业价值。目前在发达国家，该项技术已从试用性研究阶段走向了实用化阶段，有很多厂商相继推出了多种商品化的运动捕获系统：如MotionAnalysis、Polhemus、Sega Interactive、MAC、X-Ist、FilmBox等，其应用领域也远远超出了表演动画，并成功地用于虚拟现实、游戏、人体工程学研究、模拟训练、生物力学研究等许多方面。

在运动视频采集方面，国外的光学运动捕获系统比较成熟，通常采用的方法是：多个红外摄像机环绕拍摄场地一周，形成多目视觉体系，人体标记点采用可以发出红外光的发光二极管或者反射近红外线的标志球，进行标记点的运动跟踪。其中，MotionAnalysis的Eagle-4数字动作捕捉及分析系统采用Eagle-4数字动作捕捉镜头，在2352×1728象素的模式下工作，频率可以达到每秒200帧，采用发光二极管作为标记点。这类运动视频采集装置简单的操作，能实现高分辨率的运动视频，为运动捕获的精准测量提供保障。但是，该类装置的价格昂贵，较为复杂。

与国外相比，国内的技术相对落后。目前，有依托国外的现有技术开发的应用系统，如DVMC-8820光学运动捕捉系统、DMC系统等是采用以发出红外光的发光二极管(DMC)或者反射近红外线的标志球(DVMC-8820)，作为人体标记点，进行人体运动跟踪。该类系统跟踪的标记点数量有限，例如DMC系统目前支持的采集点大约在18个左右，最多可支持32点的运动捕捉(DVMC-8820系统)。同时，国内机构也在研究具有自主知识产权的运动捕获系统：采用双目可见光摄像机，利用可以区别的色块作为人体标记点，进行人体运动捕获。国内的现有技术多沿用国外的同类技术，但是可以跟踪的标记点数目仍然有限。

在运动捕获跟踪方法方面，涉及的核心技术主要有摄像机定标^[5]、标记点的三维匹配跟踪和三维重建等。由于运动视频采集装置的不同，运动捕获系统的三维运动捕获跟踪方法的原理也是大相径庭。

基于标记点的多红外摄像机的三维运动捕获系统是当前的发展趋势，它通过多目视觉，实现对多个标记点的立体目标跟踪，通过多目数据融合实现三维运动数据的获取。多摄像机的使用，能较好地解决因出现重叠与身体自遮挡时单目或双目估计不准的问题。在利用多摄像机跟踪的捕获系统中，专利申请号为00803619.5的获取运动捕获数据的方法要求照摄像机装置包括至少3台彼此之间相隔规则距离的成等角设置的摄像机，这种摄像机的配置过于严格。专利号为WO2005JP10644的日本专利将多个摄像机分成两组，每组仍含有多个摄像机，两组分别在各自的局部空间独立跟踪标记点，这种分组法在一定程度上避免了同时处理多个摄像机的数据，但是每一小组的数据处理量仍然很大。

基于色块的三维运动捕获系统采用双目视觉，标记点要求有明显的特征，同时完成多个标记点的跟踪。如罗忠祥等人在2002年《中国图像图形学报》上发表的“基于视频的运动捕获”，要求被跟踪者穿上特制的紧身衣，其各关节点处为不同的色块，通过对色块的跟踪得到二维关节点位置序列。但是采用色块作为标记点，在三维视觉中易发生形变以及在不同的摄像头间存在成像色调的差异，这都将导致跟踪不准确，且当标记点数量增多时，可明显区分的颜色有限。这些问题导致这种方法无法进行实际应用。

发明内容

为了克服现有技术对装置要求较高、数据处理量大或跟踪不准确的不足，本发明提供一种基于多双目立体视觉的运动捕获方法，在双目视觉实现的双目三维立体跟踪基础上，融合多组双目的三维运动数据，实现多目视觉下的全方位三维立体跟踪，解决多个标记点的三维空间定位、跟踪、轨迹融合等参数获取问题。利用多组双目实现的三维运动跟踪，弥补了普通摄像机在标记点检测、跟踪不准确的缺点，提高了可跟踪标记点的个数，使得其跟踪效果可与采用多红外摄像机采集的三维运动捕获装置相媲美。