[发明专利]一种实体投影虚实配准装置及方法

说明书

技术领域

本发明具体涉及一种实体投影虚实配准装置及方法。

背景技术

实体投影是指在不规则表面上均匀、实时投影，如用投影机将汽车的贴图照射到汽车模型，使汽车具有华丽的外表，且可以使其颜色、光泽、装饰随时发生变化；用投影机将立体广告照射在没有内容的广告模型上，可以使广告的内容随时变化。因此具有强大的视觉震撼力，且可以节约展示成本。

实体投影与展示现场人的动作结合在一起，将展示现场的真实场景与计算机构建的虚拟场景有机融合在一起，通过真实场景中人的动作识别，使虚拟场景发生变化，展现各种虚实结合的场面。主要用于各种新产品发布会、各种展览会，全方位展示现有的或将来会有的产品的外形、内部结构、动态运行状况。

实现实体投影，关键技术是如何将投影机投出的影像与现场的实体模型完全吻合，也就是解决实体投影虚实配准问题。虚实配准问题在学术界已经有较多的研究，属于增强现实技术领域中的一个核心问题。

在国外，2006年，Andel Miroslavl等人基于带摄像头的手机，开发了一个基于移动电话的交互式面对面的增强现实软件。用户可以手持手机，走在未装修的房间里，可以体验手机屏幕上展现的虚拟装修效果。该软件系统通过手机摄像头对房间关键点图像识别，渲染虚拟装修效果，让用户体验所见即所得。但目前该技术仅停留在研究室应用，并没有推向市场。

2007年，Reifinger等人提出了一种基于红外跟踪系统的自动区分静态和动态手势识别方法。红外目标安装在用户的拇指和食指上，系统捕获到信息后，通过距离分类器提取静态手势，通过统计模型提取动态手势。采用此种手势识别方法完成任务要快于键盘、鼠标，但是手部舒适性稍差。

2008年，Xu等人基于预先拍摄的参考图像和当前帧的三视图约束计算摄像机运动参数，提出了一种适用于自然场景的实时追踪六自由度摄像机姿态的方法。

2009年，Abbate等人提出一种耐用的实时人体动作捕捉系统的架构。将智能惯性测量传感器单元分布于人体关键部位上，设定一个单片机收集来自传感器的数据，采用卡尔曼滤波方法实现定位。

同年，Zhang等人也采用类似Abbate的方法实现定位，不同的是，将收集到的来自传感器的数据通过USB接口传输给计算机；同年，Lu等人采用基于图形处理器(GPU)实时计算方法，利用从捕获的立体影像中获取信息来确定物体在真实场景中的深度，来设定虚拟物体与真实物体之间的相互位置；法国增强现实技术供应商Total Immersion已经研发出一款增强现实软件DFusion，用于高端影视后期、独立的图像处理的特效合成，但是该软件平台非常昂贵，每次作品打包费10万以上，制作费更高，价位不适合当前市场需求。

关于增强现实的研究，国内的研究起步要晚于国外。2006年，北京理工大学王涌天教授等人采用带位置追踪器的可穿戴式增强现实系统实现了圆明园增强现实展示；随后，陈靖、王涌天等人提出了一种基于自然特征点的实时跟踪注册算法。在已知场景中的3D模型以及少量已标定关键帧图像的基础上，选择与当前图像最为匹配的关键帧，利用基于关键帧的图像匹配方法实时获取摄像机的运动参数估计。

2007年，吉林大学的邓树国等人进行了红外摄像复杂背景下人体识别方法研究。首先进行预处理，利用主动式红外摄像机采集红外图像；采用中值滤波，去除图像噪声；用边界对比度自适应直方图均衡化方法，对图像进行增强；开运算，去除与人体相粘连的图像毛刺；采用Prewitt边缘检测的方法，提取图像的轮廓；综合法确定图像的灰度阈值，对图像进行二值化处理。然后，采用链码跟踪方法进行人体模式识别。针对人体轮廓的特点，先搜索人头图像，再搜索人肩膀图像，最后搜索人的手臂和人腿的图像；2008年，浙江大学陈成钱等人以投影仪为显示设备，以红外摄像机为光学传感器，设计出基于投影仪、红外摄像机的多点触控系统，采用手、手指、其他物体等投影在桌面的信息进行交互。

首先，建立帧缓存和摄像机图像空间中投影区域的几何映射关系，将拍摄到的图像变换计算到帧缓存的几何空间下。然后，采用背景减除法分割变换后的图像，标记连通成分，分别提取各个连通成分的轮廓及方向包围盒，并实时跟踪。接着，根据肤色模型，从连通成分中提取掌心的几何位置，利用轮廓点和掌心的距离关系，根据数学知识和手指构造，在轮廓图中提取手指的长、宽、指尖的展角、手指间的夹角等特征信息。最后，采用神经网络识别手指。