[发明专利]AR处理装置和AR处理方法

说明书

相关申请的引用

本申请要求基于2010年9月22日申请的日本专利申请特愿2010-212633的优先权，并且将该申请的内容全文包括在此，作为参考。

技术领域

本申请涉及一种对摄像图像施加AR(增强现实)处理的AR技术。

背景技术

AR技术是一种通过将与被摄体相关的信息或CG(计算机图形)图像等重叠到由摄像机拍摄的现实空间的图像(摄像图像)上而呈现给用户的技术。近年来，其研究、开发正在盛行。

在该AR技术中，为了给用户提供了一种在摄像图像上所重叠的图像等(虚拟物体)仿佛实际存在于现实空间中那样的感觉，需要根据用户的视点(也就是，摄像机的位置姿势)的变化，正确地调整进行重叠的虚拟物体的位置。

例如，在非专利文献1中，提出了一种通过将被摄体上贴附给定的标记(marker)，并对其进行追踪，来估计摄像机的位置姿势的技术。

非专利文献1：加藤博一以及另外三人、“マ一カ一追跡に基づく拡張現実感システムとそのキヤリブレ一シヨン”、日本虚拟现实学会论文杂志、Vol.4、No.4、pp.607-616、1999

发明内容

本发明提供了一种AR处理装置和AR处理方法，能够在AR处理中使各种各样的有形物成为被摄体，并且无需使用标记而能够高精度地估计摄像机的位置姿势。

本发明的第一观点所涉及的AR处理装置具备：

图像取得单元，其取得对于被摄体存在视差的两个以上的图像的组；

生成单元，其基于由所述图像取得单元取得的图像的组，生成所述被摄体的3D模型；

提取单元，其将由所述生成单元最初生成的所述被摄体的3D模型选择为被合成3D模型，从所述被合成3D模型中提取多个第一特征点，并且将由所述生成单元在第二次以后生成的所述被摄体的3D模型选择为合成3D模型，并且从所述合成3D模型中提取多个第二特征点；

取得单元，其基于由所述提取单元提取出的所述被合成3D模型的多个第一特征点、以及所述合成3D模型的多个第二特征点，取得用于将所述合成3D模型的坐标变换为所述被合成3D模型的坐标系的坐标的坐标变换参数；

变换单元，其使用由所述取得单元取得的所述坐标变换参数，将所述合成3D模型的坐标变换为所述被合成3D模型的坐标系的坐标；

合成单元，其通过将全部的所变换后的合成3D模型合成到所述被合成3D模型上来生成所述被摄体的3D模型，并且执行特征点的合并；以及

保存单元，其将通过所述合成单元的合成所生成的所述被摄体的3D模型、以及表示所合并后的特征点的信息保存在存储装置中。

本发明的第二观点所涉及的AR处理装置具备：

登记数据取得单元，其取得由预先登记的被摄体的第一3D模型、以及表示所述第一3D模型的多个特征点的信息构成的3D对象数据；

图像取得单元，其取得对于所述被摄体存在视差的两个以上的图像的组；

生成单元，其基于由所述图像取得单元取得的图像的组，生成所述被摄体的第二3D模型；

提取单元，其从由所述生成单元生成的所述第二3D模型中提取多个特征点；

取得单元，其基于由所述提取单元提取出的所述第二3D模型的多个特征点、以及由所述登记数据取得单元取得的所述3D对象数据所涉及的多个特征点，取得用于将所述第一3D模型的坐标变换为所述第二3D模型的坐标系的坐标的坐标变换参数；

AR数据生成单元，其基于由所述取得单元取得的所述坐标变换参数、以及所述第二3D模型，来生成AR数据；

AR图像显示单元，其显示基于由所述AR数据生成单元生成的所述AR数据的图像。

本发明的第三观点所涉及的AR处理方法具有：

图像取得步骤，取得对于被摄体存在视差的两个以上的图像的组；

生成步骤，基于所取得的图像的组，生成所述被摄体的3D模型；

提取步骤，将最初生成的所述被摄体的3D模型选择为被合成3D模型，从所述被合成3D模型中提取多个第一特征点，并且将在第二次以后生成的所述被摄体的3D模型选择为合成3D模型，并且从所述合成3D模型中提取多个第二特征点；

取得步骤，基于所述被合成3D模型的多个所提取的第一特征点、以及所述合成3D模型的多个所提取的第二特征点，取得用于将所述合成3D模型的坐标变换为所述被合成3D模型的坐标系的坐标的坐标变换参数；