[发明专利]一种实现无标记增强现实钢琴教学系统的方法

说明书

一、技术领域：

本发明涉及增强现实技术，尤其涉及一种实现无标记增强现实钢琴教学的方法及系统。

二、背景技术：

增强现实可以让用户看到真实的世界，同时把虚拟的物体跟现实环境合成。一个增强现实系统的流程一般是，系统首先定位一个物体的三维信息并且基于其建立空间三维立体坐标系，然后把虚拟三维物体增加到坐标系中，虚拟的物体和真实世界一起被显示出来。在增强现实的应用中，有标记的汁算机视觉定位方式因为简单和较好的鲁棒性备受欢迎，通常预定义大小和形状物体被用来作为增强现实的标记。基于有标记的增强现实技术已经非常成熟，他们实现起来速度快，准确性高，但是因为使用的时候必须要有预定义形状和大小的标记，因而缺少自然性，在真实应用中并不普遍。

文献《H.Kato and M.Bilinghurst Marker tracking and hmd cahbratlon for a video-based augmented reahtyconferencmg system.In iwar，page 85.Pubhshed by the IEEE Computer Society，1999》中提出了一种基于标记的增强现实方法，并由此设计了开源软件包(ARTbolkit)。在ARToolkit中，一个正方形黑色框被作为标记识别，首先在三维图像中找出正方形框的边和顶点，利用这些几何特性实现三维定位，然后把虚拟三维物体增加到正方形框中。

文献《M.Fiala.Artag，an improved marker system based on artoolklt.2010》中提供了一种更加快速准确的基于标记定位的方法(ARTag)，用数字编码后的图形作为标记代替正方形黑色条框，使得识别标记更加快速准确，并且这种标记尺寸小不需要预存。

文献《I.Barakonyl and D.Schmalstleg Augmented reahly agents in the dcwelopment pipehne of computerentertainment.In Entertainment computing-ICEC 2005：4th mternational confer-ence，Sanda，Japan，September 19-21，2005：proceedings，page 345.Springer-Verlag New York Inc，2005》提供了一种基于ARTag的钢琴教学方法，在钢琴上贴上ARTag中的标记，然后在钢琴上建立坐标系并且计算每个键的位置，这样键盘上就可以画出虚拟的提示来指导钢琴初学者应该弹奏哪个键。钢琴通过MIDI按口跟计算机相连，这样钢琴初学者弹奏发出的声音能被传入计算机，计算机可以判断用户的弹奏是否正确。

上面的文献都是使用基于标记识别的增强现实技术，相比而言，自然特征追踪(NFT)技术要更受欢迎，这种技术不需要额外的标记，能够使的增强现实场景更加真实，让用户觉得更加自然。文献《T Lee and THollerer.Handy AR：Markerless inspection of augmented reahty obects using fingertip trackmg In WearableComputers，2007 11th IEEE International Symposium on，pages 83-90.IEEE，2007》给出了一种实现自然特征识别的方法，首先用方格纸对手做一次校正，这样手就可以取代传统增强现实中标记的作用。识别手的方法是利用肤色对图形区域做划分，选择区域最大的部分作为手的区域，然后用椭圆逼近的方法识别出各个手指。计算出基于手指的三维坐标系后就可以把虚拟物体画在手上了。这篇文献中利用一次校正实现了自然特征追踪，缺点是手是形变的，如果手指的形状变化的话，则需要重新校正。

三、发明内容：

首先通过摄像头实时采集图像，从图像中识别和定位钢琴键盘的四边形信息(顶点坐标和边方程)，计算其几何特征参数，利用这些参数计算并建立基于钢琴键盘的三维坐标系，把虚拟3D物体模型显示在基于钢琴键盘的三维坐标系中，如图2所示。