[发明专利]一种实现无标记增强现实钢琴教学系统的方法

权利要求书

1.一种实现无标记增强现实钢琴教学系统的方法，其特征包含以下几个步骤：

A：系统直接追踪识别真实的钢琴键盘，并且计算钢琴的几何特征信息，包括顶点坐标和边的直线方程；

B：利用这些几何特征信息计算从钢琴坐标系坐标到摄像机坐标系坐标的转换矩阵，建立基于钢琴键盘的三维坐标系；

C：从3D模型软件中导入三维手指模型，虚拟手指根据谱子弹奏真实的键盘，并且用计算机模拟弹奏出的音乐；

2.根据权利要求1所述的系统直接追踪识别真实的钢琴键盘并且计算钢琴的几何特征信息的方法，其特征在于，所述步骤A进一步包括步骤：

A1：图像预处理，用阈值对原始图像二值化，然后对图像做闭运算，去除图像中因为钢琴键盘的键空隙造成的比较细的黑色线条；

A2：提取图像中所有轮廓并分析，首先提义图像的轮廓，然后求出所有轮廓的凸包，用Douglas-Peuker(DP)多边形逼近算法逼近所有凸包，只有包逼近四边形的轮廓被保留做进一步的处理；

A3：键盘识别，对A2保留下来的轮廓做进一步处理，找出凸包的凸缺陷所依赖的边作为轮廓的顶边，靠近顶边找一条平行于顶边的直线，沿着直线在A1预处理后的二值化图像中取像素值构成一个数组，统计数组中连续黑色条带数，黑色条带数目应该跟键盘的黑色键数目相同，否则轮廓不是键盘轮廓；根据权利要求1所述的实现利用这些几何特征信息计算从钢琴坐标系坐标到摄像机坐标系坐标的转换矩阵，建立基于钢琴键盘的三维坐标系的方法，其特征在于，所述步骤B进一步包括步骤：

B1：根据A3中识别出的钢琴键盘的四条边和四个顶点，需要求出从键盘坐标系到摄像头坐标系的转换矩阵，转换矩阵包括旋转部分和平移部分，首先根据钢琴的两对平行边在图像中的方程计算转换矩阵中的旋转矩阵；

B2：利用钢琴键盘的四个顶点在键盘坐标系下的坐标和在图像中的坐标，使用最小二乘法计算转换矩阵的平移部分；

B3：根据转换矩阵建立基于钢琴键盘的三维坐标系。