[发明专利]一种基于双目相机手势交互的黑板控制方法及控制系统

说明书

本发明提出一种基于双目相机手势交互的黑板控制方法及控制系统，在墙面安装由电机驱动的黑板滑道，在黑板的最上边高于滑道最顶端处安装双目RGB图像捕获模块，所述双目RGB图像捕获模块为双目相机，所述控制系统包括双目RGB图像捕获模块、图像分析模块和电机驱动模块；本发明所述手势控制黑板可实现高效率的黑板移动，可实现边写边移动。尤其是巨大黑板，移动时无需人力，只需手势操作电机即可。双目RGB视觉要比红外深度视觉的在成本上有很大的优势。

技术领域

本发明属于手势控制技术领域，特别是涉及一种基于双目相机手势交互的黑板控制方法及控制系统。

背景技术

当代教育用具中，黑板从来都是不可替代的教育工具之一。从单纯的黑板挂在墙上，到为了能够在不同的高度使用舒服姿势书写的，利用滑道的推拉式黑板。同时也利用滑道也出现了应用于大学教室的推拉式复合黑板。但多年过去，此类黑板所存在的问题也一一显示出来。比如滑道因黑板本身的重量导致需要很大力气才能移动。虽然在此之后也出现了通过遥控器和电机控制的黑板，但因其操作需要停止一切书写操作，进行黑板的位移。而且控制器由于需要与电机相连有时距离书写的区域较远，使用非常不方便。

解决方法中有通过语音识别或图像识别来控制黑板的操作，而黑板因为使用时的情况特殊性(一般是老师使用，讲课时需要不停说话)，很难使用语音识别通过判断特定语音指令来进行控制。

发明内容

本发明目的是为了解决现有的技术问题，提出了一种基于双目相机手势交互的黑板控制方法及控制系统。本发明使用的双目相机对操作人员的手势进行识别以及空间定位。通过定位特定手势及其位移判断出指令控制电机进行位移。使用者可以一只手写字，另一只手通过手势控制黑板的位置，达到在不影响讲课节奏的同时在黑板前任意地方对黑板进行位移。

本发明是通过以下技术方案实现的，本发明提出一种基于双目相机手势交互的黑板控制方法，在墙面安装由电机驱动的黑板滑道，在黑板的最上边高于滑道最顶端处安装双目RGB图像捕获模块，所述双目RGB图像捕获模块为双目相机，所述方法包括以下步骤：

步骤1：调用双目RGB图像捕获模块捕获使用者的双目RGB图像数据，将每一帧双目RGB图像数据传输给图像分析模块；

步骤2：调用图像分析模块处理双目RGB图像数据，分析识别图像中手势类型，所述手势类型有两种：开始控制手势和结束控制手势；若识别出的手势为开始控制手势，记录其空间坐标，其他手势则循环本步骤；

步骤3：重复步骤2，若手势持续为开始控制手势，则提取出从开始控制手势的第一帧到当前帧的位移变化，分析出位移变化所代表的命令，并将命令转化为电信号给电机驱动模块；

步骤4：重复步骤3，直到识别出结束控制手势，代表一次控制流程的结束，返回步骤2。

进一步地，所述图像分析模块具体操作步骤为：

步骤1.1：接收双目RGB图像捕获模块传输过来的两张双目RGB图像数据；

步骤1.2：对两张双目RGB图像分别使用神经网络进行人手检测，并对人手部矩形框选坐标以及关键点坐标进行定位；

步骤1.3：使用神经网络对图像进行手势类型识别；

步骤1.4：若识别出为开始控制手势，将关键点坐标记录，重复步骤1.3，若持续为开始控制手势，并且关键点产生空间坐标位移，则将空间坐标位移转化为控制命令，控制电机驱动模块运动；

步骤1.5：若识别出为结束控制手势，则发送停止命令到电机驱动模块。

进一步地，所述人手检测具体步骤为：

步骤2.1：使用基于卷积神经网络的图像探测模型进行图像分析，发现并提取手部信息；