[发明专利]一种摄像和大屏交互处理方法、装置及系统

说明书

本申请提供一种摄像和大屏交互处理方法、装置及系统，包括：获取实时的肢体识别图像以及大屏显示图像；将所述肢体识别图像映射到大屏显示图像并识别操作指令；识别大屏显示图像中与所述肢体识别图像的特征肢体部位对应的第一特征区域；实时获取操作人员的眼动识别图像；将所述眼动识别图像映射到大屏显示图像；识别大屏显示图像中与所述眼动识别图像的眼动识别部位对应的第二特征区域；若所述第一特征区域与所述第二特征区域位于大屏显示图像中同一操作区域，输出有效指令以及所述操作指令；所述操作区域为依据实时的大屏显示图像预先划分的区域。

技术领域

本申请涉及屏幕交互技术领域，尤其是涉及一种摄像和大屏交互处理方法、装置及系统。

背景技术

目前基于大屏幕显示器的操作演示已广泛应用于教育、企业、军事等领域的教室、会议室、指挥室，大屏幕展示系统得到飞速发展。

触控式投影设备等光学触控屏幕作为一种常用的大屏展示系统用具，其主要通过识别人体的肢体动作获取操作大屏显示画面的指令。但是相关设备的使用过程中，由于操作人员的肢体动作一部分为了操控大屏，但是也有一部分与大屏操控无关，使得通过识别人体肢体动作获得的指令有一部分是无效的，而系统却无法识别出这些无效的指令，导致操作人员在使用相关设备过程中经常性的发生误操作的状况。如系统识别手臂朝向大屏点击的动作为单击指令，但是当操作人员不需要单击操作却使用了手臂朝向大屏点击的动作时，系统仍会识别成接收到单击指令，并对大屏展示的内容进行操作，导致误操作的状况发生。

发明内容

为了能够降低输出到大屏的操作指令为无效操作指令状况发生的概率，提高大屏展示系统操作的便利性，本申请目的是提供一种摄像和大屏交互处理方法、装置及系统。

第一方面，本申请提供了一种摄像和大屏交互处理方法，包括：

获取实时的肢体识别图像以及大屏显示图像；

将所述肢体识别图像映射到大屏显示图像并识别操作指令；

识别大屏显示图像中与所述肢体识别图像的特征肢体部位对应的第一特征区域；

实时获取操作人员的眼动识别图像；

将所述眼动识别图像映射到大屏显示图像；

识别大屏显示图像中与所述眼动识别图像的眼动识别部位对应的第二特征区域；

若所述第一特征区域与所述第二特征区域位于大屏显示图像中同一操作区域，输出有效指令以及所述操作指令；

所述操作区域为依据实时的大屏显示图像预先划分的区域。

通过采用上述技术方案，第一特征区域与第二特征区域位于大屏显示图像中同一操作区域时，说明操作人员眼睛所关注的区域与肢体动作所对应的区域同属于大屏上的同一个操作区域，此时输出识别的操作指令，使得大屏按照操作指令进行工作。由于增加了判断人眼与肢体动作对应大屏显示图像上同一操作区域的条件，从而降低了输出到大屏的操作指令为无效操作指令的概率，进而降低了因为对操作人员肢体动作识别不准而造成的误操作状况发生的概率，提高了大屏展示系统操作的便利性。

在一较佳示例中，通过眼动仪获取所述操作人员的眼动识别图像。

在一较佳示例中，所述识别操作指令的方法为：

获取当前肢体识别图像以及与当前肢体识别图像顺序排列的多帧在先的肢体识别图像；

识别所述肢体识别图像中的特征肢体部位；

依据多帧在先的肢体识别图像以及当前肢体识别图像计算所述特征肢体部位的移动轨迹；

对比所述移动轨迹与预先存储的肢体行为数据库存储的对应每一种操作指令的肢体动作数据，当所述移动轨迹与所述肢体动作数据相同时，输出对应的所述操作指令。