[发明专利]一种基于计算机视觉手势的液压挖掘机控制方法及系统

说明书

本发明提供一种基于计算机视觉手势的液压挖掘机控制方法及系统，涉及液压挖掘机智能控制技术领域，该方法包括以下步骤：S1：建立计算平台；S2：数据采集单元实时获取驾驶员手势动作，发送至数据处理单元；S3：数据处理单元对手势动作进行识别，输入至数据分析单元；S4：数据分析单元判断检测结果与手势数据库中设定手势相识度是否高于预定阈值，若是则生成动作指令，将指令传输给执行器进行挖掘机控制；S5：挖掘机动作执行完毕。本发明一种基于计算机视觉手势的液压挖掘机控制方法控制方式可靠新颖，提高使用便捷性，降低使用难度及门槛，使普通人员也能迅速上手、简单操作挖掘机，实现自定义，具有较高的控制精度和工作效率，更加智能。

技术领域

本发明涉及液压挖掘机智能控制技术领域，

尤其是，本发明涉及一种基于计算机视觉手势的液压挖掘机控制方法及系统。

背景技术

近些年，随着中国在道路交通、能源水利、城市建设等方面投入的加大，液压挖掘机在中国应用越来越普遍。绝大部分液压挖掘机都是通过驾驶室内驾驶人员操作完成。少数无线遥控挖掘机可以实现远程驾驶，人机分离。

手势识别是目前热门的人机交互方式，在控制领域也得到了较为广泛的应用，采用手势识别，可以大大简化用户的操作。更趋向于人的交流行为习惯和符合人体工程学。现有技术中已经有采用手势识别技术对电子游戏，家庭设备进行控制，在无人机领域也有远程控制的方法。

挖掘机控制通常由经过专业训练的操作者使用专业的遥控器或者在驾驶室来执行。操作者一般要经过大量的专业学习和训练才能操作控制挖掘机。例如，操作者使用遥控器，需要深入了解挖掘机的结构、油门延迟等专业知识，并实际驾驶操作训练，专业性很强。当前的挖掘机的控制比较专业、操作复杂、不直观，效率低。

所以，如何设计一种基于计算机视觉手势的液压挖掘机控制方法或者系统，成为我们当前亟需解决的问题。

发明内容

本发明的目的在于提供一种执行简单，控制方式可靠新颖，提高使用便捷性，降低使用难度及门槛，使普通人员也能迅速上手、简单操作挖掘机，并能针对不同手势习惯的用户做不同的识别，实现自定义，具有较高的控制精度和工作效率，降低误识别误操作，更加智能的基于视觉手势的液压挖掘机控制方法。

为达到上述目的，本发明采用如下技术方案得以实现的：

一种基于计算机视觉手势的液压挖掘机控制方法，包括以下步骤：

S1：建立计算平台，将数据采集单元和执行器分别与计算平台进行连接；

S2：数据采集单元实时获取驾驶员手势动作指令信息，发送至计算平台上的数据处理单元；

S3：数据处理单元对手势动作指令信息进行识别检测，将检测结果输入至计算平台上的数据分析单元；

S4：数据分析单元判断检测结果与手势数据库中设定手势相识度是否高于预定阈值，若是则生成动作指令，将指令传输给执行器进行挖掘机动作控制，否则执行步骤S3；

S5：挖掘机动作执行完毕，重复执行步骤S2。

作为本发明的优选，执行步骤S1时，数据采集单元为标清摄像机或者红外补光器搭配单目摄像头，且数据采集单元安装在指挥人员前上方。

作为本发明的优选，执行步骤S2时，数据处理单元为预先训练好的多任务级联卷积神经网络。

作为本发明的优选，执行步骤S3时，数据处理单元对手势动作指令信息进行识别检测之前，采用中值滤波单元对图像进行预处理。

作为本发明的优选，执行步骤S4之前，建立手势数据库，用以存储根据用户的手势习惯为其设定特定的手势；且根据用户的手势习惯为其设定特定的手势比对数据生成预定阈值数值。