[发明专利]基于视觉听觉增强反馈的重载液压臂辅助操控系统

说明书

本发明提供一种基于视觉听觉增强反馈的重载液压臂辅助操控系统，其计算端对通过输入设备输入的操作信息进行处理，将生成的液压臂控制信息传输给实现端，以使实现端对真实液压臂进行控制，在控制过程中将真实液压臂的位姿实时发送给计算端，计算端根据操作信息以及真实液压臂的实时位姿生成声音控制信号并实时发送给发声设备；计算端根据液压臂控制信息，对虚拟液压臂进行控制，将虚拟液压臂的最终位姿发送给虚拟现实显示屏显示；实现端在对真实液压臂进行控制时，将真实液压臂的位姿实时发送给虚拟现实显示屏显示，显示的虚拟液压臂与真实液压臂视角跟随。本发明使液压臂操作更直观，可提高液压臂操作效率、提升操作安全性并降低培训时间和费用。

技术领域

本发明属于人机交互领域，具体涉及一种基于视觉听觉增强反馈的重载液压臂辅助操控系统。

背景技术

人机交互技术是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。是一种以增强操作人员真实感和临场感为目的技术。

人机交互设计在机器人技术领域中占据着重要的作用，人机交互是指人与机器人之间使用某种对话语言，以一定的交互方式，为完成确定任务的人与机器人之间的信息交换过程。多自由度重载液压臂具有功率重量比高、环境适应性好等特点，一直是重型非道路移动机械(如挖掘机、起重机等)的主要作业机构，并在水下、辐射、高温等特种作业领域应用广泛。随着核料处理、灾难应急等场合的任务多样性和环境复杂性日益突出，重载液压臂协同作业等需求逐渐凸显。上述作业环境往往非结构特征明显，操作人员需要通过人机交互界面来操作重载液压臂。然而，重载液压臂自由度多，存在通讯传输延时、大惯量响应延时等多重因素，带来了操控作业效率低、环境碰撞风险高等问题，加之人机交互界面不直观，更大大增加了操作人员的培训成本与周期。

发明内容

本发明提供一种基于视觉听觉增强反馈的重载液压臂辅助操控系统，以解决目前重载液压臂操作中的操作观察不直观、安全隐患大以及操作人员的培训周期长、培训成本高的问题。

根据本发明实施例的第一方面，提供一种基于视觉听觉增强反馈的重载液压臂辅助操控系统，包括依次连接的操作端、计算端以及实现端，所述操作端包括输入设备、发声设备和/或虚拟现实显示屏，所述输入设备用于输入操作信息，所述计算端对所述操作信息进行处理，将生成的液压臂控制信息传输给所述实现端，以使所述实现端对真实液压臂进行控制，所述实现端在对所述真实液压臂进行控制时，将所述真实液压臂的位姿实时发送给所述计算端，所述计算端根据所述操作信息以及所述真实液压臂的实时位姿生成声音控制信号，并将所述声音控制信号实时发送给所述发声设备，以实现听觉反馈；

和/或，所述计算端还根据所述液压臂控制信息，对虚拟液压臂进行控制，并将所述虚拟液压臂的最终位姿发送给所述虚拟现实显示屏，以在所述虚拟现实显示屏上直接显示虚拟液压臂的位姿；所述实现端在对所述真实液压臂进行控制时，还将所述真实液压臂的位姿实时发送给所述虚拟现实显示屏，以在所述虚拟现实显示屏上实时显示真实液压臂的位姿，所述虚拟现实显示屏上虚拟液压臂随着所述真实液压臂发生视角跟随，由此实现视觉反馈；

其中，所述虚拟液压臂的位姿为所述真实液压臂的未来最终位姿。

在一种可选的实现方式中，所述计算端包括计算端计算机，所述计算端计算机对所述操作信息进行处理，将生成的液压臂控制信息传输给所述实现端，并且根据所述操作信息以及所述真实液压臂的实时位姿，计算出单液压臂主从位置误差以及单液压臂末端与障碍物之间距离、双液压臂主从位置误差和双液压臂末端距离；其中，在单液压臂操作时，根据所述单液压臂主从位置误差以及单液压臂末端与障碍物之间距离，生成与频率和音量有关的一路声音控制信号，控制左耳道和右耳道发声设备同步发声；在液压臂双臂操作时，根据所述双液压臂主从位置误差和双液压臂末端距离，对应生成与频率和音量有关的两路声音控制信号，分别控制左耳道和右耳道发声设备发声。