[发明专利]一种基于多模态信息的监控交互方法

说明书

本发明公开了一种基于多模态信息的监控交互方法，采用多模态信息监控交互平台，多模态信息监控交互平台包括：工作台、业机器人、力觉传感器、噪声传感器、温度传感器、视觉传感器和下位机，所述下位机分别与机器人控制器、力觉传感器、噪声传感器、温度传感器、视觉传感器电性连接；监控交互方法包括以下步骤：S1、通过下位机控制各个传感器采集工业机器人加工作业过程中产生的各种信息数据；S2、通过下位机处理采集到的各种信息数据，得到的机器人工作补偿指令；S3、根据机器人工作补偿指令，通过机器人控制器控制工业机器人动作；S4、重复步骤S1至S3。本发明提高了加工精度，解决了加工过程中缺乏加工过程监控导致加工精度较低的问题。

技术领域

本发明属于机器人作业监控交互技术领域，具体涉及一种基于多模态信息的监控交互方法。

背景技术

随着机器人技术和智能制造的逐步发展，机器人的应用场景逐渐从相对单一的制造场景向多种混合型场景不断变化，这使得整个过程中需要注意的外界环境信息种类更加多样。同时，制造业开始从基于经验的决策向基于证据的决策过渡，从解决可见的问题到避免不可见的问题转变，从基于控制的机器学习向基于丰富数据的深度学习发展，而这些转变都需要人们对于多种多样的信息数据进行很好的融合和处理，通过这些数据进行决策和分析，从而做出更好的决策和反应。所以，如何利用多种不同传感器数据进行整合，实现一个完整的多模态信息监控交互平台是未来制造技术的重点挑战。

目前，大多数加工作业主要通过单一传感器反馈的数据进行控制或者补偿，而单一传感器难以提供一些复杂场景下机器人的精细操作所需的数据信息，因此多模态信息的引入为机器人各种场景下的精细加工创造了可能。对于机器人系统而言，所采集到的多模态信息具有一些明显特点，为后续的控制工作带来了巨大的挑战。这些问题主要是：(1)机器人的操作环境通常非常复杂，因此采集到的数据通常具有很多的噪声和野点。(2)机器人总是在动态环境下工作，采集到的多模态数据必然具有复杂的动态特性。(3)机器人携带的传感器工作频带、使用周期具有很大差异，导致各个模态之间的数据难以“配对”。

机器人是一个复杂的系统，开展机器人多模态融合感知需要综合考虑任务特性、环境特性和传感器特性。尽管人们已经充分认识到多模态信息在机器人系统上的应用，国内很多相关机构，如东南大学、北京航空航天大学等都在这方面展开了许多研究工作，但目前多模态信息的融合和处理仍然存在很大的发展空间。将传感器信息更好地融合和处理，从而指导机器人的加工作业是未来机器人应用中十分重要的内容。

随着机器人技术的发展，工业机器人的瓶颈逐渐向应用端转移。在装配、涂料、磨抛等力觉触控任务的应用场景，要求机器人具有对接触力的感知和控制能力，接触的存在使得精确的动态仿真难以实现。传统的离线编程方式要求明确地指定机器人的运动，并且要求工件一致性好、有较高的安装精度和建模精度，复杂曲面示教困难且路径精度低。整个加工过程缺乏环境的感知和加工过程监控，无法有效跟踪加工精度及控制加工精度。如何有效提高工业机器人在实际应用场景中的加工精度成为了一个热门内容。

发明内容

针对机器人加工过程中缺乏加工过程监控导致加工精度较低的问题，本发明的目的在于提供一种基于多模态信息的监控交互方法，该方法能够通过多种不同传感器数据的融合为整个加工过程提供不同的补偿信息，从而进一步提高加工精度；多模态数据可以获得更加全面准确的信息，有效增强系统的可靠性和容错性，为机器人实现更高效的决策提供了新的思路和基础。

为实现上述目的，本发明采用如下技术方案：一种基于多模态信息的监控交互方法，采用多模态信息监控交互平台，所述多模态信息监控交互平台包括：

工作台，其设置有工装夹具，用于定位工件；

工业机器人，其设置在工作台的旁边，用于对所述工件执行作业任务；所述工业机器人包括机器人本体、末端执行器和机器人控制器，所述末端执行器安装在所述机器人本体的末端，所述末端执行器和机器人本体的驱动机构均电性连接至机器人控制器；