[发明专利]基于自然语言的工业机器人辅助编程方法

说明书

本发明提供一种基于自然语言的工业机器人辅助编程方法，根据语言指令和环境图像生成相应的机器人执行代码。本发明分为三部分：1)分别使用带长短时记忆(LSTM)的双向循环神经网络(Bi‑RNN)和快速区域卷积神经网络(F‑RCNN)提取语言指令和工厂环境的特征。2)提出一种“多注意力机制”模型和机器翻译的对齐算法将环境中的物体与指令正确匹配，从而识别指定的物体并输出放置该物体的坐标点。3)使用上述模型输出的结果配合CoBlox模块化编程方式生成操作的机器人代码。本发明采用的“多注意力机制”模型提高识别精度，解决了当前方法在工业环境中无法精确识别物体的问题。模块化编程技术方案简化工程师编程复杂度，有效提升开发效率。

技术领域

本申请属于机器人编程技术领域，特别是涉及基于自然语言和机器视觉的机器人编程技术。

背景技术

随着近几十年机器人技术的飞速发展，智能制造的理念深入人心。机械臂技术已经在工业生产环境中大量运用，协作式机械人融合人类和机械设备的优势,在生产线上和工人紧密合作,可以显著提升生产效率。

目前所有的机械任务都要通过工程师精心设计和编码，才能辅助和代替工人执行单一的机械性任务。工程师通常采用在线或离线编程的方式编写机器人代码，然而这些编程方式过于耗时，时效性远不能满足产品需求的变化。例如,编写大型车体电弧焊机器人程序需要耗费八个月的时间，每个焊接节点的改动需要耗费半个月调试程序，这种高额的编程开销迫使中小企业无法在智能制造中受益。

近年来不断有学者在机器人编程领域进行探索。手动编程是市面上应用范围最广，使用频率最高的机器人编程工具。一般使用官方编程界面，其编程语言带有早期编程语言特性,如ABB RAPID,KUKA KRL等。但是在现有生产环境下，工程师需要花费高昂的时间成本在该平台中为每一次制造任务编写代码，甚至其中包含大量重复或类似的代码。并且此种编码方式严格遵循固定的语言规范，不利于新手的快速学习和使用。

CoBlox模块化编程方式(David Weintrop等人在2017年《Blockly goes to work:Block-based programming for industrial robots》中提出，Published in:2017 IEEEBlocks and Beyond Workshop)

另外，随着自然语言和人工智能在语言学方面的发展，学者在自动编程领域也获得了喜人的进展，比如机器人通过神经网络解析人类的语言或者动作，从而正确理解人类指令，执行任务。但是此类方法仅输出机器人的行为和状态，并不提供工业工程师所需要的源代码。这种编程方式在工业生产中需要调整方案时，无法进行代码级别的离线修改。因为不生成代码文本，也不利于相似代码在其他工程中的重利用。

在这种情形下，现有的编程技术因其固有的缺陷，无法契合工业智能制造的需要。

发明内容

为克服上述现有技术的不足，需要提供一种支持抽象输入的快速编程方法，以满足当下工业智能制造的要求。本发明提供一种基于自然语言的工业机器人辅助编程方法，根据语言指令和环境图像生成相应的机器人执行代码。其主要分为三部分：1)分别使用带长短时记忆(LSTM)的双向循环神经网络(Bi-RNN)和快速区域卷积神经网络(F-RCNN)提取语言指令和工厂环境的特征。2)本发明提出一种“多注意力机制”模型和机器翻译的对齐算法将环境中的物体与指令正确匹配，从而识别指定的物体并输出放置该物体的坐标点。3)使用上述模型输出的结果配合CoBlox模块化编程方式生成操作的机器人代码。

一种基于自然语言的工业机器人辅助编程方法，步骤如下：

步骤(1)、对输入数据进行预处理。所述的输入数据为语言指令和环境图像，通过使用带LSTM的Bi-RNN提取语言指令的特征，通过F-RCNN处理环境图像，获得目标候选区域。