[发明专利]基于混合现实的机械臂文字复写方法及装置

说明书

本发明实施例公开一种基于混合现实的机械臂文字复写方法及装置，其中方法包括如下步骤：基于图像识别算法分析出待复写文字的笔画路径，根据笔画路径控制至机械臂进行文字复写，采集机械臂在进行文字复写时的运动状态参数，基于混合现实技术将机械臂的虚拟3D图像全息投影到真实空间中，使虚拟影像按照上述运动状态参数实时模拟机械臂的真实运行状态。采用本发明，通过图像识别中的骨架算法拟合人类笔迹，可以提高机械臂复写还原文字的还原效果，通过3D图像全息投影，可以实时模拟机械臂的真实运行状态，满足技术人员非现场多角度查看的需求。

技术领域

本发明涉及自动控制技术领域，尤其涉及一种基于混合现实的机械臂文字复写方法及装置。

背景技术

机器人的应用越来越广泛。机械手臂是机器人的形态之一。通过机械手臂，可以模仿人类的操作，完成人类所无法完成的部分工作，或更精确地完成原来需要人类完成的操作。某些场景下，点阵打印方式不适用，必须使用轨迹路径绘制的方式完成。其中一个应用场景是，用机械手臂模仿人类手臂的运动轨迹，实现例如：写字、激光刻蚀、3D打印等操作，机械手臂的运行轨迹也可以反向提示人们当前的工作状态是否正常。

现有技术中，机械手臂书写文字主要还是通过在电脑上人为绘制文字路径，或者是通过控制机械手臂运动记录路径，再用电脑不断调试的方式来完成最终的书写。而人类在非电子产品表面(比如：纸张)书写之后，线条都有一定宽度，一般的处理方法只能获取线条轮廓路径数据，因此在机械手臂复写时将无法复原人类手写的轨迹，而只能画出线条轮廓，呈现的复写效果具有较大的失真度。而且，机械手臂在运行过程中的状态只可以通过现场观看，对于不在现场的技术人员来说，很难多角度的查看根据机械臂的运行状态进而确定其是否工作正常。

发明内容

本发明实施例提供一种基于混合现实的机械臂文字复写方法及装置，通过图像识别中的骨架算法拟合人类笔迹，可以提高机械臂复写还原文字的还原效果，通过3D图像全息投影，可以实时模拟机械臂的真实运行状态，满足技术人员非现场多角度查看的需求。

本发明实施例第一方面提供了一种基于混合现实的机械臂文字复写方法，可包括：

基于图像识别算法分析出待复写文字的笔画路径；

根据笔画路径控制至机械臂进行文字复写；

采集机械臂在进行文字复写时的运动状态参数；

基于混合现实技术将机械臂的虚拟3D图像全息投影到真实空间中，使虚拟影像按照采集到的运动状态参数实时模拟机械臂的真实运行状态。

进一步的，上述方法还包括：

获取包含待复写文字的图像数据。

进一步的，在基于图像识别算法分析出待复写文字的笔画路径时，上述方法还包括：

计算图像数据中待复写文字的骨架信息；

提取骨架信息中的连续线段；

将连续线段转化为笔画路径。

进一步的，在将连续线段转化为笔画路径时，上述方法还包括：

将连续线段中的直线转换为两点间的直线笔画路径；

将连续线段中的曲线用贝塞尔曲线拟合出曲线笔画路径。

进一步的，上述方法还包括：

在笔画路径上设置垂线，垂线被笔画路径的边缘裁剪成不同的线段，线段的长短代表笔画路径的宽度；

将宽度换算为机械臂在笔画路径复写过程中的笔尖高度。

本发明实施例第二方面提供了一种基于混合现实的机械臂文字复写装置，可包括：