[发明专利]基于识别定位设备监护操作员操作工业设备的系统及方法

权利要求书

1.基于识别定位设备监护操作员操作工业设备的系统，其特征在于该系统包括单目穿戴眼镜设备、视频服务器、AI视频服务器、业务服务器和定位二维码标签；

定位二维码标签设置在工业设备上，单目穿戴眼镜设备通过定位二维码标签，定位到当前操作工业设备；并通过单目穿戴眼镜设备将当前操作视频发送给视频服务器进行存储；视频服务器将存储后的操作视频发送给AI视频服务器，通过该AI视频服务器将视频处理成图片。

2.根据权利要求1所述的基于识别定位设备监护操作员操作工业设备的系统，其特征在于AI视频服务器自带有手势识别模型、图像识别模型和匹配模型；将当前操作员的操作票复述步骤的语音发送给业务服务器，业务服务器通过其内置语音转文字模型，将当前操作员的操作票复述步骤语音转换成文字。

3.根据权利要求2所述的基于识别定位设备监护操作员操作工业设备的系统，其特征在于单目穿戴眼镜设备包括眼镜框架，眼镜框架上设置有单目光波导镜片、可调节硅胶眼睛托架、摄像头、扬声器、电源、typc接口以及无线通讯模块；电源为摄像头、扬声器供电；单目光波导镜片能够显示当前操作票步骤内容文字；扬声器用于记录当前操作员的操作票复述步骤的语音，摄像头用于记录当前操作员的操作票复述步骤的视频，无线通讯模块用于语音和视频的传输。

4.根据权利要求3所述的基于识别定位设备监护操作员操作工业设备的系统，其特征在于所述的AI视频服务器中设置有预训练好的AI识别模型，该AI识别模型通过GPU服务器对采集到的图片进行训练获得的。

5.根据权利要求1或4所述的基于识别定位设备监护操作员操作工业设备的系统，其特征在于该系统的具体实现步骤如下：

步骤1、通过编码规则对采集到的操作票步骤内容进行编码；

步骤2、针对已编码的操作票步骤内容，首先找到操作票对应的工业设备，提取该工业设备的编码，同时提取工业设备上每一个部位的编码；然后根据需求生成区域二维码，在工业设备的指定区域内黏贴对应的区域二维码，通过区域二维码快速让AR眼镜定位到指定工业设备以及操作票步骤所需要用到的部位区域；

步骤3、在业务服务器上设计语音转文字模型、文字转换语音模型和匹配模型；

文字转换语音模型用于将操作票步骤内容中的文字转换为语音；语音转文字模型用于将操作员的操作票复述步骤语音转换为文字；匹配模型用于将语音转文字模型输出的文字与对应的操作票步骤内容进行比对，系统通过编码规则进行匹配校验操作票内容是否符合，将符合的操作票自动转入待执行的选票库中；

步骤4、操作员佩戴单目穿戴眼镜设备，单目穿戴眼镜设通过现实增强技术在眼镜的单目光波导镜片上呈现业务功能菜单栏，操作员可通过语音指令在单目光波导镜片上展示操作票内容，并语音播报操作票每一步的步骤，与传统的监护人唱票方式一致，操作员复述每一步唱票步骤，通过单目穿戴眼镜设备扫描区域二维码对工业设备、开关位置进行定位，通过手势指向进行指定开关定位。

6.根据权利要求1所述的基于识别定位设备监护操作员操作工业设备的系统，其特征在于步骤1具体实现如下：

1-1.先将每张操作票步骤所需的设备信息、状态信息、操作信息进行编码拆分，由于组成每张操作票步骤的所有编码都是唯一的，因此将每张操作票步骤的形成的编码串录入系统编码库；

1-2.其次采集每张操作票步骤的图像，并将所有采集的图片进行预处理：将模糊的、目标缺失的、画面扭曲的、反光的图片进行筛选剔除；

所述的采集到的图像包含每张操作票的每一个步骤的前后状态图，通过后状态图像来判断当前步骤是否完成；进一步的，当仅仅用于检查的时候，前后状态图像可以一致；

然后将预处理后的图像进行人工分类标注，得到带标注的数据集，将带标注的数据集划分为训练集和测试集，划分后的训练集和测试集其样本分布一致；

最后用训练集通过YOLO3算法进行训练得到图像识别模型；通过测试集对图像识别模型进行校验和验证，根据验证结果进行微调后得到最优的图像识别模型。