[发明专利]工序步骤正确性自动化检测方法和系统

说明书

本发明提供了一种工序步骤正确性自动化检测方法和系统，应用于服务器，包括：基于深度学习的方法对待检测图像进行语义分割操作，得到待检测图像中每个像素的目标类别；待检测图像为包含工序步骤执行过程的视频中的图像帧；基于目标类别确定待检测图像中的人体区域和工作区域；基于深度学习的方法对人体区域和工作区域进行识别，分别得到人体姿态信息和工作任务信息；基于人体姿态信息和工作任务信息，确定工序步骤信息；基于深度学习的方法提取工序步骤信息的目标特征向量，并基于目标特征向量判断工序步骤是否被正确执行。本发明缓解了现有技术中存在的成本高昂、不能实时检测工序步骤的技术问题。

技术领域

本发明涉及人工智能技术领域，尤其是涉及一种工序步骤正确性自动化检测方法和系统。

背景技术

在实际生产过程中工序步骤是否正确执行对于生产质量和生产安全有着决定性的影响，不正确的工序执行步骤不仅会对产品的质量产生影响，而且在很多情况下还会产生重大的安全事故，因此如何检查工人工序步骤的执行顺序是否正确一直是现在工厂管理的重点和痛点。目前主要的检查工序步骤正确性的方案主要还是通过人工抽查或工人自身经验排查来实现，这样存在以下技术问题：一方面成本相对比较高昂，另一方面很难做到全流程实时的检测，从而很难及时发现工序步骤中的错误。

发明内容

有鉴于此，本发明的目的在于提供一种工序步骤正确性自动化检测方法和系统，以缓解了现有技术中存在的成本高昂、不能实时检测工序步骤的技术问题。

第一方面，本发明实施例提供了一种工序步骤正确性自动化检测方法，应用于服务器，包括：基于深度学习的方法对待检测图像进行语义分割操作，得到所述待检测图像中每个像素的目标类别；所述待检测图像为包含工序步骤执行过程的视频中的图像帧；基于所述目标类别确定所述待检测图像中的人体区域和工作区域；基于深度学习的方法对所述人体区域和所述工作区域进行识别，分别得到所述人体区域内的人体姿态信息和所述工作区域内的工作任务信息；基于所述人体姿态信息和所述工作任务信息，确定所述待检测图像中的工人所执行的工序步骤信息；基于深度学习的方法提取所述工序步骤信息的目标特征向量，并基于所述目标特征向量判断所述工序步骤是否被正确执行。

进一步地，基于深度学习的方法对所述人体区域和所述工作区域进行识别，分别得到所述人体区域内的人体姿态信息和所述工作区域内的工作任务信息，包括：提取所述人体区域的第一特征向量；基于深度学习的方法对所述第一特征向量进行识别，得到所述人体区域内的人体姿态信息；提取所述工作区域的第二特征向量；基于深度学习的方法对所述第二特征向量进行识别，得到所述工作区域内的工作任务信息。

进一步地，基于所述人体姿态信息和所述工作任务信息，确定所述待检测图像中的工人所执行的工序步骤信息，包括：基于所述工作任务信息确定各个工序步骤的执行时间；基于所述各个工序步骤的执行时间和所述人体姿态信息确定所述待检测图像中的工人所执行的工序步骤信息。

进一步地，基于所述目标特征向量判断所述工序步骤是否被正确执行，包括：将所述目标特征向量与预设特征向量库中的特征向量进行比对操作，得到比对结果；基于所述比对结果判断所述工序步骤是否被正确执行。

第二方面，本发明实施例还提供了一种工序步骤正确性自动化检测系统，应用于服务器，包括：语义分割模块，第一确定模块，识别模块，第二确定模块和判断模块，其中，所述语义分割模块，用于基于深度学习的方法对待检测图像进行语义分割操作，得到所述待检测图像中每个像素的目标类别；所述待检测图像为包含工序步骤执行过程的视频中的图像帧；所述第一确定模块，用于基于所述目标类别确定所述待检测图像中的人体区域和工作区域；所述识别模块，用于基于深度学习的方法对所述人体区域和所述工作区域进行识别，分别得到所述人体区域内的人体姿态信息和所述工作区域内的工作任务信息；所述第二确定模块，用于基于所述人体姿态信息和所述工作任务信息，确定所述待检测图像中的工人所执行的工序步骤信息；所述判断模块，用于基于深度学习的方法提取所述工序步骤信息的目标特征向量，并基于所述目标特征向量判断所述工序步骤是否被正确执行。