[发明专利]一种基于Kinect的现场作业仿真方法及其系统

说明书

技术领域

本发明涉及现场作业分析仿真相关技术领域，尤其是指一种基于Kinect的现场作业仿真方法及其系统。

背景技术

提高手工作业的装配工人的生产效率，对于减少企业的人力成本支出至关重要。作业现场数据的收集是工效学分析研究的第一步，传统的工效学研究中，研究人员利用秒表、记录纸或视频的方式来观察现场记录作业者的操作，然后对记录的信息进行手工分析或利用相关的处理软件分析来评价工人的作业和工作量。这些方法需要研究人员手工分析整理，分析工作量高，劳动强度大，而且不能达到实时的要求。随着运动捕捉技术、计算机仿真技术的发展，人体形态特征地获取由手工活体测量的方法转变为运动捕捉方法来进行，不仅可以获得静态特征，而且可以获得动态特征，其数据采集速度和准确度都有了明显的改善。但是目前已有的各种运动捕捉技术如光学式、机械式、电磁式等，由于各方面的限制，不能很好地满足实现对现场工人作业实时捕捉的要求。

中国专利申请公布号：CN 102638653A，申请公布日2012年8月15日，公开了一种基于Kinect的自动面部追踪方法，步骤为：（1）将Kinect与可编程旋转摄像机组成为追踪设备并进行标定；（2）通过Kinect获取人体骨骼数据序列，并从中提取头部骨骼点在Kinect坐标系中的坐标；（3）利用当前摄像机的外参数和当前Kinect的外参数得到Kinect坐标系到摄像机坐标系的变换矩阵；（4）利用步骤（3）中获取的变换矩阵将步骤（2）中得到的头部骨骼点坐标变换到摄像机坐标系中，而后计算摄像机在水平和垂直方向需要旋转的角度以及需要缩放的倍数；（5）根据步骤（4）中求得的角度和倍数，驱动摄像机进行相应的旋转和缩放，使得摄像机能够追踪人的面部运动。该发明利用连续获取的骨骼数据序列驱动摄像机旋转和缩放，可有效地实现自动面部追踪，该发明的不足之处在于，不能很好地满足实现对现场工人作业实时捕捉，从而不能够满足制造领域对现场作业过程、作业环境等因素的优化设计要求。

发明内容

本发明是为了克服现有技术中不能很好地满足实现对现场工人作业实时捕捉从而不能够满足制造领域对现场作业过程、作业环境等因素进行优化设计要求的不足，提供了一种能够很好地满足实现对现场工人作业实时捕捉从而能够满足制造领域对现场作业过程、作业环境等因素进行优化设计要求的基于Kinect的现场作业仿真方法及其系统。

为了实现上述目的，本发明采用以下技术方案：

一种基于Kinect的现场作业仿真方法，包括以下操作步骤：

（1）通过Kinect体感装置分别获取现场作业人员作业姿势的彩色图像数据、骨架数据和深度图像数据；

（2）将获得的彩色图像数据、骨架数据和深度图像数据转化为人体骨骼中20个关节在系统空间坐标系中的三维坐标值；

（3）通过识别的人体骨骼中各关节的三维坐标值来跟踪同一时刻人体骨骼的运动状态，从而确定该时刻的人体姿势；

（4）通过国标的人体尺寸数据库来建立以人体身高或体重百分位为标准的男性和女性三维人体模型；

（5）通过获取在不同采样时间的人体骨骼中20个关节的三维坐标值，来驱动合适的三维人体模型来产生不同采样时间的人体的姿势；

（6）通过导入预设的三维图形数据来建立作业现场仿真环境；

（7）通过分析在作业现场仿真环境中的人体姿势，利用生理学下背部模型来进行作业者下背部受力分析、工作的作业时间分析以及作业姿势的舒适度等人因工效分析。

通过Kinect体感装置采集人体的动作状态，同时将采集到的信息进行数据处理，获取三维的人体模型，其中在三维人体模型中包含了19个人体部位和20个人体关节，根据国内标准的人体尺寸来识别人体的运动状态，通过设置的采样频率来捕获人体的连续动作状态，然后结合作业现场的仿真环境来分析人体的作业工效，以便于能进行更好的优化，达到了满足实现对现场工人作业实时捕捉，从而能够满足制造领域对现场作业过程、作业环境等因素进行优化设计要求的目的。

作为优选，步骤（1）中，所述的Kinect体感装置中包括彩色摄像头和红外摄像头，彩色摄像头主要根据所设置的采样频率来捕捉彩色图像，红外摄像头主要根据所设置的采样频率捕捉景深图像，然后从彩色图像数据、景深图像数据中获取人体骨架图像数据，通过所设置的采样频率能够实时采集所需的不同图像数据来获取人体骨架图像数据，便于进一步的人体运动状态捕捉。