[发明专利]基于上半身姿态估计的面板装配关键动作识别方法

说明书

本发明涉及一种基于上半身姿态估计的面板装配关键动作识别方法，其包括如下步骤：构建用于对面板装配环节中装配人员检测的目标检测模型；构建用于对人体上半身骨骼关键点姿态识别的HRnet姿态估计模型，利用所构建的HRnet姿态估计模型确定当前装配人员的上半身骨骼关键点相应的坐标；构建用于对面板装配环节装配动作识别的ST‑GCN动作识别网络，根据连续N帧面板装配动作图像中上半身骨骼关键点相应坐标，利用ST‑GCN动作识别网络识别并输出当前装配人员的面板装配动作的类型。本发明能够适应工厂环境下的特殊应用场景，较好实现对显示面板装配关键动作的实时识别，提高面板装配的效率以及可靠性。

技术领域

本发明涉及一种面板装配关键动作识别方法，尤其是一种基于上半身姿态估计的面板装配关键动作识别方法。

背景技术

液晶显示面板属于技术密集型产品，该类产品一般具有结构较复杂且生产过程较为精细等特点。以其生产流程中的驱动装配环节为例，该过程一般包括取件、正面扫码、翻转、反面扫码、驱动插接、检验和放置等一系列时序性关键动作，其中，对驱动插接动作，插接动作的对象为驱动IC(Integrated Circuit Chip)，所述驱动IC一般压合在液晶基板侧边，接口大小不足两厘米，装配基准面不易选取且定位精度难以保证；对检验动作，需对装配效果和产品完好性进行检验，由于产品缺陷情况复杂且检验区域涉及面板四周边缘和插槽内部，使用一般计算机视觉方法不仅不易捕获产品的微小问题，而且难以进行定量分析和效果界定；最后，部分装配产线设计较早，进行自动化改造需要成本投入较大。

因此，上述场景下的装配与检测作业难以实现完全自动化，进而仍然需要人工完成。然而，工人在装配过程中可能因疏忽出现的工序遗漏、动作顺序错误等行为常会给产品质量埋下隐患，从而越来越多的相关企业希望通过技术手段对这一生产环节进行标准化监督，以便及时发现错误并提醒工人纠正，进而达到降低企业次品发生概率和提高经济效益的目的。

近年来，随着深度学习的发展，基于计算机视觉的人体姿态估计与动作识别技术已取得了快速进步。在2D或3D坐标形式下，由一系列关键点组成的人体骨架图不仅能够表示人体关节的天然连接关系，并且动态的人体骨骼关键点通常具有丰富信息量。当一段时间内具有连续语义信息的人体姿态以骨架形式被获取，以此为基础识别出这些骨架序列语义上代表的行为类别是动作识别领域的常用方法。HRnet通过创造性地改变网络高低分辨率之间的连接方式并引入不同分辨率间的交互，使网络在整个结构中都保持了高分辨率的表征，因而在姿态估计领域深受好评。ST-GCN克服了动作识别领域传统方法依赖于手工特征的局限性，通过将图卷积网络扩展到时空图模型，能够对姿态估计算法获取的多帧骨架序列进行时间特征和空间特征的双提取，在相关数据集上取得优异成绩。

目前，人体姿态估计与动作识别技术已广泛应用于人机交互、安防监控和舞蹈健身中的动作矫正等场景，但仔细分析可以发现该类应用场景大多集中在日常生活领域，具有关键点遍布全身、动作幅度较大以及检测背景或人物着装较为简单等特点。当前，面向工业领域的装配动作识别研究相对较少，相关公共数据集因各种原因至今还没建立，尤其在工厂特殊应用场景下针对上半身关键点提取的预训练权重一直并未出现。刘明周等人针对机械产品装配作业中提出的依据感兴趣区域特征点位移计算特征向量并输入支持向量机进行分类的方法，本质上仍然无法摆脱传统方法忽略关节空间连接关系的缺陷；王军等人的基于HRNet深度学习的姿态、行为分析模块及分析方法，其姿态估计模型并未考虑特殊应用场景下的半身一直遮挡情况给后续动作识别带来的严重影响；王天诺等人针对锤、锯、喷、刷等常见装配动作提出的基于3D卷积神经网络的识别方法，一方面识别动作间本身差异较明显，另一方面该类方法还需要装配工具的辅助判断，再者其设定工作环境相对简单，未考虑实际工厂环境下摄像头捕获多人的情况，以及部分车间要求员工身着特殊工作服导致纹理信息较弱使得结构光3D相机无法有效工作的场景；最后， 3D卷积方法本身参数量较大，计算资源要求较高，不利于在边缘设备上大规模部署。