[发明专利]一种基于语义和交互特征的双人行为识别方法

摘要

本发明提出了一种基于语义和交互特征的双人行为识别方法，其实现步骤为：通过OpenPose算法从视频中获取人体骨骼关节点的三维坐标信息。通过骨骼关节点信息判断是否为双人行为。将两个人的骨架信息分别用和来表示，并且通过高维编码嵌入高维。定义关节类型的语义spa并且通过高维编码嵌入高维，与骨架信息融合。通过双人的骨架信息提取其双人交互信息g_ram。构建关节级图卷积模块，并将融合了关节类型的骨骼信息与双人交互信息输入进行特征融合。定义时间帧类型语义与经过关节级图卷积后得到的特征进行融合。通过构建的帧级卷积模块实现行为识别分类。本发明是一种基于语义和交互特征的双人行为识别方法，能够很好的表达交互特征并且识别双人行为。