[发明专利]基于RGB与三维骨骼的多模态交互行为识别方法

摘要

本发明涉及一种基于RGB与骨骼多模态的人体交互行为识别方法，首先会对视频进行预处理，提取视频中人和物体信息，然后利用多模态从全局到局部构建人与物体之间的空间关系；并利用图卷积网络提取对应的深度特征，最后在特征层和决策层融合各个模态特征，用于识别人体交互行为；本发明利用RGB信息与人体三维骨骼模态的数据，通过构建空间关系网络模型，挖掘人与物体之间的空间关系，提取人与物体之间的多模态交互信息，并建立基于多模态交互信息的融合网络，有效地融合各个模态特征，利用各个模态的优势提高交互行为识别精度。