[发明专利]基于故事板关系模型的人群行为识别方法

权利要求书

1.一种基于故事板关系模型的人群行为识别方法，其特征在于，包括以下步骤：

步骤1，载入预训练好的卷积神经网络CNN，提取个体静态特征；

步骤2，使用姿态引导修剪模块获取人群中的关键人物；

步骤3，姿态引导修剪模块根据关键人物绘制出故事板区域；

步骤4，双层图卷积网络模块学习故事板区域中人物的视觉和地理关系；具体包括如下步骤：

步骤401，定义故事板区域内两个故事板人物之间的视觉关系V：

其中，f_s1，f_s2分别表示第s个故事板中两个故事板人物(s1,s2)经过VGG19提取出来的特征向量，(f_s1)^T表示f_s1的转置，d表示两个人之间的欧氏距离；

步骤402，定义两个人物之间的覆盖关系O：

步骤403，定义两个人物之间的距离关系D：

D(s1,s2)＝ReLu(Wξ(x_s1,y_s1),(x_s2,y_s2))+b)

其中ReLu表示线性整流函数，W为权重矩阵，ξ表示s1，s2坐标的嵌入，(x_s1,y_s1)，(x_s2,y_s2)为两个故事板人物s1，s2的坐标，b为权重向量；

步骤404，将每个故事板区域内的视觉关系V、覆盖关系O、距离关系D相结合，

R^j＝h(h(0,V),h(D,V))

其中

R^j表示第j个故事板区域内视觉关系V、覆盖关系O、距离关系D结合的结果，X，Y分别表示两个要融合到一起的关系；

步骤405，定义整张图像的群体层面行为表示F：

步骤5，通过softmax层对步骤4的输出进行分类，得到最终的人群行为类别。

2.根据权利要求1所述的基于故事板关系模型的人群行为识别方法，其特征在于，步骤1载入预训练好的VGG19网络，在每次迭代过程中抽取个体层面的CNN特征。

3.根据权利要求1或2所述的基于故事板关系模型的人群行为识别方法，其特征在于，步骤2具体包括如下步骤：

步骤201，通过Openpose框架获取每个人的代表鼻子、脖子、脚踝和膝盖的骨骼点位置；分别表示图像中第k个人的代表鼻子、脖子、脚踝和膝盖的骨骼点的横纵坐标；

步骤202，对每个人的骨骼点进行线性拟合，得到一条直线；这条直线与竖直方向的夹角为α，如果α大于30°，则认为这个人处于运动状态，否则处于静止状态；

步骤203，如果人物处于运动状态，根据步骤201中获取的坐标则可以定义他的注意力区域的上界为

下界为

如果人物处于静止状态，则他的注意力区域的上界为

下界为

其中表示第i个人注意力区域的上界，表示第i个人注意力区域的下界；

步骤204，统计每个人的位置被其他人的注意范围覆盖的次数，选出被覆盖次数最多的两人定义为关键人物。

4.根据权利要求2所述的基于故事板关系模型的人群行为识别方法，其特征在于，步骤3具体包括如下步骤：

以两个关键人物的中心位置为原点，图像宽度的四分之一为半径做圆；

两个圆形区域被定义为故事板区域；处于故事板区域内的人物被定义为故事板人物。

5.根据权利要求1所述的基于故事板关系模型的人群行为识别方法，其特征在于，步骤5具体包括如下步骤：

将步骤405中的群体层面行为表示F输入到softmax层，对所有经过softmax分类的结果取均值，获取群体行为的类别向量，完成对人群行为的分类。