[发明专利]一种基于视频监控的手扶电梯乘客行为识别方法

权利要求书

1.一种基于视频监控的手扶电梯乘客行为识别方法，其特征在于，包括以下步骤：

1)使用关键点提取方法对手扶电梯行为数据集进行骨架提取，并打上标签；

2)将提取出来的骨架划分训练集和验证集，其中训练集用来训练网络模型，验证集用来进行模型择优；

3)搭建合适的图卷积神经网络，用于乘客行为分类，其图卷积操作情况如下：

定义普通卷积，设整数的集合为Z，输入特征图为f_in，f_in所在的二维整数平面空间为Z²；设采样点位置x是在特征图f_in上的点，即x∈Z²；设卷积核大小为K×K，K∈Z,设输入通道数为c,c∈Z；设h,w为卷积核窗口的偏移量，h,w∈Zh,w∈[1,K]；设s:Z²×Z²→Z²为采样函数，即s根据采样点x∈Z²以及偏移量(h,w)∈Z²，能够映射到卷积核窗口中的平面空间Z²的某个位置，从而实现采样功能；设w:Z²→R^c为权重函数，将偏移量(h,w)，(h,w)∈Z²映射到一个用于计算卷积的c维向量，基于上面的定义，位置x的传统卷积的输出f_out(x)能够写成下式：

图卷积操作的定义在上式基础之上，设人体关键点按照骨骼结构连接成一个空间图V；设特征图映射函数为即对于V中任意一个节点v_i，总能将节点映射到一个c维的实数R空间；设节点v_i的邻域为B(v_i)＝{v_j|d(v_j,v_i)≤1}，其中d(v_j,v_i)表示节点v_i与节点v_j的最短路径长度；设图卷积的采样函数为p:B(v_i)→V，p(v_i,v_j)＝v_j，即对于在节点v_i上的卷积时，采样函数p能定位到v_i的邻域节点，从而实现采样的功能；设权重函数为w:(v_i,v_j)→R^c，v_j∈B(v_i)，即对每个节点v_i以及其相邻的节点v_j，采样函数将其映射到一个c维的实数向量；由于邻域的节点数以及权重的顺序并不是固定的，为了将其固定，将邻域节点分为3个部分，即根节点、比根节点到人体重心近的节点、比根节点到人体重心近的节点，因此设r_i为节点i到人体重心的距离；设r_j为i的相邻节点j到人体重心的距离；设分类函数为l_i(v_j)，表示在对节点v_i进行卷积时，其相邻节点v_j所属的类别，具体定义如下：

其中，当r_j＝r_i时，将相邻节点v_j归为第0部分；当r_j＜r_i时，将相邻节点v_j归为第1部分；当r_j＞r_i时，将相邻节点v_j归为第2部分；

由于在对不同节点v_i进行卷积时，以上3个部分的每个部分所包含的邻域节点数是由骨架连接方式决定的，并不是固定不变的，因此需要对其进行归一化，设Z_i(v_j)＝|{v_k|l_i(v_k)＝l_i(v_j)}|为用来均衡不同部分邻域节点的权重；

基于上面的假设，对节点v_i进行图卷积后，输出的单个通道响应f_out(v_i)如下：

基于上面定义的图卷积操作，构建用于乘客行为识别的图卷积神经网络；

将乘客骨架坐标及其置信度使用人体骨骼连接成3通道的图，作为输入骨架，输入骨架在经过3次图卷积及Relu激活函数后，提取得到128个通道的深度图特征，然后对每个通道进行全局平均池化，再通过1×1卷积，将通道数降为7，最后通过Softmax层，回归正常站立、向前摔倒、向后摔倒、攀爬扶手带、向手扶电梯外伸头、向手扶电梯外伸手、背靠扶手带这7种乘客行为发生的概率；

4)使用数据集对图卷积神经网络进行训练，并保存最佳的网络模型；

5)对手扶电梯场景的图像使用关键点提取方法进行人体关键点提取，并使用已有的行人跟踪方法对行人进行跟踪，得到每个乘客在不同帧的骨架坐标及其置信度；

6)应用步骤4)保留的最佳模型来实现乘客行为分类，将每一帧中的所有乘客的骨架及其置信度输入到训练好的最佳模型中进行分类；

7)对同一个乘客的行为序列，使用滑动窗统计的方法对其进行滤波，决策出最后的行为，实现对手扶电梯监控视频的行为识别。