[发明专利]一种基于RGBD图像行人搭乘自动扶梯摔倒行为的检测方法

权利要求书

1.一种基于RGBD图像的行人搭乘自动扶梯摔倒行为的检测方法，其特征在于包括以下步骤：

S1,使用双目相机获取到扶梯上行人的RGB图像信息；

S2,根据双目相机获取的RGB视图，获取到图像的深度信息；

S3,根据RGBD图像进行识别，获得3D人体骨骼坐标信息；

S4,根据3D骨骼坐标信息，进行判断该对象是否存在摔倒行为。

2.根据权利要求1所述的一种基于RGBD图像的行人搭乘自动扶梯摔倒行为的检测方法，其特征在于：所述用来获取RGB图像信息所选用的相机为双目相机。

3.根据权利要求2所述的一种基于RGBD图像的行人搭乘自动扶梯摔倒行为的检测方法，其特征在于：所述双目相机同时安装在自动扶梯的入口和出口。

4.根据权利要求1所述的一种基于RGBD图像的行人搭乘自动扶梯摔倒行为的检测方法，其特征在于：所述步骤S2获取深度信息为将获取到的双目RGB图像输入到深度估计网络，最终输出对应的深度图像，以获取准确的深度信息。

5.根据权利要求1所述的一种基于RGBD图像的行人搭乘自动扶梯摔倒行为的检测方法，其特征在于：所述3D人体骨骼坐标信息采2.5DHeatmap的形式对单人人体姿态进行3D骨骼建模以及3D PAFs(PartAffineFields)的形式来对多个人体姿态进行3D人体骨骼建模。

6.根据权利要求5所述的一种基于RGBD图像的行人搭乘自动扶梯摔倒行为的检测方法，其特征在于：所述步骤S3的3D人体骨骼坐标信息获取步骤如下：

用数学模型来表示3D坐标信息，设3D人体骨骼关键点P的坐标为(x₀,y₀,z₀)，则定义三个分布H_xy,H_yz,H_xz为

其中函数G定义为二维高斯分布函数，μ＝(x₀,y₀,z₀)，σ为方差，即

将该分布离散化并转化为2D图像的形式以方便进行卷积获取，一共可以得到3N张Heatmap，其中N为3D骨骼关键点数量；

上述公式适用于单人的人体姿态估计问题，为了拓展到多人的人体姿态估计问题，需要定义3D的PAFs；定义3D的PAFs如下，

其中p₁、p₂为肢体的两端关键点3D坐标向量；对于定义的n个肢体，总共能够获取3n个PAFs图像；

在得到Heatmap和3DPAFs之后，需要对单张Heatmap中的不同关键点以及不同人体之间的关键点进行匹配；对于相同关键点下所对应的3个Heatmap图像，利用非极大值抑制的方式得到3个2D坐标，将该3个2D坐标还原至3D坐标系下进行匹配得到对应的3D坐标值，为了将每个人体的关键点正确的分配给对应的人体，对于不同关键点之间的坐标点与3DPAFs进行积分，

其中p(u)＝(1-u)d_j1+ud_j2；d_j1、d_j2为肢体两端关键点坐标，d_u为肢体上坐标点；判断两个关键点是否相连的依据为，该积分值为所有可能连接的积分值中最大；至此，得到一个完整的多人3D骨骼坐标模型。

7.根据权利要求1所述的一种基于RGBD图像的行人搭乘自动扶梯摔倒行为的检测方法，其特征在于：所述步骤S4行人是否存在摔倒行为使用二分类器进行判断，若符合摔倒行为特征，该二分类器会输出一个表示该行为的向量值，反之输出相反的向量值。

8.根据权利要求7所述的一种基于RGBD图像的行人搭乘自动扶梯摔倒行为的检测方法，其特征在于：为了避免之前回归出的不同行人3D骨骼坐标信息之间的差异带来的影响，在分类前应当做如下预处理：

S41首先计算该3D姿态的各个骨骼关键点坐标的均值与方差值；

S42然后将每个样本的骨骼关键点坐标分别减去对应的均值并除以方差值；

该预处理的过程概括为如下公式：

其中，μ、σ为样本均值与样本方差，x、x′为处理前样本与处理后样本。