[发明专利]基于人体关键点行为识别与LSTM的跌倒预判方法

权利要求书

1.一种基于人体关键点行为识别与LSTM的跌倒预判方法，其特征在于，其包括如下步骤：

步骤1、利用RGB摄像机采集人体行为的RGB图像；

步骤2、利用热成像相机将步骤1中采集到的RGB图像转化为红外图像，以显示人体的轮廓特征；

步骤3、对步骤2中采集到的红外图像进行初步清晰化处理，去除椒盐噪点；

步骤4、进一步对图像进行优化，得到清晰稳定的图像；

步骤5、将运动的人体从静止的图像背景中分离出来，提取出活动的人体；

步骤6、根据人体的关节点分布情况将人体分为18个关键点，所述18个关键点包括左眼、右眼、左耳、右耳、鼻子、左肩、右肩、颈部、左肘、右肘、左腕、右腕、左股、右股、左膝、右膝、左脚和右脚；

步骤7、根据位置关系将所述关键点中的左眼、右眼、左耳、右耳和鼻子进行合并，从而形成头部区域，将所述关键点中的左肩、右肩、颈部、左肘、右肘、左腕和右腕进行合并，从而形成躯干区域，将所述关键点中的左股、右股、左膝、右膝、左脚和右脚进行合并，从而形成腿部区域，并将所述三个区域分别提炼为人体的3个关键点；

步骤8、采用粒子滤波算法对所述3个关键点进行跟踪，实现对人体的姿态估计与行为识别；当所述3个关键点竖直时，判定为站立；当所述3个关键点成45°～60°夹角时，判定为下蹲弯腰；当所述3个关键点水平时，判定为平躺；当所述3个关键点下降速率达到6m/s时，判定为跌倒；

步骤9、将步骤8中得到的3个关键点的不同位置情况输入到卷积神经网络CNN，所述卷积神经网络CNN将步骤8中所识别出的动作归类为：平躺、下蹲和跌倒；然后将所述平躺动作标记为L信号，将所述下蹲动作标记为S信号，将所述跌倒动作标记为F信号，并将所述信号传入下一级网络LSTM中；

步骤10、从步骤4得到的图像中，采集所述平躺、下蹲和跌倒动作所分别对应的40帧图像信息，并将所述40帧图像信息输入到基于递归神经网络LSTM模块中的输入门，将所得数据进行归一化处理，得到相同格式的稳定输出视频；所述基于递归神经网络LSTM模块包括输入门、记忆门和输出门；

步骤11、然后将所述基于递归神经网络LSTM模块的输入门输出的视频信息通过sigmoid函数进行标准化处理，将所得视频信息像素值归整化于(-1，1)之间，便于之后的运算与处理；之后再通过tanh函数对神经网络输入层进行激活处理，用来更新当前状态，减少误差；

实现所述标准化处理所用到的计算公式如下所示：

i_t＝σ(W_i[h_t-1,x_t]+b_i)

D_t＝tanh(W_c[h_t-1,x_t]+b_c)

式中：x_t为视频帧输入像素值，h_t-1为视频帧输出像素值，b_i为消除视频传输过程中帧丢失所造成的偏差而设定的补偿值，W_i为递归神经网络系数矩阵权重，i_t为经过标准化处理过的输出；σ为所得图像帧间方差，W_c为递归神经网络系数矩阵权重，D_t为更新后的状态，b_c为消除视频传输过程中帧丢失所造成的偏差而设定的补偿值；

步骤12、将步骤11的输出信息传递到记忆门，所述记忆门对步骤11所得视频帧选择性地存储，将行为识别过程中判定为跌倒的一系列视频存储起来，并根据对跌倒状态的判定来划分优先级别，将跌倒动作完整视频保存下来，用于作下一步的分析；

实现视频选择的计算方法如下：

f_t＝σ(W_f[h_t-1,x_t]+b_f)

C_t＝f_t*C_t-1+i_t*D_t

式中：f_t为通过记忆门输出阶段的输出视频信息，W_f为神经网络矩阵权重，h_t-1为上一级视频帧输出，x_t为视频帧输入，b_f为抵消通过记忆门视频帧丢失而造成的误差的偏置值；C_t为当前视频信息状态，C_t-1为上一级视频信息输出状态，i_t为上一阶段经过标准化处理后的输出，D_t为上一级视频信息更新后的输入状态；

步骤13、将记忆门处理过的信息传送到输出门，所述输出门将所得视频归一化处理后，进行跌倒检测分类、识别跌倒以及其他动作状态，并标记跌倒状态；

步骤14、提取步骤13中获取的跌倒状态，统一放置于CNN神经网络中进行存储，并构建跌倒模型库；

步骤15、将被监护人当前状态与模型库进行对比，利用跌倒所述模型库对产生跌倒之前、跌倒过程中和跌倒后的一系列视频帧进行分析，根据跌倒动作产生的速度和人体关键点的位置关系，对人体跌倒进行判断，实现跌倒预判功能。