[发明专利]通过人体曲线图进行的沉浸式交互方法、装置及存储介质

权利要求书

1.一种通过人体曲线图进行的沉浸式交互方法，通过RGB摄像头获取视频信息，其特征在于，所述交互方法包括如下步骤：

步骤1，视频抽帧预处理，获取所述RGB摄像头的实时视频流，判断是否是有效帧，当判断为有效帧时，对所述有效帧采用直方图均衡化进行处理用以增强局部对比度，其次用行人检测技术获取每个人的抠图，最后分别用sober算子和canny算子对视频流有效帧中的每个人做边缘检测，以此得到每个人的两张边缘检测结果图；

步骤2，人体曲线刻画，构建人体曲线生成模型，将所述步骤1中的所述每个人的两张边缘检测结果图作为所述人体曲线生成模型的数据输入，并以此得到了每个人的轮廓曲线图，具体公式如下：

P＝G(φ(F_sober(x)),φ(F_canny(x)))

其中，x代表输入图片，G表示图片生成算法，φ为空集符号，在本公式中表示一个映射函数，通过所述映射函数将0～255二值化像素值映射到0～1之间，G表示曲线生成算法；

步骤3，图片风格转换和缓存处理，将视频的每一帧转化成只包含人体轮廓曲线的热度图，用追踪的方式把每个人每一帧的热度图依次放入各自缓存队列中，设置队列长度，只保存邻近预设长度的帧的视频人体热度图，其中，所述步骤3进一步包括：检测是否存在连续帧中是否存在遮挡，当存在时，利用上一帧未被遮挡时的人体坐标框和之前的运动状态信息作为卡尔曼滤波初始信息，预测被遮挡时人体坐标框，然后将预测结果作为下一次迭代卡尔曼滤波的初值，以保证即使人物被遮挡也能让人体坐标框以未被遮挡时的运动状态保持稳定，直到脱离遮挡物，预测框和人体检测框重合面积区域大于0.5为止；对于被遮挡时人体曲线的补全机制，是用临近帧未被遮挡的人体曲线特征进行替代，并将其放入缓存队列，原始的被遮挡的曲线图丢弃；如果遮挡物也是人的情况，在热度图上再建一个新的维度，将遮挡的人的曲线转移到第二维度的热度图上，以此不仅遮挡的人和被遮挡的人的曲线特征都能有效保留，而且空间信息也会存在；

步骤4，动作识别，通过图卷积神经网络，将所述步骤3中得到的每个人连续60～100帧的热度图作为输入进行动作识别，具体公式如下：

其中，ti表示时刻，v表示连续帧的人体热度图，Z表示对连续帧的不同图片做统一的正则化处理，p表示对输入的每两个连续帧的图片做点映射，w表示图卷积网络参数，B表示连续帧的数量。

2.如权利要求1所述的一种通过人体曲线图进行的沉浸式交互方法，其特征在于，所述获取所述RGB摄像头的实时视频流，判断是否是有效帧进一步包括：每抽一帧就跟上一帧做像素级的误差计算，如果误差相差小于第一预设值则判断当前帧为是无效帧，若所述误差相差大于第一预设值则判断当前帧为是有效帧。

3.如权利要求1所述的一种通过人体曲线图进行的沉浸式交互方法，其特征在于，所述人体曲线生成模型为通过图片生成技术，通过将同一个人的sober算子处理后的图片结果、canny算子处理的图片结果以及自制的人体曲线图作为一组输入数据，对所述人体曲线生成模型进行训练。

4.如权利要求1所述的一种通过人体曲线图进行的沉浸式交互方法，其特征在于，所述将视频的每一帧转化成只包含人体轮廓曲线的热度图进一步包括：将所述有效帧内的原始场景大图先做整体背景涂黑处理，然后将所述步骤2中的所述轮廓曲线图放到原坐标位置。

5.如权利要求1所述的一种通过人体曲线图进行的沉浸式交互方法，其特征在于，所述将所述步骤3中得到的每个人连续60～100帧的热度图作为输入进行动作识别，帧数的多少根据动作的持续长短来决定，若判断动作持续时间越长则输入越多的帧数。

6.如权利要求1所述的一种通过人体曲线图进行的沉浸式交互方法，其特征在于，通过多线程机制对多人同时进行动作识别，从而完成特定动作的沉浸式交互任务。