[发明专利]通过人体曲线图进行的沉浸式交互方法、装置及存储介质

说明书

本发明公开了一种通过人体曲线图进行的沉浸式交互方法，针对现有的沉浸式交互领域技术缺陷，本发明提出一种通过人体轮廓曲线进行交互的方式，与人体分割技术比较像，跟其最大的不同之处在于：人体分割是将人的所有区域(包括躯干等)都识别出来，但是本技术只将人的轮廓曲线描绘出来，相比于前者具有更好的连续性特征，基于曲线的动作识别准确率更高，交互体验效果更好。人体轮廓曲线具有简洁连续地特点，即使身体曲线部分被遮挡，也可以凭借未被遮挡地部分和上一帧的曲线有效地进行动态还原，同时也不需要传感器等额外的硬件设备，进行沉浸式交互人数的多少完全是靠算法的能力支撑，因此来说降低了成本的同时也打破了适用环境的限制。

技术领域

本发明涉及人机交互技术领域，尤其涉及一种通过人体曲线图进行的沉浸式交互方法、装置及存储介质。

背景技术

沉浸式交互可用于任何有交互需求的场景和领域中，例如：3D试衣、虚拟试妆、交互式自动售货机、体感游戏等等。现有的沉浸式交互系统主要通过两种方式来实现人机交互的目的：第一种，通过摄像头实时采集画面，再经由算法模块解析图片，得到图片中人的关键点信息，根据关键点的信息去判断人的肢体动作，该方法在人员稀疏的环境中效果较好，且实施交互的人员前面不能有其他人走动和遮挡的情况出现，否则即使采用目标人物定位和追踪的方式，也有极大概率丢失目标人员的关键点信息，进而对人体动作识别不准，达不到有效交互；第二种，以传感器作为人机交互的媒介，相较于第一种方法，不再受限于多人的因素，在它基础上的动作识别精度非常高，但是额外的传感器也变相增加了使用成本，同时适用场景也非常受限，尤其是对于大型开放式沉浸式场景，这种方式显然不太适用。

发明内容

本发明只需要一个RGB摄像头，即可捕捉到其视野范围中出现的人，通过人做出的特定动作进行识别，计算机相应去完成一些与该动作对应的指令，从而让人获得一种沉浸式场景体验。

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明公开了一种通过人体曲线图进行的沉浸式交互方法，通过RGB摄像头获取视频信息，所述交互方法包括如下步骤：

步骤1，视频抽帧预处理，获取所述RGB摄像头的实时视频流，判断是否是有效帧，当判断为有效帧时，对所述有效帧采用直方图均衡化进行处理用以增强局部对比度，其次用行人检测技术获取每个人的抠图，最后分别用sober算子和canny算子对视频流有效帧中的每个人做边缘检测，以此得到每个人的两张边缘检测结果图；

步骤2，人体曲线刻画，构建人体曲线生成模型，将所述步骤1中的所述每个人的两张边缘检测结果图作为所述人体曲线生成模型的数据输入，并以此得到了每个人的轮廓曲线图，具体公式如下：

P＝G(φ(F_sober(x)),φ(F_canny(x)))

其中，x代表输入图片，G表示图片生成算法，φ为空集符号，在本公式中表示一个映射函数，通过所述映射函数将0～255二值化像素值映射到0～1之间，G表示曲线生成算法；

步骤3，图片风格转换和缓存处理，将视频的每一帧转化成只包含人体轮廓曲线的热度图，用追踪的方式把每个人每一帧的热度图依次放入各自缓存队列中，设置队列长度，只保存邻近预设长度的帧的视频人体热度图；

步骤4，动作识别，通过图卷积神经网络，将所述步骤3中得到的每个人连续60～100帧的热度图作为输入进行动作识别，具体公式如下：

其中，ti表示时刻，v表示连续帧的人体热度图，Z表示对连续帧的不同图片做统一的正则化处理，p表示对输入的每两个连续帧的图片做点映射，w表示图卷积网络参数，B表示连续帧的数量。

更进一步地，所述获取所述RGB摄像头的实时视频流，判断是否是有效帧进一步包括：每抽一帧就跟上一帧做像素级的误差计算，如果误差相差小于第一预设值则判断当前帧为是无效帧，若所述误差相差大于第一预设值则判断当前帧为是有效帧。