[发明专利]一种向上层引擎提供骨骼点数据的方法及系统

说明书

本申请实施例提供一种向上层引擎提供骨骼点数据的方法及系统，通过单目摄像头实现视频图像数据的采集，以价格相对便宜的单目摄像头替代价格相对昂贵的双目或深度摄像头，可有效降低成本；通过目标卷积神经网络从采集的视频图像中推理出2D骨骼关键点，并通过一维卷积神经网络做实时3D坐标变换，从而将2D骨骼关键点变换为3D骨骼关键点，整个计算过程，即便是中低端配置的设备也可以满足处理计算需求，从而使中低端配置玩家也能顺畅地进行游戏，本方案具有实时性、鲁棒性、流畅、平滑等体验优势；由于管道接口模块的设置，使得与体感游戏的引擎模块接口之间打通，实现了跨操作系统的融合。

技术领域

本申请涉及数据处理技术领域，具体的，涉及一种向上层引擎提供骨骼点数据的方法及系统。

背景技术

目前的体感游戏主要有可穿戴设备体感游戏和基于双目或深度摄像头(如Kinect、RealSense)的体感游戏，这类游戏对摄像头硬件依赖较强，而体感摄像头设备普遍比较昂贵，对于玩家的消费水平要求较高；而且，体感摄像头对硬件性能依赖较高，如Kinect 3.0需要很强大的GPU算力，普通CPU无法做到实时处理，且Kinect3.0适配大型游戏引擎(如unity3D、ue4)，需要较多的计算资源，中低端配置的设备往往无法满足其要求，致使中低端配置玩家的游戏流畅体验不佳。

发明内容

本申请实施例提供了一种向上层引擎提供骨骼点数据的方法及系统，以解决现有体感游戏的摄像头成本高、中低端配置玩家体验不佳的问题。

第一方面，本申请实施例提供一种向上层引擎提供骨骼点数据的方法，包括：获取单目摄像头实时采集的视频图像；通过目标卷积神经网络推理出所述视频图像的2D骨骼关键点序列；通过一维卷积神经网络将2D骨骼关键点序列转换为3D骨骼关键点序列；将获得的3D骨骼关键点序列发送给上层引擎模块。

可选的，在将获得的3D骨骼关键点序列发送给上层引擎模块之前，所述方法还包括：通过扩展卡尔曼滤波器对所述3D骨骼关键点序列进行平滑滤波处理。

可选的，所述将获得的3D骨骼关键点序列发送给上层引擎模块，包括：将获得的3D骨骼关键点序列进行CPP封装；通过CPP语言调用预设的上层语言，将所述3D骨骼关键点序列存入所述上层语言的数据结构中，以供相应的上层引擎模块调用所述数据结构中的3D骨骼关键点序列。

可选的，所述将获得的3D骨骼关键点序列发送给上层引擎模块，包括：通过网络通信单元将所述3D骨骼关键点序列发送给上层引擎模块。

可选的，所述一维卷积神经网络包括：依次连接的前N个一维卷积层、后N个一维卷积层以及全连接层；其中，后N个一维卷积层中的第n个一维卷积层的输入为前一卷积层的输出与前N个一维卷积层中第(N-n+1)个一维卷积层的输出的叠加。

第二方面，本申请实施例提供一种向上层引擎提供骨骼点数据的系统，包括：数据采集单元，用于获取单目摄像头实时采集的视频图像；图像实时处理单元，用于通过目标卷积神经网络推理出所述视频图像的2D骨骼关键点序列，并通过一维卷积神经网络将2D骨骼关键点序列转换为3D骨骼关键点序列；管道接口模块，用于将获得的3D骨骼关键点序列发送给上层引擎模块。

可选的，所述装置还包括：滤波单元，用于通过卡尔曼滤波器对所述3D骨骼关键点序列进行平滑滤波处理，将经平滑滤波处理后的3D骨骼关键点序列输出给管道接口单元。

可选的，管道接口模块包括：进程管道单元，用于将第一进程获得的3D骨骼关键点序列传输至第二进程；其中，所述第一进程用于通过数据采集单元和图像实时处理单元获得3D骨骼关键点序列，所述第二进程用于获取进程管道单元提供的3D骨骼关键点序列，并通过管道接口模块将获得的3D骨骼关键点序列发送给上层引擎模块。