[发明专利]骨骼识别装置、学习方法以及学习程序

说明书

本发明的骨骼识别装置将教师数据输入至学习模型并计算基于正向传播的输出。骨骼识别装置根据基于作为教师数据的正解值的骨骼信息和识别处理部的输出结果的骨的长度之差、以及基于骨骼信息和上述识别处理部的输出结果的骨彼此的角度之差，来计算损失函数的值。

技术领域

本发明涉及骨骼识别装置等。

背景技术

关于检测三维的人的运动的骨骼识别，建立从多台3D激光传感器以±1cm的精度提取3D骨骼坐标的3D传感检测技术，期待应用于各种体育运动。将使用3D激光传感器的方式记作“激光方式”。

在上述的激光方式中，在1秒钟照射激光约200万次，基于激光的飞行时间(Timeof Flight：ToF)，求出包括成为对象的人在内的各照射点的深度数据。在激光方式中，能够获取高精度的深度数据，但由于进行激光扫描、ToF测定等复杂的结构、处理，因此存在硬件变得复杂且昂贵的缺点。

对于激光方式，在通过CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)成像器来获取各像素的RGB数据的图像方式中，能够使用廉价的RGB相机来进行3D骨骼识别。

例如，作为通过图像方式进行骨骼识别的现有技术，有现有技术1。图11是用于对现有技术1进行说明的图。在现有技术1中，通过对各输入图像1施加2D backbone处理1a，来获取表示各关节特征的2D features2。现有技术1通过将各2D features2根据相机参数投影到3Dcube，来获取aggregated volumes3。

现有技术1通过将aggregated volumes3输入至V2V(神经网络，P3)4，来获取表示各关节的似然性的processed volumes5。Processed volumes5对应于表示各关节的3D中的似然性的heatmap。现有技术1通过对processed volumes5执行soft-argmax6，来获取3D骨骼信息7。

对现有技术1中使用的V2V4的学习的一个例子进行说明。V2V4主要由3D的内核构成，通过误差反向传播来学习内核的权重和偏差。将内核的权重和偏差适当地统称为“参数”。在现有技术1中，根据从soft-argmax6输出的3D骨骼信息以及正解值计算关节位置误差的平均值L_p作为Loss值，并学习(调整)参数以使该Loss值最小化。

在这里，在现有技术1中，若由于发生遮挡而部分关节的误差增大，则难以适当地调整V2V4的参数。例如，即使部分关节的误差较大，若其他关节的误差较小，则通过平均化，部分关节的误差不会给Loss函数的输出带来较大的影响。即，不用为了改善部分关节的误差而调整V2V4的参数。

图12是表示部分关节的误差较大的骨骼的例子的图。在图12中，3D骨骼信息10a是与正解值对应的3D骨骼信息。3D骨骼信息10b对应于从soft-argmax6输出的骨骼识别结果。在图12所示的例子中，左脚踝关节的误差较大，但由于其他关节的误差较小，因此若平均则不会给Loss值带来较大的影响，因此无法期待改善左脚踝位置的学习效果。

对于上述的问题，有现有技术2。在现有技术2中，在第一阶段，基于距离图像来推断关节位置，在第二阶段，对于推断出的关节位置，基于人体模型来评价匹配性，并修正推断出的关节位置，以成为最好的关节位置的组合。在现有技术2中，通过如上述那样以两个阶段进行处理，来提高关节位置的推断精度。

专利文献1：日本特开2015－167008公报

专利文献2：日本特开2004－13474号公报

非专利文献1：K.Iskakov,et al.,“Learnable Triangulation of Human Pose”,ICCV 2019,oral