[发明专利]一种动态场景下小物体的位姿追踪方法及装置

权利要求书

1.一种动态场景下小物体位姿追踪方法，其特征在于，包括：

在无干预的情况下，获取小物体的初始深度图，并根据所述小物体的初始深度图初始化小物体的三维模型，并根据小物体尺寸初始化小物体的包围盒；

基于所述小物体的三维模型和当前时刻小物体的位姿预测小物体的第一深度图；

基于所述小物体的第一深度图，更新小物体的包围盒；

实时采集小物体在运动状态下的第二深度图；

基于小物体的包围盒剔除所述第二深度图中的干扰信息，得到最终深度图；

将所述最终深度图和所述第一深度图进行匹配，更新当前时刻小物体的位姿；

基于当前时刻小物体的位姿和所述最终深度图更新小物体的三维模型，并返回执行基于所述小物体的三维模型和当前时刻小物体的位姿预测小物体的第一深度图。

2.根据权利要求1所述的方法，其特征在于，所述初始化所述小物体的包围盒，包括：

根据所述小物体的尺寸确定所述包围盒的长度；

基于所述包围盒的长度、小物体的尺寸以及相机的参数进行分析，确定包围盒的原点坐标；

基于所述包围盒的长度确定构成所述包围盒的每个立方格的边长，并基于每个立方格的边长确定每个立方格在包围盒的位置；

基于包围盒的原点坐标和每个立方格在包围盒内的位置确定每个立方格的中心坐标；

初始化表示每个立方格状态的数值；所述立方格的状态包括：位于包围盒外和位于包围盒内。

3.根据权利要求1所述的方法，其特征在于，所述基于所述小物体的第一深度图，更新小物体的包围盒，包括：

生成所述第一深度图的二值化掩膜；

将构成包围盒的每个立方格投影到第一深度图上；

基于所述第一深度图的二值化掩膜中各个像素的值和每个立方格投影到第一深度图的位置，确定每个立方格的数值。

4.根据权利要求1所述的方法，其特征在于，所述基于小物体的包围盒剔除所述第二深度图中的干扰信息，得到最终深度图，包括：

基于小物体的包围盒和区域生长法，对干扰信息进行初步剔除，得到候选深度图；

将所述候选深度图中位于包围盒外的像素点设置为0，得到最终深度图。

5.根据权利要求4所述的方法，其特征在于，所述基于小物体的包围盒和区域生长法，对干扰信息进行初步剔除，得到候选深度图，包括：

计算第二深度图中的每个像素点的深度值与第一深度图中相同深度值的差值，将差值小于第一预设阈值的像素点作为种子放入到第一队列中；

顺序遍历第一队列中的所有种子，基于所述第二深度图进行区域生长，得到新种子，并将新种子放入第二队列中；

判断第二队列中的种子数量与第一队列中的种子数量是否满足预设条件；

若第二队列中的种子数量与第一队列中的种子数量不满足预设条件，则将第二队列中的种子替换掉第一队列中的种子，并返回执行顺序遍历第一队列中的所有种子，基于所述第二深度图进行区域生长，得到新种子，并将新种子放入第二队列中；

若第二队列中的种子数量与第一队列中的种子数量满足预设条件，则停止生长；将第二队列中所有的种子对应的像素点设置为1，将第二深度图中其它的像素点设置为0，得到候选深度图。

6.根据权利要求4所述的方法，其特征在于，将所述候选深度图中位于包围盒外的像素点设置为0，包括：

基于所述候选深度图生成点云，并利用当前时刻的小物体的位姿将点云转换到全局坐标系中；

针对于全局坐标系中的每个点，若任何一点满足第一条件和第二条件，则将该点对应的候选深度图中的像素点的像素值设置为0，得到最终深度值；

所述第一条件为：该点对应的包围盒中立方格的数值为预设的第一数值；

第二条件为：位于该点对应包围盒的小立方格的邻域内的所有立方格的数值均为所述第一数值；

所述预设的第一数值表示该立方格位于包围盒外。

7.根据权利要求1所述的方法，其特征在于，所述小物体的干扰信息为操作小物体运动的手的信息。