[发明专利]标志点检测模型生成方法及标志点检测方法

权利要求书

1.一种标志点检测模型生成方法，其特征在于，所述方法包括：

构建三维模型，所述三维模型上包含有预先标记的标志点，所述标志点对应的位置数据为原始三维位置数据；

基于所述三维模型，获取多个不同视角的二维图像，并根据所述原始三维位置数据和与视角对应的视点位置数据计算得到所述标志点的二维位置数据，所述多个不同视角包括至少一个全局视角和一个局部视角，所述二维图像包括深度图像和表面参考图像；

利用深度学习方法，将每个视角的所述深度图像及所述标志点的二维位置数据作为输入，将优化得到的响应图作为输出，分别训练得到多个神经网络模型，每个不同视角的二维图像对应一个神经网络模型，其中输出的响应图包括对应全局视角的第一响应图和对应局部视角的第二响应图；

基于所述表面参考图像获取具标志点的第二响应图，将所述具标志点的第二响应图对所述第一响应图进行修正得到修正的第一响应图，将所述修正的第一响应图上标志点的位置数据作为映射层输入，基于二维到三维的映射关系得到标志点的预测三维位置数据；

根据所述原始三维位置数据和所述预测三维位置数据计算得到损失值，响应所述损失值满足预设条件得到训练完成的所述标志点检测模型。

2.根据权利要求1所述的标志点检测模型生成方法，其特征在于，所述根据所述原始三维位置数据和与视角对应的视点位置数据计算得到所述标志点的二维位置数据，具体为：

其中，所述原始三维位置数据为S(x,y,z)，所述视点位置数据为V(x,y,z)，所述标志点的二维位置数据为I(x,y)。

3.根据权利要求1所述的标志点检测模型生成方法，其特征在于，所述利用深度学习方法，将每个视角的所述深度图像及所述标志点的二维位置数据作为输入，将优化得到的响应图作为输出，分别训练得到多个神经网络模型，每个不同视角的二维图像对应一个神经网络模型，其中输出的响应图包括对应全局视角的第一响应图和对应局部视角的第二响应图，具体为：

搭建第一ECNN网络框架，将每个全局视角的深度图像及所述标志点的二维位置数据作为输入，将第一响应图作为输出，分别训练得到全局视角对应的神经网络模型；

搭建第二ECNN网络框架，将每个局部视角的深度图像及所述标志点的二维位置数据作为输入，将第二响应图作为输出，分别训练得到局部视角对应的神经网络模型，所述第二ECNN网络框架的网络层数小于所述第一ECNN网络框架的网络层数。

4.根据权利要求1所述的标志点检测模型生成方法，其特征在于，所述基于所述表面参考图像获取具标志点的第二响应图，将所述具标志点的第二响应图对所述第一响应图进行修正得到修正的第一响应图，将所述修正的第一响应图上标志点的位置数据作为映射层输入，基于二维到三维的映射关系得到标志点的预测三维位置数据的步骤包括：

根据所述表面参考图像获取特定表面参考图像，所述特定表面参考图像为具有标志点的局部视角对应的表面参考图像；

获取与所述特定表面参考图像同一个视角的第二响应图，所述第二响应图具有标志点；

若所述第一响应图和所述第二响应图上均包括A点，将所述第一响应图上A点的像素值和第二响应图上A点的像素值按照预设公式进行计算得到修正的第一响应图上A点的像素值；

获取所述修正的第一响应图上标志点中的各个像素点的像素值，并将标志点中具有最大像素值的像素点作为期望位置；

将所述期望位置的位置数据作为映射层输入，基于二维到三维的映射关系得到的位置数据为标志点的预测三维位置数据。

5.根据权利要求4所述的标志点检测模型生成方法，其特征在于，所述预设公式为：

G_i'＝α×max(G_i,L_i)+(1-α)×min(G_i,L_i)；

其中：

0.8α1；

G_i'为修正的第一响应图上A点的像素值，G_i为第一响应图上A点的像素值，L_i为第二响应图上A点的像素值。