[发明专利]虚拟试用方法、装置、电子设备及存储介质

说明书

本公开关于一种虚拟试用方法、装置、电子设备及存储介质。其中，虚拟试用方法包括：获取包括目标身体部位的第一图像；将所述第一图像输入训练好的第一模型中，以得到与所述第一图像的目标身体部位对应的N个关键点的坐标信息和第一掩码区域，其中，所述N个关键点均位于所述第一掩码区域内，N为大于1的整数；根据所述N个关键点的坐标信息，确定试用物品的三维模型在所述第一图像的投影位置；将所述试用物品的三维模型投影到所述投影位置，得到所述第一图像的试用图像。根据本公开的方案，可以将预测得到的关键点约束于掩码区域内，从而可以提高试用物品的三维模型投影的准确性，进而提高物品的试用准确性。

技术领域

本公开涉及虚拟现实、增强现实领域，尤其涉及虚拟试用方法、装置、电子设备及存储介质。

背景技术

随着互联网技术的兴起，全球产业进入了互联网时代。在日常的生产生活中，网络购物日益成为一种主流的消费模式。

相关技术中，在网络购买物品时，用户主要通过卖家拍摄的单一平面物品展示效果作为选择物品的依据，容易造成用户实际收到的物品与用户预期收到的物品差距较大，进而导致退货率较高。

发明内容

本公开提供一种虚拟试用方法、装置、电子设备及存储介质，以至少解决相关技术中退货率较高的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种虚拟试用方法，所述方法包括：

获取包括目标身体部位的第一图像；

将所述第一图像输入训练好的第一模型中，以得到与所述第一图像的目标身体部位对应的N个关键点的坐标信息和第一掩码区域，其中，所述N个关键点均位于所述第一掩码区域内，N为大于1的整数；

根据所述N个关键点的坐标信息，确定试用物品的三维模型在所述第一图像的投影位置；

将所述试用物品的三维模型投影到所述投影位置，得到所述第一图像的试用图像。

可选的，所述根据所述N个关键点的坐标信息，确定试用物品的三维模型在所述第一图像的投影位置步骤，包括：

对所述N个关键点的坐标信息进行时序平滑处理；

根据时序平滑处理后的所述N个关键点的坐标信息，确定试用物品的三维模型在所述第一图像的投影位置。

可选的，所述第一模型还输出有与所述目标身体部位的遮挡物对应的第二掩码区域；

所述将所述试用物品的三维模型投影到所述投影位置，得到所述第一图像的试用图像步骤之后，所述方法还包括：

根据所述第一掩码区域和所述第二掩码区域，确定遮挡关系；

根据所述遮挡关系，确定所述第一图像的试用图像中被所述遮挡物遮挡的第一区域，以及未被所述遮挡物遮挡的第二区域；

保持所述第一区域不变，并将所述遮挡物按照所述遮挡关系遮挡所述第二区域，得到调整后的所述第一图像的试用图像。

可选的，所述根据所述第一掩码区域和所述第二掩码区域，确定遮挡关系步骤，包括：

对所述第一掩码区域和所述第二掩码区域分别进行时序平滑处理；

根据时序平滑处理后的所述第一掩码区域和时序平滑处理后的所述第二掩码区域，确定遮挡关系。

可选的，所述N个关键点为N个二维关键点，或，所述N个关键点为N个三维关键点。

可选的，在所述N个关键点为N个二维关键点的情况下，所述第一模型还输出有所述N个关键点的可见性分类结果；

所述根据所述N个关键点的坐标信息，确定试用物品的三维模型在所述第一图像的投影位置步骤，包括：