[发明专利]人货绑定方法、装置和电子设备

说明书

本公开提供了一种人货绑定方法，包括获得在区域中采集的图像，其中，所述区域中存在至少一件货物，识别所述图像中的手部位置和头部位置以及所述手部位置和头部位置的对应关系，响应于货物移动事件，基于所述手部位置和头部位置以及所述手部位置和头部位置的对应关系，确定所述货物与头部的对应关系。本公开还提供了一种人货绑定装置、一种电子设备以及一种计算机可读存储介质。

技术领域

本公开涉及互联网技术领域，更具体地，涉及一种人货绑定方法、装置和电子设备。

背景技术

在无人门店中，需要在通过技术手段判断拿走货物的用户，以便结算扣款，该过程即为人货绑定。用户取货时，货品与用户标识是否能正确结算，不仅影响着门店的用户体验，而且直接关乎到整体运营效率。因此人与货的准确绑定是门店技术中不可或缺的一个重要环节。然而，现有技术未能很好地解决上述问题，我们迫切需要一种高效、精确的人货绑定方法。

发明内容

有鉴于此，本公开提供了一种人货绑定方法、装置和电子设备。

本公开的一个方面提供了一种人货绑定方法，包括获得在区域中采集的图像，其中，所述区域中存在至少一件货物，识别所述图像中的手部位置和头部位置以及所述手部位置和头部位置的对应关系，响应于货物移动事件，基于所述手部位置和头部位置以及所述手部位置和头部位置的对应关系，确定所述货物与头部的对应关系。

根据本公开实施例，所述识别所述图像中的手部位置和头部位置以及所述手部位置和头部位置的对应关系包括，通过经训练的神经网络处理所述图像，得到手部位置和头部位置以及图像的亲和力场信息，其中，所述亲和力场信息包括图像中每个像素点的部分亲和字段向量，将每个手部位置和每个头部位置两两组合，得到多个手部头部对；对于每个手部头部对，计算该手部位置与头部位置的连线向量与各像素点的部分亲和字段向量的点积的线积分；，通过全局优化，确定所述手部位置和头部位置的对应关系，使得具有对应关系的手部头部对的线积分最大。

根据本公开实施例，响应于货物移动事件，所述基于所述手部和头部的位置以及所述手部和头部的对应关系，确定所述货物与头部的对应关系包括，响应于货物移动事件，确定所述货物的位置，基于所述货物的位置，确定所述图像中与所述货物关联的手部，基于所述手部和头部的位置以及所述手部和头部的对应关系，确定与所述手部对应的头部，以确定所述货物与头部的对应关系。

根据本公开实施例，所述方法还包括接收货物移动事件，其中，所述货物移动事件通过以下方式确定，基于重力传感参数确定发生货物移动事件，或者通过射频识别确定发生货物移动事件。

根据本公开实施例，所述方法还包括，通过头部跟踪，获得头部与用户的对应关系，在确定所述货物与头部的对应关系后，基于所述头部与用户的对应关系，确定所述货物与用户的对应关系。

本公开的另一个方面提供了一种人货绑定装置，包括获得模块、识别模块以及第一确定模块。获得模块，用于获得在区域中采集的图像，其中，所述区域中存在至少一件货物。识别模块，用于识别所述图像中的手部位置和头部位置以及所述手部位置和头部位置的对应关系。第一确定模块，用于响应于货物移动事件，基于所述手部位置和头部位置以及所述手部位置和头部位置的对应关系，确定所述货物与头部的对应关系。

根据本公开实施例，所述识别模块包括分析子模块、组合子模块以及优化子模块。分析子模块，用于通过经训练的神经网络处理所述图像，得到手部位置和头部位置以及图像的亲和力场信息，其中，所述亲和力场信息包括图像中每个像素点的部分亲和字段向量。组合子模块，用于将每个手部位置和每个头部位置两两组合，得到多个手部头部对；对于每个手部头部对，计算该手部位置与头部位置的连线向量与各像素点的部分亲和字段向量的点积的线积分。优化子模块，用于通过全局优化，确定所述手部位置和头部位置的对应关系，使得具有对应关系的手部头部对的线积分最大。