[发明专利]识别方法、装置、设备及存储介质

权利要求书

1.一种识别方法，其特征在于，包括：

获取采集到的第一视角下货架的货架图像；

基于所述货架图像，确定目标对象与所述货架交互的交互信息，所述交互信息包括三维触碰位置；

基于所述三维触碰位置，确定待识别商品位置，所述待识别商品位置为第二视角货架平面中的位置，所述第二视角货架平面为第二视角下所述货架的空间平面；

基于所述第二视角货架平面中商品位置与库存量单位SKU之间的对应关系，确定所述待识别商品位置处的商品；

其中，基于所述货架图像，确定所述目标对象与所述货架交互的三维触碰位置，包括：基于所述货架图像，确定所述目标对象触碰所述货架上的商品时，所述目标对象的目标部位的关键点位置，以得到所述目标对象与所述货架交互的三维触碰位置；

所述基于所述货架图像，确定所述目标对象触碰所述货架上的商品时，所述目标对象的目标部位的关键点位置，包括：基于所述货架图像，确定所述目标部位的关键点轨迹；基于所述目标部位的关键点轨迹，确定所述目标部位进入所述货架的第一时间点以及所述目标部位离开所述货架的第二时间点；基于所述第一时间点和所述第二时间点，确定所述目标对象触碰所述货架上的商品时，所述目标对象的目标部位的关键点位置；

其中，所述基于所述目标部位的关键点轨迹，确定所述目标部位进入所述货架的第一时间点以及所述目标部位离开所述货架的第二时间点，包括：将多帧货架图像中所述目标部位的关键点向靠近所述货架的方向运动，且所述目标部位的关键点是在目标直线的第一侧的第一货架图像对应的时间点，确定为所述目标部位进入所述货架的第一时间点，所述目标直线是根据用于表示所述货架的多个边中与所述第一视角相应的目标边得到；将所述多帧货架图像中所述目标部位的关键点向远离所述货架的方向运动，且所述目标部位的关键点是在目标直线的第二侧的第二货架图像对应的时间点，确定为所述目标部位离开所述货架的第二时间点，所述第二侧与所述第一侧相反。

2.根据权利要求1所述的方法，其特征在于，所述基于所述货架图像，确定所述目标对象与所述货架交互的三维触碰位置，还包括：将所述关键点位置投影到第一视角货架平面上的投影位置，确定为所述目标对象与所述货架交互的三维触碰位置，所述第一视角货架平面为所述第一视角下所述货架的空间平面。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一时间点和所述第二时间点，确定所述目标对象触碰所述货架上的商品时，所述目标对象的目标部位的关键点位置，包括：

将所述第一时间点与所述第二时间点之间某一时间点对应的一帧货架图像中所述目标部位的关键点位置，确定为所述目标对象触碰所述货架上的商品时，所述目标对象的目标部位的关键点位置。

4.根据权利要求1所述的方法，其特征在于，所述第一视角和所述第二视角为不同的视角；所述基于所述三维触碰位置，确定待识别商品位置，包括：

基于所述第一视角货架平面到所述第二视角货架平面的转换关系，将所述三维触碰位置在所述第二视角货架平面中的对应位置，确定为待识别商品位置。

5.根据权利要求1所述的方法，其特征在于，所述基于所述第二视角货架平面中商品位置与SKU之间的对应关系，确定所述待识别商品位置处的商品，包括：

对于所述待识别商品位置的邻域内的多个位置中的每个位置，根据所述对应关系确定所述每个位置对应的SKU；

确定每个位置对应SKU的商品图像特征与所述目标对象所触碰商品的商品图像特征之间的相似度；

基于所述相似度，确定所述待识别商品位置处的商品。

6.根据权利要求5所述的方法，其特征在于，所述基于所述相似度，确定所述待识别商品位置处的商品，包括：

如果所述多个位置对应的相似度中的最高相似度高于相似度阈值，则将所述最高相似度对应的SKU，确定为所述待识别商品位置处的商品的SKU；

如果所述多个位置对应的相似度中的最高相似度低于所述相似度阈值，则将所述待识别商品位置对应的SKU，确定为所述待识别商品位置处的商品的SKU。

7.根据权利要求1所述的方法，其特征在于，所述交互信息还包括动作类型。