[发明专利]异视角同步识别同区域商品的订单生成方法及智能售货机

权利要求书

1.一种异视角同步识别同区域商品的订单生成方法，其特征在于，所述方法包括：

S1：获取在第一视角采集商品区域得到的第一视频数据和在不同于所述第一视角的第二视角采集商品区域得到的第二视频数据；

所述S1包括：

S11：获取沿智能售货机的货架排列方向将放置商品的商品区分为多个局部区域；

S12：控制第一主摄像头和与所述第一主摄像头位于同侧且各自对应采集一个局部区域的第一子摄像头以第一视角采集相应局部区域的商品图像生成第一视频数据；

S13：控制第二主摄像头和与所述第二主摄像头位于同侧且各自对应采集一个局部区域的第二子摄像头以不同于第一视角的第二视角采集相应局部区域的商品图像生成第二视频数据；

其中，所述S12和所述S13包括：

S131：获取所述第一主摄像头采集商品区域生成的第一主视频、各所述第一子摄像头采集对应局部区域的商品生成的第一子视频、所述第二主摄像头采集商品区域生成的第二主视频和各所述第二子摄像头采集对应局部区域的商品生成的各第二子视频；

S134：分别获取所述第一主摄像头采集商品区域的第一主视频和所述第二主摄像头采集商品区域的第二主视频中在拿出或放回商品时存在重合的图像帧，其中，所述重合的图像帧为：用户的手进入商品区的图像帧；

S135：根据各所述重合的图像帧，将与各重合的图像帧对应的所述第一主视频分为对应的多个第一视频段和将与各重合的图像帧对应的所述第二主视频分为对应的多个第二视频段；

S136：根据各所述第一视频段对各所述第一子视频进行删减，得到优化后的各第一优化子视频，根据各所述第二视频段对各所述第二子视频进行删减，得到优化后的各第二优化子视频；

S137：以各所述第一优化子视频中各帧图像的局部区域图像替换对应的各所述第一视频段中对应各所述第一优化子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述第一视频数据，以各所述第二优化子视频中各帧图像的局部区域图像替换对应的各所述第二视频段中对应各所述第二优化子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述第二视频数据；

S2：利用目标检测模型分别对所述第一视频数据和所述第二视频数据的各帧图像进行检测，生成与所述第一视频数据对应的第一商品信息和与所述第二视频数据对应的第二商品信息；

S3：对比所述第一商品信息和所述第二商品信息，生成本次若干购物商品的商品订单信息。

2.根据权利要求1所述的异视角同步识别同区域商品的订单生成方法，其特征在于，所述第一视频数据和第二视频数据的帧率相同，并且所述第一视频数据和第二视频数据的图像帧总数相等。

3.根据权利要求2所述的异视角同步识别同区域商品的订单生成方法，其特征在于，所述S1包括：

S14：获取用于采集商品区视频数据的摄像头的帧率和摄像头数量；

S15：根据所述帧率和所述摄像头数量，确定各摄像头开始采集对应商品区的视频数据的间隔时间；

S16：根据所述间隔时间，控制各摄像头采集所述第一视频数据和所述第二视频数据；

将采集第一视频数据对应的所有摄像头设置相同的起始时刻，记为第一起始时刻，将采集第二视频数据对应的所有摄像头设置相同的起始时刻，记为第二起始时刻，将第一起始时刻和第二起始时刻的间隔时间设置为相邻两帧图像间隔时间的1/2。

4.根据权利要求1至3任一项所述的异视角同步识别同区域商品的订单生成方法，其特征在于，所述S2包括：

S21：利用所述目标检测模型分别对所述第一视频数据和所述第二视频数据的各帧图像进行检测，得到所述第一视频数据中的各类商品的第一检测结果和所述第二视频数据中的各类商品的第二检测结果，其中，第一检测结果和第二检测结果均包括检出次数、商品类别和对应于各商品类别的置信度；

S22：根据所述第一检测结果中的各置信度和各类别商品的检出次数，计算各类别商品对应的第一平均置信度，根据所述第二检测结果中的各置信度和各类别商品的检出次数，计算各类别商品对应的第二平均置信度；

S23：分别将各所述第一平均置信度和各所述第二平均置信度与置信度阈值对比，得到属于所述第一检测结果中符合要求的所述第一商品信息和属于所述第二检测结果中符合要求的所述第二商品信息。