[发明专利]多视角采集图像后融合的智能生成订单方法及智能售货机

权利要求书

1.一种多视角采集图像后融合的智能生成订单方法，其特征在于，所述方法包括：

S10：获取第一主摄像头在第一视角采集商品区域得到的第一主视频和第二主摄像头在不同于所述第一视角的第二视角采集所述商品区域得到的第二主视频，其中，所述第一主摄像头和第二主摄像头的帧率相同且采集得到帧数相同的所述第一主视频和第二主视频；

S11：将所述第一主视频的各帧图像与所述第二主视频中采集时序相对应的各帧图像一一进行合并，生成目标视频，其中，目标视频的每帧图像尺寸为所述第一主视频的各帧图像的尺寸与第二主视频对应的各帧图像的尺寸之和；

S12：将所述目标视频的各帧图像输入预置的目标检测模型，得到若干目标商品的商品信息；

所述S12包括：

S121：将所述目标视频的各帧图像分为属于所述第一主视频的第一图像区域和属于所述第二主视频的第二图像区域；

S122：利用所述目标检测模型对所述目标视频的各帧图像进行检测，得到与所述第一图像区域对应的第一检测结果和与所述第二图像区域对应的第二检测结果；

S123：对比所述第一检测结果和所述第二检测结果，得到用于生成商品订单信息的各目标商品的所述商品信息；

其中，所述第一检测结果和所述第二检测结果均包含：各商品的类别、与各商品一一对应的置信度和所有帧图像检出的各类商品各自对应的平均置信度，第一检测结果和第二检测结果为多帧图像的检测结果的统计，若第一检测结果和第二检测结果中商品类别相同，且检测结果中目标商品的置信度符合要求，则得到用于生成订单信息的目标商品，若第一检测结果和第二检测结果不相同，则以检测结果中商品数量、类别多的检测结果中的各商品作为目标商品，若置信度不符合要求，则认为是异常订单，由人工审核目标视频，得到用于生成订单信息的目标商品；

S13：根据各目标商品的商品信息，生成商品订单信息；

其中，所述第一主摄像头所采集的商品区域的范围与所述第二主摄像头所采集的商品区域的范围相同。

2.根据权利要求1所述的多视角采集图像后融合的智能生成订单方法，其特征在于，所述S11包括：

S111：获取所述第一主摄像头开始采集所述第一主视频对应的第一起始时刻和所述第二主摄像头开始采集所述第二主视频对应的不同于所述第一起始时刻的第二起始时刻；

S112：根据所述第一起始时刻和所述第二起始时刻，将在预设时间内采集得到的所述第一主视频的各帧图像与所述第二主视频中时序相对应的各帧图像进行一一合并，生成所述目标视频；

其中，所述第一起始时刻和所述第二起始时刻的时间间隔小于摄像头帧率对应的相邻两帧图像的时间间隔。

3.根据权利要求1所述的多视角采集图像后融合的智能生成订单方法，其特征在于，所述S122包括：

S1221：利用所述目标检测模型对所述目标视频的各帧图像进行检测，得到各帧图像中与所述第一图像区域对应的各商品的类别和置信度，以及各帧图像中与所述第二图像区域对应的各商品的类别和置信度；

S1222：根据分别在所述第一图像区域和所述第二图像区域内检出的各商品的置信度，得到与所有帧图像在所述第一图像区域内检出的所有商品中与各类商品一一对应的各第一置信度平均值和与在所述第二图像区域内检出的所有商品中与各类商品一一对应的各第二置信度平均值；

S1223：根据在所述第一图像区域和所述第二图像区域内检出的各商品的类别，得到与各帧图像在所述第一图像区域内检出的所有商品对应的各第一商品信息，以及与各帧图像在所述第二图像区域内检出的所有商品对应的各第二商品信息；

S1224：根据各所述第一商品信息和与各所述第一商品信息一一对应的各所述第一置信度平均值，得到所述第一检测结果，根据各所述第二商品信息和与各所述第二商品信息一一对应的各所述第二置信度平均值，得到所述第二检测结果。

4.根据权利要求3所述的多视角采集图像后融合的智能生成订单方法，其特征在于，所述S1222包括：

S12221：获取商品进行有效检出次数统计对应的检出次数阈值；

S12222：将各类别的商品对应的检出次数与所述检出次数阈值对比，将符合要求的商品的各置信度计算平均值，得到各所述第一商品置信度平均值和各所述第二商品置信度平均值。