[发明专利]广域与局域采集相结合的智能生成订单方法及智能售货机

权利要求书

1.一种广域与局域采集相结合的智能生成订单方法，其特征在于，所述方法包括：

S1：获取主摄像头针对全部商品区域采集得到的主视频和至少一个子摄像头针对局部商品区域采集得到的子视频，其中，所述主摄像头和各子摄像头的帧率相同且采集得到帧数相同的所述主视频和各所述子视频；

S2：以所述子视频的商品区域覆盖所述主视频中与所述子视频相同的图像区域，得到目标视频；

S3：将所述目标视频的各帧图像输入预置的目标检测模型，得到若干目标商品的商品信息及各目标商品的运动轨迹；

S4：根据各目标商品的所述商品信息和所述运动轨迹，生成商品订单信息；

其中，所述主摄像头和各所述子摄像头沿智能售货机的各层货架排列方向设置，且各所述子摄像头位于所述主摄像头下方。

2.根据权利要求1所述的广域与局域采集相结合的智能生成订单方法，其特征在于，所述S1包括：

S11：获取沿智能售货机的货架排列方向将智能售货机放置商品区域分为多个虚拟的商品区；

S12：控制各商品区对应的摄像头采集对应商品区的视频数据，得到主摄像头采集的所述主视频和至少一个所述子摄像头采集的所述子视频。

3.根据权利要求1所述的广域与局域采集相结合的智能生成订单方法，其特征在于，所述S2包括：

S21：获取所述主摄像头采集商品区域的主视频中在拿出或放回商品时存在重合的图像帧；

S22：根据各所述重合的图像帧，将所述主视频分为多个视频段；

S23：根据各所述视频段对各所述子视频进行删减，得到优化后的各优化子视频；

S24：以各所述优化子视频的各帧图像的局部区域替换对应的各所述视频段中对应各所述优化子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述目标视频。

4.根据权利要求3所述的广域与局域采集相结合的智能生成订单方法，其特征在于，所述S22包括：

S221：获取用于界定商品属于上架和下架的边界线；

S222：根据相邻图像帧中商品位于所述边界线的不同状态区域，结合对应的重合的图像帧，将所述主视频分为商品上架和商品下架对应的各所述视频段。

5.根据权利要求4所述的广域与局域采集相结合的智能生成订单方法，其特征在于，所述S3包括：

S31：将所述目标视频的各帧图像输入预置的目标检测模型，得到各帧图像中各商品的所述商品信息；

S32：根据各帧图像所属的视频段，确定各商品属于上架或下架的所述运动轨迹。

6.根据权利要求1所述的广域与局域采集相结合的智能生成订单方法，其特征在于，所述S4包括：

S41：获取有效订单对应的商品的目标置信度阈值；

S42：根据所述运动轨迹，确定从各帧图像检出的属于下架的各目标商品的检测结果；

S43：将所述目标商品对应的检测结果的置信度与所述目标置信度阈值对比，若符合要求，则输出所述商品订单信息，若不符合要求，则输出异常订单信息及所述主视频和/或各所述子视频和/或所述目标视频。

7.根据权利要求1至6任一项所述的广域与局域采集相结合的智能生成订单方法，其特征在于，在所述S1之前还包括：

S01：实时获取第三摄像头采集的智能售货机当前状态的视频；

S02：对所述智能售货机当前状态的视频的各帧图像进行分析，确定所述智能售货机的柜门是处于开启还是闭合状态；

S03：当检测到所述智能售货机柜门处于开启状态，则控制用于采集商品区域对应的视频信息的主摄像头和子摄像头开启；

S04：当检测到所述智能售货机柜门处于关闭状态，则控制用于采集商品区域对应的视频信息的主摄像头和各子主摄像头关闭。