[发明专利]货架布局检测方法、装置及计算机可读存储介质

说明书

本发明提供了一种货架布局检测方法、装置及计算机可读存储介质，涉及图像处理技术领域，上述货架布局检测方法包括：获取图像传感器采集的目标货架的目标图像；其中，目标图像包括深度图像和RGB图像；基于深度图像中的深度信息对目标图像中的目标货架进行货架分层，得到货架分层结果；基于货架分层结果对目标货架进行价签检测，得到价签检测结果；基于货架分层结果及价签检测结果确定目标货架的货架布局。本发明能够提升价签位置检测精度，且上述货架布局检测无需使用机器学习或深度学习进行商品识别，计算复杂度低，提升了货架布局检测效率，可以实现对货架布局的实时检测。

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种货架布局检测方法、装置及计算机可读存储介质。

背景技术

随着新零售模式的发展，零售开始注重智能化和数字化经营，传统线下零售商缺乏顾客挑选商品的过程数据。目前，通过搭载各种传感器自主、智能地检测顾客与货架商品的交互行为，可以帮助零售企业精细运营，分析出消费者的喜好，精确定位销售商品，优化品类结构，提升销售额，而获取货架布局是跟踪观察、记录及分析顾客购物过程的必经过程。现有的货架布局检测技术，通常是基于摄像头获取的彩色正视图像，通过检测直线或线段，并结合机器学习或深度学习识别商品类别，实现货架商品检测和定位，需要昂贵的计算平台和大量的SKU作训练，实时性差。因此，现有的货架布局检测技术还存在计算复杂度高导致检测实时性较差的问题。

发明内容

有鉴于此，本发明的目的在于提供一种货架布局检测方法、装置及计算机可读存储介质，能够提升价签位置检测精度，且上述货架布局检测无需使用机器学习或深度学习进行商品识别，计算复杂度低，提升了货架布局检测效率，可以实现对货架布局的实时检测。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种货架布局检测方法，包括：获取图像传感器采集的目标货架的目标图像；其中，所述目标图像包括深度图像和RGB图像；基于所述深度图像中的深度信息对所述目标图像中的目标货架进行货架分层，得到货架分层结果；基于所述货架分层结果对所述目标货架进行价签检测，得到价签检测结果；基于所述货架分层结果及所述价签检测结果确定所述目标货架的货架布局。

进一步，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述目标图像还包括IR图，所述基于所述深度图像中的深度信息对所述目标图像中的目标货架进行货架分层，得到货架分层结果的步骤，包括：获取所述图像传感器的内参，基于所述图像传感器的内参对所述深度图像进行深度值校正；对深度值校正后的所述深度图像、所述RGB图像及所述IR图中的目标货架进行形状校正，得到校正深度图像、校正RGB图像及校正IR图；基于所述校正深度图像、校正RGB图像及校正IR图对所述目标货架进行货架分层，得到货架分层结果。

进一步，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述基于所述图像传感器的内参对所述深度图像进行深度值校正的步骤，包括：基于所述图像传感器的内参及所述深度图像中各像素点的深度值，将所述深度图像中的各像素点转换为点云数据；基于所述点云数据确定地面图像对应的点云数据所在平面的法向量，得到地面法向量；基于所述地面法向量及标准坐标系确定点云数据的旋转轴和旋转角，根据所述旋转轴和所述旋转角确定罗德里格旋转矩阵；基于所述罗德里格旋转矩阵确定所述点云数据在所述标准坐标系下的点云坐标，基于所述点云坐标确定所述深度图像各像素点校正后的深度值。

进一步，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述图像传感器的光轴与所述目标货架成预设角度；所述对深度值校正后的所述深度图像、所述RGB图像及所述IR图中的目标货架进行形状校正，得到校正深度图像、校正RGB图像及校正IR图的步骤，包括：获取深度值校正后的所述深度图像、所述RGB图像及所述IR图中所述目标货架的各角点坐标；基于各所述角点坐标确定所述目标货架的区域图像，基于透视变换将所述区域图像中的目标货架由斜视图像校正为正视图像，得到校正深度图像、校正RGB图像及校正IR图。