[发明专利]货架布局检测方法、装置及计算机可读存储介质

权利要求书

1.一种货架布局检测方法，其特征在于，包括：

获取图像传感器采集的目标货架的目标图像；其中，所述目标图像包括深度图像和RGB图像；

基于所述深度图像中的深度信息对所述目标图像中的目标货架进行货架分层，得到货架分层结果；

基于所述货架分层结果对所述目标货架进行价签检测，得到价签检测结果；

基于所述货架分层结果及所述价签检测结果确定所述目标货架的货架布局。

2.根据权利要求1所述的方法，其特征在于，所述目标图像还包括IR图，所述基于所述深度图像中的深度信息对所述目标图像中的目标货架进行货架分层，得到货架分层结果的步骤，包括：

获取所述图像传感器的内参，基于所述图像传感器的内参对所述深度图像进行深度值校正；

对深度值校正后的所述深度图像、所述RGB图像及所述IR图中的目标货架进行形状校正，得到校正深度图像、校正RGB图像及校正IR图；

基于所述校正深度图像、校正RGB图像及校正IR图对所述目标货架进行货架分层，得到货架分层结果。

3.根据权利要求2所述的方法，其特征在于，所述基于所述图像传感器的内参对所述深度图像进行深度值校正的步骤，包括：

基于所述图像传感器的内参及所述深度图像中各像素点的深度值，将所述深度图像中的各像素点转换为点云数据；

基于所述点云数据确定地面图像对应的点云数据所在平面的法向量，得到地面法向量；

基于所述地面法向量及标准坐标系确定点云数据的旋转轴和旋转角，根据所述旋转轴和所述旋转角确定罗德里格旋转矩阵；

基于所述罗德里格旋转矩阵确定所述点云数据在所述标准坐标系下的点云坐标，基于所述点云坐标确定所述深度图像各像素点校正后的深度值。

4.根据权利要求2所述的方法，其特征在于，所述图像传感器的光轴与所述目标货架成预设角度；所述对深度值校正后的所述深度图像、所述RGB图像及所述IR图中的目标货架进行形状校正，得到校正深度图像、校正RGB图像及校正IR图的步骤，包括：

获取深度值校正后的所述深度图像、所述RGB图像及所述IR图中所述目标货架的各角点坐标；

基于各所述角点坐标确定所述目标货架的区域图像，基于透视变换将所述区域图像中的目标货架由斜视图像校正为正视图像，得到校正深度图像、校正RGB图像及校正IR图。

5.根据权利要求2所述的方法，其特征在于，所述基于所述校正深度图像、校正RGB图像及校正IR图对所述目标货架进行货架分层，得到货架分层结果的步骤，包括：

基于所述图像传感器的内参及外参对所述校正深度图像、所述校正RGB图像及所述校正IR图进行图像配准，得到融合图像；其中，所述融合图像包括各像素点的颜色信息、深度值及反射强度；

获取所述融合图像中各像素点的深度值；

基于所述融合图像中各像素点的深度值确定所述融合图像中各个货架层的位置信息。

6.根据权利要求5所述的方法，其特征在于，所述货架分层结果包括各货架层的位置信息；所述基于所述货架分层结果对所述目标货架进行价签检测，得到价签检测结果的步骤，包括：

基于滑动窗口对所述融合图像中所述目标货架的各货架层进行价签检测，并基于各像素点的颜色信息、深度值及反射强度从各滑动窗口中筛选得到所述货架层上各价签的价签窗口；

计算各层货架层上所述价签窗口的中心点的纵坐标平均值，基于所述纵坐标平均值剔除非货架层上的价签窗口，得到各货架层上的价签窗口位置。