[发明专利]一种基于环境感知的无人仓库货品智能盘点方法及系统

权利要求书

1.一种基于环境感知的无人仓库货品智能盘点方法，其特征在于，包括：

获取巡视仓库内所有货架的视频流；具体为：多目全景摄像头搭载在巷道堆垛机，当巷道堆垛机在各货架直接堆垛货品时，同时通过搭载多目全景摄像头对四周360°场景进行全域拍摄；

基于文本信息识别神经网络对视频流处理，识别货品包装箱上的结构化信息，得到货品的种类；基于目标检测网络对视频流处理，识别货品的数目；

基于文本信息识别神经网络对视频流处理的过程为：

利用第一卷积神经网络提取视频流的区域提议位置；

利用第二卷积神经网络对区域提议位置进行优化拟合，修正区域提议候选框的位置和方向；

对每个修正的候选框进行非极大值抑制，得到精确的目标检测信息；

将检测出的目标检测信息输入到第三卷积神经网络进行特征提取，通过全连接层神经网络识别出相应结构化信息；

根据识别出的货品的种类及数目创建盘点数据库；

将盘点数据库与出入库数据库中的数据进行比对，最终实现对无人仓库货品的智能盘点。

2.如权利要求1所述的基于环境感知的无人仓库货品智能盘点方法，其特征在于，所述基于文本信息识别神经网络为三维神经网络。

3.如权利要求1所述的基于环境感知的无人仓库货品智能盘点方法，其特征在于，所述目标检测网络为二维神经网络。

4.如权利要求1所述的基于环境感知的无人仓库货品智能盘点方法，其特征在于，根据盘点数据库与出入库数据库中的数据的比对结果，更新盘点数据库。

5.如权利要求1所述的基于环境感知的无人仓库货品智能盘点方法，其特征在于，所述基于环境感知的无人仓库货品智能盘点方法，还包括：

若识别货品的种类及数目的信息出现异常时，发生报警信息以提示管理员进行人工盘点。

6.一种基于环境感知的无人仓库货品智能盘点系统，其特征在于，包括：

视频流获取模块，其用于获取巡视仓库内所有货架的视频流；

货品种类及数目识别模块，其用于基于文本信息识别神经网络对视频流处理，识别货品包装箱上的结构化信息，得到货品的种类；基于目标检测网络对视频流处理，识别货品的数目；

基于文本信息识别神经网络对视频流处理的过程为：

利用第一卷积神经网络提取视频流的区域提议位置；

利用第二卷积神经网络对区域提议位置进行优化拟合，修正区域提议候选框的位置和方向；

对每个修正的候选框进行非极大值抑制，得到精确的目标检测信息；

将检测出的目标检测信息输入到第三卷积神经网络进行特征提取，通过全连接层神经网络识别出相应结构化信息；

盘点数据库创建模块，其用于根据识别出的货品的种类及数目创建盘点数据库；

数据比对模块，其用于将盘点数据库与出入库数据库中的数据进行比对，最终实现对无人仓库货品的智能盘点。

7.一种用于权利要求1-5任一所述的基于环境感知的无人仓库货品智能盘点方法的盘点系统，其特征在于，包括：

视频流采集设备，其用于采集巡视仓库内所有货架的视频流；

处理器，其被配置为：

基于文本信息识别神经网络对视频流处理，识别货品包装箱上的结构化信息，得到货品的种类；基于目标检测网络对视频流处理，识别货品的数目；

根据识别出的货品的种类及数目创建盘点数据库；

将盘点数据库与出入库数据库中的数据进行比对，最终实现对无人仓库货品的智能盘点。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的基于环境感知的无人仓库货品智能盘点方法中的步骤。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的基于环境感知的无人仓库货品智能盘点方法中的步骤。