[发明专利]基于视频检测技术的分拣中心异常识别方法

权利要求书

1.基于视频检测技术的分拣中心异常识别方法，其特征在于，包括如下步骤，

步骤S1.系统开始时，对视频第一帧进行检测，连续检测三帧；

步骤S2.运行对象检测器进行视频目标检测，以获得对象的边界框；

步骤S3.构建基于LSTM的目标状态预测模型，进行目标的轨迹预测；

步骤S4.构建TWP跟踪器实现轨迹相似度计算与数据关联，为每个对象分配数字ID；

步骤S5.建立轨迹Token对已经分配好数字ID的跟踪目标，进行状态管理；

步骤S6.建立目标异常辨别器，对出现状态异常的跟踪目标进行甄别。

2.根据权利要求1所述的基于视频检测技术的分拣中心异常识别方法，其特征在于，所述步骤S2中，运行对象检测器进行视频目标检测的具体过程包括如下步骤，

步骤S21.通过马斯克卷积神经网络模型中的图像预处理模块，对原图进行卷积操作，获取公共特征图作为RPN网络的输入，设公共特征图大小为N×H×W像素，H为原图的高，W为原图的底；

步骤S22.将公共特征图进行3×3的卷积，获取256×H×W像素的特征图，即图中有H×W个256维的特征向量；

步骤S23.预定锚点与规范框，每一个特征图上的点对应原图上的一个区域，区域大小为m×m，m为原图与特征图的比例，设定每个区域的中心为锚点，每个锚点确定K个规范框，因此，特征图H×W个点对应原图H×W×K个框，规范框的宽高比为1，大小为64xp；128xp；256x0p，K＝3×3＝9，每种规范框设定三种比例。

步骤S24.特征图包含H×W个向量，每个向量为256维，对每个特征向量做两次全连接操作，获取两个子特征图，分别为目标背景特征图和原图偏移量特征图；目标背景特征图的大小为4K×H×W像素，K对应锚定的K个规范框，4表示4种不同的状态，H为特征图的高，W为特征图的底，

设定4个分量表示目标，背景的不同状态：

a,b,c,d∈{1，0}，

a,c为目标量，

b,d为位移量，

对应无法移动的背景，

对应时间段内移动的背景，

对应暂时静止的目标，

对应视频图像中静止的目标，

无法移动的背景为连续20帧都没有任何变化和移动的特征区域；

原图偏移量特征图的大小为4K×H×W像素，K为锚定的K个规范框，4代表规范框的4个坐标(x,y,h,w)，(x,y)代表着锚点的坐标，即规范框的中心点，(h,w)为规范框的宽与高，每个锚点对应K个规范框，标记K×H×W个规范框；

对规范框设置偏移量，设定阈值α，若偏移量小于α，则在训练中标记为正样本，若偏移量大于α，则标记为负样本；

设规范框A与其对应的真实框B的中心点分别为(x_i，y_i)和(x_j，y_j)；A的宽为w_i,B的宽为w_j；A的高为H_i,B的为H_j，

偏移量为：

其中参数μ_x,μ_y,μ_w,μ_h∈(0,0.1),σ_x＝σ_y＝0.1,σ_h＝σ_w＝0.2；

步骤S25.根据锚定点和特征图通过马斯克卷积神经网络模型获取候选框，模型训练的损失函数为

其中，i为特征图中的第i个参与训练的锚点，一共有N个，p_i为预测概率，代表锚点定义的原图中是目标的概率，为二分类的交叉熵；为规范框的回归。

3.根据权利要求1所述的基于视频检测技术的分拣中心异常识别方法，其特征在于，所述步骤S2中，RPN网络中锚定点K个规范框比例尺寸的设定具体为，设纸箱的长宽高为(a，b，c)，设图像视频中的纸箱的外围矩阵的宽为W，高为H，

矩阵到图像矩阵的线性映射公式为

其中，参数β为纸箱与摄像头之间的远近程度，β∈(0,1)，参数γ为纸箱与摄像头之间的广角，γ∈(0.3,1)，参数μ为纸箱与摄像头之间的俯角，μ∈(0.2，1)。