[发明专利]基于计算机视觉图像处理的港口集装箱起吊安全监测方法

权利要求书

1.基于计算机视觉图像处理的港口集装箱起吊安全监测方法，其特征在于，采用两个摄像头采集视频图像数据，对两个摄像头采集的数据，用两个线程并行处理，对于每个线程处理的过程，包括步骤1～步骤8：

步骤1：获取初始化数据，设置摄像头标号和监测信号的初始值，监测信号包括起吊信号signal₁、判断信号signal₂和结束信号signal₃；

步骤2：根据初始化数据计算参数，得到感兴趣区域R_lsd；

步骤3：根据摄像头标号，读取对应摄像头的视频流第一帧，进行图像预处理，在感兴趣区域R_lsd内进行LSD直线检测；

步骤4：根据卡车与集装箱的交界位置与LSD直线检测结果，利用最小二乘直线拟合方法得到一条直线方程L；

步骤5：根据直线方程L与步骤2中求得的参数，对卡车与集装箱进行标记，获得标记点的序列InitMarks；

步骤6：当signal₂信号为真，根据摄像头标号，读取对应摄像头的视频流一帧，利用LK光流对步骤5中的标记点序列InitMarks进行运动跟踪，给出当前帧的跟踪结果，并进入步骤7；

步骤7：给出卡车是否被吊起的判断结果：对当前帧判断卡车是否被吊起，若当前是连续第5帧给出判断结果为卡车被吊起，则给出当前摄像头最终判断结果为危险，即卡车处于危险起吊状态，结束判断；若结束信号signal₃被设置为真时，当前线程处理的摄像头还未给出危险的判断结果，则给出当前摄像头最终判断结果为安全，结束判断；否则继续步骤6；

步骤8：综合两个线程处理的结果：如果其中一个线程判断结果是危险，则给出两个线程的最终判断结果为卡车处于不安全状态；如果两个线程判断结果都是安全，则给出两个线程的最终判断结果为卡车处于安全状态；

步骤1包括如下步骤：

步骤1-1，初始化数据：

设置摄像头参数：摄像头有两个，拍摄到集装箱与卡车头部交界位置的摄像头设置为1号摄像头，拍摄到集装箱与卡车尾部交界位置的摄像头设置为2号摄像头；

设置集装箱的大小参数：集装箱的大小为12m长的集装箱或者6m长的集装箱；

以图像左上角为原点建立以像素为单位的图像坐标系，像素的横坐标x与纵坐标y分别是在其图像数组中所在的列数与所在的行数，获取卡车与集装箱交界的初始化位置，包括图像坐标系中三条直线线段L₁(P₀(x_l1p0，y_l1p0)，P₁(x_l1p1，y_l1p1))、线段L₂(P₂(x_l2p0，y_l2p0)，P₃(x_l2p1，y_l2p1))与线段L₃(P₄(x_l3p0，y_l3p0)，P₅(x_l3p1，y_l3p1))，其中用线段L₁(P₀(x_l1p₀，y_l1p0)，P₁(x_l1p1，y_l1p1))表示集装箱卡车交界位置的直线段，用线段L₂(P₂(x_l2p0，y_l2p0)，P₃(x_l2p1，y_l2p1))两个端点P₂的纵坐标y_l2p0与P₃的纵坐标y_l2p1表示卡车和集装箱的交界位置左端点在y方向的范围，用线段L₃(P₄(x_l3p0，y_l3p0)，P₅(x_l3p1，y_l3p1))两个端点P₄的纵坐标y_l3p0与P₅的纵坐标y_l3p1代表卡车和集装箱的交界位置右端点在y方向的范围；

步骤1-2，设置三种监测信号的初始值：设置起吊信号signal₁为真，判断信号signal₂为假，结束信号signal₃为假；

信号signal₁为集装箱起吊开始信号，即从此刻开始进行读入视频帧，之后将对每一帧进行处理；

当起吊机提起来20cm时，判断信号signal₂为真；

当起吊机提起来60cm时，结束信号signal₃为真；

步骤2包括如下步骤：

步骤2-1，计算卡车与集装箱的交界位置所在的图像坐标系x方向范围的中间值X_mid：

步骤2-2，计算卡车与集装箱的交界位置的范围，将卡车与集装箱的交界位置所在的图像像素坐标系在y方向的范围分为两部分：将像素坐标系坐标x∈(x_l2，x_mid)部分的y方向范围由L₂限定，而像素坐标系坐标x∈(x_mid，x_l3)部分的y方向范围由L₃限定，其中x_l2为x_l2p0与x_l2p1之间的较小值，x_l3为x_l3p0与x_l3p1之间的较大值：

X_l2＝min(x_l2p0，x_l2p1)，

X_l3＝min(x_l3p0，x_l3p1)；

步骤2-3，计算卡车与集装箱交界位置形成的直线斜率k₀：

步骤2-4，计算进行LSD直线检测的感兴趣区域R_lsd(P_lu(x_lsd，y_lsd)，w_lsd，h_lsd)：R_lsd(P_lu(x_lsd，y_lsd)，w_lsd，h_lsd)代表了表示进行LSD直线检测的矩形区域，其中P_lu(x_lsd，y_lsd)表示矩形区域图像像素坐标系中左上方顶点，x_lsd，y_lsd分别表示该顶点的横坐标和纵坐标，w_lsd、h_lsd分别表示矩形区域的长和宽；R_lsd(Fl_u(x_lsd，y_lsd)，w_lsd，h_lsd)的计算方法如下：

根据初始化参数中给定的摄像头编号，两个线程分别读取对应摄像头的一帧视频帧，假设采集到的视频帧的显示分辨率为res_w×res_h，其中res_w表示采集到的视频帧的列数，res_h则表示采集到的视频帧的行数，计算L₁的长度d_l1、L₂的长度d_l2、L₃的长度d_l3：

d_l2＝|y_l2p0-y_l2p1|，

d_l3＝|y_l3p0-y_l3p1|；

计算x_lsd、y_lsd、w_lsd及h_lsd：

x_lsd＝max(0，x_l2-d_l2)，

w_lsd＝min(2×d_l1，res_w-x_lsd)，

h_min＝

|max(y_l3p0，y_l3p1，y_l2p0，y_l2p1)-min(y_l3p0，y_l3p1，y_l2p0，y_l2p1)|，

h_lsd＝min(h_min+d_l2+d_l3，res_h-y_lsd)；

步骤2-5，计算图像像素坐标系下打标记点的范围：图像像素坐标下，x方向上打标记的范围记为(x_l，x_r)，其中，x_l表示标记点在x方向最小坐标；x_r表示标记点在x方向最大坐标；图像像素坐标下，集装箱上的标记点y方向上的宽度范围记为w_t，卡车上的标记点y方向上的宽度范围记为w_b，计算公式如下所示：

步骤3包括以下步骤：

步骤3-1：当signal₁设置为真后，两个线程分别读取对应摄像头视频流第一帧，进行图像预处理，将图像处理为灰度图像；

步骤3-2：对步骤3-1得到的灰度图像进行直方图均衡化处理；

步骤3-3：保留在感兴趣区域R_lsd范围内的图像区域，记为区域A₁，去除不在感兴趣区域R_lsd范围内的图像区域，然后进行直线检测，输出为线段的端点坐标序列；

步骤3-3中所述进行直线检测，LSD算法包括如下步骤：

步骤3-3-1，计算图像区域A₁所有像素的梯度值及梯度方向；

步骤3-3-2，遍历图像区域A₁中每个像素，执行区域增长算法，得到一个梯度值与梯度方向一致的像素区域r；

步骤3-3-3，判断r是否为一个有效的直线区域，若是则保留，否则丢弃；

步骤3-3-4，得到直线检测结果，即得到一系列直线线段序列line_lsd，line_lsd中保存着直线的端点坐标；

步骤4包括以下步骤：

步骤4-1：筛选步骤3中得到的直线线段，如果line_lsd中所有线段都已被访问过，则进入步骤4-4，否则选取一条line_lsd中未被访问过的直线线段，按如下规则进行筛选：计算当前访问的直线线段的斜率k，计算直线斜率k与k₀的差值d_k＝|k-k₀|，根据设定阈值d₀，如果d_k＜d₀，则该直线线段保留，并进入步骤4-2；否则判定此直线筛选未通过，进入步骤4-3；

步骤4-2：将步骤4-1筛选出来的直线线段再做一次筛选，假设直线的两个端点坐标分别(x_start，y_start)，(x_end，y_end)：

条件1，端点(x_start，y_start)满足：x_start＜x_mid，x_start＞x_l2，y_start＜y_l2p1，y_start＞y_l2p0，这四个范围限定条件同时满足时，此条件为真，否则此条件为假；

条件2，端点(x_end，y_end)满足：x_end＞x_mid，x_end＜x_l3，y_end＞y_l3p0，y_end＜y_l3p1，这四个范围限定条件同时满足时，此条件为真，否则此条件为假；

当直线的两个端点坐标满足条件1为真或者条件2为真的情况下，这条直线就保留下来，返回步骤4-1访问下一条直线，否则认为此直线筛选未通过，进入步骤4-3；

步骤4-3：舍弃筛选未通过的直线线段，返回步骤4-1访问下一条直线；

步骤4-4：对经过步骤4-1～步骤4-3筛选，并保留下来的直线段端点坐标进行最小二乘法直线拟合得到直线方程L，直线方程L的函数形式为：

y₁＝ax₁+b；

其中x₁、y₁为两个变量，a和b为两个未知参数，a为直线方程L的斜率，b为直线方程L的截距；

步骤4-5：输出斜率a和截距b；

步骤5包括以下步骤：

步骤5-1：两个线程分别继续读取对应摄像头的一帧视频帧，并采用直方图均衡化对新输入一帧图像进行图像增强的调整；

步骤5-2：以x坐标增量为5像素，记为Δ₁；y坐标增量为10像素，记为Δ₂，并根据直线方程L与步骤2中确定的打标记点的坐标范围，在卡车上与集装箱上获取标记点，并将标记点保存到InitMarks中，用一个pos序列来标记每个标记点的位置，即根据步骤4中的直线方程L，计算每个标记点与直线方程描述直线的关系，对于一个标记点i，当直线方程的x坐标取值x₁与标记点的坐标x_i取值相同时，若标记点的y坐标y_i小于直线方程计算出来的y₁值，则将pos[i]的值修改为1中，否则修改为-1；

步骤5-3：输出步骤5-2中n个标记点组成的序列InitMarks＝(s₁，s₂，s₃，......，s_n-1，s_n)，s_n表示第n个标记点，然后将InitMarks赋值给序列S；

步骤6包括以下步骤：

步骤6-1：两个线程分别继续读取对应摄像头的一帧视频帧，采用直方图均衡化方法增强图像；

步骤6-2：采用LK光流法跟踪序列S，跟踪结束后，得到标记每个点是否跟踪成功的状态标志序列status＝(flag₁，flag₂，......，flag_n)，flag_n表示第n个标记点，其中n为序列S中标记点的个数；如果标记点s_i跟踪失败，i∈n，则flag_i为0，否则fiag_i为1，根据状态标志序列status，将标志位为0的标记点在S及InitMarks中都清除掉；

步骤6-3：对跟踪成功的点用RANSAC方法筛选一次，将误匹配标记点在S及InitMarks中都清除掉；

步骤6-4：如果判断信号signal₂为真，则进入步骤7，否则返回步骤6-1。

2.如权利要求1所述的方法，其特征在于，步骤7包括以下步骤：

步骤7-1：将序列S赋值给临时标记点序列S_temp，并将InitMarks赋值给InitMarks_temp；

步骤7-2：将临时标记点序列S_temp进行划分，即分成集装箱上的标记点序列S_box与卡车上的标记点序列S_truck，若标记点在pos序列中的值是1，则将标记点放入序列S_box中，否则，将标记点放入序列S_truck中；由于S_temp中保存的是步骤6中运动跟踪成功的标记点的位置，而InitMarks_temp中保存的是S_temp中的标记点在第一帧中的位置，S_temp与InitMarks_temp中的点都是一一对应的，顺序也是一致的，因此，将S_truck在InitMarks_temp中对应的点划分到InitMarks_truck中，而将S_box在InitMarks_temp中对应的点划分到InitMarks_box中；

步骤7-3：将S_temp中所有的标记点进行预处理：将S_temp中位移大于所有标记点的平均位移3倍的标记点去除掉，同时也去除掉InitMarks_temp中对应的标记点；在图像坐标系下，根据InitMarks_temp与序列S_temp中保存的每个标记点的坐标，分别计算卡车上的标记点在x方向与y方向的平均位移集装箱上的标记点在x方向与y方向的平均位移序列S_box中含有的标记点个数为n_box，序列S_truck中含有的标记点个数为n_truck：

根据计算出来的值，分别将S_box与S_truck进行一次筛选，筛选的依据如下：

如果是集装箱上的标记点，x方向与y方向上的位移分别为d_x、d_y，且满足条件3和条件4中任意一个条件，则删除该标记点：

条件3，或者

条件4，

如果是卡车上的标记点，x方向与y方向上的位移分别为d_x、d_y，且满足条件5和条件6中任一一条件，则删除该标记点：

条件5，或者

条件6，或者

步骤7-4；根据7-3处理过的标记点序列S_box与S_truck来判断卡车是否被吊起：以下列出的四个条件中条件7、条件8、条件9至少两个条件同时为真或者条件10为真，则判定当前帧卡车被吊起，并给出当前帧的判断结果为卡车被吊起，否则给出判断结果为安全：

条件7，拟合直线进行判断：标记点序列S_truck经过最小二乘直线拟合得到直线方程l₁，标记点序列S_box经过最小二乘直线拟合得到直线方程l₂，标记点序列InitMarks_temp经过最小二乘直线拟合得到直线方程l₃；l₁与l₃方程之间的斜率差为α₁、l₁与l₂方程之间的斜率差为α₂，设定夹角的阈值为α，如果夹角α₁＞α且α₂＞α，则认为此条件为真，卡车有可能被吊起；

条件8，当前帧，卡车上的标记点在x方向上有位移Δ_xt，设定阈值Δ_x0，卡车上的标记点有的标记点有Δ_xt＞Δ_x0，则认为此条件为真，卡车有可能被吊起；

条件9，当前帧，卡车上的标记点在y方向上有位移Δ_yt，设定阈值Δ_y0，卡车上的标记点有的标记点有Δ_yt＞Δ_y0，则认为此条件为真，卡车有可能被吊起；

条件10，当前帧，卡车上的标记点与集装箱上的标记点在y方向上有位移Δ_y，设定阈值Δ，当有标记点都有Δ_y＞Δ时，则认为此条件为真，卡车有可能被吊起；

步骤7-5：如果连续5帧图像的判断结果都是卡车被吊起，则给出最终的判断结果，即卡车被吊起，结束判断；

步骤7-6：如果signal₃被设置为真，步骤7-5还未给出最终的判断结果，则判定没有发生危险，结束判断，否则继续读取下一帧，执行步骤6。