[发明专利]一种基于背景减除的静态背景视频自适应压缩方法

权利要求书

1.一种基于背景减除的静态背景视频自适应压缩方法，其特征在于包括以下步骤：

第一步，构建静态背景视频压缩系统，静态背景视频压缩系统由背景减除模块、目标跟踪模块和视频压缩模块组成，其中视频压缩模块由分布规划模块和视频压缩合成模块组成；

背景减除模块与原始视频、目标跟踪模块、视频压缩合成模块相连；背景减除模块对含N个视频帧的原始视频按帧进行背景减除，得到视频帧中的前景物体的外接框信息和背景图片，将N个视频帧中的前景物体的外接框信息发送给目标跟踪模块；待N个视频帧处理完成后，将N个视频帧的背景图片发送给视频压缩合成模块；

背景减除模块由背景分割子模块、二值化子模块、腐蚀子模块、膨胀子模块和外接框获取子模块组成；背景分割子模块与原始视频、视频压缩合成模块、二值化子模块相连，背景分割子模块对从原始视频读入的第i帧视频帧进行分割，得到前景图片F_i和背景图片B_i，将F_i发送给二值化子模块，将B_i存在背景集合B_ackground中，待N个视频帧处理完成后，将B_ackground发送给视频压缩合成模块，B_ackground＝{B₁，...，B_i，...，B_N}，1≤i≤N；

二值化子模块与背景分割子模块和腐蚀子模块相连，对从背景分割子模块接收的F_i的每一个像素值进行二值化处理，得到二值化的前景图片F_ib，并将F_ib发送给腐蚀子模块；

腐蚀子模块与二值化子模块和膨胀子模块相连，对从二值化子模块得到的F_ib进行腐蚀处理，得到腐蚀后的二值化前景图片F_ibe，将F_ibe发送给膨胀子模块；

膨胀子模块与腐蚀子模块和外接框获取子模块相连，对从腐蚀子模块得到的F_ibe进行膨胀处理，得到腐蚀并膨胀后的二值化前景图片F_ibed，将F_ibed发送给外接框获取子模块；

外接框获取子模块与膨胀子模块和目标跟踪模块相连，对从膨胀子模块得到的F_ibed进行外接框获取，得到F_ibed膨胀后的二值化前景图片中N_i个前景物体的外接框集合Bboxes_i，将Bboxes_i发送给目标跟踪模块的计算IOU子模块；

目标跟踪模块与背景减除模块、分布规划模块相连，目标跟踪模块从背景减除模块接收N个视频帧中第i帧中N_i个前景物体的外接框集合Bboxes_i，使用多目标跟踪算法得到第i帧中N_i个前景物体各自的运动轨迹，待N个视频帧处理完成后，得到前景物体的运动轨迹管道集合T，将T发送给分布规划模块；

目标跟踪模块由Kalman滤波预测子模块、计算IOU子模块和轨迹关联子模块组成；

Kalman滤波预测子模块与外接框获取子模块、计算IOU子模块和轨迹关联子模块相连，Kalman滤波预测子模块对从轨迹关联子模块获得的第i-1个视频帧时刻的运动轨迹管道进行Kalman滤波，预测当前运动轨迹管道在第i帧中可能出现的位置，p表示运动轨迹管道的编号，表示第p个前景物体的运动轨迹管道，其中是第p个管道的开始时间，表示第p个管道的结束时间，是第p个管道第j次出现的时刻，是第p个管道第j次出现的位置，f_j表示第p个管道第j次出现的视频帧，表示第p个管道第j次出现的外接框，表示外接框的左上顶点坐标，为外接框的宽度，为外接框的高度；根据预测第i帧可能的轨迹管道外接框集合Bboxes_i，pred，将Bboxes_i，pred发送给计算IOU子模块；

计算IOU子模块与外接框获取子模块、Kalman滤波预测子模块和轨迹关联子模块相连，对从外接框获取子模块获得的Bboxes_i中的外接框和从Kalman滤波预测子模块获得的Bboxes_i，pred中的外接框进行IOU计算，得到IOU矩阵Mat_IOU，将Mat_IOU发送给轨迹关联子模块；

轨迹关联子模块与计算IOU子模块、Kalman滤波预测子模块和分布规划模块相连，对从计算IOU子模块获得的Mat_IOU进行分配，得到第i-1个视频帧时刻的运动轨迹管道将发送给Kalman滤波预测子模块；待N个视频帧处理完成后，得到N个视频帧中前景物体的运动轨迹管道集合T，此时i-1＝N，令M表示N个视频帧中运动轨迹管道的数量，即M＝temp_N，将T发送给分布规划模块；

视频压缩模块由分布规划模块和视频压缩合成模块组成；

分布规划模块与目标跟踪模块、视频压缩合成模块相连，分布规划模块从目标跟踪模块接收T，对T构建目标函数E并对E进行优化求解，得到N个视频帧中前景物体运动轨迹管道的标签集合L，将T和L发送给视频压缩合成模块；

分布规划模块由构建目标函数子模块和优化求解子模块组成；构建目标函数子模块连接轨迹关联子模块和优化求解子模块，对从轨迹关联子模块接收的T构建能量最小化函数E，将E传递给优化求解子模块；优化求解子模块与构建目标函数子模块、视频压缩合成模块相连接，通过优化求解E获得L和SN，L是运动轨迹管道T的标签集合，L＝{f_p，1≤p≤M，1≤f_p≤SN}，SN是原始视频将要压缩成为的图片的数量，f_p是第p个运动轨迹管道的标签，即优化求解结果认为第p个运动轨迹管道应该被放置到压缩结果的第f_p张图片中；将T和L发送给获取时间跨度子模块；

视频压缩合成模块与原始视频、背景分割子模块、分布规划模块相连，视频压缩合成模块从分布规划模块接收T和L，从背景分割子模块接收B_ackground，从原始视频获取T中的前景运动轨迹的像素值，将前景运动轨迹和B_ackground中的背景图片粘贴，得到视频压缩结果；

视频压缩合成模块由获取时间跨度子模块、平均背景子模块、粘贴子模块和线性插值子模块组成；

获取时间跨度子模块与分布规划模块的优化求解子模块和平均背景子模块连接，从优化求解子模块接收T和L，对任意T_p∈T，得到T_p的时间跨度根据标签L，基于第q张压缩结果图片中N1_q个运动轨迹管道的时间跨度计算得到第q张压缩结果图片的时间跨度T_span，q，其中N1_q表示第q张压缩结果图片中运动轨迹管道的数量，为第q张压缩结果图片中出现的第z个运动轨迹管道时间跨度，将SN张压缩结果图片的时间跨度组成的压缩结果图片时间跨度集合T_span传递给平均背景子模块，T_span＝{T_span，1，...，T_span，q，...，T_span，SN}；

平均背景子模块与原始视频、获取时间跨度子模块和背景分割子模块相连，从获取时间跨度子模块获得T_span，从背景分割子模块获得B_ackground，根据T_span中的T_span，q得到该时间段内的背景图片集合对的同一个位置的像素做平均，得到第q张压缩结果图片的背景图片并将SN张压缩结果图片的背景图片组成的背景图片集合T、L传递给粘贴子模块，

粘贴子模块与平均背景子模块与线性插值子模块相连接，从平均背景子模块获取和T、L，根据L将T粘贴到对应的位置，得到初步粘贴结果集合S_corse，并将S_corse、T、L传递给线性插值子模块；

线性插值子模块与粘贴子模块相连，从粘贴子模块获取S_corse、T、L，对粘贴结果边缘位置进行线性插值以达到柔化边缘的效果，得到最终压缩图片集合S_fine；

第二步，背景减除模块逐帧读入原始视频的视频帧，对视频帧进行背景减除，得到N个视频帧的前景目标外接框和背景图片，目标跟踪模块对N个视频帧的前景目标外接框进行跟踪，得到N个视频帧的前景目标的运动轨迹管道，具体方法是：

2.1令变量i＝1，令临时运动轨迹管道集合

2.2背景分割子模块采用基于像素的自适应分割器即PBAS算法对从原始视频读入的第i个视频帧进行前景和背景分割，得到第i个视频帧的前景图片F_i和背景图片B_i，将F_i发送给二值化子模块，将B_i保存到B_ackground中；

2.3二值化子模块对从背景分割子模块收到的F_i进行二值化处理，得到F_i的二值化前景图片F_ib，将F_ib发送给腐蚀子模块；F_ib二值化前景中每一个像素为0或者1，0代表该像素对应位置为背景，1代表该像素对应位置为前景；

2.4腐蚀子模块采用腐蚀方法对从二值化子模块收到的F_ib进行腐蚀处理，得到腐蚀后的二值化前景图片F_ibe，将F_ibe发送给膨胀子模块；

2.5膨胀子模块从腐蚀子模块接收F_ibe，采用膨胀方法进行处理，得到腐蚀并膨胀后的二值化前景图片F_ibed，将F_ibed发送给外接框获取子模块；

2.6外接框获取子模块从膨胀子模块接收F_ibed，从F_ibed检测出第i个视频帧中的N_i个前景目标的外接框集合Bboxes_i，将Bboxes_i发送给计算IOU子模块，其中N_i表示第i帧视频帧中的前景目标的数量，表示第i帧视频帧中第j1个前景物体的外接框左上顶点的坐标，是第i帧视频帧中第j1个前景物体的外接框的宽度，为第i帧视频帧中第j1个前景物体的外接框的高度；

2.7Kalman滤波预测子模块从轨迹关联子模块获得运动轨迹管道若令令转2.8；若则有利用Kalman滤波预测，得到第i帧预测轨迹管道外接框集合转2.8；

2.8将Bboxes_i，pred发送给计算IOU子模块；

2.9计算IOU子模块对从外接框获取子模块获得的Bboxes_i中的外接框和从Kalman滤波预测子模块获得的Bboxes_i，pred中的外接框进行IOU即交并比计算，得到IOU矩阵Mat_IOU，其中Mat_IOU中第k行第l列元素且1≤k≤N_i，1≤l≤N_i，pred，Bboxes_i中外接框的个数为Ni，Bboxes_i，pred中外接框的个数为N_i，pred，将Mat_IOU发送给轨迹关联子模块；

2.10轨迹关联子模块采用匈牙利算法基于交并比矩阵Mat_IOU对Bboxes_i和Bboxes_i，pred中的前景目标外接框进行关联，得到M_i个关联二元组集合基于Tupple_i中外接框的信息生成第i帧的运动轨迹管道将发送给Kalman滤波预测子模块；

2.11背景分割子模块判定是否从摄像机仍能接收到视频帧，若能，令i＝i+1，转2.2；若不能，背景分割子模块得到了由N个彩色背景图片组成的背景图片

集合B_ackground，B_ackground＝{B_i，1≤i≤N}，将B_ackground发送给视频压缩合成模块的平均背景子模块；轨迹关联子模块得到了N个视频帧中的前景目标的运动轨迹管道集合T，将T发送给分布规划模块的构建目标函数子模块，转第三步；

第三步，分布规划模块对从目标跟踪模块接收的前景目标的运动轨迹管道T进行标签分配，得到T在压缩结果中的标签集合L＝{f_p，1≤p≤M，1≤f_p≤SN}，f_p是第p个运动轨迹管道的标签；将T和L发送给获取时间跨度子模块；

3.1目标函数子模块构建如公式(1)所示的能量最小化函数E：

其中SN为将要压缩成为的图片的数量，f_p为第p个运动轨迹管道的标签，f_p∈{1，2，...，M})；

第一项为冲突损失函数，1≤p，q≤M；

其中b_p是第p个运动轨迹管道的外接框，b_q是第q个运动轨迹管道的外接框，b_p∩b_q表示第p个运动轨迹和第q个运动轨迹的重叠面积；

第二项是相似损失函数，

其中表示满足2个条件：f_p≠f_q表示运动轨迹管道p和运动轨迹管道q被分配到不同的图片中；表示运动轨迹管道p的开始时间应该在运动轨迹管道q的结束时间之后，∧表示应该同时满足这两个要求；是用来计算外接框为的物体的中心位置的函数，是度量外接框为和的两个物体中心点之间的欧式距离的函数，而是计算外接框为的物体的颜色直方图的函数，是计算外接框为和的两个物体颜色直方图之间的外观相似性的函数；

最后一项则是标签损失函数，使用超参数h_l来作为损失的权重，使用δ_l(f)来判断标签l是否被某个运动轨迹管道p使用，

1是表示被使用，0表示尚未被使用；

3.2优化求解子模块采用QBPO对E进行优化，求得最优解L，即给T中每一个运动轨迹管道分配一个标签f_p，代表这个运动轨迹管道应该被放到压缩结果的第f_p张图片中，优化求解子模块将L和T发送给压缩合成模块；

第四步，视频压缩合成模块从优化求解子模块接收T和L，从背景减除模块接收N个视频帧的背景图片集合B_ackground，进行合成压缩，得到视频压缩结果图片集合；具体方法为：

4.1获取时间跨度子模块从优化求解子模块接收T和L，对任意T_p∈T，得到T_p其时间跨度根据T和L，得到压缩结果图片时间跨度集合T_span，T_span＝{T_span，1，...，T_span，q，...，T_span，SN}，将T_span传递给平均背景子模块，T_span，q为第q张压缩结果图片的时间跨度，其中N1_q表示第q张压缩结果图片中运动轨迹管道的数量；

4.2平均背景子模块从获取时间跨度子模块获得T_span，从背景分割子模块获得B_ackground，基于T_span和B_ackground得到压缩结果图片的背景图片集合将T、L传递给粘贴子模块，其中为第q张压缩结果图片的背景图片；

4.3粘贴子模块从平均背景子模块获取T、L，根据L中的标签将T中的运动轨迹管道粘贴到中对应的位置，位置由T中的外接框信息确定，得到初步粘贴结果集合S_corse，并将S_corse、T、L传递给线性插值子模块；

4.4线性插值子模块从粘贴子模块获取S_corse、T、L，根据L中的标签和T中的位置信息，对S_corse中每一个已完成粘贴的背景图片中前景图片的边缘位置进行线性插值，得到包含SN张图片插值结果的最终压缩图片集合S_fine。