[发明专利]面向大场景的全景视频监控的方法及装置

权利要求书

1.一种面向大场景的全景视频监控的方法，其特征在于，所述方法包含以下步骤：

步骤1，视频采集；

步骤2，对步骤1采集得到的原始视频数据进行编码，分别对编码后的视频流合入时间同步信号，通过网络发送；

步骤3，接收视频数据，将编码的视频帧进行实时解码；

步骤4，将待拼接的监控视频按照左右相邻顺序进行配准，计算得到其自动配准参数并保持到数据库中；

步骤5，手动调节拼接参数，优化自动配准的参数，并用优化结果更新步骤4中的数据库；

步骤6，读取视频拼接数据库中的配准参数，对待拼接的监控视频进行拼接；

步骤7，将拼接标准化为大小两种码流进行输出；

其中，所述步骤3中将编码的视频帧进行实时解码的步骤包括：对步骤2中发送的PS流进行逐层解析，最后得到ES流及同步时间戳；使用ffmpeg解码器对ES流进行解码，得到YUV420格式视频帧；建立视频缓冲池，对每一路视频流缓冲25帧，将YUV420格式视频帧和该帧对应的同步时间戳一并存入缓冲中，提交视频时，分别读取每一路视频的当前同步时间戳，以第一路视频的同步时间戳T₁为基准，T_i(i＝2，3…)为第i路视频的同步时间戳，视频帧的提交规则定义如下：

1)取第一路视频的当前YUV420视频帧并提交；

2)For i＝2，3...如果T_i-T₁＞20ms，则读取第i路视频上一个YUV420视频帧提交；如果-20ms≤MT_i-T₁≤20ms，则读取第i路视频当前YUV420视频帧提交；否则，读取第i路视频下一个YUV420视频帧提交；

3)第一路视频读取位置下移一帧，重复1)，2)操作。

2.根据权利要求1所述的面向大场景的全景视频监控的方法，其特征在于，所述步骤2中编码并分别对编码后的视频流合入时间同步信号的步骤包括：

编码得到ES视频流，经过PES打包器之后，被转换成PES包，再次经过PS打包后，通过RTP协议进行传输；

系统时钟定期向远程基准时钟进行同步，并作为唯一的时钟信息(同步时间戳)嵌入视频流中用于视频解码及多个视频流之间的时间同步；

其中，在PES头信息中嵌入显示时间标签和解码时间标签，在PS头信息中嵌入系统时钟基准。

3.根据权利要求1或2所述的面向大场景的全景视频监控的方法，其特征在于，所述步骤4中将待拼接的监控视频按照左右相邻顺序进行配准，计算得到其自动配准参数的步骤包括拼接参数计算，具体步骤为：

从步骤3获取视频帧后，采用Sift特征匹配的方式进行图像自动配准，采用基于欧式距离的最近邻向量匹配法，对于低分辨率图像中的特征点，利用K-D树搜索法在参考图像中找到与低分辨率图像特征点欧式距离最近的前两个特征点，设最近距离为d₁，次近距离为d₂，阈值为w如果则该对特征点为候选特征点，否则予以剔除；

得到参考图像与待配准图像之间的特征点对以后，需要估算出两幅图像之间的透视系数，进而对待配准图像利用插值算法进行重采样，实现图像之间的配准，设(u₁，v₁，1)，(u₂，v₂，1)为特征点对的齐次坐标，根据透视矩阵H可得：

4.根据权利要求3所述的面向大场景的全景视频监控的方法，其特征在于，还包括采用基于经典随机抽样一致性算法进行候选特征点对的进一步筛选：

首先，从候选特征点对中随机抽取3个特征点对建立方程组，求解出H的6个参数；

计算特征点经过H转换后与候选特征点的距离，若距离小于设定阈值，则为内点，否则为外点，予以剔除，同时统计内点个数；

接下来再次取3个特征点对，重复上述步骤，经过若干次以后，选取包含内点最多的一个点对集最后，利用最小二乘法对该点对集求解仿射矩阵H。