[发明专利]一种全景视频拼接方法及装置

说明书

技术领域

本发明属于图像处理技术领域，尤其涉及视频监控中的全景视频拼接方法及装置。

背景技术

随着视频监控的发展，客户对监控视频的视角与可视范围要求越来越高。推动全景视频拼接逐步出现与流行，但是受到系统框架与硬件性能的限制，当前市场上能够满足客户要求的产品不多，并且拼接后视频的可视范围等受硬件性能限制比较大，影响了全景视频拼接方案的推广与普及。

在视频监控中，常常采用多个摄像机分别监控同一场景的不同角度，获得同一场景的不同角度的多幅视频图像，然后在解码端对多幅视频图像进行图像拼接，将多幅视频图像完美地结合为一副完整的视频图像。通过图像拼接，能够提供监控场景的全景图像，整个监控视野更加清晰完整。并且多幅视频图像之间不是简单的合并，而是相同画面的覆盖裁边后，得到真实监控场景的全景图像。

现有技术中对于全景视频拼接，常用的技术方案包括两种，一是使用前端设备的机械结构调整视频范围保证后端全景拼接效果，客户端直接接收前端设备的媒体流，解码后显示在显示设备上。另外一种技术方案是对参与全景拼接的前端设备进行人工手动标定，生成一个拼接像素转换矩阵，客户端接收前端设备发送的媒体流进行解码后，通过拼接像素转换矩阵将每个前端设备的像素转换到全景视频拼接的全景图像中，显示在对应的窗口位置处，从而拼接出一个全景视频画面。

然而第一种方案严重依赖前端设备的机械结构，对前端设备的安装要求比较高，同时拼接后画面比较单一，一般只适用于两个前端设备拼接的效果。第二种方案由于拼接像素转换矩阵需要对每个前端设备拍摄的视频画面的像素进行转换，解码后进行像素点的查表转换比较耗费计算机性能，一般需要通过性能比较强劲的拼接服务器才能完成全景视频的拼接。并且拼接算法的复杂程度会随着拼接前端设备的增加而急剧增加，而且对全景拼接后视频画面的呈现模式也有比较严格的要求，一般不支持不规则画面的拼接，如品字形画面的全景拼接。同时，由于在客户端进行拼接，在性能不足时，不能进行负载均衡，必须使用性能更好的服务器进行替代，对拼接服务器的要求高，成本也比较高。

发明内容

本发明的目的是提供一种全景视频拼接方法及装置，以避免现有技术中存在的上述技术问题。

为了实现上述目的，本发明技术方案如下：

一种全景视频拼接方法，用于通过客户端将待拼接前端设备采集的视频图像拼接为全景视频图像，所述方法包括步骤：

将待拼接前端设备绑定为一个资源组，同时设定各待拼接前端设备对应的视频图像在拼接后全景视频图像中的位置信息；

获取资源组中各前端设备所采集的原始视频图像中用于进行拼接的视频图像部分的四个顶点，形成各前端设备用于进行拼接的视频图像部分对应的裁剪四边形，并根据获取的顶点及设定的标准矩形计算各前端设备的畸形矫正转换矩阵；

发起全景视频拼接，向资源组中各前端设备发送对应的裁剪四边形和畸形矫正转换矩阵，并接收各前端设备根据对应的裁剪四边形和畸形矫正转换矩阵进行矩阵转换后的媒体流，按照设定的位置信息进行排放，形成全景视频图像并进行显示；或接收资源组中各前端设备发送的原始媒体流，利用各前端设备对应的裁剪四边形和畸形矫正转换矩阵对各自的原始媒体流进行矩阵转换后，按照设定的位置信息进行排放，形成全景视频图像并进行显示。

进一步地，所述方法还包括步骤：

周期性根据资源组中相邻前端设备采集的视频图像的亮度值计算亮度修正值，用计算的亮度修正值修正相邻前端设备的视频图像亮度。通过对亮度进行平滑过渡修正，使全景视频拼接后画面在拼接处更加平滑。

进一步地，所述获取资源组中各前端设备所采集的原始视频图像中用于进行拼接的视频图像部分的四个顶点，包括步骤：

通过角点检测算法得到资源组中各前端设备所采集的原始视频图像的角点；

比较位置信息相邻的两个前端设备所采集的原始视频图像的角点，得到两个前端设备视频图像重叠部分所共同具有的角点信息，从共同具有的角点信息中选取最接近重叠部分两端的角点作为用于进行拼接的视频图像部分的两个顶点；

对于仅有一边与其他前端设备相邻的前端设备所采集的视频图像，根据已经选取的与其他前端设备相邻的两个顶点，在视频图像的另一侧选取两个对应的顶点。

进一步地，所述设定的标准矩形为资源组中各前端设备用于进行拼接的视频图像部分的四个顶点对应的外接矩形中最大的外接矩形。

进一步地，所述畸形矫正转换矩阵为：

并有：