[发明专利]一种多帧融合的马赛克视频光谱仪图谱信息重建方法

权利要求书

1.一种多帧融合的马赛克视频光谱仪图谱信息重建方法，其特征在于，包括以下步骤：

步骤1、获取马赛克视频光谱仪原始多光谱马赛克图像；

步骤2、随机选取连续M帧图像作为一个时间窗口，以第一帧为基准，对时间窗口内每帧图像进行去马赛克处理，得到去马赛克图像；M≥2，且为整数；

步骤3、分别计算去马赛克图像中时间窗口内正向和反向从两个方向上相邻两帧间的光流，获取正向和反向从两个方向上的前后帧的光流图；

步骤4、根据得到的光流图中的光流信息生成时间窗口内每帧图像上像素点的运动轨迹；

步骤5、利用马赛克模板在光谱仪的谱段内提取第一帧原始的马赛克多光谱图像中的多张单谱段图像，获得对应的图谱数据立方体，根据步骤4获得像素点的运动轨迹，确定第一帧每一个像素点在之后的M-1帧图像中所处的波段位置以及在对应波段位置的光谱信息，将确定出的波段位置的光谱信息依次填充到单谱段图像对应的像元位置上；

步骤6、利用插值的方式补充所有单谱段图像中缺失的像元信息；

步骤7、滑动时间窗口，按照步骤2-步骤6的方法，即可求解其余M-1帧的图谱数据立方体，实现对马赛克视频光谱仪的图谱信息进行序贯重建。

2.根据权利要求1所述的多帧融合的马赛克视频光谱仪图谱信息重建方法，其特征在于，步骤2具体为：

2.1、选取连续M帧图像作为一个时间窗口，消除时间窗口内多光谱马赛克图像中的灰度骤变，使每帧图像的所有像元灰度级在同一水平范围；

2.2、进一步滤除图像中水平和垂直方向上的高频信号，得到去马赛克图像。

3.根据权利要求2所述的多帧融合的马赛克视频光谱仪图谱信息重建方法，其特征在于：

步骤2.1中，采用灰度均衡化方法消除多光谱马赛克图像中的灰度骤变。

4.根据权利要求3所述的多帧融合的马赛克视频光谱仪图谱信息重建方法，其特征在于：

步骤2.2中，采用小波变换法滤除图像中水平和垂直方向上的高频信号。

5.根据权利要求1-4任一所述的多帧融合的马赛克视频光谱仪图谱信息重建方法，其特征在于，步骤4具体为：

4.1.依次将相邻两帧间的反向光流投影到前一帧图像上，在前一帧图像的每个像素点上进行插值估计；

4.2、将每帧图像上每个像素点的投影后的光流与正向光流相加并求模，得到光流偏差值，保留光流偏差值小于设定阈值t的像素点，光流偏差值大于设定阈值t的像素点的光流信息可以认为不可靠，舍弃该像素点；

4.3、连接每帧图像上每个像素点的光流，获得每帧图像上每个像素点的运动轨迹。

6.根据权利要求5所述的多帧融合的马赛克视频光谱仪图谱信息重建方法，其特征在于：

步骤4.2中，所述设定阈值t＝0.2。

7.根据权利要求6所述的多帧融合的马赛克视频光谱仪图谱信息重建方法，其特征在于：

步骤2中，M＝10。

8.根据权利要求7所述的多帧融合的马赛克视频光谱仪图谱信息重建方法，其特征在于：

步骤7中，所述滑动时间窗口是指向后滑动一帧。

9.根据权利要求8所述的多帧融合的马赛克视频光谱仪图谱信息重建方法，其特征在于：

步骤7中，求解其余M-1帧的图谱数据立方体时，基于求解前一帧图谱数据立方体时步骤3和步骤4中获得的光流信息和运动轨迹，将滑动时间窗口后新增帧的光流信息和运动轨迹进行序贯填充。