[发明专利]基于流媒体的3D视频显示与交互方法及装置

权利要求书

1.一种基于流媒体的3D视频显示与交互方法，其特征在于，包括：

步骤一、接收双目立体内容，对双目立体内容进行解码与缓存，获得双目立体内容的左视点图像和右视点图像；所述双目立体内容至少缓存一个画面组GOP所包含的所有视频帧，每个视频帧包含左视点图像和右视点图像；

步骤二、对每一个视频帧包含的左视点图像、右视点图像进行双目立体匹配，获得对应于该视频帧的视差图；

步骤三、根据用户的控制指令，对视频帧的视差图进行立体效果调整，得到新的立体图像；所述控制信令包括调整方向信令和调整幅度信令；

所述步骤二包括：

步骤1、对每一个视频帧进行超像素分割，每个超像素所包含像素点的个数不超过20个；

步骤2、利用双目立体匹配算法对每一个视频帧中左视点图像和右视点图像的每一个超像素进行匹配，得到具有超像素特征的视差图；

步骤3、对步骤2具有超像素特征的视差图进行平滑滤波，得到滤波后的视差图；

步骤4、基于Canny算子对步骤1中每一个视频帧的左视点图像和右视点图像进行纹理检测，得到纹理信息；

步骤5、基于步骤3滤波后的视差图，找出滤波后的视差图与纹理信息的对应关系；

步骤6、基于步骤5的对应关系，以纹理周边的错误视差值按照临近视差取值的原则对步骤3滤波后的视差图进行优化，从而获得对应于该视频帧的视差图；

所述步骤三包括：

步骤11、接收用户输入的控制信令，所述控制信令还包括：移动图像时的基础图像；所述基础图像包括：左视点图像或右视点图像；

步骤12、调整方向信令与调整幅度信令进行乘积，并将乘积结果作为视差调整的方向和幅度；

步骤13、将所述视差图的所有视差值与所述乘积结果求和，得到新的视差值；

步骤14、基础图像与新的视差值相结合绘制新视点图像；当基础图像为左视点图像时，新视点图像为新右视点图像；当基础图像为右视点图像时，新视点图像为新左视点图像；

步骤15、基础图像与新视点图像组合，得到新的立体图像。

2.如权利要求1所述的基于流媒体的3D视频显示与交互方法，其特征在于，所述步骤3中，所述平滑滤波包括高斯平滑、中值滤波、均值滤波、双边滤波中的一种。

3.如权利要求1所述的基于流媒体的3D视频显示与交互方法，其特征在于，所述步骤6中，对滤波后的视差图进行优化的方法为：准确描述滤波后的视差图中的纹理信息，并把纹理周边的错误视差值按照临近视差取值的原则，校正为前景与背景。

4.如权利要求1所述的基于流媒体的3D视频显示与交互方法，其特征在于，所述调整方向指令分为增强立体效果和减弱立体效果，其中增强立体效果记为正1，减弱立体效果记为负1；

所述调整幅度指令采用归一化的值域范围，所述值域范围为[0,255]；

当基础图像为左视点图像时，调整方向信令与调整幅度信令的乘积结果为正数时表示放大，负数时表示缩小。

5.如权利要求4所述的基于流媒体的3D视频显示与交互方法，其特征在于，当基础图像为右视点图像时，调整方向信令与调整幅度信令的乘积结果为负数时表示放大，正数时表示缩小。

6.一种实现权利要求1所述的基于流媒体的3D视频显示与交互方法的装置，其特征在于，包括：立体视频压缩码流接收单元、立体视频压缩码流解码单元、立体视频缓存单元、视差计算单元、用户交互单元、新视图计算单元和立体视频显示单元；

所述立体视频压缩码流接收单元用于接收双目立体内容；

所述立体视频压缩码流解码单元与所述立体视频压缩码流接收单元相连，用于对接收的双目立体内容进行解码；

所述立体视频缓存单元与所述立体视频压缩码流解码单元相连，用于对解码后的双目立体内容进行缓存，获得双目立体内容的左视点图像和右视点图像；

所述视差计算单元与所述立体视频缓存单元相连，用于对左视点图像、右视点图像进行双目立体匹配，获得视频帧的视差图；

所述用户交互单元与所述视差计算单元相连，用于接受控制信令；

所述新视图计算单元分别与所述用户交互单元和立体视频显示单元相连，用于在控制信令下对视频帧的视差图进行立体效果调整，得到新的立体图像，并将新的立体图像显示在立体视频显示单元上。