[发明专利]自由视点视频导播方法及系统

权利要求书

1.一种自由视点视频导播方法，其特征在于，包括以下步骤：

S1：采集多视点视频；

S2：对采集到的所述多视点视频进行匹配处理，得到各相邻视点与其对应视差图形成的“视点+视差图”视频；

S3：根据用户的视点位置有选择地向用户传输所述“视点+视差图”视频；

S4：依据所述“视点+视差图”视频，合成虚拟视点视频；

所述步骤S4中，通过“卷绕”的方法，依据所述“视点+视差图”视频合成虚拟视点视频，所述步骤S4具体包括：

相邻相机阵列之间视差角为Δv，设观众的观看视角为v，确定所需传输的“视点+视差图”视频，如公式(1)所示；确定虚拟视点合成所需要的偏移量如公式(2)(3)所示；α_L为观看视点相对左视点I_L的归一化偏移量，α_R为观看视点相对右视点(I+1)_R的归一化偏移量，这里的观看视点是指客户端向匹配装置反馈的用户所在的视点位置；偏移量与对应视差值D(x，y)的乘积为所需进行的变换量，定义为ω，如公式(4)所示，α取值α_L或者α_R，由需要合成的虚拟视点位置确定，(x，y)表示像素的位置，ω又称为视点I中像素点的移动值；基于卷绕的虚拟视点生成定义为公式(5)，在公式(5)中，ψ(I,ω)定义为卷绕操作，输入量是视点I和视点I中像素点的移动值ω；I_synth为合成的虚拟视点，ω^-1为ω的反向变换；由不同的观看位置决定所需合成的虚拟视点，如公式(6)；为由左视点I_L和左视差图D_IL生成的虚拟视点图，为右视点(I+1)_R和右视差图D_(I+1)R生成的虚拟视点图；当需要求取的虚拟位置靠近左相机视点I_L时，即：a_L≤0.5时，当需要求取的虚拟位置靠近右相机视点(I+1)_R时，即：a_L＞0.5时，

α_L＝(v-n·Δv)/Δv (2)

α_R＝1-α_L (3)

ω(x,y)＝α·D(x,y) (4)

I_synth(x,y):＝ψ(I,ω)(x,y):＝I(ω^-1(x,y)) (5)

2.根据权利要求1所述的自由视点视频导播方法，其特征在于，所述步骤S1中，通过宽基线稀疏相机阵列采集多视点视频。

3.根据权利要求1所述的自由视点视频导播方法，其特征在于，所述步骤S2中，首先通过对采集到的所述多视点视频进行基于光流的宽基线多视点匹配处理，得到各相邻视点的视差图，然后再将所述多视点视频转换为“视点+视差图”的视频格式。

4.根据权利要求1所述的自由视点视频导播方法，其特征在于，所述步骤S3中，根据客户端反馈的视点位置，向用户有选择地传输与所述视点位置相邻的“视点+视差图”视频。