[发明专利]一种深度视频序列的预处理方法

权利要求书

1.一种多视点深度视频序列的预处理方法，多视点视频信号主要由彩色视频序列和与所述的彩色视频序列对应的深度视频序列组成，其特征在于该预处理方法包括以下步骤：

①记待预处理的深度视频序列为D(m，n，k)，其中，m表示深度视频序列D(m，n，k)中的深度视频帧的水平分辨率，n表示深度视频序列D(m，n，k)中的深度视频帧的竖直分辨率，m×n表示深度视频序列D(m，n，k)中的深度视频帧的分辨率，k表示深度视频序列D(m，n，k)中包含的深度视频帧的帧数；

②对深度视频序列D(m，n，k)作变换处理，得到变换处理后的深度视频序列，记为D′(m，k，n)，其中，变换处理后的深度视频序列D′(m，k，n)中的深度视频帧的分辨率为m×k，变换处理后的深度视频序列D′(m，k，n)中包含的深度视频帧的帧数为n；

③依次对变换处理后的深度视频序列D′(m，k，n)中每帧深度视频帧中的每列像素进行时间平滑处理，得到平滑处理后的深度视频序列，记为D″(m，k，n)，其中，平滑处理后的深度视频序列D″(m，k，n)中的深度视频帧的分辨率为m×k，平滑处理后的深度视频序列D″(m，k，n)中包含的深度视频帧的帧数为n；

④对平滑处理后的深度视频序列D″(m，k，n)作逆变换处理，得到预处理后的深度视频序列，记为D′″(m，n，k)，其中，预处理后的深度视频序列D′″(m，n，k)中的深度视频帧的分辨率为m×n，预处理后的深度视频序列D′″(m，n，k)中包含的深度视频帧的帧数为k。

2.根据权利要求1所述的一种多视点深度视频序列的预处理方法，其特征在于所述的步骤②中对深度视频序列D(m，n，k)作变换处理的具体过程为：

②-1、依次取出深度视频序列D(m，n，k)中所有深度视频帧的第i行的m个像素的亮度分量Y，其中，1≤i≤n；

②-2、把取出的k行像素的亮度分量Y按序作为变换处理后的深度视频序列D′(m，k，n)中的第i帧深度视频帧的亮度分量Y，然后将变换处理后的深度视频序列D′(m，k，n)中所有深度视频帧的第一色度分量U和第二色度分量V的值均置为128，其中，1≤i≤n。

3.根据权利要求1或2所述的一种多视点深度视频序列的预处理方法，其特征在于所述的步骤③中依次对变换处理后的深度视频序列D′(m，k，n)中每帧深度视频帧中的每列像素进行时间平滑处理的具体过程为：

③-1、记与待预处理的深度视频序列D(m，n，k)对应的彩色视频序列为C(m，n，k)，其中，彩色视频序列C(m，n，k)中的彩色视频帧的分辨率为m×n，彩色视频序列C(m，n，k)中包含的彩色视频帧的帧数为k；然后采用与深度视频序列D(m，n，k)的变换处理相同的操作对彩色视频序列C(m，n，k)作变换处理，得到变换处理后的彩色视频序列，记为C′(m，k，n)，其中，变换处理后的彩色视频序列C′(m，k，n)中的彩色视频帧的分辨率为m×k，变换处理后的彩色视频序列C′(m，k，n)中包含的彩色视频帧的帧数为n；

③-2、将变换处理后的深度视频序列D′(m，k，n)中的第p帧深度视频帧定义为当前深度视频帧，其中，p的初始值为1，1≤p≤n；

③-3、以列为单位对当前深度视频帧进行处理，将当前深度视频帧中当前正在处理的第q列像素定义为当前列，其中，q的初始值为1，1≤q≤m；

③-4、根据当前列中各个像素的深度值对各个像素进行分类，得到若干个第一像素集合，其中分类的具体过程为：a1.将当前列中的第1个像素归入第s个第一像素集合中，将当前列中的第2个像素定义为当前深度像素；b1.判断当前深度像素的深度值与第s个第一像素集合中所有像素的深度值的平均值之差的绝对值是否小于设定的第一阈值，如果是，则将当前深度像素归入第s个第一像素集合中，然后执行步骤d1，否则，将当前深度像素归入第s+1个第一像素集合中，并继续执行；c1.令s′＝s+1，s＝s′；d1.将当前列中的下一个像素作为当前深度像素，并返回步骤b1继续执行，直至当前列中所有像素处理完毕，其中，s的初始值为1，s′的初始值为0；

③-5、将变换处理后的彩色视频序列C′(m，k，n)中与当前列对应的列定义为对应列，根据对应列中各个像素的亮度分量值对各个像素进行分类，得到若干个第二像素集合，其中分类的具体过程为：a2.将对应列中的第1个像素归入第t个第二像素集合中，将对应列中的第2个像素定义为当前彩色像素；b2.判断当前彩色像素的亮度分量值与第t个第二像素集合中所有像素的亮度分量值的平均值之差的绝对值是否小于设定的第二阈值，如果是，则将当前彩色像素归入第t个第二像素集合中，然后执行步骤d2，否则，将当前彩色像素归入第t+1个第二像素集合中，并继续执行；c2.令t′＝t+1，t＝t′；d2.将对应列中的下一个像素作为当前彩色像素，并返回步骤b2继续执行，直至对应列中所有像素处理完毕，其中，t的初始值为1，t′的初始值为0；

③-6、根据第一像素集合和第二像素集合重新对当前列中的各个像素进行分类，得到若干个第三像素集合，其中重新分类的具体过程为：a3.将当前列中的第1个像素归入第v个第三像素集合中，将当前列中的第2个像素定义为当前深度像素；b3.判断当前深度像素和其前一个像素是否属于相同的第一像素集合且对应列中与当前深度像素相对应的彩色像素和其前一个像素是否属于相同的第二像素集合，如果是，则将当前深度像素归入第v个第三像素集合中，然后执行步骤d3，否则，将当前深度像素归入第v+1个第三像素集合中，并继续执行；c3.令v′＝v+1，v＝v′；d3.将当前列中的下一个像素作为当前深度像素，并返回步骤b3继续执行，直至当前列中所有像素处理完毕，其中，v的初始值为1，v′的初始值为0；

③-7、将当前列中各个第三像素集合中各自所包含的所有像素的深度值的平均值作为该第三像素集合中所有像素的深度值，得到平滑处理后的列像素；

③-8、将当前深度视频帧中的下一列作为当前列，然后返回执行步骤③-4，直至当前深度视频帧中所有列处理完毕；

③-9、将变换处理后的深度视频序列D′(m，k，n)中的下一个深度视频帧作为当前深度视频帧，然后返回执行步骤③-3，直至变换处理后的深度视频序列D′(m，k，n)中所有深度视频帧处理完毕。