[发明专利]一种影视视频立体交互服务管理方法

权利要求书

1.一种影视视频立体交互服务管理方法，其特征在于：包括如下步骤：

步骤一、框架构建：首先采用H.264标准编码器对X个视点的视频数据进行编码并将X路码流存储在视频服务器端，在观众端，对人脸进行实时的检测与跟踪，并将当前时刻的人脸位置信息反馈至视频服务器端，视频服务器根据观众反馈回来的位置信息，自适应选择与人脸位置最匹配的两路视点码流从相应的码流中找到切入点读取码流数据进行传输；

步骤二、多视点视频编解码：先采用两路视点视频来获得影视视频的立体画面，再基于H.264标准编码器和MVC相结合的方式对立体画面捕捉的多个视点进行先随机访问，再对应编码，后随之解码，并消除立体画面捕捉的多个视点中的空间冗余；

步骤三、码流的切换和同步：再借助多部摄像机以平行直线的方式对同一影视拍摄现场场景同时进行采集，且多部摄像机沿着影视拍摄现场场形成多视点摄像机阵列，各部摄像机的焦距需提前严格校准，其中任意相邻的两部摄像机之间的光心距离为人眼间距，并形成立体视频成像的基本单元；

步骤四、人脸的检测和跟踪：为了确认某一时刻观众对影视视频的观看视角，需在观众端配备专用视频摄像头，用于观众人脸的检测和跟踪工作，且该专用视频摄像头需要提前固定好，则专用视频摄像头对人脸的监控范围涵盖一个固定宽度大小的二维场景，且该固定宽度大小的二维场景范围大于人脸的面积。

步骤五、性能指标测试：先对多姿态状态下人脸的检测和跟踪结果进行测试，再对各个多视点视频序列进行测试，且各个多视点视频序列项目包括建立连接并初始化、观众端初始数据缓冲延时、观众端人脸检测响应、视频服务器端视点切换交互响应、观众端帧数据解码时长以及观众端左右视点播放时长。

2.根据权利要求1所述的一种影视视频立体交互服务管理方法，其特征在于：所述在步骤三码流的切换和同步过程中，根据多视点立体视频采集模型和双目视差原理可知：当某时刻人眼位置G位于中间两组摄像机a和b间隔区域中范围时，与之相对应的立体视频就是Va和Vb，若观众人脸位置发生转换位移时，立即根据观众人脸位置发生的位移形态，自适应的由符合当前位移形态的摄像机选择匹配码流并向视频服务器和观众端进行传输。

3.根据权利要求2所述的一种影视视频立体交互服务管理方法，其特征在于：所述在步骤三码流的切换和同步过程中，选择匹配的码流切换包括时域方向和视点方向的同步切换，所谓时域和视点的同步切换是指当发生码流切换时既要保证视点间的平滑过渡，又要保证立体视频内容在播放次序上的连续性，不能让人眼察觉到播放内容上明显的跨越。

4.根据权利要求1所述的一种影视视频立体交互服务管理方法，其特征在于：所述在步骤四人脸的检测和跟踪过程中，当由X台摄像机组成的多视点摄像机阵列以固定间距水平排成一列，若转换到多视点视频拍摄场景时，该专用视频摄像头的二维监控场景一定程度上等效于多视点摄像机阵列平面，假设某一时刻检测到观众人脸位置是处在监控场景的Q(x，y)处对于多视点视频拍摄场景来说，则该时刻观众的位置等效于处在Q(x，y)处，则该角度下最匹配的左右两路视频为Vx和Vy，根据这一思路观众端对人脸进行实时检测与跟踪实际上是判定人脸位置在二维监控场景中所处的区域M，且M∈(0，X-1)。

5.根据权利要求1所述的一种影视视频立体交互服务管理方法，其特征在于：所述在步骤四人脸的检测和跟踪过程中，针对于现实生活中观众人脸姿态复杂多变的情况时，人脸的检测和跟踪方式采用多姿态人脸检测和多姿态人脸跟踪算法进行对应捕捉，且专用视频摄像头应对姿态复杂多变的观众人脸监控时，预先对观众人脸的图像序列进行采集，再将采集的图像序列按照帧数类型分为检测帧和跟踪帧，针对检测帧，可直接借助人脸检测算法定位出图像中观众人脸位置，并作为跟踪帧的参考图像，对于跟踪帧，可采用背景差、肤色分割和前帧参考形式快速预判出观众人脸的下一步转换区域，再用人脸检测算子定位出观众人脸的下一步转换位置。