[发明专利]一种基于自由视点的体感交互导播系统及方法

说明书

技术领域

本发明属于计算机视觉领域，特别是一种基于自由视点视频的体感交互导播系统及实现方法,更具体的是一种观众通过体感交互设备进行人机交互，实现网络自由视点视频的体感交互导播系统及实现方法。

背景技术

视频/影视系统已成为当前信息化社会中最具影响力的大众传播媒体。传统视频/影视系统中，观众只能被动地接受拍摄者或导播员的视角选择或镜头切换，且在视角或镜头切换时存在视点位置和视频画面的跳跃，导致观众缺乏观看时的临场感和现场感。

随着近年来数字多媒体技术的快速发展，人们对于视频观看过程中的自主性及感官体验提出了更高的要求。在这种背景下，自由视点视频应运而生。自由视点视频通过多像机视频合成和虚拟视点插值等技术，可以提供场景任意角度和尺度的视频信息，使得观看过程中具有更好的自由度和三维沉浸感。现有的自由视点视频技术根据基本原理可分为两类。第一种是基于三维模型的方法，为得到场景中任意视点的图像，需将场景进行三维建模，然后根据选择的视点位置，通过三维重投影技术生成虚拟视点图像。该方法主要缺点在于难以实时获取精确的三维动态场景模型。第二种是基于二维图像插值方法，该方法是根据选择的视点位置，从已得到的离散视点图像中选取相邻视点图像，通过插值技术合成生成一幅虚拟视点图像。该方法特点在于无需考虑实际场景中的几何信息。

随着我国“三网合一”的产业发展趋势和网络视频技术的突破性发展，交互式视频已逐渐成为全球新一代多媒体数字影视和数字娱乐技术的主流。鼠标、键盘、触摸屏等设备已成为目前网络视频直播/点播系统中必不可少的人机交互设备，然而这些传统交互设备存在距离受限、交互过程不直观、不灵活等局限性。近期提出体感控制技术（如微软Kinect设备）为人机交互方式提供了创新性变革，非接触式且无需任何操作的交互方式已成为发展趋势。

发明内容

本发明针对传统视频/影视系统的不足和局限性，通过融合自由视点生成技术、网络流媒体传输技术和体感交互技术，实现一种体感交互导播系统及实现方法，使得观众可完全自主地选择观看的视点，具有更强的现场感和临场感的观看体验。

为实现上述目的，本发明采取以下技术方案：一种基于自由视点的体感交互导播方法，包括以下步骤：

步骤（1）多路视频采集；

所述的多路视频采集方法具体为：

采用一个由5个CCD像机构成的多像机系统拍摄场景视频数据。5个像机从各自固定的视点方向同时拍摄，并将其视频数据分别上传至视频处理服务器；

步骤（2）全景视频合成；

所述的全景视频合成方法具体为：

在视频处理服务器上，对5个像机在同一时刻采集到的视频帧，根据已事先离线标定的像机内外参数，使用图像拼接方法将其实时地合成全景视频帧，从而获得全景视频。所述的图像拼接方法为成熟技术；

步骤（3）采用H.264图像编码标准将步骤（2）中合成的全景视频进行实时编码，并将编码完成后的H.264码流通过局域网传输至RTSP流媒体服务器；

步骤（4）RTSP流媒体服务器对步骤（3）中传来的H.264码流进行打包封装；同时以统一资源定位地址（URL）的形式发布视频链接，供客户端进行选择和点播；

步骤（5）客户端根据RTSP流媒体服务器发布的视频链接，向RTSP流媒体服务器请求视频服务，并建立一个新的视频服务流；

步骤（6）客户端从RTSP流媒体服务器上接收留流媒体数据，并进行RTSP解包和H.264解码，还原出全景视频；

步骤（7）通过步骤（9）、步骤（10）所述的交互方式进行虚拟视点定位，确定虚拟视点合成所需要的视频区域范围；

步骤（8）虚拟视点生成和显示；

所述的虚拟视点生成和显示方法具体为：

根据步骤（7）中得到的视频区域范围，将全景视频帧中相应区域通过坐标系映射至虚拟视点位置，并进行视点畸变校正和显示；所述的坐标系映射方法和视点畸变校正方法为成熟方法；

步骤（9）客户端通过体感传感器获取用户人体区域的深度和彩色图像序列；

步骤（10）根据步骤（9）中深度和彩色图像序列提取人体骨架及其关键节点位置；所述的人体骨架和关键点提取方法为成熟方法；

所述的步骤9和步骤10构成交互方式；

步骤（11）根据步骤（10）中所得到的人体骨架及其关键节点位置，分析识别用户手部关键节点的运动轨迹及动作；