[发明专利]一种基于自由视点的体感交互导播系统及方法

权利要求书

1.一种基于自由视点的体感交互导播方法，其特征在于该方法包括如下步骤：

步骤（1）多路视频采集；

所述的多路视频采集方法具体为：

采用一个由5个CCD像机构成的多像机系统拍摄场景视频数据；5个像机从各自固定的视点方向同时拍摄，并将其视频数据分别上传至视频处理服务器；

步骤（2）全景视频合成；

所述的全景视频合成方法具体为：

在视频处理服务器上，对5个像机在同一时刻采集到的视频帧，根据已事先离线标定的像机内外参数，使用图像拼接方法将其实时地合成全景视频帧，从而获得全景视频；

步骤（3）采用H.264图像编码标准将步骤（2）中合成的全景视频进行实时编码，并将编码完成后的H.264码流通过局域网传输至RTSP流媒体服务器；

步骤（4）RTSP流媒体服务器对步骤（3）中传来的H.264码流进行打包封装；同时以统一资源定位地址（URL）的形式发布视频链接，供客户端进行选择和点播；

步骤（5）客户端根据RTSP流媒体服务器发布的视频链接，向RTSP流媒体服务器请求视频服务，并建立一个新的视频服务流；

步骤（6）客户端从RTSP流媒体服务器上接收留流媒体数据，并进行RTSP解包和H.264解码，还原出全景视频；

步骤（7）通过步骤（9）、步骤（10）所述的交互方式进行虚拟视点定位，确定虚拟视点合成所需要的视频区域范围；

步骤（8）虚拟视点生成和显示；

所述的虚拟视点生成和显示方法具体为：

根据步骤（7）中得到的视频区域范围，将全景视频帧中相应区域通过坐标系映射至虚拟视点位置，并进行视点畸变校正和显示；     步骤（9）客户端通过体感传感器获取用户人体区域的深度和彩色图像序列；

步骤（10）根据步骤（9）中深度和彩色图像序列提取人体骨架及其关键节点位置；

所述的步骤9和步骤10构成交互方式；

步骤（11）根据步骤（10）中所得到的人体骨架及其关键节点位置，分析识别用户手部关键节点的运动轨迹及动作；

步骤（12）根据步骤（11）中得到的用户手部动作与步骤（13）所述的预定义动作进行匹配，并进行相对应的导播操作，包括视频画面拉近/拉远，视点向左、向右的平滑移动；

步骤（13）系统预定义了一系列对应于不同导播操作的手部动作，其手部动作判断是根据手部关键节点坐标运动来确定。

2.一种基于自由视点的体感交互导播系统，其特征在于：

   包括服务器端、视频传输网络和客户端三个部分；

   所述服务器端根据视频数据处理顺序包括多像机系统、视频处理服务器、流媒体服务器；其中多像机系统与视频处理服务器通过高速的视频数据线连接，视频处理服务器和流媒体服务器之间通过基于TCP/IP协议的局域网相连；

   所述视频传输网络是基于TCP/IP协议的局域网或广域网；

所述客户端包括自由视点播放终端和体感传感器；自由视点播放终端的操作系统需支持OpenGL，通过视频传输网络与流媒体服务器相连，其图形用户界面就是用户观看窗口；体感传感器用于获取用户手部姿态信息；体感传感器和自由视点播放终端间通过USB接口连接；

所述服务器端包括视频处理服务器和流媒体服务器两个部分的软件；

所述视频处理服务器软件包括多路视频数据采集模块、视频处理服务器端GUI用户界面、全景视频合成模块和H.264标准视频编码模块以及总控模块；

所述多路视频数据采集模块同步接收5个像机采集的视频数据；

所述视频处理服务器端GUI用户界面为像机视频采集和全景视频合成的参数设置提供可视交互界面；

所述全景视频合成模块将5个像机采集的视频数据，通过图像拼接算法实时地合成为全景视频；

所述H.264标准视频编码模块将全景视频进行H.264标准的编码；

所述总控模块包括实时监视各像机所采集的视频数据、实时监视全景视频合成结果、预览和模拟客户端虚拟视点生成结果、像机参数控制、视频录制控制多项功能；

所述流媒体服务器软件主要包括H.264视频码流的RTSP封装打包、响应客户端视频请求服务、建立视频流等流媒体服务，以及网络视频资源文件的管理功能；包括对发布资源的增加、删除、修改的操作；

所述客户端包括自由视点播放终端软件；所述自由视点播放终端软件包括视频接收解码模块、体感控制模块、自由视点生成模块和客户端GUI用户界面；

所述视频接收解码模块完成视频流数据接收、RTSP解包和H.264解码，并将解码后得到的全景视频传给自由视点生成模块；

所述体感控制模块实现人体手部姿态识别，其处理过程如下：通过分析从体感传感器中获取的深度和彩色图像序列，提取并分析人体骨架的关键节点坐标，然后分析并识别用户手部关键节点坐标运动；

所述自由视点生成模块根据体感控制模块中识别的用户手部运动，与预定义动作进行匹配，执行相应的导播操作，并计算待显示的虚拟视点位置，确定虚拟视点合成所需要的视频区域范围，然后将该视频区域通过坐标系映射至虚拟视点位置,并采用视点畸变校正生成无畸变的自由视点视频；

所述客户端GUI用户界面为用户提供控制客户端软件的界面，也是自由视点视频最后显示的载体。