[发明专利]一种基于自由视点的体感交互导播系统及方法

摘要

本发明涉及一种基于自由视点的体感交互导播系统及方法。本发明包括服务器端、视频传输网络和客户端；服务器端包括多像机系统、视频处理服务器、流媒体服务器，完成多路视频采集、全景视频合成、H.264编码和RTSP流媒体服务；视频传输网络是基于TCP/IP协议的局域网或广域网；客户端包括自由视点播放终端和体感传感器，完成视频流媒体接收和解码、基于体感控制器的手势识别、自由视点生成等功能模块。本发明通过将多路视频合成全景视频，不仅可直接利用当前已成熟的视频编码和流媒体传输技术，节省软硬件投资和技术成本，而且可实现真正360°全场景的无缝漫游和视点自由切换。

主权项

一种基于自由视点的体感交互导播方法，其特征在于该方法包括如下步骤：步骤（1）多路视频采集；所述的多路视频采集方法具体为：采用一个由5个CCD像机构成的多像机系统拍摄场景视频数据；5个像机从各自固定的视点方向同时拍摄，并将其视频数据分别上传至视频处理服务器；步骤（2）全景视频合成；所述的全景视频合成方法具体为：在视频处理服务器上，对5个像机在同一时刻采集到的视频帧，根据已事先离线标定的像机内外参数，使用图像拼接方法将其实时地合成全景视频帧，从而获得全景视频；步骤（3）采用H.264图像编码标准将步骤（2）中合成的全景视频进行实时编码，并将编码完成后的H.264码流通过局域网传输至RTSP流媒体服务器；步骤（4）RTSP流媒体服务器对步骤（3）中传来的H.264码流进行打包封装；同时以统一资源定位地址（URL）的形式发布视频链接，供客户端进行选择和点播；步骤（5）客户端根据RTSP流媒体服务器发布的视频链接，向RTSP流媒体服务器请求视频服务，并建立一个新的视频服务流；步骤（6）客户端从RTSP流媒体服务器上接收留流媒体数据，并进行RTSP解包和H.264解码，还原出全景视频；步骤（7）通过步骤（9）、步骤（10）所述的交互方式进行虚拟视点定位，确定虚拟视点合成所需要的视频区域范围；步骤（8）虚拟视点生成和显示；所述的虚拟视点生成和显示方法具体为：根据步骤（7）中得到的视频区域范围，将全景视频帧中相应区域通过坐标系映射至虚拟视点位置，并进行视点畸变校正和显示；     步骤（9）客户端通过体感传感器获取用户人体区域的深度和彩色图像序列；步骤（10）根据步骤（9）中深度和彩色图像序列提取人体骨架及其关键节点位置；所述的步骤9和步骤10构成交互方式；步骤（11）根据步骤（10）中所得到的人体骨架及其关键节点位置，分析识别用户手部关键节点的运动轨迹及动作；步骤（12）根据步骤（11）中得到的用户手部动作与步骤（13）所述的预定义动作进行匹配，并进行相对应的导播操作，包括视频画面拉近/拉远，视点向左、向右的平滑移动；步骤（13）系统预定义了一系列对应于不同导播操作的手部动作，其手部动作判断是根据手部关键节点坐标运动来确定。