[发明专利]一种基于HLS的多场景流媒体自适应直播方法

说明书

技术领域

本发明属于多媒体直播领域，涉及到视音频的采集、编码、分片以及播放领域，特别是涉及到一种基于HLS的多场景流媒体自适应直播方法。

背景技术

计算机技术的发展、Internet普及以及网络带宽的飞速增长带来了多媒体技术的广泛应用，同时，网络教育/远程教育也已普遍被人们所接受。将教师的授课过程借助于视音频采集设备和网络直播技术，有利于开展网上教学。检索到的以下几篇与本发明相关的属于多媒体直播领域的专利，它们分别是：

1.中国专利201210012762.4，一种实现HLS客户端视频直播回看的方法及系统；

2.中国专利200910041686.8，自适应的数字家庭网络流媒体传输带宽预测方法；

在上述专利1中公开了一种实现HLS客户端视频直播回看的方法，包括：HLS客户端向流媒体调度网关MAP发送请求回看节目请求及回看节目的时间点；接收流媒体调度网关MAP根据时间点以及从存储模块中获取的相应索引文件动态生成的播放列表文件；根据播放列表文件向流分发模块请求视频段。本发明还公开了一种实现HLS客户端视频回看的系统，包括：流媒体调度网关MAP、流分发模块、存储模块。采用本发明，能够不改写HTTP服务器，在HLS客户端上实现视频回看，节约了网络构建成本，提高了用户体验度。

上述专利2中提供了一种自适应的数字家庭网络流媒体传输带宽预测方法，通过服务器向客户端发送包串进行测量得到初始传输带宽数值，并确定其数值上下限，以及用于该数值带宽的编码方案和编码率；然后服务器根据初始传输带宽数值、编码率和客户端反馈的解码率进行实际传输带宽的预测，并与初始带宽数值的上下限进行比较，确定是否进行下一次实际传输带宽数值的预测。本发明能实现对数字家庭网络中可用的初始传输带宽进行检测，并自适应地对数字家庭网络流媒体的实际传输带宽进行预测，使视频图像可以根据网络的带宽情况进行自适应编码并传输，更好地利用了有限的网络带宽。

根据上述查新，现有技术所存在的问题是，均没有考虑多场景和自适应流化直播技术，导致直播场景不全面、无法在对多个媒体流进行请求播放的情况下实现带宽自适应。

发明内容

为了克服上述现有技术的不足，本发明的目的在于提供一种基于HLS的多场景流媒体自适应直播方法，支持Windows/Linux下摄像头视频+音频和屏幕视频+音频的多个媒体源的流化直播，支持自适应于网络实时可用带宽的多个媒体流的实时传输。

为了实现上述目的，本发明采用的技术方案是：

一种基于HLS的多场景流媒体自适应直播方法，直播过程中，服务器实时将屏幕数据和音频数据编码并封装成多种不同质量级别的屏幕媒体流，将视频数据和音频数据编码并封装成一种质量级别的视频媒体流，并对屏幕媒体流和视频媒体流进行切片，客户端采用平滑的带宽预测方法，根据单位HTTP/TCP吞吐量来进行网络实时可用带宽的预测，请求与网络实时可用带宽相适应的媒体码流进行传输，在网络实时带宽不足以同时传输最低质量级别屏幕媒体流和视频媒体流的情况下，暂停视频媒体流的传输，从而实现了屏幕媒体流优先的多场景流媒体自适应直播。

与现有技术相比，本发明实现了直播场景全面化，能够在对多个媒体流进行请求播放的情况下实现带宽自适应。

附图说明

图1为本发明一种基于HLS的多场景流媒体自适应直播方法流程图。

图2为本发明中媒体流分片方法的详细策略图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细说明。

如附图1所示，本发明为一种基于HLS的多场景流媒体自适应直播方法，首先需要进行对视频、音频、屏幕数据进行采集，然后对采集后原始数据进行编码、封装输出不同质量级别的屏幕媒体流和一种质量级别的视频媒体流，并对媒体流进行切片和索引，将分片文件和索引文件存储到Web服务器中，并采用一种平滑的带宽预测方法和一种屏幕媒体流优先的多场景流媒体自适应直播方法协调客户端对多个媒体流的播放请求，使客户端可以实现视频媒体流和屏幕媒体流的自适应直播。

下面分步骤对本发明的技术方案进行详细叙述。

1、服务器对视音频屏幕数据的采集与编码

多场景直播包括视频数据、音频数据和屏幕数据的采集和编码。首先，获取采集设备对象，按一定速率从采集设备对象获取数据并由ffmpeg编码库进行编码。

1)视频数据采集

本发明中采用跨平台计算机视觉库OpenCV来采集视频数据，具体步骤如下：