[发明专利]WebRTC数据编码方法、设备及计算机可读存储介质

说明书

本发明提供一种WebRTC数据编码方法、设备和计算机可读存储介质，该方法包括：设置视频处理单元vpu对应的硬编码模块，并对所述硬编码模块和WebRTC框架中的软编码模块进行初始化，其中，所述硬编码模块和软编码模块共用一个框架输入接口；获取WebRTC待编码图像并进行序列划分，获取各序列图像和所述各序列图像对应的立即刷新图像IDR帧；将所述IDR帧分别发送至所述硬编码模块和软编码模块，以使所述硬编码模块和软编码模块进行编码；获取所述硬编码模块和软编码模块输出的数据流，并对所述数据流进行封装打包。本发明采用软硬结合的方式进行编码，减小了处理器CPU的占用率和处理压力，提高了数据编码的效率。

技术领域

本发明涉及多媒体信息处理领域，尤其涉及一种WebRTC数据编码方法、设备及计算机可读存储介质。

背景技术

WebRTC(Web Real-Time Communication)是一套标准的网页实时通信技术，通过该技术，智能终端可以使用Web或者移动应用程序通过浏览器实现实时语音视频和视频会议等服务，因而在行业内得到了广泛的支持和应用。

在采用WebRTC技术进行语音视频或视频会议时，由于WebRTC图像数据(H264格式的流媒体)是点对点地实时传输，因此对于数据编码的效率会有一定的要求，否则数据接收端会出现帧率低，卡顿的现象。而智能终端在对WebRTC数据进行编码时，通常是通过WebRTC媒体框架中的软编模块进行软编码；在这样的情况下，如果智能终端的硬件性能不够高(如NXP的imx6sl，处理器为1核，内存1G)，就会导致编码时间过长，甚至一秒内只能编码出几帧，从而导致接收端接收到的图像出现卡顿的现象。

发明内容

本发明的主要目的在于提出一种WebRTC数据编码方法、设备及计算机可读存储介质，旨在解决WebRTC数据编码效率低的技术问题。

为实现上述目的，本发明提供一种WebRTC数据编码方法，所述WebRTC数据编码方法包括以下步骤：

在WebRTC框架中设置视频处理单元vpu对应的硬编码模块，并对所述硬编码模块和WebRTC框架中的软编码模块进行初始化，其中，所述硬编码模块和软编码模块共用所述WebRTC框架的一个输入接口；

获取WebRTC待编码图像，并将所述WebRTC待编码图像进行序列划分，获取各序列图像和所述各序列图像对应的立即刷新图像IDR帧；

通过所述输入接口将所述IDR帧和各序列图像发送至所述WebRTC框架，以使所述硬编码模块和软编码模块根据所述IDR帧对所述各序列图像进行编码；

获取所述硬编码模块和软编码模块输出的数据流，并对所述数据流进行封装打。

可选地，所述在WebRTC框架中设置视频处理单元vpu对应的硬编码模块，并对所述硬编码模块和WebRTC框架中的软编码模块进行初始化的步骤包括：

在所述WebRTC框架中封装所述vpu的硬编码类，并注册所述vpu的硬编码通道接口；

初始化所述vpu和硬编码通道接口，将所述硬编码通道接口与所述WebRTC框架的一个输入接口进行关联，并配置所述vpu的硬编参数；

初始化所述软编码模块对应的软编码通道接口，将所述软编码通道接口与所述输入接口进行关联，并配置所述软编码模块的软编参数。

可选地，所述获取待编码图像，并将所述待编码图像进行序列划分，获取各序列图像和所述各序列图像对应的立即刷新图像IDR帧的步骤包括：

启动摄像头，并通过所述摄像头获取原始图像，并对所述原始图像进行格式转换，获得WebRTC待编码图像；

将所述WebRTC待编码图像进行序列划分，获取各序列图像和所述各序列图像对应的立即刷新图像IDR帧。