[发明专利]一种多屏互动方法

说明书

技术领域

本发明涉及多屏互动领域，尤其涉及一种多屏互动方法。

背景技术

多屏互动是指通过WIFI网络连接，不同客户终端如智能手机、平板电脑和智能电视等之间，可进行多媒体内容的传输、解析、展示及控制等一系列操作，从而在不同客户终端上同时共享展示内容，丰富用户的多媒体生活。目前的多屏互动技术主要分为外加硬件设备和软件实现两种方式，前者依赖于专用的硬件芯片，增加了成本，降低了普及性。后者，例如通过安装基于不改变服务器和客户终端的硬件结构的WiMo(Wireless Mobile Multimedia Transmission Protocol，移动终端无线多媒体传送技术)软件，存在延迟严重的问题。

发明内容

本发明实施例提供一种多屏互动方法，以解决现有的多屏互动方法成本高普及性差及延迟严重的问题。

本发明实施例提供的多屏互动方法，通过从framebuffer中获取帧数据，并进行H.264编码；将经过H.264编码后的编码数据通过前反馈和后反馈传输方式，大幅度减少数据传输的延迟时间，提高了多屏互动的实时性，实现了多屏互动的自适应控制。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例提供的多屏互动方法的流程示意图；

图2为本发明又一实施例提供的多屏互动方法的流程示意图；

图3a为现有多屏互动方法的传输进程；

图3b为本发明实施例的多屏互动方法的传输进程；

图4为本发明另一实施例提供的多屏互动方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

本发明提供了一种多屏互动方法，是有一种基于流水线的双反馈(前反馈和后反馈)的多屏互动方法，涉及服务器和客户终端，服务器为发送端，负责编码和发送数据，客户终端为接收端，负责接收数据和解码。该方法可由软件实现或硬件实现。下面以具体实施例对本发明进行说明。

图1为本发明实施例提供的多屏互动方法的流程示意图，如图1所示，该方法包括以下步骤：

10、服务器从帧内存缓冲framebuffer中获取帧数据。

其中，framebuffer是用一个视频输出设备从包含完整的帧数据的一个内存缓冲区中来驱动一个视频显示设备。framebuffer模仿显卡的功能，将显卡硬件结构抽象掉，可以通过framebuffer的读写直接对显存进行操作。可以将framebuffer看成是显存的一个映像，将其映射到进程地址空间之后，就可以直接进行读写操作。帧数据是指屏幕上显示的内容，即视频数据。

现有的多屏互动方法通常是播放器中获取获取视频数据，只能实现视频的共享；本实施例从framebuffer获取帧数据，突破了资源限制问题，可以实现任何资源的共享，例如游戏、图片等。

20、服务器将帧数据进行FFmpeg转换，将经过FFmpeg转换后的数据进行H.264编码。

其中，FFmpeg(Fast Forward Moving Picture Expert Group)是一个视频和音频流的开源免费平台。从framebufer中获取帧数据通常为rgb格式，在此通过FFmpeg转换，将其转换为nv12T格式的数据，使其符合H.264编码器的输入格式。FFmpeg是一个开源免费跨平台的视频和音频流方案，属于自由软件，它提供了录制、转换以及流化音视频的完整解决方案。

H.264编码是一种硬编码技术，具有低码率、高质量的图像、容错能力强、网络适应性强的优点，其最大的优势是具有很高的数据压缩比率，在同等图像质量的条件下，H.264的压缩比是MPEG-2的2倍以上，是MPEG-4的1.5～2倍。为提高编码效率可优选嵌入式芯片进行H.264编码，嵌入式芯片例如cortext—a8的mfc模块。通过H.264编码这种硬编码的方式大大缩短了编码耗时，减少了CPU占用率。

30、服务器通过前反馈和后反馈调整H.264编码的编码参数和发送速度；其中，前反馈包括根据framebuffer的数据量调整编码参数和发送速度，后反馈包括根据网络传输丢包率调整调编码参数和发送速度。