[发明专利]一种三方视频会议的视频实现方法

说明书

技术领域

本发明涉及一种三方视频会议的视频实现方法。

背景技术

目前市面上支持三方会议功能的设备较多，但大多数为音频会议设备，而视频会议设备往往价格较高，这主要是由于大部分实现三方视频会议功能算法对硬件要求较高，从而使得整体成本提升。

传统三方会议设备基本都是采用主持方接收其余两方数据混合RTP数据后传递给另外两方进行实现，其中音频与视频的实现方法各有所不同，下面针对这两种实现类型进行分析：

1、传统音频会议的实现方法：

如图1所示，A与C方实际并不直接传递数据，而是通过主持方B作为中转站，将第三方的数据与B方自身的数据进行混合后传递给第二方，因此，主持方B的处理尤为重要，但由于音频数据的处理相对较为简单，因此，原则上只需多创建两条线程对数据进行混合即可满足要求。对于主持方B的三方音频会议通话步骤为：

（1）主持方B创建针对A、C两方的RTP接收端口的Socket，并进行监听等待；

（2） 将主持方B自身所发出的声音进行采样；

（3） 主持方B接收A方所传输过来的RTP音频数据，解码后在扬声器中放出，并将解码后的声音数据与B方自身声音混合后，打包为RTP数据包发送给协商网络参数时C方的RTP接收端口；

（4）（与步骤（3）并行)主持方B接收C方所传输过来的RTP音频数据，解码后在扬声器中放出，并将解码后的音频数据与主持方B自身的混合后，打包为RTP数据包发送给协商网络参数时A方的RTP接收端口；

（5）这样，A方听到的声音就为B/C两方混合的声音，B方听到的声音则为A/C双方混合的声音，C方听到的声音为A/B双方混合的声音，从而形成三方音频会议。

2、传统视频会议的实现方法：

在视频会议情况下，若不考虑硬件成本，采用如上音频会议的方案也是可以实现的，并且可以达到参与方看到另一参与方与主持方的效果，但由于使用该方案对硬件要求较高，而目前大部分的视频话机都达不到该要求，因此，市面上的话机基本都退而求其之，只要三方都能够听到其余两方的声音，而参与方只要能看到主持方的视频，主持方也只要能同时查看其中任一方的视频即可。

三方视频会议中占用资源最多也最为复杂的是混合数据，因此，如图2所示，主持方B去除了混合视频数据的过程，而对于A/C两方数据的处理是有区别的，主要是由于对于视频通话来说，接收数据所占用的CPU相对于解码数据来说是较少的，因此，节省资源最为有效的是减少解码，故而去除了非当前激活的C方数据的解码，只保留关键帧以方便后续重新查看时的解码正常。因此，此时的CPU资源占用为：三方音频会议+单路纯视频通话+单路RTP数据接收所占用的CPU总和，基本只是比起单路音视频通话多占用音频混合的资源损耗。

对于主持方B的三方视频会议通话步骤如下（音频部分处理参见上面音频会议的实现方法）：

（1）主持方B创建针对A、C两方RTP接收端口的Socket，并进行监听等待；

（2）将主持方B自身的视频图像进行采样，并打包为RTP数据包，分别发送给协商网络参数时A、C两方的RTP接收端口；

（3）假定主持方B设置A方视频为当前显示的主视频，则主持方B接收A方所传输过来的RTP数据，解码后在显示屏的FrameBuffer上显示出来让用户可查看到；

（4）（与步骤（3）并行)B方接收C方所传输过来的RTP数据，但不进行解码，只是存储关键帧I帧数据，用于后续进行切换主视频为C方后进行解码补偿，避免刚显示时出现马赛克现象；

（5）若主持方B此时设置主视频为C方，则主持方B利用通信控制协议(SIP或自定义协议)请求C方重发I帧，从而更新最新视频图像，并将A、C两方数据处理方式对换。

上面的方案虽解决了资源不足的问题，但仍存在以下问题：

A、一方参与方无法查看到另一参与方的视频信息，失去三方会议最重要的原则：三方互相可听可见；

B、主持方只能同时查看到某一参与方视频，若需要查看另一参与方的视频就要进行切换，用户操作较为麻烦。

发明内容

本发明的目的在于提供一种可以控制住视频资源损耗，在低成本的硬件运行环境下，会议三方可同时互相可听可见的三方视频会议的视频实现方法。

本发明一种视频三方会议的视频实现方法，具体包括如下步骤：

步骤1、主持方B创建针对两个会议参与方A、C的RTP接收端口的Socket，并进行监听等待；