[发明专利]多方视频数据混屏实现方法、装置、系统和混屏服务器

权利要求书

1.一种多方视频数据混屏实现方法，其特征在于，包括：

接收参与多方视频通话的每一用户终端发送的视频图像数据；

将每一视频图像数据分别绘制在预先定义的内存图所包含的任一视频图像数据绘制区域上；

根据每一用户终端的视频展示区域信息，分别向对应的用户终端发送所述视频展示区域信息对应的内存图，所述视频展示区域信息用于指示所述用户终端待显示的视频图像数据。

2.如权利要求1所述的方法，其特征在于，使用矩形RECT表示每一视频图像数据在所述内存图中的区域信息，其中，所述RECT包括表示矩形左上角的横坐标的LEFT，表示矩形左上角的纵坐标TOP，表示矩形右下角的横坐标RIGHT和表示矩形右下角的纵坐标的BOTTOM；以及

按照以下方法确定每一视频图像数据在所述内存图中的区域信息：

为每一视频图像数据建立图像索引；

针对每一视频图像数据，判断该视频图像数据对应的用户索引是否大于预先定义的用户终端一屏所能够显示的、参与视频通话的用户数量；

如果是，则按照以下公式确定LEFT：LEFT＝UI％2*DW；

如果否，则按照以下公式确定LEFT：LEFT＝UI％2*DW+SW/2；

针对每一视频图像数据，判断该视频数据对应的图像索引是否位于所述内存图的上区域；

如果是，则按照以下公式确定TOP：TOP＝SH；

如果否，则按照以下公式确定TOP：TOP＝SH/2；

针对每一视频图像数据，分别按照以下公式确定RIGHT和BOTTOM：

RIGHT＝LEFT+DW；

BOTTOM＝TOP-DH；其中：

UI表示每一视频图像数据对应的图像索引；

DW表示每一视频图像数据的宽度；

DH表示每一视频图像数据的高度；

SW表示所述内存图的宽度；

SH表示所述内存图的高度。

3.如权利要求1所述的方法，其特征在于，向对应的用户终端发送所述视频展示区域信息对应的内存图之前，还包括：

按照预设的用户终端每一屏显示的、参与视频通话的用户数量对所述内存图进行划分；

将划分得到的每一部分内存图按照用户终端支持显示的视频图像大小进行处理。

4.如权利要求1所述的方法，其特征在于，根据每一用户终端的视频展示区域信息，分别向对应的用户终端发送所述视频展示区域信息对应的内存图，具体包括：

根据每一用户终端的视频展示区域信息，将所述视频展示区域信息对应的内存图封装为实时传输协议RTP数据包发送给对应的用户终端；以及

在发送RTP数据包过程中，使用实时传输控制协议RTCP进行数据包发送控制。

5.如权利要求4所述的方法，其特征在于，将所述视频展示区域信息对应的内存图封装为RTP数据包时需满足以下至少一个条件：

RTP数据包中的最大传输单元MTU的大小不超过预设值；不对所述RTP数据包中包含的任一RTP分组内的视频图像数据解码；无需解码整个数据流便能够检测所述RTP数据包中的数据类型；支持将一个网络抽象层单元类型NALU拆分为多个RTP包；支持将多个NALU汇集在一个RTP分组中。

6.如权利要求1～5任一权利要求所述的方法，其特征在于，还包括：

接收任一用户终端发送的视频展示区域切换指示，所述视频展示区域切换指示中携带有切换到的至少一个视频展示区域信息；

针对所述视频展示区域切换指示，将所述视频展示区域信息对应的内存图发送给该用户终端。

7.一种多方视频数据混屏实现装置，其特征在于，包括：

用户数据管理单元，用于接收参与多方视频通话的每一用户终端发送的视频图像数据；以及根据每一用户终端的视频展示区域信息，分别向对应的用户终端发送所述视频展示区域信息对应的内存图，所述视频展示区域信息用于指示所述用户终端待显示的视频图像数据；

混屏单元，用于将每一视频图像数据分别绘制在预先定义的内存图所包含的任一视频图像数据绘制区域上。