[发明专利]一种视频通话方法及装置

权利要求书

1.一种视频通话方法，其特征在于，包括：

媒体服务器接收来自第一终端设备的第一数据流，所述第一数据流中的数据包包括第一终端设备采集的用户绘制图案的绘制点数据；

所述媒体服务器接收来自第一终端设备的第二数据流，所述第二数据流中的数据包包括所述第一终端设备的用户音频数据和/或用户视频数据；

所述媒体服务器根据所述第一数据流中的数据包的时间参数和所述第二数据流中的数据包的时间参数，对所述第一数据流和所述第二数据流进行同步得到同步处理结果；

当所述第二数据流中的数据包包括用户音频数据时，所述媒体服务器根据同步处理结果渲染第一数据流的数据包中的绘制点数据得到用户绘制图案，并向所述第二终端设备发送所述用户绘制图案以及所述第二数据流；或者，

当所述第二数据流中的数据包包括用户视频数据时，所述媒体服务器根据同步处理结果渲染第一数据流的数据包中的绘制点数据得到用户绘制图案，以及渲染第二数据流的数据包中的用户视频数据得到用户视频图像，将所述用户绘制图案叠加在用户视频图像上得到第三视频流，并向所述第二终端设备发送所述第三视频流。

2.如权利要求1所述的方法，其特征在于，所述媒体服务器渲染所述用户绘制图案的绘制点的速率与第一终端设备采集用户绘制图案的绘制点的速率相同。

3.如权利要求2所述的方法，其特征在于，当所述第一数据流的采样频率与所述第二数据流的采样频率不同时，所述媒体服务器根据所述第一数据流中的数据包的时间参数和所述第二数据流中的数据包的时间参数对所述第一数据流和所述第二数据流进行同步，包括：

所述时间参数包括时间戳时，所述媒体服务器根据所述第一数据流的数据包的时间戳和第一时间戳增量、所述第二数据流的数据包的时间戳以及第二时间戳增量对所述第一数据流的数据包和所述第二数据流的数据包进行同步，其中，所述第一时间戳增量为属于第一数据流的相邻两个数据包的时间戳的差值，所述第二时间戳增量为属于第二数据流的相邻两个数据包的时间戳的差值；或者，

所述时间参数包括序列号时，所述媒体服务器根据第一数据流的数据包的序列号、所述第二数据流的数据包的序列号以及序列号增量对所述第一数据流的数据包和所述第二数据流的数据包进行同步，其中，所述序列号增量是根据所述第一数据流的采样频率和所述第二数据流的采样频率确定的。

4.如权利要求2或3所述的方法，其特征在于，所述方法还包括：

所述媒体服务器将接收到的属于第一数据流的数据包存储在接收缓存中；

渲染第一数据流的数据包中的绘制点数据得到用户绘制图案，包括：

所述媒体服务器从接收缓存获取属于第一数据流的第一数据包，并将所述第一数据包中的绘制点数据渲染为用户绘制图案的第一绘制点；按照所述媒体服务器渲染所述用户绘制图案的绘制点的速率从所述接收缓存中未获取到属于第一数据流的第二数据包时，按照已经执行渲染的前N个数据包预测所述第二数据包的绘制点数据；

其中，所述第二数据包的序列号与所述第一数据包相邻且第二数据包的序列号大于第一数据包或者所述第二数据包的时间戳与所述第一数据包的时间戳间隔时间阈值，所述时间阈值根据所述第一数据流的采样频率和所述第二数据流的采样频率确定；

将预测的第二数据包的绘制点数据渲染为所述用户绘制图案的第二绘制点。

5.如权利要求4所述的方法，其特征在于，将预测的第二数据包渲染为所述用户绘制图案的第二绘制点，所述方法还包括：

当接收到所述第二数据包时，将根据接收到的第二数据包的绘制点数据渲染的绘制点替换所述第二绘制点。

6.如权利要求1-5任一项所述的方法，其特征在于，所述第一数据流为实时流媒体传输协议RTP流，所述第二数据流为RTP流；或者，所述第一数据流为实时流媒体传输控制协议RTCP流，所述第二数据流为RTCP流。