[发明专利]一种视频通话方法及装置

说明书

本申请公开一种视频通话方法及装置，在双方视频通话的场景或者多方视频会议的场景中，支持在视频画面内容上实时的绘制与标注的功能，其它视频通话的参与方能够实时观看到绘制者所绘制的内容，达到“边看边画”的效果，有助于提高信息传递的质量。通话的发送方的终端设备实时采集绘制点数据和多媒体数据，并且实时采集实时封装数据包并通过媒体服务器发送给接收方。数据包中封装时间戳和/或序列号，接收方能够根据时间戳和/或序列号对绘制点数据和多媒体数据进行同步，使得接收方能够实时观看到绘制图案和听到发送方用户的语音，提高信息传递的质量和效率。

技术领域

本申请实施例涉及通信技术领域，尤其涉及一种视频通话方法及装置。

背景技术

目前，视频通话是一种有效的交流互动的方式。视频通话技术除了提供每个视频通话的参与方的声音和视频画面内容以外，还可以提供白板绘制功能。但是，目前绘制者开始落笔以及绘制过程中，其它视频通话的参与方无法实时的观看到绘制的结果，只有在绘制者停笔后，绘制的结果才会被其它视频通话的参与方观看到。即绘制者与其它视频通话的参与方无法同步观看到绘制的结果，因此会导致其它视频通话的参与方无法及时了解到绘制者所要表达的内容，降低交流互动的质量，效率较低。

发明内容

本申请实施例提供一种视频通话方法及装置，以提高交流互动质量，提高效率。

第一方面，本申请实施例提供一种视频通话方法，包括：媒体服务器接收来自第一终端设备的第一数据流，第一数据流中的数据包包括第一终端设备采集的用户绘制图案的绘制点数据；媒体服务器接收来自第一终端设备的第二数据流，第二数据流中的数据包包括第一终端设备的用户音频数据和/或用户视频数据；媒体服务器根据第一数据流中的数据包的时间参数和第二数据流中的数据包的时间参数，对第一数据流和第二数据流进行同步得到同步处理结果；当第二数据流中的数据包包括用户音频数据时，媒体服务器根据同步处理结果渲染第一数据流的数据包中的绘制点数据得到用户绘制图案，并向第二终端设备发送用户绘制图案以及第二数据流；或者，当第二数据流中的数据包包括用户视频数据时，第二终端设备根据同步处理结果渲染第一数据流的数据包中的绘制点数据得到用户绘制图案，以及渲染第二数据流的数据包中的用户视频数据得到用户视频图像，将用户绘制图案叠加在用户视频图像上得到第三视频流，并向第二终端设备发送第三视频流。

上述方案中，媒体服务器实时接收来自终端设备的绘制点数据、用户音频数据、用户视频数据，然后对绘制点数据、音频数据和视频数据进行同步，由媒体服务器对用户视频数据和绘制点数据进行渲染，从而无需终端设备执行渲染，降低对终端设备的硬件需求。另外，终端设备实时向媒体服务器发送绘制点数据和音频数据、视频数据，媒体服务器执行同步处理后，发送给第二终端设备，使得第二终端设备能够实时同步显示绘制点数据和视频数据以及播放音频数据，使得第二终端设备的用户看到的画面与听到的声音达到同步，进而提高用户交流互动的质量，并提高交流的效率。

在一种可能的设计中，所述媒体服务器渲染所述用户绘制图案的绘制点的速率与第一终端设备采集用户绘制图案的绘制点的速率相同。通过上述方案，进一步使得用户听到的声音与看到的绘制图案达到同步。

在一种可能的设计中，当所述第一数据流的采样频率与所述第二数据流的采样频率不同时，所述媒体服务器根据所述第一数据流中的数据包的时间参数和所述第二数据流中的数据包的时间参数对所述第一数据流和所述第二数据流进行同步，包括：

所述时间参数包括时间戳时，所述媒体服务器根据所述第一数据流的数据包的时间戳和第一时间戳增量、所述第二数据流的数据包的时间戳以及第二时间戳增量对所述第一数据流的数据包和所述第二数据流的数据包进行同步，其中，所述第一时间戳增量为属于第一数据流的相邻两个数据包的时间戳的差值，所述第二时间戳增量为属于第二数据流的相邻两个数据包的时间戳的差值；或者，