[发明专利]一种用于多人视频通话的视频处理方法及服务器

说明书

本发明公开了一种用于多人视频通话的视频处理方法及处理器，基于第一逻辑计算单元对当前接收到的第一终端设备上传的每条视频流进行预测，分别生成每条视频流的预测结果；第一逻辑计算单元基于第一终端设备上传的每条视频流的顺序，对接收到的所有视频流进行合成，生成合成图像，其中，每条视频流构成所述合成图像中的一个图像子区域；第一逻辑计算单元对所述合成图像中的每个图像子区域进行图像编码后，输出合成图像编码后的合成流。本发明能够有效降低多人视频通话过程中视频处理的计算量，进而降低服务器的成本。

技术领域

本发明涉及视频通话技术领域，尤其涉及一种用于多人视频通话的视频处理方法及服务器。

背景技术

近年来，随着电子技术的不断发展，多人视频通话在家庭远程聚会、公司远程会议、远程教育、互动直播等场景中有着广泛的应用。在这些应用中，每个参与通话的终端设备，需要将本机的视频画面传输到MCU(Microcontroller Unit，微控制单元)服务器，MCU服务器需要首先对所有终端的视频进行解码，然后按照终端的布局要求对所有的视频流画面进行合成，最后对合成画面进行编码后发送给每个参与通话的视频终端。

对于多人视频通话服务的提供商而言，MCU服务器需要具有非常强的计算能力来编码高分辨率的合成视频，是整个系统的瓶颈所在。假设某个多人通话中有9个参与者，每个参与者上传视频的分辨率为240x240，那么在MCU服务器上需要实时对9路分辨率为240x240的视频进行解码，根据客户终端设备指定的布局，分别合成出9路分辨率为720x720的视频流，然后对9路720x720的视频进行编码，需要极高的计算量。因此，如何有效的降低视频处理的计算量，进而降低MCU服务器的成本，是一项亟待解决的问题。

发明内容

本发明提供了一种用于多人视频通话的视频处理方法，能够有效降低多人视频通话过程中视频处理的计算量，进而降低服务器的成本。

本发明提供了一种用于多人视频通话的视频处理方法，应用于服务器，所述服务器分配有N个逻辑计算单元，其中，N为参与多人视频通话的终端设备数量，所述方法包括：

基于第一逻辑计算单元对当前接收到的第一终端设备上传的每条视频流进行预测，分别生成每条视频流的预测结果；

所述第一逻辑计算单元基于所述第一终端设备上传的每条视频流的顺序，对接收到的所有视频流进行合成，生成合成图像，其中，每条视频流构成所述合成图像中的一个图像子区域；

所述第一逻辑计算单元对所述合成图像中的每个图像子区域进行图像编码后，输出所述合成图像编码后的合成流。

优选地，所述基于第一逻辑计算单元对当前接收到的第一终端设备上传的每条视频流进行预测，分别生成每条视频流的预测结果包括：

对当前接收到的所述第一终端设备上传的每条视频流分别进行解码，得到每条视频流对应的图像块；

对解码后得到的图像块进行帧内预测和帧间预测，生成预测结果。

优选地，所述对解码后得到的图像块进行帧内预测和帧间预测，生成预测结果后还包括：

将所述预测结果存储至共享内存，所述共享内存为N个逻辑计算单元均能访问到的内存。

优选地，所述第一逻辑计算单元基于所述第一终端设备上传的每条视频流的顺序，对接收到的所有视频流进行合成，生成合成图像后还包括：

记录所述合成图像中的每个图像子区域与所述第一终端设备上传的每条视频流的对应关系。

优选地，所述第一逻辑计算单元对所述合成图像中的每个图像子区域进行图像编码后，输出所述合成图像编码后的合成流包括：