[发明专利]一种视频合流方法及装置

说明书

本发明提供一种视频合流方法及装置，终端检测多路视频流中是否存在布局信息被修改的第一视频流；如果是，将修改的布局信息插入第一视频流中；将包含第一视频流的多路视频流发送给服务器。服务器确定接收的多路视频流中是否包含第一视频流；如果是，获取每路视频流对应的布局信息，根据每路视频流对应的布局信息合流，将每路视频流对应的布局信息生成SEI插入合流视频，发送插入操作后的合流视频给终端。终端根据合流视频包含的布局信息，在显示时为每路视频流添加标识信息。本发明将布局信息插入视频流，使布局信息与视频流同时到达服务器，实现布局信息与视频流的同步。在合流视频中插入布局信息，使播放端渲染时能在合适位置添加标识信息。

技术领域

本发明涉及无视频处理技术领域，具体而言，涉及一种视频合流方法及装置。

背景技术

目前，在直播或多用户视频通话等涉及多路视频流的实时视频场景中，需要将多路视频流合成为一路视频，以使用户终端能够同时显示多个用户的视频画面。

当前，相关技术中存在一种视频合流方法，包括：终端通过一个传输通道将多路视频流上传给服务器，以及从另一个传输通道将每路视频流的布局信息传输给服务器。服务器根据每路视频流的布局信息将这多路视频流合成为一路视频，然后将合成的视频发送给用户终端。

但上述相关技术中通过不同传输通道来传输视频流及其对应的布局信息，由于丢包等因素影响容易存在服务器接收不到布局信息的情况，进而导致服务器无法根据终端侧设置的布局信息进行合流。

发明内容

有鉴于此，本发明实施例的目的在于提供一种视频合流方法及装置，以解决相关技术中通过不同传输通道传输视频流及布局信息，易存在服务器接收不到布局信息的问题。

第一方面，本发明实施例提供了一种视频合流方法，所述方法包括：

实时检测多路视频流中是否存在布局信息被修改的第一视频流；

如果是，则获取所述第一视频流对应的修改后的布局信息；将所述布局信息插入所述第一视频流中；将包含所述第一视频流的所述多路视频流发送给服务器；

如果否，则直接将所述多路视频流发送给服务器。

结合第一方面，本发明实施例提供了上述第一方面的第一种可能的实现方式，其中，所述将所述布局信息插入所述第一视频流中，包括：

将修改后的所述布局信息生成补充增强信息单元SEI；

将所述SEI插入所述第一视频流中。

结合第一方面，本发明实施例提供了上述第一方面的第二种可能的实现方式，其中，所述方法还包括：

接收所述服务器发送的合流视频；从所述合流视频中获取布局信息；根据所述布局信息显示所述合流视频。

结合第一方面的第二种可能的实现方式，本发明实施例提供了上述第一方面的第三种可能的实现方式，其中，所述根据所述布局信息显示所述合流视频，包括：

根据所述布局信息，确定所述多路视频流中每路视频流在所述合流视频中的位置；

根据所述每路视频流在所述合流视频中的位置，分别为所述每路视频流添加标识信息；

显示添加标识信息后的所述合流视频。

第二方面，本发明实施例提供了一种视频合流方法，所述方法包括：

接收终端发送的多路视频流；

确定所述多路视频流中是否包含嵌有布局信息的第一视频流；

如果是，获取所述多路视频流中每路视频流对应的布局信息，根据所述每路视频流对应的布局信息对所述多路视频流进行合流；