[发明专利]实现多视频流帧画面自定义组合的画中画模块和方法

权利要求书

1.一种实现多视频流帧画面自定义组合的画中画方法，其特征在于，包括以下步骤：

步骤一，配置画中画屏幕显示策略配置文件，所述配置文件中包括多个视频流在同一屏幕上显示的不同的显示策略；

步骤二，进行初始化，读取屏幕显示策略配置文件；

步骤三，设置画中画屏幕显示的相关参数，包括设定当前画中画屏幕显示策略；

步骤四，调用用来组合画中画画面的多个视频流，传入视频流信息；对于需要在画中画画面中显示的视频流，处理输入的帧信息并保存处理后的帧信息；

步骤五，按照当前设定的画中画屏幕显示策略，将保存的帧信息取出进行组合并输出。

2.根据权利要求1所述的实现多视频流帧画面自定义组合的画中画方法，其特征在于，所述步骤一中，所述配置文件中包括标识不同显示策略信息的策略ID以及对应的画中画屏幕显示信息，一个完整的策略ID节点表示一个完整的画中画屏幕显示信息，其中包含若干个子屏幕以及每个子屏幕所处的位置和大小，每个子屏幕分别用唯一的屏幕ID标识，子屏幕的位置和大小通过子屏幕左上角坐标节点（x，y）和子屏幕大小节点（w，h）标识，采用占输出分辨率长和宽的比例来描述。

3.根据权利要求1所述的实现多视频流帧画面自定义组合的画中画方法，其特征在于，所述步骤三中，设置的相关参数包括：首先设置画中画中的每个画面的输出分辨率的大小和视频格式类型并构造与视频格式相关的中间变量；然后设定当前画中画屏幕显示策略ID，根据策略ID，开辟帧队列空间并保存所述策略ID对应的屏幕显示信息；再设置用来组合画中画画面的每个视频流的流号与所述策略ID中的标识每个子屏幕的屏幕ID的对应关系；最后设置主流ID，即设定用来组合画中画画面的多个视频流中的某个视频流为主画面视频流，则其余的视频流为子画面视频流，在进行画中画组合时，子画面视频流以主画面视频流为基础在时间上同步。

4.根据权利要求3所述的实现多视频流帧画面自定义组合的画中画方法，其特征在于，所述步骤四中，传入的视频流信息包括输入和输出的帧信息、输入流所属的流号、输入帧的分辨率、帧个数、时间戳；对于传入的视频流，首先检查当前输入帧所属流是否在步骤三设定的屏幕显示信息中，就是指该流是否需要被显示在屏幕上，如果是，则将当前输入的帧信息保存在帧队列空间中。

5.根据权利要求4所述的实现多视频流帧画面自定义组合的画中画方法，其特征在于，所述步骤四中，在保存的过程中会检查分辨率是否匹配，如果匹配则直接保存，如果不匹配，先转换再保存，所述的匹配是指输入的帧画面的宽和高和该流对应的子屏幕的宽和高是否匹配，如果不匹配，就在保存前将帧画面缩放成对应的子屏幕的大小再保存。

6.根据权利要求5所述的实现多视频流帧画面自定义组合的画中画方法，其特征在于，所述步骤四中，在给帧队列空间存放帧画面信息前，包括判断当前帧队列剩余空间是否满足待存放的数据帧的个数的步骤；如果满足，则正常存放，如果不满足，则根据差值个数，将已保存的最旧的若干帧数据删掉后再存入待存放的数据帧。

7.根据权利要求6所述的实现多视频流帧画面自定义组合的画中画方法，其特征在于，所述步骤五中，在取出帧信息进行组合前，根据设定的主流ID，先检查主画面的帧队列空间是否为空，如果主画面的帧队列空间不为空，就依次将当前所有子画面对应的帧队列空间中存放的最旧的帧画面取出拷贝到对应的屏幕区域内，输出组合后的帧画面；组合过程中，如果当前子画面对应的帧队列空间中存放的帧画面取空，就依次将当前子画面对应的最新的备份帧取出拷贝到对应的屏幕区域内，输出组合后的帧画面。

8.根据权利要求3所述的实现多视频流帧画面自定义组合的画中画方法，其特征在于，所述步骤三中，包括修改策略ID的步骤，修改策略ID需要清空开辟的帧队列空间，并根据修改的新的策略ID开辟新的帧队列空间；包括关闭视频流信息传入入口的步骤，在修改策略ID时就会关闭视频流信息传入入口，如果当前视频流信息正在传入，则会等待本次传入完成，然后才开始修改策略ID，修改完成后再打开视频流信息传入入口。