[发明专利]实现多视频流帧画面自定义组合的画中画模块和方法

说明书

技术领域

本发明涉及视频处理技术领域，特别是涉及一种实现多视频流帧画面自定义组合的画中画模块和方法。

背景技术

画中画技术最早产生于上世纪80年代，最初主要是在模拟电视系统中应用，即在同一屏幕上同时显示不同通道的两个或多个画面，并能实现画面的调整和切割。随着多媒体数据压缩技术的不断成熟，信息数字化技术的不断发展，数字电视逐渐取代模拟电视，此时画中画技术更多的是基于数字电视的应用。目前，由于互联网技术的迅猛发展，通过互联网实现的远程数字视频的画中画技术也将在许多行业得到广泛应用，例如在网络远程教学中，在远程医疗会诊场景中，时常会需要将两个或更多的视频画面同时在一个页面上进行同步、实时的展示，并且在将主画面播出的同时，经常还需要将关注的某一画面进行放大，重点展示。网络视音频画中画应用是指在页面大画面视频播放时，画中画小画面视频固定在大画面的某个位置播放，两个或多个视频场景通过一个视频窗口进行网络收看，并根据需要可以事先设置画中画小画面视频窗口的大小，以及小画面视频在画中画中的上下左右位置，给用户一个实时流畅的网络收看效果。

现有的画中画技术的实现方法是将大画面和小画面进行合成，合成前的处理需要自己完成，合成的方法也是简单的内存拷贝，如果分辨率不正规，易出现不稳定性问题；合成的布局大多是通过函数接口传递一些需要经常修改的参数或者代码中写死，灵活性差，更改不便；合成前需要自己将图片进行处理，传参检查、多个流的同步等异常问题保障机制不完善，系统性不佳；所支持的视频流格式也为一种，如果不匹配，需要用户事先进行转换，易用性不强；

发明内容

本发明根据现有技术存在的缺陷，提供一种实现多视频流帧画面自定义组合的画中画模块和方法，满足多视频画面在同一屏幕上同步、实时、动态显示的目的。

本发明的技术方案是：

一种实现多视频流帧画面自定义组合的画中画方法，其特征在于，包括以下步骤：

步骤一，配置画中画屏幕显示策略配置文件，所述配置文件中包括多个视频流在同一屏幕上显示的不同的显示策略；

步骤二，进行初始化，读取屏幕显示策略配置文件；

步骤三，设置画中画屏幕显示的相关参数，包括设定当前画中画屏幕显示策略；

步骤四，调用用来组合画中画画面的多个视频流，传入视频流信息；对于需要在画中画画面中显示的视频流，处理输入的帧信息并保存处理后的帧信息；

步骤五，按照当前设定的画中画屏幕显示策略，将保存的帧信息取出进行组合并输出。

所述步骤一中，所述配置文件中包括标识不同显示策略信息的策略ID以及对应的画中画屏幕显示信息，一个完整的策略ID节点表示一个完整的画中画屏幕显示信息，其中包含若干个子屏幕以及每个子屏幕所处的位置和大小，每个子屏幕分别用唯一的屏幕ID标识，子屏幕的位置和大小通过子屏幕左上角坐标节点（x，y）和子屏幕大小节点（w，h）标识，采用占输出分辨率长和宽的比例来描述。

所述步骤三中，设置的相关参数包括：首先设置画中画中的每个画面的输出分辨率的大小和视频格式类型并构造与视频格式相关的中间变量；然后设定当前画中画屏幕显示策略ID，根据策略ID，开辟帧队列空间并保存所述策略ID对应的屏幕显示信息；再设置用来组合画中画画面的每个视频流的流号与所述策略ID中的标识每个子屏幕的屏幕ID的对应关系；最后设置主流ID，即设定用来组合画中画画面的多个视频流中的某个视频流为主画面视频流，则其余的视频流为子画面视频流，在进行多视频流画中画组合时，子画面视频流以主画面视频流为基础在时间上同步。

所述步骤四中，传入的视频流信息包括输入和输出的帧信息、输入流所属的流号、输入帧的分辨率、帧个数、时间戳；对于传入的视频流，首先检查当前输入帧所属流是否在步骤三设定的屏幕显示信息中，就是指该流是否需要被显示在屏幕上，如果是，则将当前输入的帧信息保存在对应的帧队列空间中。

所述步骤四中，在保存的过程中会检查分辨率是否匹配，如果匹配则直接保存，如果不匹配，先转换再保存，所述的匹配是指输入的帧画面的宽和高和该流对应的子屏幕的宽和高是否匹配，如果不匹配，就在保存前将帧画面缩放成对应的子屏幕的大小再保存。

所述步骤四中，在给帧队列空间存放帧画面信息前，包括判断当前帧队列剩余空间是否满足待存放的数据帧的个数的步骤；如果满足，则正常存放，如果不满足，则根据差值个数，将已保存的最旧的若干帧数据删掉后再存入待存放的数据帧。