[发明专利]用于动态地调整视频图像参数以便于执行后续应用的方法

说明书

技术领域

本发明涉及一种用于动态地调整视频图像参数以便于（facilitate）在由接收机接收到改编视频流时执行后续应用的方法。

背景技术

对于移动终端，诸如移动电话，实时的视频传输的质量受到网络的有效带宽的限制。对于依赖于对实时视频帧的分析的应用（例如，目标识别或远程医疗应用），其中例如当在事故发生的地点处仅有简单的移动电话可用于制作视频的情况下向专家请求紧急建议，由于这些视频图像固有质量较低，由移动电话发送和/或接收的视频帧将会导致较差的识别效果。人脸识别应用实际上需要具有足够高分辨率的非常清晰的人脸区域的图像。类似的，医学专家可能需要例如伤口的清晰图像以用于形成他/她的意见和相应的紧急治疗的建议。

在自动图像识别应用的情况下，这种应用还可能需要大量的处理功率，在接收机端移动电话中通常不能得到所述大量的处理功率。而且，可能需要庞大的数据库存储器，例如，用于存储已经识别的对象的特征。在普通的移动电话中也不能得到这大量的存储器。

由于所有这些困难，目前无论是自动或者通过人工，都不能在移动电话终端接收或生成的视频图像上执行诸如实时对象识别/解释的应用。

发明内容

因此本发明的实施方式的目的是提供对前述问题的解决方案。

根据本发明的实施方式，通过提供用于改编（adapt）输入视频流以便于在由接收机接收到改编视频流时执行后续应用的方法来达到该目的，所述方法包括根据质量要求参数、带宽限制参数和空间参数确定控制参数的步骤，根据所述控制参数执行所述输入视频流的时空改编从而生成所述改编视频流以提供到所述接收机的步骤。

质量要求参数、带宽限制参数与空间参数的结合会得到要用于改变输入视频流的一组优化的控制参数，所述质量要求参数是在通信网络上传输之后确定需要用来对修改或改编的视频执行某些应用（诸如对象识别）的最低水平，所述带宽限制参数表示修改的视频在通信网络上传输期间的固有传输限制，所述空间参数指示需要经历该特定的识别应用的视频序列图片中的感兴趣区域。该改编可以是空间改编，意味着将改编不同图像的一些区域，而不改编其他区域，或者可以是时间改编，意味着从视频中删掉其一些帧或一些部分，而不删掉其他帧或部分，或者可以是空间改编与时间改编的结合。

在第一实施方式中，通过减小与所述应用不相关的图像区域的分辨率来执行所述时空改编。

这在例如在医生需要分析病人的伤情的情况下，根据移动网络上传输的视频是有帮助的。在生成高质量视频的情况下，接收的视频图像将仍然足够用于允许远程服务，诸如对该改编的视频进行的对象识别和/或对象解释，所述质量视频随后被改编成例如仅在与例如病人的伤处相关的区域中保持高分辨率，以用于在宽带限制的网络上被发射到该远程专家的接收机上，而在改编的过程期间图像的其他部分变得模糊。

在另一个实施方式中，对于通过相对于所述应用的图像的部分，减小与所述应用不相关的图像的这些部分的帧率来执行所述时空改编。

例如在要从视频流中识别移动对象的情况中这可能是有趣的。通过仅关注以及从而保留运动的对象所位于的这些帧，同时收回一些或部分其他帧，从而减小这些部分上的帧率，可以将视频改编成在与要识别的对象相关的区域中保持高质量。同时，在符合需要输送改编的视频的通信网络的带宽限制的情况下，将降低不感兴趣的区域的质量。

本发明还涉及用于改编输入视频流的视频改编设备的实施方式，所述视频改变设备适于确定当执行所述输入视频流的时空改编从而生成改编视频流时所使用的控制参数，所述视频改编设备还适于根据提供到所述视频改编设备的质量要求参数、带宽限制参数和空间参数来计算所述控制参数。

在第一实施方式中，该视频改编设备还适于通过减小所述空间参数所限定的区域外的所述视频流的图像区域的分辨率来执行所述时空改编。

在另一个实施方式中，视频改编设备还适于通过减小所述空间参数所限定的区域外的所述视频流的图像的部分的帧率来执行所述时空改编。

在另一个实施方式中，视频改编设备还适于对所述输入视频流执行对象检测操作，从而生成检测的对象特征。

该粗略的对象检测对于例如确认关于要进一步识别的对象的空间参数是有帮助的，所述粗略的对象检测和真实对象识别相比需要的资源少得多。当确定进一步的元数据时也可以使用该对象检测，所述元数据还可以与改编视频流一起传送，从而便于未来对象识别，或已经向接收机提供一些关于确认的对象的信息。