[发明专利]用于增强图像序列的方法

说明书

提供了用于数字增强包括视频和运动图片图像的图像序列的特性的方法和系统。通过分析图像序列中可用的图像帧来生成由轨迹表示的高精确运动信息。本发明的一些实施例涉及从图像序列生成多层轨迹。某些方面可适用于包括3D视频和3D运动图片的三维(3D)图像序列的增强。

本申请是国际申请号为PCT/IB2014/060139、国际申请日为2014年3月25日、国家申请号为201480017667.0、发明名称为“用精确的运动信息增强运动图片”的专利申请的分案申请。

相关申请的参考

本申请要求于2013年3月25日提交的美国临时申请序列号为61/814,804，名称为“Methods and Systems for Enhancing Motion Pictures with Accurate MotionInformation”的优先权，其全部内容通过引用并入本文。

技术领域

本公开通常涉及数字增强图像内容的特性的领域，更具体地为用于经改进的可视的显示质量的视频和运动图片内容的特性。

背景技术

对于真实世界的图像，特别是视频和运动图片，在不同的图像帧中某些图像内容可以出现不同，这是由于许多复杂的因素，诸如噪声的存在、照明变化、透镜焦点的变化、对象的运动、对象的旋转、遮蔽(occlusion)等。结果，基于跟踪多个图像帧的图像内容的类似外观的图像增强方法，诸如常见的运动跟踪算法，可能不能准确地跟随图像内容的运动，并在某些情况下，甚至可能无法识别由于不同外观导致的一些图像帧中的图像内容。

发明内容

在一个示例中，提供了一种用于增强图像序列的方法。接收具有图像帧的图像序列。确定用于图像帧的分解特征。基于该分解特征计算图像像素的特征连接(featureconnection)。基于特征连接中的至少一个选定的特征连接计算至少一个锚轨迹(anchortrajectory)。确定图像像素与至少一个锚轨迹之间的关系。基于至少一个锚轨迹和图像像素与至少一个锚轨迹之间的关系创建用于分解的图像帧的图像像素的新轨迹。限定用于新轨迹的至少一个轨迹特征，并且确定该至少一个轨迹特征是否需要在新轨迹交点处被修改。细化新轨迹交点，并生成最终轨迹。通过基于最终轨迹修改像素图像特征来创建增强的图像像素。基于增强的图像像素创建增强的图像序列。输出增强的图像序列。

在另一个示例中，提供了用于增强图像序列的方法。接收具有图像帧的图像序列。图像序列被分解成形成分解的图像帧的至少两个层。确定层中图像帧的分解特征。基于该分解特征计算该层中图像像素的特征连接。基于至少一个选定的特征连接计算该层的至少一个锚轨迹。确定至少两层的每层中图像帧的图像像素与至少一个锚轨迹之间的关系。基于至少一个锚轨迹和图像像素与来自至少两层的至少一个锚轨迹之间的关系创建分解的图像帧的图像像素的新轨迹。限定该层中新轨迹的至少一个轨迹特征，并且确定该层中该至少一个轨迹特征是否需要在该层中的新轨迹交点处被修改。细化新轨迹交点，并生成最终轨迹。通过基于最终轨迹修改至少两层的每层中的图像像素特征来创建至少一层中的增强的图像像素。基于分解的图像层中的增强的图像像素来创建增强的图像序列。输出增强的图像序列。

在另一个示例中，提供了一种方法，其包括从图像序列的图像帧生成至少一个图像处理层。确定分解特征，其是图像帧的至少一个图像处理层中图像内容的特性。基于该分解特征确定特征连接。特征连接包括空间-时间位置中至少一个图像处理层中连接图像像素的链接。基于特征连接计算至少一个图像处理层的锚轨迹。锚轨迹代表选定的图像内容元素在图像序列的长度上的空间-时间位置。确定图像像素与锚轨迹之间的关系。基于该关系和该锚轨迹生成图像像素的新轨迹。限定新轨迹的轨迹特征，并且确定该轨迹特征在至少一个图像处理层的新轨迹交点处的修改水平。该轨迹特征代表被选定用于图像序列中目标增强的特性。新轨迹交点以空间-时间位置的形式记录新轨迹与图像帧的交点。从新轨迹生成最终轨迹。基于最终轨迹通过修改至少一个图像处理层中的像素图像特征来生成至少一个增强的图像层。使用至少一个增强的图像层生成增强的图像序列。