[发明专利]用于生成光流的方法和系统

说明书

一种画布生成系统，基于描述场景的一组原相机视图生成场景的画布视图，例如重新创建虚拟现实场景。基于从一组原相机视图生成的一组合成视图能生成画布视图。例如，通过基于跨多个原相机视图的光流位移并且混合相关的原相机视图能生成合成视图。使用单独优化用于相机视图的每个像素的光流矢量并且将光流的变化传播至相邻的光流矢量的迭代方法能生成光流。

背景技术

本公开整体涉及用于虚拟现实头盔的画布视图的生成，并且更具体地，涉及来自通过相机捕获的图像的画布视图生成。画布视图代表了重新创建虚拟现实场景的全景广角视图，并且能与其他画布视图配对而给出场景的3D立体效果。关于画布视图生成的现有技术可能运行缓慢，例如，要求来自用户的手动拼接或其他输入，并且当处理诸如相机视图之间的不同亮度或色彩等源相机视图中的差异时，现有技术会遇到问题。

发明内容

本发明的实施方式能基于描述例如通过图像捕获系统中的相机捕获的场景和描述通过多个相机捕获的场景的图像或一组原相机视图生成场景的画布视图。基于合成的位置将画布视图中的每个区域与合成视图的区域相关联的第一映射和将相机视图的区域与合成视图的区域相关联的第二映射能生成画布视图。能够对生成的映射进行组合，以生成将画布视图中的每个区域与该组相机视图中的一个或多个相机视图的区域相关联的组合映射，然后，对相机视图应用组合映射，以生成画布视图。

例如，基于代表共享一个或多个共同对象的场景的图像的第一相机视图和第二相机视图能生成合成视图。使用在第一相机视图与第二相机视图之间关联用于像素的光流能将第一相机视图与第二相机视图关联起来。基于光流，第一相机视图与第二相机视图能“位移”至各自接近所希望的合成视图。然后，能一起混合或均化合成视图的两个接近(即，像素色彩值)，以生成合成视图。

在合成视图的生成过程中，能使用关联多个相机视图上的对应点的光流。例如，表示为一组光流矢量(各自关联两个或多个对应的像素)的光流能关联相机视图之间的像素。例如，基于单独优化相机视图中的每个用于像素的光流矢量的迭代方法能生成光流。例如，通过针对每个像素生成一组光流提议、分析每个光流提议并且基于改善光流的优化的该组光流提议中的一光流提议更新光流。在一些实现方式中，能够将光流矢量的变化传播至相邻的光流矢量。

根据本发明的实施方式具体在涉及方法、系统、存储介质和计算机程序产品的所附权利要求中公开，其中在一个权利要求类别(例如，方法)中提到的任何特征可以在另一个权利要求类别(例如，系统)中要求保护。所附权利要求中的从属关系或引用关系仅出于形式原因而被选择。然而，还可以要求保护任何先前权利要求(特别是多个从属关系)的有意引用而产生的任何主题，使得公开并且可以要求保护权利要求及其特征的任何组合，而不管在所附权利要求中选择的从属关系如何。可被要求保护的主题不仅包括所附权利要求中给出的特征的组合，而且包括权利要求中的特征的任意其他组合，其中，权利要求中提及的每个特征可与权利要求中的任意其他特征或者其他特征的组合进行组合。此外，本文中描述或描绘的任何实施方式和特征可以在单独的权利要求中被要求保护和/或与本文中描述或描绘的任何实施方式或特征或者与所附权利要求的任何特征的任何组合中要求保护。

在根据本发明的实施方式中，一种用于生成光流的方法，方法可以包括：

接收第一相机视图和第二相机视图，每个相机视图代表通过相机捕获的图像并且与捕获相机视图所处的位置相关联；

初始化将第一相机视图中的点与第二相机视图中的对应点进行匹配的光流；

针对第一相机视图中的每个像素，优化用于该像素的光流，其中，优化用于像素的光流包括：

针对该像素生成一组光流提议；并且

分析每个光流提议并且基于所述一组光流提议中的一光流提议更新该用于像素的光流。

光流可以是将相机视图中的每个像素与光流矢量相关联的矢量场，光流矢量给出像素与另一相机视图中的对应像素之间的位移。