[发明专利]使用光流生成中间视图的方法和计算机可读存储介质有效
申请号: | 201780035010.0 | 申请日: | 2017-04-06 |
公开(公告)号: | CN109314753B | 公开(公告)日: | 2020-05-26 |
发明(设计)人: | 布里安·基思·卡布拉尔;福里斯特·塞缪尔·布里格斯;阿尔贝特·帕拉·波索;皮特·瓦伊达 | 申请(专利权)人: | 脸谱公司 |
主分类号: | H04N5/262 | 分类号: | H04N5/262;H04N5/222;H04N5/247 |
代理公司: | 北京安信方达知识产权代理有限公司 11262 | 代理人: | 周靖;杨明钊 |
地址: | 美国加*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 使用 生成 中间 视图 方法 计算机 可读 存储 介质 | ||
画布生成系统基于描述场景的一组原始相机视图生成场景的画布视图,例如,以便在虚拟现实中重新创建场景。可以基于从一组原始相机视图生成的一组合成视图生成画布视图。例如,可以基于多个原始相机视图上的光流通过偏移和混合相关原始相机视图生成合成视图。可以使用迭代方法生成光流,该迭代方法独立优化用于相机视图的每个像素的光流矢量并且将光流中的变化传播至相邻的光流矢量。
背景技术
本公开内容总体涉及为虚拟现实耳机生成画布视图,并且更具体地,涉及从通过相机捕获的图像生成画布视图。画布视图表示在虚拟现实中重新创建场景的全景广角视图,并且可以与其他画布视图匹配以给出该场景的3D立体效果。用于画布视图生成的现有技术可以缓慢操作,例如,需要用户手动缝合或者其他输入,并且当处理源相机视图中的误差时可能遇到问题,诸如,相机视图之间不同的亮度或颜色。
发明内容
本发明的实施方式可以基于描述例如通过图像捕获系统的相机捕获的场景并且描述通过多个相机捕获的场景的一组原始相机视图或图像来生成场景的画布视图。可以基于使画布视图的每个区域与基于合成位置的合成视图的区域相关联的第一映射以及使相机视图的区域与合成视图的区域相关联的第二映射生成画布视图。可以结合生成的映射以生成使画布视图的每个区域与一组相机视图的一个或多个相机视图的区域相关联的结合的映射,然后可以应用于相机视图以生成画布视图。
例如,可以基于表示一个或多个共有对象共享的场景的图像的第一和第二相机视图生成合成视图。使第一和第二相机视图之间的像素相关联的光流可用于使第一和第二相机视图有关。基于该光流,第一和第二相机视图可以“偏移”为各自近似期望的合成视图。然后可以将合成视图的这两个近似一起混合或平均(即,像素色值)以生成合成视图。
在合成视图的生成期间,可以使用光流使多个相机视图上的对应点相关联。例如,光流可以使表示为各自使两个或更多个对应像素相关联的一组光流矢量的相机视图之间的像素相关联。例如,可以基于迭代方法生成光流,该迭代方法独立优化用于相机视图的每个像素的光流矢量。例如,通过生成用于每个像素的一组光流建议,分析每个光流建议并且基于改善光流的最优化的该组光流建议的光流建议更新用于每个像素的光流。在一些实现过程中,可以将光流矢量的变化传播至相邻的光流矢量。
根据本发明的实施方式具体公开在所附权利要求中,其中,在一个权利要求类别(例如,方法)中提到的任何特征也可以在另一个权利要求类别(例如,系统)中要求保护。仅为了形式原因,选择所附权利要求中的从属权利要求、后向引证或交叉引证。然而,也可以被要求保护故意后向引证对任何上述权利要求(具体地,多个从属权利要求)导致的任何主题内容,以便权利要求及其特征的任何组合被公开并且不管在所附权利要求中选择的从属权利要求都可以要求保护。可以要求的主题不仅包括所附权利要求中阐述的特征的组合,而且还包括权利要求中的特征的任何其他组合,其中,权利要求中提及的每个特征可以与权利要求中的任何其他特征或其他特征的组合相结合。此外,本文中描述或描绘的任何实施方式和特征可以在单独权利要求中和/或与本文中描述或描绘的任何实施方式或特征或者与所附权利要求的任何特征的任何组合中要求保护。
在实施方式中,可提供计算机实现方法,该方法包括:
接收第一相机视图和第二相机视图,每个相机视图表示通过相机捕获并且与位置相关联的图像,相机视图是从该位置捕获的;
对于位于与第一相机视图相关联的位置和与第二相机视图相关联的位置之间的合成视图识别合成视图位置;
基于合成视图位置将第一相机视图相对于与第一相机视图相关联的位置偏移为第一合成视图;
基于合成视图位置将第二相机视图相对于与第二相机视图相关联的位置偏移为第二合成视图;
并且
混合第一合成视图和第二合成视图以形成合成视图。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于脸谱公司,未经脸谱公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201780035010.0/2.html,转载请声明来源钻瓜专利网。