[发明专利]用于处理虚拟现实输入的方法和系统

说明书

本发明的实施例提供将2D屏幕录像视频教程重定目标到活动VR主机应用中的系统、方法和计算机存储介质。在VR主机应用活动的同时，VR嵌入式小部件可以在VR主机应用环境之上绘制。因此，VR嵌入式小部件可以直接在VR主机应用的环境内提供各种交互式教程接口。例如VR嵌入式小部件可以直接在VR绘画环境中呈现外部视频内容、相关信息和对应的界面，因此用户可以同时访问外部视频(例如屏幕录像视频教程)和VR绘画。可能的VR嵌入式小部件包括VR嵌入式视频播放器覆盖小部件、视角缩略图覆盖小部件(例如用户视图缩略图覆盖、指导者视图缩略图覆盖等)、认知覆盖小部件、教程步骤覆盖小部件和/或控制器覆盖小部件等。

背景技术

诸如虚拟现实(VR)中的绘画、素描和雕刻的各种VR设计技术是新兴的艺术表现形式。通常，VR设计依赖于在半空中移动手以直接操纵和创建3D形状的能力。这种所看即所得的范例被早期研究预见到，但由于VR光学和空间跟踪技术的进步，最近才被广泛使用。VR中的表达自由可能是VR设计接收到来自创意社区的极大兴趣的主要原因之一。

例如在创意社区中存在增加的兴趣以探索和学习VR绘画中的新技术。目前，大多数用户在互联网上学习使用社区发布的2D视频。今天VR创意中最常见的知识共享形式是2D屏幕录像视频的使用，其捕获VR绘画过程的指导者记录。

发明内容

本发明的实施例涉及将诸如屏幕录像视频的外部视频重定目标到VR主机应用环境中。在较高级别，可以在VR环境之上绘制一个或多个VR嵌入式小部件以用于活动VR主机应用。为此，可以将VR主机应用的绘制和事件系统注入到VR嵌入式小部件的代码中，以促进在VR主机应用之上绘制小部件，并响应用户的VR输入。因此，各种VR嵌入式小部件可以直接在VR主机应用的环境内提供交互式教程接口。

在一些实施例中，VR嵌入式视频重定目标系统可以接受2D视频作为输入，诸如屏幕录像视频(例如从指导者的双眼捕获)，以及包括3D绘图和在2D屏幕录像视频教程中使用的VR设备的活动轨迹的相应日志数据，以生成3D绘图。日志数据可以包括带时间戳的控制器姿势(例如位置和取向)、头戴式显示器(HMD)姿势、按钮按压和/或从其导出的轨迹，诸如细粒度刷和颜色数据。VR嵌入式小部件可以使用日志数据为关联的2D视频递送更有效的3D指令，并增强用户理解2D视频中描绘的控制器交互和3D信息的能力。VR嵌入式小部件可以包括VR嵌入式视频播放器覆盖小部件、视角缩略图覆盖小部件(例如用户视图缩略图覆盖、指导者视图缩略图覆盖等)、认知覆盖小部件、教程步骤覆盖小部件和/或控制器覆盖小部件等。

在一些实施例中，视频播放器覆盖小部件可以在VR应用环境之上被绘制并且被配置为回放外部视频内容。指定事件(例如作者注释、自动检测到的事件等)可以在视频播放器覆盖小部件上的视频时间线的对应部分上表示。可以通过分析视频和/或对应的日志数据来自动检测各种类型的事件。在一些实施例中，可以从日志数据中的空间和/或时间中的间隙(例如3D笔划的集群之间的间隙)来标识教程步骤的开始和结束。可以在视频时间线上将不同事件(例如指定的重要事件、工具/模式改变、步骤转换、检测到的事件等)描绘为不同的图标。这样的图标不仅提供导航提示，还提供对应事件的暂时认知(例如作者强调的事件)。

附加地或替代地，一个或多个视角缩略图覆盖小部件可绘制与VR的视频教程(例如屏幕录像视频)和/或对应的3D绘图相关联的3D控制器模拟场景。3D控制器模拟场景可以在3D中示出来自2D视频的指导者控制器的动作和与来自2D视频的指导者控制器交互，以便于帮助用户更好地理解笔划结构和控制器交互。与2D视频相关联的日志数据(例如诸如3D绘图、HMD和控制器3D位置和取向、控制器按钮按压事件等)可用于从不同视角生成3D控制器模拟场景并使其动画化。从查看者的视角呈现模拟的视角缩略图覆盖小部件称为用户视图覆盖小部件。类似地，从指导者的视角呈现模拟的视角缩略图覆盖小部件称为指导者视图覆盖小部件。

在一些实施例中，可以提供认知覆盖小部件作为视频播放器覆盖小部件的扩展。当用户将目光移开视频播放器覆盖小部件中播放的视频时，可以出现认知覆盖小部件。认知覆盖小部件可以向用户提供关于视频的缩略信息，诸如关于视频的进展的视觉信息和/或来自视频的各种事件。