[发明专利]基于视觉里程计的自动触觉生成

说明书

本公开涉及基于视觉里程计的自动触觉生成。公开了基于视觉里程计自动生成触觉的设备、系统、和方法的示例。在一个示例中，接收具有多个帧的视频并且创建来自该多个帧的第一帧和来自该多个帧的第二帧之间的光流估计。在该示例中，第二帧在第一帧之后。在该示例中，至少部分地基于光流估计检测静止物体在第一帧和第二帧之间的视在移动，并且至少部分地基于光流估计生成与静止物体的视在移动相对应的至少一个触觉效果。可以将所生成的一个或多个触觉效果输出到触觉文件或触觉输出设备或它们二者。

技术领域

本申请一般地涉及触觉设备，更一般地涉及基于视觉里程计的自动触觉生成。

背景技术

传统上，机械按钮向电子设备的用户提供物理触觉。但是，随着电子设备的大小的减小以及电子设备的便携性的增加，电子设备上的机械按钮的数目减少甚至一些电子设备不具有任何机械按钮。触觉输出设备可以被包括在这样的设备中，以向用户输出触觉效果。

发明内容

描述了基于视觉里程计(visual odometry)自动生成触觉的设备、系统、和方法的各种示例。

公开的一种示例方法包括：接收具有多个帧的视频；确定第一帧和第二帧之间的光流估计，其中，第二帧在第一帧之后；至少部分地基于光流估计，检测静止物体在第一帧和第二帧之间的视在移动(apparent movement)；至少部分地基于光流估计，生成与静止物体的视在移动相对应的触觉效果；以及通过触觉输出设备产生触觉效果。

公开的一种示例非暂态计算机可读介质，包括被配置为将由处理器执行的一个或多个软件应用。在该示例中，一个或多个软件应用被配置为：接收具有多个帧的视频；确定第一帧和第二帧之间的光流估计，其中，第二帧在第一帧之后；至少部分地基于光流估计，检测静止物体在第一帧和第二帧之间的视在移动；至少部分地基于光流估计，生成与静止物体的视在移动相对应的触觉效果；以及通过触觉输出设备产生触觉效果。

公开的一种被配置为产生触觉效果的示例设备包括镜头、显示器、触觉输出设备、以及处理器。在该示例中，处理器与镜头、显示器、以及触觉输出设备通信。在该示例中，处理器被配置为：从镜头接收具有多个帧的视频；确定第一帧和第二帧之间的光流估计，其中，第二帧在第一帧之后；至少部分地基于光流估计，检测静止物体在第一帧和第二帧之间的视在移动；至少部分地基于光流估计，生成被配置为使得触觉输出设备输出与静止物体的视在移动相对应的触觉效果的触觉信号；将第一帧和第二帧输出到显示器；以及将触觉信号输出到触觉输出设备，以使得触觉输出设备在第二帧被显示在显示器上时产生触觉效果。

所提到的这些说明性示例不用于限制或限定本公开的范围，而用于提供帮助理解本公开的示例。在提供进一步描述的具体实施例部分详细描述说明性示例。通过审查本说明书可以进一步理解各种示例提供的优点。

附图说明

本专利或申请文件包括至少一幅彩色附图。本专利或专利申请公开的具有一幅或多幅彩色附图的副本将根据请求和必要费用的支付由专利局提供。

结合到本说明书中并且组成本说明书的一部分的附图示出了一个或多个具体示例并且与示例的描述一起用来说明具体示例的原理和实施方式。

图1A、1B、和1C示出了根据实施例的用于基于视觉里程计自动生成触觉的示例计算设备。

图2示出了根据实施例的用于基于视觉里程计自动生成触觉的示例系统。

图3示出了根据实施例的基于视觉里程计自动生成触觉的示例方法。

图4示出了根据实施例的针对视频帧的示例光流估计。

图5A示出了根据实施例的针对在描绘森林的视频中所检测的局部区域中的特征像素的示例光流估计。

图5B示出了根据实施例的针对在描绘山脉的视频中所检测的局部区域中的特征像素的示例光流估计。