[发明专利]产生来自视频内容分析的触觉反馈的方法和设备

权利要求书

1.一种基于视频图像处理提供触觉反馈的计算机实现的方法，该方法在具有用计算机程序模块编程的处理器的计算装置上被实施，该方法包括：

读取包括一个或多个图像帧的一个或多个视频；

对所述一个或多个图像帧执行图像处理；

基于图像处理检测事件；

获得与所述一个或多个图像帧相关联的传感器信息以生成获得的传感器信息，其中所述一个或多个图像帧包括在所述一个或多个图像帧上捕获的对象，并且其中，所获得的传感器信息包括该对象的运动的一个或多个传感器测量值；以及

基于检测的事件和所获得的传感器信息提供控制信号，该控制信号被配置为引起触觉反馈。

2.根据权利要求1所述的计算机实现的方法，其中检测事件包括：

检测一种或多种类型的事件，所述一种或多种类型的事件包括：图像捕获装置运动、对象的外观、身体部位的外观、爆炸、移动对象、特定的可识别图像特征、面部表情、手势、或场景主题。

3.根据权利要求2所述的计算机实现的方法，该方法还包括：

接收一个或多个用户偏好，所述一个或多个用户偏好指定当被检测时引起提供该控制信号的至少一种类型的事件，其中提供该控制信号包括：

当已经检测由所述一个或多个用户偏好所指定的一种或多种类型的事件时，提供所述控制信号。

4.根据权利要求1所述的计算机实现的方法，该方法还包括：

基于所述控制信号，由触觉输出装置产生触觉反馈。

5.根据权利要求3所述的计算机实现的方法，该方法还包括：

使所述一个或多个视频与所述触觉反馈协调显示。

6.根据权利要求1所述的计算机实现的方法，该方法还包括：

实时检测所述事件，使得所述控制信号不嵌入所述一个或多个视频中。

7.根据权利要求1所述的计算机实现的方法，该方法还包括：

将所述控制信号嵌入到所述一个或多个视频中；以及

将所述一个或多个视频传送到远程装置，其中，将在该远程装置处提供所述一个或多个视频和触觉反馈。

8.根据权利要求1所述的计算机实现的方法，该方法还包括：

基于所述一个或多个图像帧产生对象的运动的第一估计，并基于所述一个或多个传感器测量值产生对象的运动的第二估计；以及

用对象的运动的第二估计更新对象的运动的第一估计，或用对象的运动的第一估计更新对象的运动的第二估计。

9.根据权利要求1所述的计算机实现的方法，其中所获得的传感器信息还包括用于捕获所述一个或多个视频的图像捕获装置的运动的一个或多个传感器测量值。

10.根据权利要求9所述的计算机实现的方法，该方法还包括：

基于所述一个或多个图像帧产生图像捕获装置的运动的第一估计，并基于所述一个或多个传感器测量值产生图像捕获装置的运动的第二估计；以及

用图像捕获装置的运动的第二估计更新图像捕获装置的运动的第一估计，或用图像捕获装置的运动的第一估计更新图像捕获装置的运动的第二估计。

11.根据权利要求1所述的计算机实现的方法，其中所获得的传感器信息包括出现在一个或多个视频上的对象的运动的一个或多个第一传感器测量值和用于捕获所述一个或多个视频的图像捕获装置的运动的一个或多个第二传感器测量值。

12.根据权利要求11所述的计算机实现的方法，该方法还包括：

基于所述一个或多个图像帧和所述一个或多个第一传感器测量值产生图像捕获装置的运动的估计；

基于所述一个或多个图像帧和所述一个或多个第二传感器测量值产生对象的运动的估计；以及

基于所述图像捕获装置的运动的估计和所述对象的运动的估计更新所述对象的运动的估计。