[发明专利]产生来自视频内容分析的触觉反馈的方法和设备

说明书

本公开涉及产生来自视频内容分析的触觉反馈的方法和设备，以及涉及基于视频内容分析、包括视频上的一个或多个对象的运动的一个或多个测量的传感器信息、和/或包括一个或多个图像捕获装置的运动的一个或多个测量的传感器信息而产生触觉反馈。视频内容分析可以包括视频的图像处理。系统可以基于该图像处理识别一个或多个事件，并基于所述一个或多个事件引起触觉反馈。所述触觉反馈可以基于视频场景对象的估计的加速度发生变化，其中，所述估计的加速度基于图像处理。可以使用传感器信息使所述估计的加速度在高速时更准确，而基于图像处理，可以使基于传感器信息的估计的加速度在较低速时更准确。

技术领域

本公开涉及基于视频内容分析、来自一个或多个传感器的包括出现在视频上的一个或多个对象的运动的一个或多个测量的传感器信息、和/或包括一个或多个图像捕获装置的运动的一个或多个测量的传感器信息，来产生触觉反馈的系统和方法。

背景技术

传统的多媒体内容(如视频)可以用触觉反馈增强。然而，这样的增强通常需要将编码所述触觉反馈的信息直接嵌入视频中。因此，这些技术不能提供预先存在的视频上的实时触觉反馈，所述预先存在的视频尚未用编码该触觉反馈的信息注解。

此外，传统媒体回放系统没有充分利用指示出现在视频中的某一场景中的对象的运动的传感器信息来产生触觉反馈。此外，当对象高速移动时，由于模糊和其他构件，基于视频信息估计对象的加速度可能是不准确的，而使用来自附属于该对象的传感器的信息估计该对象的加速度在低速时可能是不准确的。

发明内容

本公开涉及基于视频内容分析、来自一个或多个传感器的包括出现在视频上的一个或多个对象(例如人)的运动的一个或多个测量的传感器信息、和/或包括一个或多个图像捕获装置的运动的一个或多个测量的传感器信息，来产生触觉反馈的系统和方法。一般来说，该系统可包括具有一个或多个处理器的计算装置，所述处理器被编程以执行所述视频内容分析和/或使用传感器信息以导致产生触觉反馈，从而增强用户体验。

所述触觉反馈可以基于视频场景对象的估计的加速度而变化，其中，所述估计的加速度基于图像处理。可以使用传感器信息使所述估计的加速度在高速时更准确，而基于图像处理，可以使基于传感器信息的估计的加速度在较低速时更准确。

在一些实施方式中，视频内容分析可以包括视频的一帧或多帧的图像处理。计算装置可以基于图像处理识别一个或多个事件，并基于所述一个或多个事件而引起触觉反馈。所述事件例如可以包括图像捕获装置的运动、对象的外观、身体部位的外观、爆炸、移动对象、特定的可识别图像特征、面部表情、手势、场景主题、和/或可以基于所述图像处理来识别的其他事件。

所述计算装置可以产生控制信号，该控制信号引起所述触觉反馈并将该控制信号传送到输出该触觉反馈的一个或多个触觉输出装置。可以根据所述计算装置的特定用途和实现，以各种方式配置所述触觉输出装置。例如，触觉输出装置可以与计算装置(例如，集成在公共外壳内)、用户接口装置、可穿戴装置、椅子(例如，在电影院设置中，其中当观看电影时，所述计算装置对电影执行图像处理，以提供身临其境的触觉反馈)和/或取决于特定实现的其他配置集成。

由于可以基于图像处理产生所述触觉反馈，所述计算装置促进实时触觉反馈而无需上游嵌入或供应将触觉反馈编码到多媒体文件或多媒体流中的信息。因此，该计算装置可以用触觉反馈来增强视频(和/或其他多媒体内容，可以为所述其他多媒体内容执行图像处理)，即使该视频尚未与引起该触觉反馈的信息联合提供或已经以其他方式嵌入该信息中。