[发明专利]使用肤色检测的视频流的姿势预处理

说明书

公开了用于通过使用阶梯式和分布式管道处理来处理视频流以便降低平台功率的技术，其中，选择性地执行CPU密集型处理。所述技术特别适用于基于手部的导航姿势处理。例如，在一种示例情况中，所述技术实现在计算机系统中，其中，初始阈值检测（图像扰动）以及可选的用户存在（手部图像）处理部件接近于所述系统的相机或者位于所述相机内，并且所述相机位于所述系统的主显示器内或者接近于所述主显示器。在一些情况中，消除了位于标记区域外部的像素信息的图像处理以及在各种处理级之间的通信。在一些实施例中，所述标记区域与鼠标垫、桌面区域或用户输入设备（例如，键盘）对齐。由所述系统评估的像素可以被局限于标记区域的子集。可以使用简化的肤色检测处理。

背景技术

对于终端用户，大多数计算机的使用是将该终端用户连接到互联网，并且经过浏览界面发生。一般的使用和活动例如包括基于搜索引擎的浏览、电子邮件、社交网络、内容消费(例如，新闻文章和视频观看)、内容共享(例如照片、音乐等等)、网络购物和采购以及地图和向导，仅列举一些。这样的一般的互联网使用通常要求一些形式的基于用户的导航，例如典型地利用鼠标或触摸板和键盘来进行。

为了改善用户导航体验，已经兴起基于姿势的导航技术。具体地说，用户的手部移动能够被所谓的网络相机记录并且被翻译为指针移动。典型的结合网络相机操作的基于姿势的导航应用能够模仿利用常规的鼠标或触摸板经常进行的动作：点击、双击、拖动和滚动。用户也可以使用头部移动来控制计算机或者以其它方式影响导航。存在用于使用相机实现人体姿势的两种基本方法：使用具有所谓的标记的对象的姿势(其中，部署在视场中的标记与相机传感器交互)和无标记姿势(例如，无标记的手势)。无标记姿势技术可以使用通常用于大约3到5米(m)范围中的观察距离的三维或3D相机(具有Z-景深)或者通常用于大约0.5m范围中的观察距离的二维或2D相机(根据2D信息解释3D运动)来实现。

诸如台式计算机或工作站、膝上型计算机或平板电脑或者游戏控制台的计算环境中的图形处理通常要求一些复杂的操作。这样的操作例如包括关于确保图像被正确且及时地渲染的操作以及关于姿势识别的操作。在这样的操作的环境中会出现很多重大问题。

附图说明

图1a通过图表说明了根据本文公开技术的实施例用于执行视频流的姿势预处理以便降低平台功耗的阶梯式、分布式处理。

图1b说明了根据实施例的图1a的阶梯式、分布式处理的流程图。

图2a说明了根据本文公开技术的实施例配置用于执行视频流的阶梯式、分布式姿势预处理以便降低平台功耗的系统的方框图。

图2b说明了根据实施例来自图2a所示系统的不同级的控制和数据流。

图2c示出了根据本文公开技术的实施例在给定特定的计算系统设置的情况下对于每一个过程的典型CPU利用率，并且因而说明了通过使用视频流处理的阶梯式、分布式姿势预处理能够具有的改进的潜力。

图2d示出了根据本文公开技术的实施例用于肤色阈值检测以便降低平台功率的示例方法。

图2e示出了根据本文公开技术的另一实施例用于肤色阈值检测以便降低平台功率的示例方法。

图3a说明了根据本文公开技术的实施例配置用于执行视频流的阶梯式、分布式姿势预处理以便降低平台功耗的计算系统的示例用例。

图3b-3e分别说明了根据本文公开技术的实施例的相机和GP-电路的示例布置。

图4说明了根据本文公开技术的实施例配置用于执行视频流的阶梯式、分布式姿势预处理以便降低平台功耗的计算系统的方框图。

图5说明了根据本文公开技术的另一实施例配置用于执行视频流的阶梯式、分布式姿势预处理以便降低平台功耗的计算系统的方框图。

图6说明了根据本文公开技术的又一实施例配置用于执行视频流的阶梯式、分布式姿势预处理以便降低平台功耗的计算系统的方框图。