[发明专利]用于用户识别、跟踪与设备关联的融合设备与图像运动

摘要

本文所描述的交叉模态传感器融合技术跟踪移动设备以及携带它们的用户。该技术将来自移动设备上的传感器的运动特征与从设备的图像获得的图像运动特征进行匹配。例如，将如由板上内部测量单元测得的移动设备的加速度与在深度照相机的颜色和深度图像中观察的类似加速度进行比较。该技术不需要用户或设备的外观的模型，在很多情况下也不需要到设备的直接视线。该技术能够实时操作且能够应用于各种普遍存在的计算场景。

主权项

1.一种用于定位设备所刚性附连的对象的计算机实现方法，包括：从所述设备上的传感器接收按照设备速度或设备加速度来表达的设备运动特征；捕获所述设备和所述设备所刚性附连的所述对象的图像；在所捕获的图像中找到按照图像速度或图像加速度来表达的图像运动特征，其中，图像运动特征是通过使用在图像中的点处的流来测量所述点下的对象的速度来找到的，并且其中，跟踪图像的补片以估计当对象在图像中各处运动时对象的给定补片的加速度；在共同坐标系中，根据使用何种类型的运动特征，通过以下步骤将所述设备速度与所述图像速度进行匹配，或者将所述设备加速度与所述图像加速度进行匹配：在每像素基础上计算一个或多个所捕获的图像中的多个预定或随机像素位置处所述图像运动特征与所述设备运动特征之间的差别；以及确定所述设备和任何刚性附连的对象在图像中的位置为所述共同坐标系中在所述设备运动特征和所述图像运动特征之间的最小差别的位置。