[发明专利]基于移动装置的文本检测及跟踪

权利要求书

1.一种用于在移动站MS上进行文本辨识及跟踪的方法，所述方法包括：

通过对通过所述MS上的摄像机俘获的图像帧执行光学字符辨识OCR以定位及辨识第一文本块而获得第一参考帧；

从一组后续图像帧中选择后续图像帧，所述选择是基于与所述选定后续图像帧相关联的参数；

通过对所述选定后续图像帧执行OCR以辨识第二文本块而获得第二参考帧；以及

确定所述第一文本块与所述第二文本块之间的几何关系，其中所述几何关系是至少部分基于以下二者确定的：

所述第一文本块在所述第二参考帧中的位置，及

与所述第二参考帧相关联的摄像机姿态，

其中所述方法进一步包括：

估计所述摄像机相对于第一参考框架的姿态；以及

通过使用所述摄像机在所述第一参考框架中的经估计的姿态来确定所述第一文本块在第二参考框架中的位置，

其中所述第一参考框架和所述第二参考框架是摄像机坐标系。

2.根据权利要求1所述的方法，其进一步包括基于所述第一文本块与所述第二文本块之间的所述几何关系按序列汇编所述第一文本块与所述第二文本块。

3.根据权利要求2所述的方法，其中所述第一文本块与所述第二文本块之间的所述几何关系是至少部分基于参考框架，所述参考框架与所述第一文本块和所述第二文本块所出现在的媒体相关联。

4.根据权利要求2所述的方法，其进一步包括：

将所述第一文本块及所述第二文本块的所汇编的序列作为输入提供到文本转话音应用程序。

5.根据权利要求1所述的方法，其中选择所述后续图像帧进一步包括：

针对所述组后续图像帧计算摄像机姿态，每一摄像机姿态与相异后续图像帧相关联且是至少部分基于使所述相关联后续图像帧与所述第一参考帧对准来确定，以及

至少部分基于所述计算的摄像机姿态，确定与所述组后续图像帧中的对应图像帧相关联的参数。

6.根据权利要求5所述的方法，其中所述对准是使用高效二阶最小化ESM来执行。

7.根据权利要求6所述的方法，其中所述ESM对所述相关联的后续图像帧的低分辨率版本操作。

8.根据权利要求5所述的方法，其中针对所述组后续图像帧计算摄像机姿态进一步包括：

产生包括通过识别所述第一参考帧中的多个特征点获得的图像分块的跟踪目标，以及

基于所述第一参考帧与所述组中的后续图像帧之间的图像分块的对应确定所述跟踪目标在所述后续图像帧中的位置，以及

至少部分基于所述跟踪目标在所述后续图像帧中的所述位置，计算与所述后续图像帧相关联的摄像机姿态。

9.根据权利要求8所述的方法，其中所述特征点是基于所述第一参考帧中的自然特征。

10.根据权利要求8所述的方法，其中对个别特征点指派权重且相对于位于所述第一参考帧中的其它位置的特征点来说，对所述第一文本块上的特征点指派较大权重。

11.根据权利要求8所述的方法，其中所述跟踪目标的产生实质上与所述相关联后续图像帧与所述第一参考帧的所述对准并行执行。

12.根据权利要求1所述的方法，其中所述第一参考帧及所述组后续图像帧是无标记的。