[发明专利]基于视觉关注点识别物体的方法

说明书

本发明提供了一种基于视觉关注点识别物体的方法，所述的方法包括：S1：采用眼动仪设备获取人眼视线方向向量(a,b,c)；S2：计算视线方向向量(a,b,c)在场景图像中的位置P(x,y)；S3：把P点周围的局部图像IM进行放大；S4：在IM的所有原始子图像中发现识别对象。本发明结合视觉关注技术和人工智能技术，解决在人机交互、智能监控与行为评价等应用系统中场景物体的识别率问题。

技术领域

本发明涉及VR/AR技术领域，具体涉及基于视觉关注点识别物体的方法。

背景技术

在VR/AR系统中，操作者识别物体的方式，完全取决于操作者的视角，而操作者的视角等同于摄像头的视角，操作者离物体的距离越远，摄像头的视角范围就越大，视角范围内的可识别物体就会越多，这就导致当操作者远离识别物体时，无法精准识别场景中的物体。

现有技术中，对于上述远距离物体的识别，一般采用以下两种方式：

1)将视角范围内的全部物体显示出来，由操作者进行手动选择；

2)不显示距离过远的物体，操作者只能主动靠近识别物体后才能识别。

上述两种方式，均不能直接读取操作者的识别意图，将识别物体直接标注出来。

发明内容

为了解决上述问题，本申请提供了AR系统中增强呈现方式的方法，通过视线方向向量获取人对交互场景中的关注点，再将该关注点所在的局部图像放大进行识别。本发明公开了如下技术方案：

本发明实施例提供了基于视觉关注点识别物体的方法，所述的方法包括：

S1：获取人眼视线方向向量(a,b,c)；

S2：计算视线方向向量(a,b,c)在场景图像中的位置P(x,y)；

S3：把P点周围的局部图像IM进行放大；

S4：在IM的所有原始子图像中发现识别对象。

进一步的，步骤S2的具体实现过程为：

构建视线方向向量(a,b,c)在场景图像中位置的映射关系；

分别计算x、y的坐标。

进一步的，采用眼动仪设备或者现有公知的眼球视线跟踪方法来获取人眼视线方向向量。

进一步的，视线方向向量(a,b,c)在场景图像中位置的映射关系为：

其中，f_x、f_y分别表示场景摄像机沿水平和垂直方向的焦距，m、n分别表示场景摄像机沿水平和垂直方向的偏移量,R是相机的旋转矩阵，t是相机的平移向量，T代表转置矩阵。f_x、f_y、m、n是场景摄像机的内部参数，R、t是场景摄像机的外部参数，可以通过张正友相机标定方法获取摄像机的内部参数和外部参数。

进一步的，x、y的坐标为：

进一步的，步骤S3的具体实现方法为：

把场景图像分为M×N个子图像块；

依次选取P所在图像块的8k(k＝1,2,…)邻域作为原始子图像进行缩放。

进一步，步骤S4中发现识别对象的原理为：对IM的所有原始子图像采用深度卷积神经网络进行训练，对原始子图像中感兴趣的对象进行识别。

本发明的有益效果：