[发明专利]一种基于AR智能眼镜的局部图像识别方法及系统

权利要求书

1.一种基于AR智能眼镜的局部图像识别方法，其特征在于：具体包括如下步骤：

步骤一：建立参照集：在原型网络的嵌入空间中定义若干个样本；

步骤二：一致性校准标定：对AR智能眼镜摄像头进行图像畸变校正和标定；

步骤三：获取眼睛运动坐标：采用瞳孔-角膜反射光斑法或MEMS眼球追踪技术，来识别人眼图像并计算眼球运动向量，并将人眼的运动行为数字化，转化为计算机系统计算的电子信号；

步骤四：获取人眼在周围真实世界的映射关系：根据内嵌映射算法分别获取人眼注视点在眼镜成像屏幕和前置摄像头画面的坐标位置；

步骤五：启动局部图像识别程序：

(1)边缘探测：从待识别的图像中抽出线条，并检测出图像边缘或者抽出图像轮廓；

(2)二值图像处理：对检测出的二值化图像进行修正，使得图像更加清晰；

(3)将图像映射成嵌入向量：充分利用节点在原型网络中的拓扑关系，给出节点的隐含向量表示，从而将离散空间中的网络节点嵌入到高维空间中；

(4)定义图像原型：利用神经网络的非线性映射将输入图像映射到嵌入空间中，此时嵌入空间中参照集的加权平均值即为图像原型；

(5)计算测试点到原型图像之间的距离：通过计算嵌入到空间中的观察图像和对应样本原型表达的距离来排除视觉环境下无用图像信息的干扰；

步骤六：局部图像的传输处理：将局部图像通过以太网上传至云端服务器处理，并对图像进行运算、语义分割处理、识别、比对，接着将获得的相关运算结果从云端服务器通过以太网回传至智能眼镜终端进行内容呈现。

2.根据权利要求1所述的一种基于AR智能眼镜的局部图像识别方法，其特征在于：上述步骤五的(1)中进行图像边缘探测时所用到的算法为微分算法或掩模算法。

3.根据权利要求1所述的一种基于AR智能眼镜的局部图像识别方法，其特征在于：上述步骤五的(2)中二值图像处理包括以下操作：

A、膨胀使粒子变大：对图像进行膨胀处理之后再进行收缩处理，以修正图像的凹槽；

B、收缩使粒子变小：对图像进行收缩处理之后再进行膨胀处理，以修正图像的凸槽；

C、清除孤立点：清除由一个像素构成的对象以及修正由一个像素构成的孔；

D、清除粒子：清除任意面积以下的对象；

E、清除超大粒子：清除任意面积以上的对象；

F、洞穴填充：填充任意范围。

4.一种基于AR智能眼镜的局部图像识别系统，其特征在于：该系统包括有DM6437处理核心和与DM6437处理核心呈双向连接的AR智能眼镜终端以及云端服务器，所述AR智能眼镜终端用于捕捉周围环境的图像并将其上传至DM6437处理核心进行处理，所述DM6437处理核心用于对获取的局部图像进行系列处理并通过以太网传输至云端服务器，所述云端服务器用于对图像进行运算、语义分割处理、识别、比对，并将结果回传至AR智能眼镜终端进行内容呈现。

5.根据权利要求4所述的一种基于AR智能眼镜的局部图像识别系统，其特征在于：所述DM6437处理核心包括对AR智能眼镜摄像头进行图像畸变校正和标定的图像畸变校正与标定单元、识别人眼图像并计算眼球运动向量的人眼运动坐标获取单元、获取人眼注视点在眼镜成像屏幕和前置摄像头画面的坐标位置的映射关系获取单元和对采集图像进行识别的图像识别单元。