[发明专利]一种增强现实系统的目标检测方法有效

专利信息
申请号: 202011278389.8 申请日: 2020-11-16
公开(公告)号: CN112330753B 公开(公告)日: 2023-05-09
发明(设计)人: 翁冬冬;胡明伟;陈锋 申请(专利权)人: 北京理工大学
主分类号: G06V20/64 分类号: G06V20/64;G06T7/80;G06V10/82;G06V10/774
代理公司: 北京理工大学专利中心 11120 代理人: 李微微
地址: 100081 *** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 增强 现实 系统 目标 检测 方法
【说明书】:

发明公开了一种增强现实系统的目标检测方法,利用AR眼镜和目标检测神经网络相结合的方式,使用户可以通过光学透射式AR眼镜直观的观察现实环境,而不需要如手机一般,将显示器中的图像和现实环境对比后才能在现实环境中操作,降低了用户使用的复杂度。同时,利用标定方法简化了AR显示与现实世界之间的融合难度,一定程度上降低了计算复杂度,减少了延时,从而带给用户更好的实时AR体验。

技术领域

本发明属于AR增强现实技术领域,具体涉及一种增强现实系统的目标检测方法。

背景技术

目前有研究提出将目标检测网络用于视频透射式的AR检测方式。他们利用手机这类手持的移动设备对环境进行拍摄,并使用简化的SSD目标检测网络对手机所拍摄到的图像进行目标检测。接着,他们直接在手机屏幕上对目标物体进行框选,从而完成目标检测。直接使用手机之类的设备对环境进行拍摄,并将检测框直接显示在手机上的方式并不能带给用户一个直观的AR体验。用户在使用过程中需要先观察手机屏幕,从手机屏幕上确认目标物体的位置再与现实环境对照,然后才能在现实中去寻找目标。这样的方式增加了用户使用的困难。同时,这种方式的检测时间过长,平均检测时间在1.5s。

还有研究将AR技术和用电信息采集系统结合在一起。他们利用摄像头对电箱的环境进行拍摄,然后图像上传到云端进行检测。同时,他们在检测过程中通过对位置的变换拍摄多幅图像一同上传,并利用SLAM技术对环境进行重建。最后,将检测的结果发送到AR眼镜上,并结合SLAM三维重建的结果在AR眼镜上显示出来。该方式利用单目相机对环境进行多张图片的拍摄,将所有的图片上传到云端,从而利用SLAM技术对环境进行三维重建,以及利用目标检测和识别技术对物体进行判断。这种方式会使用大量的计算力,同时造成极大的延时,难以满足日常生活中人们的实时要求。

发明内容

有鉴于此,本发明的目的是提供一种增强现实系统的目标检测方法,可以快速的从复杂的现实环境中找到用户需要的物体,并显示。

一种增强现实系统的目标检测方法,包括如下步骤:

步骤1、建立数据集,具体为:

在绿幕背景下拍摄多组目标物体的绿幕图像;

将绿幕图像转化到HSV空间,抠除绿幕背景,得到目标物体的主体图像;

将目标物体的主体图像与背景图像进行合成,从而得到数据集;

步骤2、利用步骤1建立的数据库集目标检测网络进行训练;

步骤3、利用AR头盔上集成的RGB摄像头捕获现实环境中的实时图像,送入步骤2训练好的目标检测网络进行目标检测,并将检测结果以检测框的形式显示在AR头盔上。

进一步的,还包括对AR头盔和RGB摄像头的标定,具体为:

将AR头盔显示部分与人眼作为整体,在unity环境中设置为虚拟相机;

将虚拟相机和RGB摄像头都设置成为定焦模式且分辨率设置为720P;

在真实环境中制作标定板并在标定板的中心制作标志点;

在unity环境中设置标定瞄准器,设置瞄准器的尺寸形状与真实空间中的标志点一致;

人眼透过AR头盔观察标志点,并利用鼠标移动瞄准器使瞄准器与标志点完全重合:当瞄准器与标志点完全重合的时候,记录下此时标志点中心在RGB相机图像的像素坐标以及瞄准器在Unity中的三维坐标;

改变标定板的位置,重复以上操作,直到记录下12组坐标点;

使用PnP算法对12组坐标点求解,从而得到RGB相机与AR显示器的相对位姿关系,完成标定。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京理工大学,未经北京理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202011278389.8/2.html,转载请声明来源钻瓜专利网。

同类专利
专利分类
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top