[发明专利]一种增强现实系统的目标检测方法有效
申请号: | 202011278389.8 | 申请日: | 2020-11-16 |
公开(公告)号: | CN112330753B | 公开(公告)日: | 2023-05-09 |
发明(设计)人: | 翁冬冬;胡明伟;陈锋 | 申请(专利权)人: | 北京理工大学 |
主分类号: | G06V20/64 | 分类号: | G06V20/64;G06T7/80;G06V10/82;G06V10/774 |
代理公司: | 北京理工大学专利中心 11120 | 代理人: | 李微微 |
地址: | 100081 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 增强 现实 系统 目标 检测 方法 | ||
本发明公开了一种增强现实系统的目标检测方法,利用AR眼镜和目标检测神经网络相结合的方式,使用户可以通过光学透射式AR眼镜直观的观察现实环境,而不需要如手机一般,将显示器中的图像和现实环境对比后才能在现实环境中操作,降低了用户使用的复杂度。同时,利用标定方法简化了AR显示与现实世界之间的融合难度,一定程度上降低了计算复杂度,减少了延时,从而带给用户更好的实时AR体验。
技术领域
本发明属于AR增强现实技术领域,具体涉及一种增强现实系统的目标检测方法。
背景技术
目前有研究提出将目标检测网络用于视频透射式的AR检测方式。他们利用手机这类手持的移动设备对环境进行拍摄,并使用简化的SSD目标检测网络对手机所拍摄到的图像进行目标检测。接着,他们直接在手机屏幕上对目标物体进行框选,从而完成目标检测。直接使用手机之类的设备对环境进行拍摄,并将检测框直接显示在手机上的方式并不能带给用户一个直观的AR体验。用户在使用过程中需要先观察手机屏幕,从手机屏幕上确认目标物体的位置再与现实环境对照,然后才能在现实中去寻找目标。这样的方式增加了用户使用的困难。同时,这种方式的检测时间过长,平均检测时间在1.5s。
还有研究将AR技术和用电信息采集系统结合在一起。他们利用摄像头对电箱的环境进行拍摄,然后图像上传到云端进行检测。同时,他们在检测过程中通过对位置的变换拍摄多幅图像一同上传,并利用SLAM技术对环境进行重建。最后,将检测的结果发送到AR眼镜上,并结合SLAM三维重建的结果在AR眼镜上显示出来。该方式利用单目相机对环境进行多张图片的拍摄,将所有的图片上传到云端,从而利用SLAM技术对环境进行三维重建,以及利用目标检测和识别技术对物体进行判断。这种方式会使用大量的计算力,同时造成极大的延时,难以满足日常生活中人们的实时要求。
发明内容
有鉴于此,本发明的目的是提供一种增强现实系统的目标检测方法,可以快速的从复杂的现实环境中找到用户需要的物体,并显示。
一种增强现实系统的目标检测方法,包括如下步骤:
步骤1、建立数据集,具体为:
在绿幕背景下拍摄多组目标物体的绿幕图像;
将绿幕图像转化到HSV空间,抠除绿幕背景,得到目标物体的主体图像;
将目标物体的主体图像与背景图像进行合成,从而得到数据集;
步骤2、利用步骤1建立的数据库集目标检测网络进行训练;
步骤3、利用AR头盔上集成的RGB摄像头捕获现实环境中的实时图像,送入步骤2训练好的目标检测网络进行目标检测,并将检测结果以检测框的形式显示在AR头盔上。
进一步的,还包括对AR头盔和RGB摄像头的标定,具体为:
将AR头盔显示部分与人眼作为整体,在unity环境中设置为虚拟相机;
将虚拟相机和RGB摄像头都设置成为定焦模式且分辨率设置为720P;
在真实环境中制作标定板并在标定板的中心制作标志点;
在unity环境中设置标定瞄准器,设置瞄准器的尺寸形状与真实空间中的标志点一致;
人眼透过AR头盔观察标志点,并利用鼠标移动瞄准器使瞄准器与标志点完全重合:当瞄准器与标志点完全重合的时候,记录下此时标志点中心在RGB相机图像的像素坐标以及瞄准器在Unity中的三维坐标;
改变标定板的位置,重复以上操作,直到记录下12组坐标点;
使用PnP算法对12组坐标点求解,从而得到RGB相机与AR显示器的相对位姿关系,完成标定。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京理工大学,未经北京理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011278389.8/2.html,转载请声明来源钻瓜专利网。