[发明专利]一种基于人脸识别技术的眼镜虚拟试戴方法

说明书

本发明公开一种基于人脸识别技术的眼镜虚拟试戴方法，包括：Unity端启动后，Unity端开启每帧循环视频刷新，Android端调取摄像头获取视频数据，JNI端对获取的图像做美化处理，传到面板显示；Unity端开启每帧循环人脸检测，Android端获取图片数据，JNI端进行检测、对齐以及姿态估算，得到人脸识别数据，经矩阵变换和三维空间转换，数据转换成Unity的挂载点位，通过Unity3D引擎中的相机将显示模型渲染到对应点位；视频与模型通过层级设置合并渲染显示。该方法采用人脸识别技术将虚拟的眼镜模型挂载在屏幕的人脸图像上，同时支持视频的动态挂载和静态多张图片对比的挂载。

技术领域

本发明涉及人脸识别应用领域，具体是一种基于人脸识别技术的眼镜虚拟试戴方法。

背景技术

近年来，中国宏观经济稳定发展，伴随高近视率的刚性需求，中国眼镜零售市场也稳步增长。随着居民可支配收入逐年提高，人民生活水平、消费能力不断提高，消费者有能力购买多副眼镜以满足不同场合的佩戴需求，选择超轻新材质的镜架，抗辐射、抗疲劳等多功能的镜片，这些都刺激了眼镜零售市场的快速增长。据Euromonitor研究报告，中国眼镜零售市场规模从2006年的208.20亿元增长到2015年的673.94亿元，年均复合增长率达13.94％。

近年来，我国网络购物环境日趋完善，国内电子网络购物呈现高速发展的态势。与传统线下渠道相比，网络销售眼镜具有如下优势：一是眼镜款式多，解决实体店因面积、库存压力不能尽显产品样式的问题；二是直接接触广大终端客户，可广泛、清晰、深入传递品牌与产品信息。

但由于网络销售眼镜无法提供验光服务，网络销售隐形眼镜受到了严格的控制，目前线上眼镜零售是以太阳镜为主，网络销售眼镜占中国眼镜零售市场比例仍然不高。但是，目前互联网电商采用网上展示，线下体验店配镜，网上预约，上门配镜等等各种手段，正在不断弥补网络销售眼镜的劣势。因此，眼镜虚拟试戴设备应运而生，可以帮助用户方便的更换心仪的眼镜。

发明内容

为实现将虚拟的眼镜模型挂载在屏幕的人脸图像上，同时支持视频的动态挂载和静态多张图片对比的挂载的目的，本发明提供一种基于人脸识别技术的眼镜虚拟试戴方法。

为实现上述目的，本发明采用下述技术方案：

一种基于人脸识别技术的眼镜虚拟试戴方法，包括以下步骤：

步骤一，Unity端启动后，Unity端开启每帧循环视频刷新，Android端调取摄像头获取视频数据，JNI端对获取的图像做美化处理，获取到图像后传到面板显示；

步骤二，Unity端启动后，Unity端开启每帧循环人脸检测，Android端获取图片数据，JNI端进行人脸关键点检测、人脸与识别点位对齐以及人脸姿态估算，得到人脸识别数据，经矩阵变换和三维空间转换，数据转换成Unity的挂载点位，通过Unity3D引擎中的相机将显示模型渲染到对应点位；

步骤三，视频与模型通过层级设置合并渲染显示。

进一步地，步骤二的人脸关键点检测使用Wing Loss函数。

进一步地，步骤二的人脸与识别点位对齐包括数个二维坐标点坐标、每个二维坐标点对应的三维坐标和相机的内参数矩阵，其中进行相机参数估计时首先使用张正友的棋盘格对相机进行标定，相机的内参数矩阵需设定相机的焦距、图像的中心位置并且假设不存在径向畸变。

进一步地，步骤二的人脸姿态估算过程中有三个坐标系，分别为世界坐标系、相机坐标系和图像坐标系。

有益效果：

本发明采用人脸识别技术将虚拟的眼镜模型挂载在屏幕的人脸图像上，同时支持视频的动态挂载和静态多张图片对比的挂载。

附图说明