[发明专利]基于二值神经网络的轻量化Web AR识别方法及系统

说明书

本发明实施例提供一种基于二值神经网络的轻量化Web AR识别方法及系统，所述方法包括：移动Web浏览器加载目标图像并对图像进行预处理，同时向边缘服务器发送目标识别任务请求；接收边缘服务器返回的二值神经网络模型及相关可执行脚本，并执行二值神经网络前馈计算，获得图像识别结果并暂存共享层输出结果，判断图像识别结果的交叉熵是否满足预设阈值，若不满足，将共享层输出结果发送至边缘服务器进行前馈推理。本发明实施例引入二值神经网络加速了网络推理，减少了图像识别加载时延以及设备能量消耗的压力，可充分利用移动终端的计算资源，有效缓解边缘服务器的计算压力，为Web AR应用提供了实时的解决方案。

技术领域

本发明涉及增强现实技术领域，更具体地，涉及一种基于二值神经网络的轻量化Web AR识别方法及系统。

背景技术

增强现实(Augmented Reality，简称AR)是一种将真实世界信息与虚拟世界信息进行无缝融合的技术，利用计算机信息仿真模拟一定时间和空间范围内的实体信息，将这种虚拟的信息融入到真实世界中，提升用户对真实世界的感知，从而达到超越现实的效果。增强现实包含了多种技术的融合，例如图像识别、三维建模、传感器融合、实时跟踪及注册和场景融合等。

目前增强现实系统主要是采用专业的设备(例如头戴式以及眼镜类设备)作为核心计算设备，以此满足增强现实技术对带宽和计算性能的要求，从而为用户提供了良好的实时交互体验。然而，由于设备的价格昂贵，携带不方便等因素制约了增强现实技术的大规模普适化推广与应用。此外，近些年来，基于移动智能终端的增强现实技术能够充分利用移动终端设备的硬件资源提供轻量化、移动化的增强现实服务。然而，这种方案需要下载安装增强现实相关的应用程序(APP)后，才能体验到增强现实的新技术。因此，基于移动智能终端的增强现实解决方案依旧存在增强现实技术大规模普适化推广应用难的问题。而万维网(WWW)技术以其天然的跨平台性，为增强现实的大规模普适化提供了全新的入口与途径。不再受限于特定的增强现实应用程序，互联网用户只需要通过点击特定的超链接，便可以从终端设备浏览器直接体验到增强现实技术，极大的降低了增强现实技术大规模推广的门槛与成本。

图像识别是增强现实系统的重要组成部分，只有精准、高效的轻量化识别算法才能在Web浏览器上为Web AR系统提供后续的追踪和渲染。传统的特征匹配识别算法受限于泛化识别能力弱，在复杂环境下的识别效果较差，难以直接应用于Web AR应用中。深度神经网络(Deep Neural Network，简称DNN)因其强大的泛化能力和精准的识别率广泛地应用于不同领域中。然而，通常DNN的模型比较大，计算量大，且主要应用于服务器端，难以直接部署应用于Web浏览器端。尽管一些JavaScript推理库(例如Tensoflow.js、Keras.js等)实现了在移动Web浏览器上执行DNN网络，但是模型加载和网络前馈推理的时延仍然太高，并能量消耗高，无法有效应用于移动Web AR应用中，因此探索一种轻量化的识别系统是推进WebAR应用的重要问题之一。

发明内容

本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的基于二值神经网络的轻量化Web AR识别方法及系统。

第一方面，本发明实施例提供一种基于二值神经网络的轻量化Web AR识别方法，应用于移动Web浏览器，包括：

加载目标图像并对所述目标图像进行预处理，向边缘服务器发送图像识别任务请求，以供所述边缘服务器接收所述图像识别任务请求，向所述移动Web浏览器发送预先训练好的二值神经网络模型以及相关的可执行脚本；

将经过预处理的所述目标图像作为输入，通过加载所述预先训练好的二值神经网络模型以及相关的可执行脚本来执行二值神经网络前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果；

计算所述图像识别结果的标准交叉熵值，判断所述标准交叉熵值是否满足预先设定的阈值，若满足，则输出所述图像识别结果；或者，