[发明专利]基于二值神经网络的轻量化Web AR识别方法及系统

权利要求书

1.一种基于二值神经网络的轻量化Web AR识别方法，其特征在于，应用于移动Web浏览器，包括：

加载目标图像并对所述目标图像进行预处理，向边缘服务器发送图像识别任务请求，以供所述边缘服务器接收所述图像识别任务请求，向所述移动Web浏览器发送预先训练好的二值神经网络模型以及相关的可执行脚本；

将经过预处理的所述目标图像作为输入，通过加载所述预先训练好的二值神经网络模型以及相关的可执行脚本来执行二值神经网络前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果；

计算所述图像识别结果的标准交叉熵值，判断所述标准交叉熵值是否满足预先设定的阈值，若满足，则输出所述图像识别结果；或者，

若不满足，则将暂存的所述第一卷积层输出结果推送至所述边缘服务器，以供所述边缘服务器基于所述第一卷积层输出结果执行剩余的全精度神经网络前馈计算，获得最终的图像识别结果，并将所述最终的图像识别结果返回至所述移动Web浏览器。

2.一种基于二值神经网络的轻量化Web AR识别方法，其特征在于，应用于边缘服务器，包括：

接收移动Web浏览器发送的图像识别任务请求，向所述移动Web浏览器发送预先训练好的二值神经网络模型以及相关的可执行脚本，以供所述移动Web浏览器通过加载所述预先训练好的二值神经网络模型以及相关的可执行脚本来执行二值神经网络前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果；

若接收到所述移动Web浏览器发送的第一卷积层输出结果，将所述第一卷积层输出结果输入至预先训练好的全精度神经网络模型来完成剩余的全精度神经网络前馈计算，获得最终的图像识别结果，并将所述最终的图像识别结果返回至所述移动Web浏览器。

3.根据权利要求2所述的基于二值神经网络的轻量化Web AR识别方法，其特征在于，所述接收移动Web浏览器发送的图像识别任务请求的步骤之前，还包括：

构建复合神经网络识别结构，其中，所述复合神经网络识别结构包括应用于移动Web浏览器的二值神经网络分支结构和应用于边缘服务器的全精度神经网络分支结构，所述二值神经网络分支结构和全精度神经网络分支结构共享第一卷积层；

对所述复合神经网络识别结构进行联合训练，获得训练完成的二值神经网络模型和全精度神经网络模型；

基于C++实现所述训练完成的二值神经网络模型的前馈推理库，利用Emscripten对所述前馈推理库进行优化转换，生成JavaScript脚本和WASM脚本。

4.根据权利要求3所述的方法，其特征在于，对所述复合神经网络识别结构进行联合训练，获得训练完成的二值神经网络模型和全精度神经网络模型的步骤，具体为：

训练所述全精度神经网络分支结构直至收敛；

固定第一卷积层的权重参数，采用二值神经网络的训练方法来训练所述二值神经网络分支结构直至收敛；

保存训练好的全精度神经网络分支结构的参数和二值神经网络分支结构的参数，获得训练完成的二值神经网络模型和全精度神经网络模型。

5.一种移动Web浏览器，其特征在于，包括：

图像识别请求模块，用于加载目标图像并对所述目标图像进行预处理，向边缘服务器发送图像识别任务请求，以供所述边缘服务器接收所述图像识别任务请求，向所述移动Web浏览器发送预先训练好的二值神经网络模型以及相关的可执行脚本；

第一前馈计算模块，用于将经过预处理的所述目标图像作为输入，通过加载所述预先训练好的二值神经网络模型以及相关的可执行脚本来执行二值神经网络前馈计算，获得图像识别结果，并在前馈计算的过程中暂存所述二值神经网络模型的第一卷积层输出结果；

判断模块，用于计算所述图像识别结果的标准交叉熵值，判断所述标准交叉熵值是否满足预先设定的阈值，若满足，则输出所述图像识别结果；或者，

若不满足，则将暂存的所述第一卷积层输出结果推送至所述边缘服务器，以供所述边缘服务器基于所述第一卷积层输出结果执行剩余的全精度神经网络前馈计算，获得最终的图像识别结果，并将所述最终的图像识别结果返回至所述移动Web浏览器。