[发明专利]电子设备及其图像识别方法、片上系统和介质

说明书

本申请涉及图像处理领域，公开了一种电子设备及其图像识别方法和介质，该方法包括：电子设备在获取到第M帧图像后的处理方式如下：第一处理器对第M帧图像进行人脸检测和人脸对齐得到第一框选参数和第一对齐参数，第二处理器采用第二框选参数和第二对齐参数对第M帧图像进行人脸感兴趣区域提取和人脸对齐；第二框选参数和第二对齐参数为电子设备在获取到第M‑1帧图像后由第一处理器对第M‑1帧图像进行人脸检测和人脸对齐得到的；第一处理器基于第二处理器对第M帧图像的人脸感兴趣区域提取结果和人脸对齐结果，对第M帧图像进行人脸特征提取和特征匹配，得到第M帧图像的人脸识别结果。在一定程度上缩短图像端到端的处理时间，提高了算法处理的效率。

技术领域

本申请涉及图像处理领域，特别涉及一种电子设备及其图像识别方法、片上系统和介质。

背景技术

随着人工智能(artificial intelligence，AI)的迅速发展，神经网络处理器(neural networkprocessing unit，NPU)在智能电子设备中的应用越来越广泛。

在包含NPU和图像信号处理器(image signal processor，ISP)的系统或芯片中，NPU会利用神经网络模型对输入的图像进行图像识别处理，例如人脸识别。

一般在人脸识别的过程中，NPU对从ISP获取的图像经过AI一系列算法处理，例如，进行以下4个阶段算法处理：人脸检测(包括提取人脸感兴趣区域ROI)、人脸对齐(角度不正的图像转换成角度正确的图像)、人脸特征提取和人脸识别。但是，上述4个阶段算法串行工作，依次处理，耗时长，延迟大。

发明内容

本申请实施例提供了电子设备及其图像识别方法、片上系统和介质。

第一方面，本申请实施例提供了一种图像识别方法，所述方法应用于电子设备，所述电子设备包括第一处理器和第二处理器，所述方法包括：

所述电子设备通过第一处理器和第二处理器对待识别视频中的帧图像进行人脸识别，其中，所述电子设备在获取到第M帧图像后的处理方式如下：

第一处理器对第M帧图像进行人脸检测和人脸对齐，得到第一框选参数和第一对齐参数，并且第二处理器采用第二框选参数和第二对齐参数对第M帧图像进行人脸感兴趣区域提取和人脸对齐；其中，第二框选参数和第二对齐参数为电子设备在获取到第M-1帧图像后由所述第一处理器对第M-1帧图像进行人脸检测和人脸对齐得到的；

第一处理器基于第二处理器对所述第M帧图像的人脸感兴趣区域提取结果和人脸对齐结果，对所述第M帧图像进行人脸特征提取和特征匹配，得到第M帧图像的人脸识别结果。

可以理解，人脸感兴趣区域提取结果可以包括下文实施例中的目标人脸框选区域，所述人脸对齐结果可以包括下文实施例中调整到预设角度的目标人脸图像。

可以理解，若M是下文实施例中的第N-1帧，那么M-1帧则为下文实施例中的第N-2帧。若M是下文实施例中的第N帧，那么M-1帧则为下文实施例中的第N-1帧。

在本申请实施例中，由于相邻两帧人脸图像在高帧率(如30帧)视频流中，人脸的位置和姿态差别不大，因此，可以使用NPU104计算出的上一帧(第N-1帧)的框选参数和人脸对齐参数作用于ISP103中的下一帧(第N帧)，ISP103对下一帧(第N帧)的人脸图像进行人脸感兴趣区域提取和人脸对齐，耗时为：第一时间段T1’+第二时间段T2’，由于框选参数和人脸对齐参数是NPU104在先计算好,传给ISP103的，省去了ISP103计算框选参数和人脸对齐参数的时间，因此，第一时间段T1’+第二时间段T2’小于第一时间段T1+第二时间段T2，本申请实施例的四个阶段总体耗时且耗时：第一时间段T1’+第二时间段T2’+第三时间段T3+第四时间段T4，小于现有技术中的耗时：第一时间段T1+第二时间段T2+第三时间段T3+第四时间段T4。如此，降低了上述4个阶段算法处理串行导致的端到端延迟，在一定程度上缩短端到端的图像处理时间，提高了算法处理的效率。