[发明专利]一种异常识别方法、装置、电子设备及存储介质

权利要求书

1.一种异常识别方法，其特征在于，包括：

获取目标对象的二维图像和深度图像；基于所述二维图像中各个像素点的灰度信息，生成第一通道数据，并基于所述深度图像中各个像素点归一化处理后的深度信息，生成第二通道数据；确定所述各个像素点对应的，归一化处理后的深度信息中的梯度信息，并基于各个梯度信息，生成第三通道数据；基于所述第一通道数据、所述第二通道数据，以及所述第三通道数据，合成待识别图像，其中，所述二维图像和所述深度图像中相同位置的像素点表征所述目标对象中的同一真实点；

提取所述待识别图像中各个像素点各自的像素特征，并基于获得的各个像素特征，分别获得所述待识别图像的异常区域定位结果、异常程度分类结果，以及重度异常点定位结果；

基于所述异常区域定位结果、所述异常程度分类结果，以及所述重度异常点定位结果，确定所述目标对象的异常情况。

2.如权利要求1所述的方法，其特征在于，所述提取所述待识别图像中各个像素点各自的像素特征，并基于获得的各个像素特征，分别获得所述待识别图像的异常区域定位结果、异常程度分类结果，以及重度异常点定位结果，包括：

采用已训练的异常识别模型中的像素特征提取网络，提取所述待识别图像中各个像素点各自的像素特征，其中，所述异常识别模型中包括共享所述像素特征提取网络的异常区域定位子模型、异常程度分类子模型，以及重度异常点定位子模型；

基于各个像素特征，通过所述异常区域定位子模型，获得所述待识别图像的异常区域定位结果，并通过所述异常程度分类子模型，获得所述待识别图像的异常程度分类结果，以及通过所述重度异常点定位子模型，获得所述待识别图像的重度异常点定位结果；

其中，所述异常识别模型的训练过程中，确定所述异常区域定位子模型、所述异常程度分类子模型，以及所述重度异常点定位子模型，分别对于待识别图像样本的预测结果，并基于各个预测结果各自与对应的标签之间的差异，调整相应的网络参数。

3.如权利要求2所述的方法，其特征在于，异常区域被设置为采用矩形框标识时，所述通过所述异常区域定位子模型，获得所述待识别图像的异常区域定位结果，包括：

通过所述异常区域定位子模型，预测异常区域内的各个像素点分别移动至对应的异常区域中，一组对角顶点时的平移距离；

基于预测的平移距离，生成四通道的距离特征图，其中，一个通道中各个像素点的像素值，表征预测的异常区域中的各个像素点，向相应的异常区域中的同一个对角顶点平移时，在相同方向上的平移距离；

将所述四通道的距离特征图，作为获得的所述待识别图像的异常区域定位结果。

4.如权利要求2所述的方法，其特征在于，所述通过所述异常程度分类子模型，获得所述待识别图像的异常程度分类结果，包括：

通过所述异常程度分类子模型，分别预测各个像素点对于各类预设的异常程度的匹配概率；

基于针对所述各个像素点预测的各类匹配概率，生成指定通道数的概率特征图，其中，所述指定通道数与异常程度分类总数相同，一个通道中各个像素点的像素值，表征预测的所述待识别图像中的各个像素点，与一类预设的异常程度的匹配概率；

将所述指定通道数的概率特征图，作为获得的所述待识别图像的异常程度分类结果。

5.如权利要求2所述的方法，其特征在于，所述通过所述重度异常点定位子模型，获得所述待识别图像的重度异常点定位结果，包括：

通过所述重度异常点定位子模型，分别预测各个像素点与重度异常点之间的匹配概率；

将针对所述各个像素点分别预测的匹配概率，作为对应位置的像素点的像素值，并基于各个位置的像素点的像素值生成高斯热力图；

将所述高斯热力图，作为获得的所述待识别图像的重度异常点定位结果。