[发明专利]对象识别方法和装置以及电子设备和介质

说明书

本公开提供了一种对象识别方法，包括：确定针对第一对象的可见光图像和皮肤镜图像之间的第一映射关系，其中，可见光图像为使用第一镜头采集的图像，皮肤镜图像无需采集，但如果采集皮肤镜图像，则需要使用第二镜头进行采集，第二镜头的放大倍数大于第一镜头的放大倍数；基于针对第一对象的可见光图像，确定对应的可见光图像特征信息；以及基于确定的第一映射关系和可见光图像特征信息，对第一对象进行识别。本公开还提供了一种对象识别装置、一种电子设备以及一种计算机可读存储介质。

技术领域

本公开涉及一种对象识别方法、一种对象识别装置、一种电子设备和一种计算机可读存储介质。

背景技术

使用计算机视觉技术对皮肤疾病进行鉴别时，通常会用到三种尺度模态的图像数据：可见光图像数据，皮肤镜图像数据和病理图像数据。

目前，在医生的工作流程中，首先会使用可见光图像进行病灶识别，若使用可见光图像识别不了，则会进一步使用皮肤镜图像进行病灶识别，若使用皮肤镜图像也识别不了，则会进一步使用病理图像进行病灶识别。

这是因为，在这三种尺度模态的图像数据中，可见光图像数据具有普适性，可见光图像具有无创采集和价格便宜的优势，但可见光图像数据由于信息量不足，因而在针对某些病种进行病灶识别时，存在准确率不高的缺点。虽然皮肤镜图像也具有无创采集的优势，但其价格昂贵且需要专业设备采集，很多医院都不具备实现条件。病理图像的采集会使皮肤受损，且具有价格昂贵、等待周期较长等缺点。

因此，针对某些疾病使用可见光图像进行病灶识别是目前最经济和省时的方法。但是由于可见光图像对某些病种进行病灶识别的不确定性，因此可见光图像需要结合高尺度模态的图像，以提高准确率。

发明内容

本公开的一个方面提供了一种对象识别方法，包括：确定针对第一对象的可见光图像和皮肤镜图像之间的第一映射关系，其中，所述可见光图像为使用第一镜头采集的图像，所述皮肤镜图像无需采集，但如果采集所述皮肤镜图像，则需要使用第二镜头进行采集，所述第二镜头的放大倍数大于所述第一镜头的放大倍数；基于所述针对第一对象的可见光图像，确定对应的可见光图像特征信息；以及基于确定的所述第一映射关系和所述可见光图像特征信息，对所述第一对象进行识别。

可选地，所述确定针对第一对象的可见光图像和皮肤镜图像之间的第一映射关系，包括：确定所述可见光图像的可见光图像数据；将所述可见光图像数据输入第一编码器，以获取所述第一编码器的中间层输出的第一特征信息，其中，所述第一编码器能够针对目标对象的可见光图像数据进行编码以得到针对所述目标对象的皮肤镜图像数据，所述目标对象包括所述第一对象；以及利用所述第一特征信息表征所述第一映射关系。

可选地，所述方法还包括：训练所述第一编码器；所述训练所述第一编码器，包括：获取针对多个第二对象的可见光图像和皮肤镜图像，其中，所述针对多个第二对象的可见光图像为使用所述第一镜头采集的图像，针对所述多个第二对象的皮肤镜图像为使用所述第二镜头采集的图像；以及基于所述针对多个第二对象的可见光图像和皮肤镜图像，训练所述第一编码器。

可选地，所述基于确定的所述第一映射关系和所述可见光图像特征信息，对所述第一对象进行识别，包括：基于所述第一映射关系和所述可见光图像特征信息，确定第一特征向量；将所述第一特征向量输入第一分类模型，以输出对应的分类结果；以及基于所述分类结果，对所述第一对象进行识别。

可选地，所述方法还包括：训练所述第一分类模型；所述训练所述第一分类模型，包括：获取针对多个第三对象的可见光图像和皮肤镜图像，其中，所述针对多个第三对象的可见光图像为使用所述第一镜头采集的图像，针对所述多个第三对象的皮肤镜图像为使用所述第二镜头采集的图像；确定针对所述多个第三对象的可见光图像和皮肤镜图像之间的多个第三映射关系；以及基于所述针对多个第三对象的可见光图像以及所述多个第三映射关系，训练所述第一分类模型。