[发明专利]眼科多模态影像的检索方法、装置、服务器及存储介质

权利要求书

1.一种眼科多模态影像的检索方法，其特征在于，包括：

获取用户当前的眼部图像，所述眼部图像为眼科数字影像，所述眼部图像包含多种不同模态的眼部影像；

将所述多种不同模态的眼部影像对应输入到多个预先训练好的深度学习模型融合训练所述多种不同模态的眼部影像的相似性和不相似性并输出多个特征向量，根据所述多个特征向量生成对比分析结果。

2.根据权利要求1中所述的一种眼科多模态影像的检索方法，其特征在于，所述眼科数字影像包括：眼底图、角膜神经图和OCT图。

3.根据权利要求1中所述的一种眼科多模态影像的检索方法，其特征在于，所述深度学习模型为多模态卷积神经网络模型。

4.根据权利要求3中所述的一种眼科多模态影像的检索方法，其特征在于，所述获取用户当前的眼部图像，所述眼部图像为眼科数字影像，所述眼部图像包含多种不同模态的眼部影像之后还包括：

对样本图像使用多种标签进行标记并建立数据库；

建立多模态卷积神经网络并使用所述样本图像对所述多模态卷积神经网络模型进行训练，以得到训练好的多模态卷积神经网络模型。

5.根据权利要求4中所述的一种眼科多模态影像的检索方法，其特征在于，所述对样本图像使用多种标签进行标记并建立数据库包括：

若所述样本图像属于同一患者，则标记为第一标签；

若所述样本图像属于同一病例，则标记为第二标签；

若所述样本图像不相关，则标记为第三标签；

将标记了第一标签、第二标签和第三标签的样本图像建立数据库。

6.根据权利要求4中所述的一种眼科多模态影像的检索方法，其特征在于，所述多模态卷积神经网络模型包括：眼底图卷积神经网络模型、角膜神经图卷积神经网络模型和OCT图卷积神经网络模型。

7.根据权利要求1中所述的一种眼科多模态影像的检索方法，其特征在于，所述对比分析结果包括：最相似的多张样本图像及其详细案例情况。

8.一种眼科多模态影像的检索装置，其特征在于，包括：

数据获取模块，用于获取用户当前的眼部图像，所述眼部图像为眼科数字影像，所述眼部图像包含多种不同模态的眼部影像；

数据识别模块，用于将所述多种不同模态的眼部影像对应输入到多个预先训练好的深度学习模型融合训练所述多种不同模态的眼部影像的相似性和不相似性并输出多个特征向量，根据所述多个特征向量生成对比分析结果。

9.一种服务器，其特征在于，所述服务器包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的眼科多模态影像的检索方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的眼科多模态影像的检索方法。