[发明专利]基于多模态的眼部检测数据的处理方法、装置及终端设备

权利要求书

1.一种基于多模态眼部检测数据的处理方法，其特征在于，包括：

获取待处理至少两种不同的眼部检测数据；

采用与至少两种不同的所述眼部检测数据一一对应的特征提取网络，提取每一种所述眼部检测数据对应的数据特征；

将至少两种不同的所述眼部检测数据对应的数据特征进行特征融合，得到融合特征；

利用分类器对所述融合特征进行分类，得到至少两种不同的所述眼部检测数据的分类结果。

2.如权利要求1所述的基于多模态的眼部检测数据的处理方法，其特征在于，所述将至少两种不同的所述眼部检测数据对应的数据特征进行特征融合，得到融合特征，包括：

根据注意力机制确定各个所述眼部检测数据对应的数据特征的权值，根据确定的各个所述权值将各个所述数据特征进行特征融合，得到融合特征。

3.如权利要求1或2所述的基于多模态的眼部检测数据的处理方法，其特征在于，所述至少两种不同的所述眼部检测数据包括：VF数据、眼底彩照数据或视盘数据。

4.如权利要求3所述的基于多模态的眼部检测数据的处理方法，其特征在于，至少两种不同的所述眼部检测数据包括所述VF数据，所述VF数据为模式偏差概率图PDPs数据，获取所述PDPs数据包括：

从待处理的视野检测报告中提取所述PDPs数据。

5.如权利要求4所述的基于多模态的眼部检测数据的处理方法，其特征在于，所述从待处理的视野检测报告中提取所述PDPs数据，包括：

将待处理的视野检测报告中的指定位置划分为N*N个区块，并确定各个所述区块的灰度值，N大于或等于9；

根据各个所述区块的灰度值以及预设的映射表确定各个所述区块对应的图标标识，得到所述PDPs数据，其中，所述预设的映射表用于存储区块的灰度值与图标标识的对应关系，一个所述图标标识用于唯一标记所述PDPs中的一个图标。

6.如权利要求5所述的基于多模态的眼部检测数据的处理方法，其特征在于，在所述得到所述PDPs数据之后，包括：

对所述PDPs数据进行第一预处理，所述第一预处理包括归一化处理；

所述采用与至少两种不同的所述眼部检测数据一一对应的特征提取网络，提取每一种所述眼部检测数据对应的数据特征，包括：采用与所述PDPs数据对应的特征提取网络，提取经过所述第一预处理后的所述PDPs数据对应的数据特征。

7.如权利要求3所述的基于多模态的眼部检测数据的处理方法，其特征在于，至少两种不同的所述眼部检测数据包括所述视盘数据，所述视盘数据为通过光学相干断层扫描OCT对视盘进行环扫描后得到的OCT图数据，在获取所述OCT图数据之后，包括：

对所述OCT图数据进行第二预处理，所述第二预处理包括归一化处理和尺度缩放处理；

所述采用与至少两种不同的所述眼部检测数据一一对应的特征提取网络，提取每一种所述眼部检测数据对应的数据特征，包括：采用与所述OCT图数据对应的所述特征提取网络，提取经过所述第二预处理后的所述OCT图数据对应的数据特征。

8.如权利要求7所述的基于多模态的眼部检测数据的处理方法，其特征在于，所述与所述OCT图数据对应的所述特征提取网络包括至少两个卷积层，且所述至少两个卷积层采用批处理归一化和实例归一化对从经过所述第二预处理后的所述OCT图数据提取出的数据进行处理，得到对应的数据特征。

9.一种基于多模态的眼部检测数据的处理装置，其特征在于，包括：

眼部检测数据获取单元，用于获取待处理至少两种不同的眼部检测数据；

数据特征确定单元，用于采用与至少两种不同的所述眼部检测数据一一对应的特征提取网络，提取每一种所述眼部检测数据对应的数据特征；

融合特征确定单元，用于将至少两种不同的所述眼部检测数据对应的数据特征进行特征融合，得到融合特征；

分类结果确定单元，用于利用分类器对所述融合特征进行分类，得到至少两种不同的所述眼部检测数据的分类结果。