[发明专利]多模态特征选择与图像数据分类方法、装置及计算机设备

权利要求书

1.一种多模态特征选择方法，其特征在于，包括：

分别获取对应多个模态的多张图像的数据集，每张图像的数据集包含对应图像多个位置点的多个图像数据；

分别对所述多张图像进行特征提取，分别确定与所述多个模态相对应的多个第一特征集；以及

基于预设的多模态特征选择模型，对所述多个第一特征集中的特征进行筛选，确定第二特征集；

其中，所述多模态特征选择模型包括：距离子模型，用于使对应多个模态的、类别相同的图像数据在相应的第一特征集构建的特征空间中的映射点投影于所述第二特征集构建的特征空间后的距离最小。

2.根据权利要求1所述的方法，其特征在于，所述距离子模型包含标号对齐的正则化函数。

3.根据权利要求2所述的方法，其特征在于，所述标号对齐的正则化函数如下式：

其中，μ为正则化参数，p、q表示模态，w^p、w^q分别表示p、q模态对应的权重向量，W＝[w¹，w²，…，w^M]为M个模态对应的权重矩阵，和分别表示p、q模态的图像数据在相应的第一特征集构建的特征空间中的映射点，i、j表示图像数据在对应图像中的N个位置点的编号，

其中，y_i、y_j分别为和所对应的图像数据的类别标号。

4.根据权利要求3所述的方法，其特征在于，所述多模态特征选择模型的目标函数基于加速近似梯度算法实现求解。

5.根据权利要求1所述的方法，其特征在于，分别对所述多张图像进行特征提取包括：根据预定义模板，分别对每个模态的图像进行特征提取。

6.一种图像数据分类方法，其特征在于，包括：

获取待分类图像数据；以及

在根据权利要求1-5任一项所述方法确定的第二特征集构建的特征空间中，通过预先训练的分类器模型，对所述待分类图像数据进行分类。

7.根据权利要求6所述的方法，其特征在于，所述分类器模型为支持向量机模型。

8.根据权利要求7所述的方法，其特征在于，所述支持向量机模型根据各模态图像中两两图像数据对应的核矩阵的线性组合进行预先训练，所述两两图像数据在各模态图像中的位置相同。

9.一种多模态特征选择装置，其特征在于，包括：

数据获取模块，用于分别获取对应多个模态的多张图像的数据集，每张图像的数据集包含对应图像多个位置点的多个图像数据；

特征提取模块，用于分别对所述多张图像进行特征提取，分别确定与所述多个模态相对应的多个第一特征集；以及

特征选择模块，用于基于预设的多模态特征选择模型，对所述多个第一特征集中的特征进行筛选，确定第二特征集；

其中，所述多模态特征选择模型包括：距离子模型，用于使对应多个模态的、类别相同的图像数据在相应的第一特征集构建的特征空间中的映射点投影于所述第二特征集构建的特征空间后的距离最小。

10.一种图像数据分类装置，其特征在于，包括：

数据获取模块，用于获取待分类图像数据；以及

数据分类模块，用于在根据权利要求9所述装置确定的第二特征集构建的特征空间中，通过预先训练的分类器模型，对所述待分类图像数据进行分类。

11.一种计算机设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，其特征在于，所述处理器执行所述可执行指令时实现如权利要求1-8任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1-8任一项所述的方法。