[发明专利]一种面向小样本的影像语义对齐系统

权利要求书

1.一种面向小样本的影像语义对齐系统，其特征在于，包括数据预处理层、编码层和解码层，其中：

数据预处理层为数据前期准备阶段，对输入的影像图像和文本进行预处理操作，并对图像进行裁剪、旋转、平移来增强数据集；

编码层采用CNN作为编码器将影像图像编码成固定长度的向量，在CNN中提取图像特征，所述编码层由残差网络和全卷积网络构成，在编码层中：

利用U-Net简单地将编码器的特征图拼接至每个阶段解码器的上采样特征而形成一个梯形结构；随后采用残差网络结构，在神经网的前向传播过程中，通过前向神经网络输出+shortcut连接实现，其中，shortcut连接相当于简单执行了恒等映射，不会产生额外的参数，也不会增加计算复杂度；最后使用一个1×256的全连接层来压缩数据维度，并进一步提高语义特征的精度，以用于后续序列预测；

解码层采用LSTM特殊形式的循环网络构建语言模型，所述解码层每个输出时间步骤都会在序列中生成一个新词，然后每个生成的词都会使用一个词嵌入进行编码，该编码会作为输入被传递给解码器以生成后续的词；初始时刻输入image-embedding的特征向量，输入序列经word-embedding后形成相应维词向量，目标序列为输入序列右移一个位置，最终被训练成一个以图像编码为条件的语言模型。

2.如权利要求1所述的一种面向小样本的影像语义对齐系统，其特征在于，所述数据预处理层对图像进行的预处理操作包括医学影像增强的方法，并对包含大面积背景的影像进行阈值分割减少背景区域。

3.如权利要求1所述的一种面向小样本的影像语义对齐系统，其特征在于，所述数据预处理层对文本进行的预处理操作包括分词和报告主要含义语句的提取。

4.一种如权利要求1所述小样本影像语义对齐系统的应用，其特征在于，用于在小样本影像上的训练以及预测。