[发明专利]一种基于深度学习和特征增强的非线性光学图像识别方法

权利要求书

1.一种基于深度学习和特征增强的非线性光学图像识别方法，其特征在于：其包括以下步骤：

步骤S1，获取基于双光子激光荧光和二次谐波产生的多通道非线性光学图像；

步骤S2，利用其对应的传统HE染色图像或免疫组化图像进行配准标记以及图像处理和数据增强预处理，构建满足独立同分布的训练数据集和测试数据集；

步骤S3，采用双通道自适应阈值补集分割算法对前列腺癌组织非线性光学成像图中的腺腔结构进行分割；步骤S3具体步骤如下：

步骤S3-1，将原始SHG图像转换为灰度图像，并使用直方图均衡进行预处理；

步骤S3-2，使用由Otsu算法获得的阈值对灰度图像进行二值化，然后将二值图像求反表示为I_gi；

步骤S3-3，通过腐蚀处理二值图像以填充由胶原SHG信号引起的内部间隙，以勾勒出腺体边界，而后使用中值滤波器去除伪影和噪声，再对图像进行膨胀操作；腐蚀和膨胀操作中采用的公式为：

其中，定义为腐蚀操作，定义为膨胀操作；SeE^k表示腐蚀中尺寸为k*k像素的结构元素；SeD^q表示尺寸为q*q像素的膨胀结构元素，针对图像I_gi通过连通域计算获得组织间隙尺寸以自适应获得k及q值；

步骤S3-4，通过8邻居连接算法处理膨胀后的图像，以获得最终的分割掩模，并将分割掩模应用于原始TPEF图像以获得分割的腺体图像；

步骤S3-5，将所有原始数据转换为RGB图像，其中红色通道对应于TPEF信号，绿色通道对应于SHG信号,蓝色通道设置为分割腺体图像；步骤S4，改进图像分类网络模型并将分割出来的腺腔结构图像作为新增的信号通道进行特征增强学习，获得高准确率和特异性的智能化Gleason分级；步骤S4的具体步骤为：

步骤S4-1，TPEF图和SHG图作为两个信号通道，分割出来的腺腔结构图像作为第三个信号通道用于模型训练和测试；

步骤S4-2，将特征融合之后的图像进行无结构变换的数据增强处理构建满足独立同分布的训练数据集和测试数据集；

步骤S4-3，改进并训练卷积神经网络分类模型获得适应于非线性光学图像的模型参数以输出最终的诊断分类结果；卷积神经网络分类模型先采用大数据量的自然图像对卷积神经网络分类模型进行预训练习得图像域的特征知识，再用非线性光学成像图对模型进行训练微调模型的参数，利用迁移学习算法克服小样本训练的缺陷；

步骤S4-4，利用交叉验证、ROC与混淆矩阵对模型的准确性和特异性进行评估。

2.根据权利要求1所述的一种基于深度学习和特征增强的非线性光学图像识别方法，其特征在于：步骤S2具体步骤如下：

步骤S2-1，筛选采集到的非线性光学成像图，剔除存在对焦错误、过度曝光或无信号背景区域的图像；

步骤S2-2，利用其对应的传统HE染色图像或免疫组化图像，采取手工或自动化的方式得到需要分割部位的二值化掩模的标签数据形成端到端的配对数据；

步骤S2-3，对所有用于神经网络模型训练的图像样本进行样本均衡、归一化预处理以满足模型训练的要求。

3.根据权利要求2所述的基于深度学习和特征增强的非线性光学图像识别方法，其特征在于：步骤S2-3中对图像样本进行图像数据增强操作，图像增强操作包括图像重叠滑窗切割采样、图像随机旋转和翻转。