[发明专利]基于深度学习的骨骼分割方法和系统

权利要求书

1.基于深度学习的骨骼分割方法，所述分割方法基于医学图像数据，其特征在于，所述分割方法包括：

构建医学图像数据库：获取医学图像数据集，手动标注出不同类型的骨骼的区域；将所述数据集划分为训练集和测试集；将未标注前的医学图像数据转换成第一格式的图片并保存，将标注后的医学图像数据转换成第二格式的图片并保存；其中，第一格式是像素值为0-255的jpg格式，第二格式是像素值为0-255的PNG格式；

建立分割神经网络模型；

模型训练：利用训练集对分割神经网络模型进行训练，并利用测试集进行测试；和

利用训练好的分割神经网络模型进行分割；

所述分割神经网络模型包括粗分割神经网络和精确分割神经网络；

所述粗分割神经网络选自FCN神经网络、SegNet神经网络、Unet神经网络、3D-Unet神经网络、Mask-RCNN神经网络、空洞卷积、ENet神经网络、CRFasRNN神经网络、PSPNet神经网络、ParseNet神经网络、RefineNet神经网络、ReSeg神经网络、LSTM-CF神经网络、DeepMask神经网络中的任一种或多种；

所述精确分割神经网络为EfficientDet神经网络、SimCLR神经网络、PointRend神经网络中的任一种或多种；

所述利用训练好的分割神经网络模型进行分割，按照如下方法进行：

粗分割：将训练集送入粗分割神经网络进行训练；训练过程中，数据标签的背景像素值设置为0，不同类型的骨骼设置为不同的自然数，训练的batch_size为6，学习率设置为1e-4，优化器使用Adam优化器，使用的损失函数为DICE loss；根据训练过程中损失函数的变化，调整训练批次的大小；

精确分割：将粗分割的预测结果送入精确分割神经网络进行精确分割；初始过程包括：先使用双线性插值上采样粗分割的预测结果，再在特征图中选定多个最不确定的点，然后计算多个最不确定的点的特征表示并且预测labels；重复所述初始过程，直到上采样到需要的大小；

选定置信度为0.5的点作为最不确定的点；

点的特征表示通过双线性插值Bilinear计算；

所述Unet神经网络包括n个上采样层和n个下采样层；n的取值为2-8；

每个上采样层包括上采样操作层和卷积层；

每个下采样层包括卷积层和池化层；

每个上采样层包括1个上采样操作层和2个卷积层，其中的卷积层中的卷积核大小为3*3，上采样操作层中的卷积核大小为2*2，每个上采样层中的卷积核个数为512；

每个下采样层包括2个卷积层和1个池化层，其中的卷积层中的卷积核大小为3*3，池化层中的卷积核大小为2*2，每个卷积层中的卷积核的个数为128；

将所述数据集按照7:3的比例划分为训练集和测试集；

最后一次上采样结束后设有一个dropout层，dropout率设置为0.7；

所有的卷积层后面设有激活层，激活层使用的激活函数为relu函数；

所述医学图像数据为CT数据、MRI数据、超声数据、X-射线数据、DynaCT数据、PET数据中的任一种或多种；

获取的医学图像数据为二维数据和/或三维数据；

手动标注出股骨、胫骨、腓骨、髌骨中的任一种或多种的区域。

2.基于深度学习的骨骼分割系统，其特征在于，所述系统包括：

数据库构建模块，用于获取医学图像数据集，手动标注出不同类型的骨骼的区域；将所述数据集划分为训练集和测试集；将未标注前的影像数据转换成第一格式的图片并保存，将标注后的数据转换成第二格式的图片并保存；其中，第一格式是像素值为0-255的jpg格式，第二格式是像素值为0-255的PNG格式；

模型构建模块，用于建立分割神经网络模型；

模型训练模块，用于利用训练集对分割神经网络模型进行训练，并利用测试集进行测试；

图像分割模块，用于利用训练好的分割神经网络模型进行分割；

所述分割神经网络模型包括粗分割神经网络和精确分割神经网络；

所述粗分割神经网络选自FCN神经网络、SegNet神经网络、Unet神经网络、3D-Unet神经网络、Mask-RCNN神经网络、空洞卷积、ENet神经网络、CRFasRNN神经网络、PSPNet神经网络、ParseNet神经网络、RefineNet神经网络、ReSeg神经网络、LSTM-CF神经网络、DeepMask神经网络中的任一种或多种；

所述精确分割神经网络为EfficientDet神经网络、SimCLR神经网络、PointRend神经网络中的任一种或多种；

所述利用训练好的分割神经网络模型进行分割，训练按照如下方法进行：

粗分割：将训练集送入粗分割神经网络进行训练；训练过程中，数据标签的背景像素值设置为0，不同类型的骨骼设置为不同的自然数，训练的batch_size为6，学习率设置为1e-4，优化器使用Adam优化器，使用的损失函数为DICE loss；根据训练过程中损失函数的变化，调整训练批次的大小；

精确分割：将粗分割的预测结果送入精确分割神经网络进行精确分割；初始过程包括：先使用双线性插值上采样粗分割的预测结果，再在特征图中选定多个最不确定的点，然后计算多个最不确定的点的特征表示并且预测labels；重复所述初始过程，直到上采样到需要的大小；

选定置信度为0.5的点作为最不确定的点；

点的特征表示通过双线性插值Bilinear计算；

所述Unet神经网络包括n个上采样层和n个下采样层；n的取值为2-8；

每个上采样层包括上采样操作层和卷积层；

每个下采样层包括卷积层和池化层；

每个上采样层包括1个上采样操作层和2个卷积层，其中的卷积层中的卷积核大小为3*3，上采样操作层中的卷积核大小为2*2，每个上采样层中的卷积核个数为512；

每个下采样层包括2个卷积层和1个池化层，其中的卷积层中的卷积核大小为3*3，池化层中的卷积核大小为2*2，每个卷积层中的卷积核的个数为128；

将所述数据集按照7:3的比例划分为训练集和测试集；

最后一次上采样结束后设有一个dropout层，dropout率设置为0.7；

所有的卷积层后面设有激活层，激活层使用的激活函数为relu函数；

所述医学图像数据为CT数据、MRI数据、超声数据、X-射线数据、DynaCT数据、PET数据中的任一种或多种；

获取的医学图像数据为二维数据和/或三维数据；

手动标注出股骨、胫骨、腓骨、髌骨中的任一种或多种的区域。