[发明专利]改进图像分割算法结合深度学习的多重不良图片分类方法

权利要求书

1.改进图像分割算法结合深度学习的多重不良图片分类方法，其特征在于包含：肤色识别，肤色区域的主要成分分析，深度学习，基于卷积神经网络的色情图片识别四个主要步骤；

1）.肤色识别

（1）将图像转化到YCbCr颜色空间：肤色检测主要是根据肤色在颜色空间上的分布特征来检测图像中的肤色区域，由于YCbCr空间可以将亮度和色度分离，而其中CgCr色度受亮度变化的影响较少，且是二维独立分布，因此肤色模型选用YCbCr色度空间来构建；

（2）使用表达式(Cb > 77 And Cb < 127) And (Cr > 133 And Cr < 173)遍历图片的每个像素，检测像素颜色是否为肤色，属于表达式范围内的确定为肤色；

（3） 将相邻的肤色像素归为一个皮肤区域，得到若干个皮肤区域，剔除像素数量极少的皮肤区域；

（4） 我们定义非色情图片的判定规则是：皮肤区域的个数小于 2个为非色情图片，皮肤区域的像素与图像所有像素的比值小于 15%为非色情图片，皮肤区域数量超过60个为非色情图片；

2）.肤色区域的主要成分分析

（1）图像色彩降维处理即灰化处理：本方法所采用的测试图像均统一使用 JPG 格式图像，JPG 格式图像的颜色空间是RGB 颜色空间，即使用红、绿、蓝三原色组合来表示像素的颜色值，二进制值范围为0~255；由于彩色图像采用颜色空间，在对图像不做任何降维处理的情况下，算法系统所要处理的数据量将严重影响算法系统的处理效率，为提高处理效率对所有的图像库图片进行降维处理，具体的做法是调用 OpenCV 的库函数 cvCvtColor 来对图像进行处理，该函数的原型为：cvCvtColor(src, dest, CV_CONVERT_TYPE)；该函数接受三个参数，第一个参数为需要处理的源图像数据结构指针，第二个参数为处理后的输出图像数据结构指针，第三个参数为转换类型，即从哪种颜色空间转换为哪种颜色空间，本系统将图像从 RGB 空间转换为 GRAY 灰度空间，经过转换后，输出图像将采用单一的灰度值来表示像素点颜色值；

（2）图像尺寸归一化：把输入图片大小归一化，需要对图片进行下一步预处理，将图像大小压缩至长度小于320，宽度小于240的比例。

2.本模块的具体实现可以采用 OpenCV 的库函数结合自己设计的算法实现，具体的做法是首先判断图像相比标准规格（256X256）是偏长还是偏宽；如果是偏长的话，则把图像的宽缩放成 256，因为图片偏长，所以图像的长缩放后比256要长，截取中间的长度为256的部分；如果图像为偏宽，则把图像的长缩放成 256，截取中间的宽度为256的部分；如果图片本身规格小于256X256，则放大至该规格；由于大部分的图片的关键信息都集中于图像的中部，图像尺寸归一化，既降低了图片的数据量，又能把图片进行规格的归一化，而且提取了图片的关键信息；

（3）图像向量化处理：向量化处理把图片的灰度值矩阵拉伸为一个256X256维即65536维的列向量，矩阵不足位置的补齐0；

（4）基于改进后的Snake的图像分割：一般应用Snake算法时候，默认能量函数曲线的初始化位置就是整副图像的边界，然后让曲线上的蛇点收缩到该物体图像的真正边缘，因此该曲线就需要某种作用力来推动其贴近物体真正边缘上；弹性能量的收缩力作用在沿弹性能量函数曲线的切线方向上，本质就是最小化周长来抵达物体的真正边缘，可是对于凹陷物体的收敛效果不是很好；本算法中检测的乳房正是不规则的凹陷物体，可见乳房凹陷的部位，是无法收敛到乳房的真正的边缘，因此根据情况改进Snake算法中的内部能量函数；使用在二维空间中封闭曲线所围面积为内部能量替换基本 Snake 算法中的内部能量，从而得到了一个改进的 Snake 模型即面积Snake 模型；

初始化蛇点，根据边缘的图像分割检测出来的边缘，平均间隔 10 个像素点，取做初始迭代的控制点；选择改进后的能量函数，最小化(4-17)，进行迭代收缩，直到能量函数最小的时候停止收缩，分割出目标区域：

；

（5）特征提取：图像向量化处理后，样本库图片组成了特征处理模块的输入，即 ICA 算法的输入，一个待解混的图片灰度值向量矩阵；ICA 算法接受的输入是一组待解混的混合信号，输出是一组经过解混后的输入向量的独立成分矩阵，该组独立信号包含了组成不良图片的独立信号以及组成正常图片的独立成分；本算法系统采用的 ICA 算法是 ICA 算法中性能优越FAST ICA 算法，通过调用 OPENCV 的库函数实现；

（6）特征分类：通过特征提取出图像的特征向量将作为 SVM算法的输入数据，特征分类的作用就是要利用 SVM 算法，通过图像特征向量进行训练，得出不良图片和正常图片的分割面；通过特征提取得到的特征向量个数，即样本图片的个数为 M，则 SVM 输出的分割面形式为：Y = a1*x1+ a2*x2+……+am*xm，a1至am 为 SVM 输出的分割面系数；把图像的特征向量代入上式，根据判断得出的结果，与敏感图片训练集中分割出的向量比较，便可知道图像的特征向量聚集在哪个区间，是靠近不良图像的特征值区间还是靠近正常图片的特征值区间，从而可以判断图像包含的区域是正常区域还是敏感区域，敏感区域包括图片上乳房和生殖器的裸露；

3）.深度学习

（1）使用Convolutional Neural Networks (LeNet)，构建LeNet5：导入基本模块；定义LeNetConvPoolLayer即定义卷积加采样层；定义隐含层HiddenLayer；卷积神经网络CNN的基本结构就是输入层、卷积层conv、子采样层pooling、全连接层、输出层即分类器；使用两个卷积加采样层即LeNetConvPoolLayer；全连接层相当于MLP多层感知机中的隐含层HiddenLayer；输出层即分类器直接用LogisticRegression表示；

（2）定义分类器LogisticRegression，即Softmax回归 ，实现LeNet5 ，设置LeNet5包括两个卷积层，第一个卷积层有20个卷积核，第二个卷积层有50个卷积核；

（3）设置优化算法：优化算法采用批量随机梯度下降算法MSGD，先定义MSGD的一些要素，主要包括：代价函数，训练、验证、测试model、参数更新规则即梯度下降规则；

（4）训练模型和调整参数：程序中可以设置的参数包括：学习速率learning_rate、batch_size、n_epochs、nkerns、poolsize，根据具体训练的数据进行尝试调整和优化；

（5）提供一定量包含人体的非色情样本，如泳装、男性裸上身照片带入LeNet5让其深度学习，然后标注定量的未直接暴露敏感区域的色情样本包括各种体态的人体带入LeNet5让其深度学习，并根据系统结果调整参数，完成让LeNet5深度学习任务；

4）.基于卷积神经网络的色情图片识别

使用经过深度学习的LeNet5对完成肤色区域的主要成分分析步骤的图片进行自动识别，将非色情图片与色情图片自动分类。