[发明专利]一种基于融合特征的旗袍图像情感语义识别方法

权利要求书

1.一种基于融合特征的旗袍图像情感语义识别方法，其特征在于该方法包括以下步骤：

步骤一.形容词选择及情感数据收集：

1.1从30个针对服装图片的形容词中，选出其中具有代表性的一组形容词来描述旗袍；

1.2收集n张旗袍图片，图片均为纯色背景；

1.3将步骤1.2中的图片分组，采用步骤1.1形容词组分别用不同标记进行表示；将共同被评价的旗袍图片挑选出来，而去除其中风格模糊不清的图片，由此，每张图片分别对应了一种情感，得到最终的情感数据Q，其中Q为一组m×1的数据，其中m≤n；

步骤二.图像预处理：

2.1对图像进行特征提取前,首先将步骤1.3中保存的图像进行图像缩放变换，得到尺寸为W×H的图像，其中图像缩放变换采用双三次插值方法，采用双三次内插基函数作为基函数，双三次插值计算按公式(1)进行：

f(i+u,j+v)＝ABC (1)

其中，A、B、C均为矩阵，形式如下：

A＝[s(v+1) s(v) s(1-v) s(2-v)]，

(i,j):原图像的像素坐标，其中，i为横坐标值，j为纵坐标值，i、j均为非负整数；

f(i,j):原图像的像素灰度值；

u：目的像素的周围像素沿横坐标方向离目的像素的距离；

v：目的像素的周围像素沿纵坐标方向离目的像素的距离；

(i+u,j+v):缩放变换后新图像的像素坐标；

f(i+u,j+v):缩放变换后新图像的像素灰度值；

|x|：图像像素沿x方向离原点的距离；

s(x)：sin(π·x)/x的逼近多项式，为插值核；

2.2将步骤2.1中得到的图像进行中值滤波处理，得到去噪图像；具体如下：

2.2.1将步骤2.1中得到的图像的R,G,B三通道分离；

2.2.2对每个通道中的每个像素，把其邻域中的像素按灰度级进行排序，选择中间值作为这个像素的灰度级；

2.2.3将计算中值后的三个通道整合，输出去噪后图像；

2.3将步骤2.2中得到的去噪后图像进行图像灰度化处理，得到灰度图像，其中对图像灰度化处理按公式(2)进行：

公式(2)中，R、G、B：分别为图像每个像素对应的红、绿、蓝颜色值；

Gray：图像灰度化后得到的每个像素点的灰度值；

2.4将步骤2.3中得到的灰度图像进行图像分割，用形态学重建技术将图像中旗袍部分和背景进行分离，得到图像中旗袍内容部分的索引信息；具体如下：

Input:输入图片I；

Output:[r,c]索引值矩阵，即旗袍内容位置值，其中r为行索引值,c为列索引值；

2.4.1设定椭圆形结构元素对象，半径20，高度15；

2.4.2对图像用结构元素对象进行腐蚀和膨胀操作，进行形态学重建；

2.4.3对图像求反，然后转化为二值图像；

2.4.4输出二值化图像中零元素的行和列的索引值；

步骤三.颜色特征提取：

所述的颜色特征包括明度隶属度、饱和度隶属度、冷暖隶属度、彩色对比度；

3.1将步骤2.2生成的图像从RGB转化到L^*a^*b^*色彩空间，根据步骤2.4中计算出的索引值计算出图像中旗袍内容的a^*和b^*值，即图像分割出来部分的a^*和b^*值；然后将图像从Lab空间转化到L^*C^*h^*空间，根据步骤2.4中计算出的索引值计算出图像中旗袍内容的L^*、C^*、h^*的值，即图像分割出来部分的L^*、C^*、h^*的值；其中对图像从RGB到L^*a^*b^*色彩空间的转化按公式(3)进行：

L^*＝116f(Y/Y_n)-16

a^*＝500[f(X/X_n)-f(Y/Y_n)]

b^*＝200[f(Y/Y_n)-f(Z/Z_n)] (3)

其中，

L^*，a^*，b^*：L^*a^*b^*色彩空间三个通道的值，L^*为明度；a^*为红绿色轴，+a^*表示品红色，-a^*表示绿色；b^*为黄蓝色轴，+b^*表示黄色，-b^*表示蓝色；

X,Y,Z：RGB转XYZ空间计算出的值；

X_n,Y_n,Z_n分别为95.047,100.0,108.883；

对图像从L^*a^*b^*到L^*C^*h^*色彩空间的转化按公式(4)进行：

C^*＝(a^*2+b^*2)^1/2

h^*＝arctan(b^*/a^*) (4)

其中C^*代表饱和度，表示颜色的深浅程度；h^*代表色相角度，表示不同颜色；

3.2根据步骤3.1中得到的L^*通道的值计算图像的平均明度隶属度值，用“很暗的”、“较暗的”、“中亮的”、“较亮的”、“很亮的”五个词汇来描述明度特征；首先计算每个像素点的明度隶属度，然后对所有像素点的明度隶属度求均值，得到图像的平均明度隶属度值，其中明度隶属度值计算按公式(5)进行:

其中，L^*为图像中每个像素点的明度值，μ_亮度为图像中每个像素点的明度隶属度值；

3.3根据步骤3.1中得到的C^*通道的值计算图像的平均饱和度隶属度值，用“低饱和度”、“中饱和度”、“高饱和度”三个词汇来描述饱和度特征；首先计算每个像素点的饱和度隶属度，然后对所有像素点的饱和度隶属度求均值，得到图像的平均饱和度隶属度值，其中饱和度隶属度值计算按公式(6)进行:

其中，C^*为图像中每个像素点的饱和度值，μ_饱和度为图像像素点的饱和度隶属度值；

3.4根据步骤3.1中得到的h^*通道的值计算图像的平均色调冷暖隶属度值，冷暖隶属度值计算按公式(7)进行:

其中，h为图像像素点的色相角h^*经过弧度换角度转化后的角度值，μ_冷暖为图像像素点的冷暖隶属度值；

3.5将步骤3.1中计算得到的a^*、b^*值计算图像的彩色对比度，彩色对比度计算按公式(8)进行:

其中a_i^*，b_i^*表示图像的第i个像素点在L^*a^*b^*色彩空间的a^*、b^*值，表示整幅图像的a^*、b^*均值，N为图像的像素点总数；

步骤四.纹理特征提取：

4.1将步骤2.3中得到的灰度图像用LBP算子进行计算，得到图像的全局LBP直方图数据，其中LBP直方图数据按公式(9)计算，如下：

Input:输入图片I；

Output:1×18的LBP直方图数据；

4.1.1把I分割成M块；

4.1.2设定圆形窗口对称邻域的大小为：P＝16，R＝2；根据式(9)，计算每个块的LBP直方图值；

P：圆形对称邻域除中心点外的像素点个数；

R：圆形对称邻域半径；

g_c：圆形对称邻域的中心点像素值；

g_p：圆形对称邻域的其他点像素值；

4.1.3把M个块得到的LBP值组合起来得到描述图像特征的全局LBP值，输出；

步骤五.颜色特征和纹理特征融合：

将步骤三和步骤四中提取的颜色和纹理特征进行加权特征融合；其加权特征表达式(10)如下：

其中ω₁，ω₂∈[0,1]，则加权特征融合后的特征向量的表达式为：

P_融合＝{P₁，P₂}

步骤六.情感语义学习：

6.1从步骤1.3中得到的情感数据Q和步骤五中得到的融合特征数据P_融合中，抽取各个类别的数据共M个样本，作为以径向基函数为核函数的LSSVM分类学习算法的学习样本，剩余样本作为检验样本；

以RBF为核函数的LSSVM分类模型结构为：

其中：ψ(x)为非线性映射函数，为该模型的法向向量，α为该模型的偏差值，T为转置符号；

对样本数据的准确分类问题可转化为求解如下目标函数(11):

式(11)中的目标函数最终可以转化成如下表达式(12)：

其中：

ε：正则化参数；

μ_i：松弛变量值；

sgn()：符号函数，其取值为-1或1；

β_i：拉格朗日算子；

x：模式向量；

x_i,y_i：分别为学习样本中第i个的输入向量和输出向量；

α：模型的偏差值；

K(x,x_i)：径向基核函数，即RBF核函数；

σ²：RBF核的核参数；

6.2将步骤6.1中所有的样本数据进行归一化处理，归一化处理按照公式(13)进行:

y＝(y_max-y_min)(x-x_min)/(x_max-x_min)+y_min (13)

x：预处理的数据；

x_min，x_max：分别为预处理数据中的最小值和最大值；

y：归一化后的数据；

y_min，y_max：分别为期望的每一行的最小值和最大值；

6.3将步骤6.1中LSSVM模型进行模型参数初始化，设置Type，kernel，preprocess、L_flod和codefct的值；

6.4将步骤6.3初始化参数之后的模型进行参数ε和参数σ的寻优处理，正则化参数ε和核参数σ对模型的预测精度和复杂度都有影响；用LSSVM1.8版本工具箱中的tunelssvm函数进行网格搜索和交叉验证优化参数；然后初始化模型，进行模型训练；

6.5将步骤6.4中训练好的模型用来识别步骤6.2中归一化后的检验样本的情感语义，通过将检验样本的情感识别结果和其原始人工注释的结果进行比较，计算识别的准确率。