[发明专利]一种在视频聊天的表情显示方法及系统

权利要求书

1.一种在线视频聊天的表情显示方法，其特征在于，包含如下步骤：

S1、获取在线视频聊天端的拍摄装置所拍摄的聊天者聊天时的面部的表情图像；

S2、分别对各个拍摄装置的表情图像进行处理；对任一个拍摄装置的表情图像进行处理的方法如下：先将表情图像进行表情分类处理，再将表情图像输入至分类到的表情所对应的强度处理子模型进行处理，得到分类到的表情的强度，其中一个表情分类下的强度处理子模型中具有该表情分类的多个强度；

S3、根据预设的转换关系，将步骤S2得到各表情分类以及对应的表情的强度转换为表情图片/动画显示出来；

还包括分别训练各个强度处理子模型的步骤，任意一个强度处理子模型的训练步骤包括：

A1、获取某一表情分类下的用于训练的包含人面部分的表情数据库，所述表情数据库包含具有面部表情强度标签的数据库与无面部表情强度标签的数据库；

A2、对所述表情数据库中的图像数据进行预处理，提取出人面部分的数据；

A3、对提取出的人面部分的数据分别进行面部几何特征、局部二值模式和Gabor小波变换三种模式的特征提取；

A4、分别使用全监督模式、半监督模式和无监督模式对步骤A3输出的数据进行训练，得到特征与面部表情强度的关系；

A5、将所述训练后形成的数据分别作为序数随机森林算法的输入进行训练，分别得出面部表情强度处理子模型，将k₁*B₁+k₂*B₂+k₃*B ₃作为最终的面部表情强度计算模型，其中系数k₁、k₂、k₃的取值范围均为(0，1)，且k₁+k₂+k₃＝1，B₁、B₂、B₃分别为同一输入条件下全监督模式、半监督模式和无监督模式对应的输出值；

其中，全监督模式是指采用带有强度标签的图像数据作为该模式的表情数据库进行训练；半监督模式是指采用部分带有强度标签部分不带有强度标签的图像数据作为该模式的表情数据库进行训练；无监督模式是指采用不带有强度标签的图像数据作为该模式的表情数据库进行训练。

2.根据权利要求1所述的表情显示方法，其特征在于，所述将步骤S2得到各表情分类以及对应的表情的强度转换为表情图片/动画显示出来包括：

将表情图片/动画在聊天视频显示装置上进行本地显示；或者，

将表情图片/动画发送至聊天对象的聊天视频显示装置上进行显示。

3.根据权利要求1所述的表情显示方法，其特征在于，所述步骤A2中预处理包括：人脸特征点定位、人脸识别、图像剪切和直方图均衡化；方案采用主动形状模型ASM获取面部特征点，利用瞳孔间的连线与水平线的夹角，旋转图像使得瞳孔间连线为水平，之后调用OpenCV库中人脸识别框架获取图像数据中人面部分，并且剪切面部区域为M*N像素，最后对剪切后的所有图像数据进行直方图均衡化处理；其中，M、N均为正整数且均大于3。

4.根据权利要求1所述的表情显示方法，其特征在于，所述步骤A3中还包括步骤：采用主成分分析方法，分别对三种模式提取的特征进行处理以降低特征数据的维度。

5.根据权利要求1所述的表情显示方法，其特征在于，所述步骤A3中对于任意一帧：是以该帧中下巴与鼻尖的像素间距离为标准值，将嘴角、下巴、眼角、上下眼皮之间的像素间的相互距离与该帧的标准值的比值作为面部几何特征。