[发明专利]一种应用于远程信息服务的人机交互识别系统

说明书

技术领域

本发明属于计算机领域，特别是以人脸、脸部表情、语音、语音情感作为指令输入手段的人机交互识别系统。

背景技术

目前，人机交互的方法包括触摸屏操作、鼠标操作、语音控制等。目前，随着智能控制技术的发展，一种综合人脸、脸部表情、语音、语音情感等因素的人机交互手段将更能给用户一种便捷、人性化的操作体验。如中国专利申请200810169232.4(人机交互方法及系统)公开了一种人机交互方法及系统，将人机交互的过程划分成不同的对话状态，每个对话状态分别对应一个处理过程；该方法包括：根据用户输入的即时上下文信息，获得反映所述用户需求的特征信息；至少根据所述特征信息和领域知识，确定当前与所述用户需求匹配的对话状态；调用并执行与所述确定的对话状态对应的处理过程，并将所述处理过程的处理结果返回给用户。该发明，以匹配用户需求，实现个性化的、拟人体验的人机交互过程，从而提高用户体验性，但没有考虑并综合人脸、脸部表情、语音、语音情感等因素；中国专利申请200910061752.8(一种人机交互平台)提供了一种人机交互平台，该平台包括：绘图引擎，用于显示图形、文字；语音引擎，用于合成语音，进行播报；图像识别引擎，用于识别用户输入图形的样式，触发不同的功能；跨平台模块，用于实现跨平台功能；人机交互模块，用于显示人机界面；人机交互模块通过接口，经绘图引擎连接跨平台模块；图像识别引擎、语音引擎通过接口相连，并且分别通过接口连接跨平台模块；上述各模块均安装在人机交互硬件设备上，跨平台模块还与操作系统相交互。该发明综合了图形、文字、语音因素，但没就如何处理人脸、脸部表情、语音、语音情感等因素并获得操作指令提出解决方案。

发明内容

本发明的目的就提出一种综合考虑人脸、脸部表情、语音、语音情感因素，并对其代表的操作指令进行识别的人机交互识别装置，该人机交互识别装置可以集成在提供网络信息服务的服务系统或其客户端，为用户提供一种全新的操作体验方法。

下面对本发明方案做进一步描述：

一种应用于远程信息服务的人机交互识别系统，其特征在于，提供网络信息服务的服务系统或其客户端至少具有一个人机交互识别装置；

所述的人机交互识别装置包括：

听觉采集模块，用于采集用户的语音信号；

视觉采集模块，用于采集用户的人脸图像；

第一预处理模块，用于对视觉采集模块采集的图像进行预处理；人脸特征提取模块，用于通过对第一预处理模块的图像进行分析，实现对人脸整体或特征部位的识别、定位；人脸识别模块，用于根据人脸特征提取模块获得参数进行识别，输出人脸识别的结果；

第二预处理模块，用于对听觉采集模块的语音信号进行预处理；语音特征提取模块，用于分析并获得语音参数；语音识别模块，用于根据语音特征提取模块获得的参数进行识别并获得该用户语音对应的请求或指令；

第三预处理模块，用于对视觉采集模块采集的图像进行预处理，形成人脸表情图像序列；人脸表情特征提取模块，用于对第三预处理模块输入的图像序列进行分析处理，获得人脸表情参数；人脸表情识别模块，用于人脸表情参数进行处理、识别进而获得人脸表情的识别结果；

第四预处理模块，用于对听觉采集模块的语音信号进行与语言情感相关的预处理；语言情感特征提取模块，用于从第四预处理模块输入的信号中获得语言情感特征的参数；语言情感识别模块，用于通过对语言情感特征的参数的分析处理，识别出该语音信号包含的情感信息并输出识别结果；

显性识别融合模块，用于将人脸识别模块和语音识别模块的识别结果进行融合处理，形成综合了人脸特征和语音特征的识别结果；

隐性识别融合模块，用于将人脸表情识别模块和语言情感识别模块的识别结果进行融合处理，形成综合了人脸表情特征和语音情感特征的识别结果。

进一步，所述的人脸识别模块、语音识别模块、人脸识别模块、语音识别模块、显性识别融合模块和隐性识别融合模块所形成的识别结果均被转换成获取信息服务的操作指令；服务系统将根据该指令输出服务。

更进一步优化，所述人机交互识别装置还具有一个综合交互模块，用于根据服务的类别，综合人脸识别模块、语音识别模块、人脸识别模块、语音识别模块、显性识别融合模块和隐性识别融合模块所形成一种或一种以上识别结果，经处理后形成与该服务的类别匹配的操作指令输出。

上任一所述的人脸表情识别模块进行识别的工具包括自组织影射神经网络分类器、遗传算法分类器、K-邻近分类器、支持向量机分类器、模糊逻辑分类器、HMM分类器、马氏距离分类器。