[发明专利]基于仿生代理的多模交互界面描述方法

说明书

(一)技术领域：

本发明涉及一种基于仿生代理的多模交互界面描述方法，尤其是多模交互标记语言(Multi-model Interaction Markup Language)和仿生代理感知模块的设计实现，属于信息技术领域。

(二)背景技术：

人机交互已从语言命令阶段(CUI)、图像用户界面(GUI)交互阶段发展到自然和谐的感性用户界面(PUI)交互阶段。多模界面是感性用户界面研究的崭新领域。在多模界面中，用户可以使用自然的交互方式，如语音、手势、眼神和表情等与计算机交互进行协同工作。然而计算机没有脸和身体，无法运用上述的交互方式。因此具有多模表现能力的仿生代理受到了越来越多研究者的关注。利用具有语言会话等多种表现能力的交互式仿生代理的多模表现成为一种有效的人机交互方法。情感在人类决策、感知、学习以及其它一些类似的行为中发挥着重要作用，越来越多的研究者意识到要想真正实现人与仿生代理之间的和谐感性交互，就要将情感因素融入其中。情感能够提供仿生代理所需的自主性，并且是智能的最终来源，也就是说仿生代理应该具有像人类一样识别情感和表达情感的能力。这种基于仿生代理的多模界面很难编码，因为要描述仿生代理的动作、语音、情感表达以及情感识别能力是相当复杂的。为了解决这个问题，国外的一些大学和研究机构开发了用于描述仿生代理行为的语言。但现存的描述语言只能简单的描述仿生代理的动作、语音和情感表达能力，并不能描述情感识别能力。也就是说，现存的语言只能控制仿生代理的被动表现，即根据预先设定的内容进行动作、语音和情感的表达，而没有实现对用户情感的主动感知。因此，设计一种基于仿生代理的多模交互界面描述语言，实现对仿生代理感知能力的描述对情感化人机交互的发展具有重要意义。

(三)发明内容：

本发明的目的是：①针对目前国内在仿生代理描述语言领域的空白及目前国外的仿生代理描述语言只能描述仿生代理的动作、语音和情感表达能力，设计开发了一种基于可扩展标记语言(Extensible Markup Language)的能够描述仿生代理感知能力的多模交互标记语言(Multi-model Interaction Markup Language)，真正实现了仿生代理与用户的情感交互。通过多模交互界面生成软件屏蔽了底层代码，能够使普通用户(非专业程序员)轻松的开发出基于183-203)，其通过调用仿生代理模块中的函数实现了对仿生代理动作、语音及情感表达的控制。右边perception方框及所包含部分为本发明设计实现的感知模块，实现了对仿生代理情感识别能力的描述。图4所示为该部分的DTD定义。<perception>为感知模块的根元素；<emotionrecognition>为情感识别模块的根元素；<face>用来调用表情识别控件，此元素的align属性确定控件在背景网页中的位置；<recognize>元素将比较表情识别控件所返回的结果与其属性result的值，根据不同的结果执行不同的操作；<speech>与<text>为定义的备用元素，用来实现情感语音识别控件与文本情感提取控件的扩展。

步骤2：根据所定义的元素及属性编写多模交互标记语言代码；

步骤3：对所编写的多模交互标记语言代码进行有效性验证；

步骤4：对经过有效性验证的代码进行解析转换。采用微软MSXML.DLL动态链接库中提供的XML简单接口SAX(Simple APIs for XML)实现对多模交互标记语言代码的解析，同时按照规则实现多模交互标记语言代码到Vbscript代码的转换；

步骤5：将转换的Vbscript代码嵌入相应的网页背景中，调用仿生代理模块及感知模块的相关函数实现交互。

二、关于仿生代理感知模块表情识别控件的实现方法；其步骤如下：

步骤1：采用Viola提出的积分图像和AdaBoost算法相结合的方法(P.Viola，M.Jones.Rapid Object Detection using a Boosted Cascade of Simple Features[A].Proceedings of IEEEConference on Computer Vision and Pattern Recognition(电气和电子工程师协会2001年计算机视觉和模式识别会议)[C].2001.511-518)，实现人脸检测器；