[发明专利]基于仿生代理的多模交互界面描述方法

摘要

本发明一种基于仿生代理的多模交互界面描述方法，其中多模交互标记语言对多模交互系统的描述方法如下：(1)定义多模交互标记语言标签；(2)编写多模交互标记语言代码；(3)对所编写的多模交互标记语言代码进行有效性验证；(4)对经过有效性验证的代码进行解析，将多模交互标记语言代码按照规则转换为Vbscript代码；(5)将转换的Vbscript代码嵌入相应的网页背景中，调用控件模块的相关函数实现交互。其中仿生代理感知模块表情识别控件的实现步骤如下：(1)实现人脸检测器；(2)实现专门表情分类器；(3)最终表情分类器选取各专门表情分类器的最高分，判定表情。该描述方法具有简单易用、可扩展性强的特点，能够使普通用户轻松的开发出基于网页的仿生代理多模交互界面。

主权项

1.一种基于仿生代理的多模交互界面描述方法，其特征在于：该方法包括多模交互标记语言及仿生代理感知模块两部分；其中：(1)多模交互标记语言：多模交互标记语言对多模交互系统的描述，其步骤如下：步骤1：多模交互标记语言元素及属性的定义；步骤2：根据所定义的元素及属性编写多模交互标记语言代码；步骤3：对所编写的多模交互标记语言代码进行有效性验证；步骤4：对经过有效性验证的代码进行解析，将多模交互标记语言代码按照规则转换为Vbscript代码；步骤5：将转换的Vbscript代码嵌入相应的网页背景中，调用仿生代理模块及感知模块的相关函数实现交互；(2)仿生代理感知模块：仿生代理感知模块表情识别控件的实现，其步骤如下：步骤1：采用维奥拉提出的积分图像和AdaBoost算法相结合的方法，实现人脸检测器；步骤2：设选定的3种单一表情高兴、生气和惊讶为e1，e2，e3，平静表情为e0，对于每种选定的单一表情ei，以该类表情样本为正例样本，其它各类表情样本及平静样本为反例样本，基于人脸检测器的改进方法训练专门表情分类器hei人脸检测器和专门表情分类器是两种不同的算法，人脸检测器的输出为0或1，0代表非人脸，1代表人脸；专门表情分类器通过下述式①将输出改为[0，1]区间的实数，$h_e\left(x\right)=\frac{\underset{t=1}{\overset{T}{\Sigma }}{\alpha }_t{h}_t\left(x\right)}{\underset{t=1}{\overset{T}{\Sigma }}{\alpha }_t}$①式中he为专门表情分类器，T为循环次数，ht为每轮选取的误差最小的弱分类器，${\alpha }_t=\log \frac{1-{ϵ}_t}{{ϵ}_t},$其中εt为ht的判别误差；步骤3：最终表情分类器H从各专门表情分类器hei的得分中选取最高分，若最高分超过设定的阈值，则判决为获得最高分的专门表情分类器对应的表情，否则判定为平静表情。最终表情分类器H的表达式如式②，最终表情分类器H从3个专门表情分类器hei的得分中选取最高分，若最高分超过设定的阈值θ，则判决为获得最高分的专门表情分类器对应的表情，否则判定为平静表情e0，通过调整阈值θ，可获得较高的识别率；$H\left(x\right)=\left\{\begin{array}{cc}\arg \underset{i}{\max }{h}_{\mathrm{ei}}\left(x\right)& \mathrm{if}\underset{i}{\max }{h}_{\mathrm{ei}}\left(x\right)\ge \theta \\ e_0& \mathrm{otherwise}\end{array}\right.$②式中H为最终表情分类器，hei为单一表情ei的专门表情分类器，e0为平静表情，θ为设定的阈值，i∈{1，2，3}。