[发明专利]基于自然文本的人机智能交互控制平台

说明书

本发明公开了基于自然文本的人机智能交互控制平台，包括混合控制语言脚本，其特征在于，人物动画不是直接与用户进行交互的，而是根据所述混合控制语言脚本进行控制，针对文本中不同字符类别转换为具有统一格式的混合控制语言脚本，并通过不同的解析方法得到不同的控制类别进行对应控制类别的效果展示，混合控制语言脚本生成方法简单易懂，跨语言，且能控制虚拟人物模型自动播放口型动画，面部表情和肢体动画，增加虚拟人物模型的生动性，增强了人机交互的趣味性。本发明的混合控制语言脚本还具有复用性，同一份脚本运用在不同的虚拟人物模型上，能自动播放对应的动画内容，这能大大减少了动画师逐帧制作的工作量。

技术领域

本发明涉及语言处理和人工智能交叉技术领域，尤其涉及基于自然文本的人机智能交互控制平台。

背景技术

随着人工智能的快速发展，智能聊天机器人将成为我们日常生活的一部分。智能聊天机器人的出现，能够大大改善原有的人机交互带给用户的单调刻板的体验，并能充当人们生活中的“倾听者”缓解快节奏的城市生活压力。然而各大互联网公司推出的人工智能机器人大多是以2D模型作为虚拟形象，比如阿里的小蜜，微软的小冰，他们在与人交流时使用文本进行对话，虽然它们能流露感情但并没有一个良好的载体展示他们的“喜怒哀乐”，这都将降低用户体验。

传统的虚拟引擎提供给用户的交互方式很多，例如PC端的鼠标、键盘控制，智能手机的触屏控制，还有目前发展火热的VR(虚拟现实)技术中的手势控制，这些交互方式都是实时的，只要用户输入控制命令，人物角色就会立即做出相应动作，比如跑步、挥拳或者是视角的切换。但人工智能机器人的肢体动作及感情流露并不由用户的控制。因此基于自然文本控制人机交互方式亟待解决。

目前对于交互脚本的研究设计大多运用于Web运用中，如上海交通大学的盛焕烨教授提出的脚本语言Q，研究它在语义Web中基于代理的信息搜索和面向电子商务的代理协商领域的应用。对于控制人机智能交互的脚本还没有很成熟的研究。

人机智能交互主要方面就是对话。那么在人与人对话时，嘴是重要的表达器官，虚拟人物口型的不匹配将严重影响人机交互的体验。如今，虚拟形象的制作中，人物的口型动画和面部表情往往都是根据特定的语句及动画场景逐帧制作而成，这种方法制作出来的口型动画生动，字与字之间的过渡流畅，配上语音后与真人形象几乎没有差别。但这种方法最大的问题就是动画师的工作量巨大，制作出的动画复用性低。目前，能够实现口型动画匹配的软件很少，比较著名的有口型大师Mimic、口型插件Voice-O-Matic等但这些都是针对英语语言。由于汉语在发音方面比英文发音更复杂，因此国内对汉语口型自动生成的研究还比较靠后。

北京工业大学尹宝才教授提出了一种基于韵律文本的三维口型动画合成方法。该方法首先将驱动动画所用的普通文本通过一种韵律标记语言转换成富含韵律信息的文本；分析从视频中提取出来的一般人发音特征曲线，得到曲线函数，然后通过该函数将单帧的静态视位扩展为多帧的动态视位；最后将韵律标记的属性值映射为曲线函数的参数值，在动画中增加了韵律效果。

西南交通大学侯进教授针对汉语的发音习惯以及语音可视化技术中对口型动画自然、连续的要求，提出了一种基于肌肉模型与协同发音模型的与语音保持同步的口型动画的方法。

首先，根据汉语发音时的口型视位特征将声、韵母音素归类，并用数据映射的方式合成与之对应的口型关键帧。通过分析输入的文本信息，合成与语音保持同步的三维人脸口型动画。为了解决汉语发音习惯的问题，设计了一种基于微分几何学描述的协同发音建模的方法，该方法通过分析相邻音子间视素的影响权重，可以产生符合汉语发音习惯的口型动画。

以上方法要求进行大量数据分析，生成动画过程复杂耗时，且只能生成口型动画并不能根据自然文本分析出文本的情感，人物模型不会有情感表露更不会有肢体动画的展示，因此使用上述方法这并不能满足人机交互的趣味性和人性化。

发明内容