[发明专利]一种基于肢体动作进行情感运算的3D校园导览方法及系统

说明书

技术领域

本发明涉及人机交互技术领域，特别涉及一种基于肢体动作进行情感运算的3D校园导览方法及系统。

背景技术

人类情感的表达不只仅限于使用语言的方式来进行交流，脸部的表情也会流露出内在所隐含的情绪状态，Ekman与Friesen(1957)就曾提出了六种人类基本的情绪类型，以及其相对应的脸部情绪的特征，分别为惊讶、害怕、生气、快乐、悲伤以及厌恶，利用人脸的特征来揭露一个人内心真实的情绪反应。此外也有其他学术上的研究认为，除了脸部的表情之外，语音识别或是生理辨识也可以作为内在情绪状态的线索之一(e.g.,Schuller et al.2011)。另外，尽管关于肢体动作是否可以反映出内心情绪状态的部分一直有所争议，然而近年来已经有越来越多的研究指出了与之相反的观点，他们认为肢体语言也可以与情感有所关联，并且可以当作辨识一个人内部情绪的重要特征(Schouwstra et al.1995；Coulson 2008；Dael et al.1995；Bretan et al.2015；陈廷暐2011)。

Picard(1997)认为情感不只是人与人之间交流的工具，同时也可以是人类与计算机进行互动的另一种手段，并且如果要让计算机具有智能的话，那么我们就必须要让计算机拥有情绪，以及具备辨别情绪的能力，并能够对情绪做出回馈。因此，为了能让人机互动(human–computer interaction；HCI)的机制可以变得更人性化、互动上更加的自然，近年来将情绪视为人类与计算机互动的关键因素，并尝试结合情感运算(Affective Computing)在广泛的领域中进行应用的研究已经越来越多了。

目前，许多结合情感运算相关领域的研究大多都是运用人脸情绪的特征辨识，或是依照生理辨识来给予适当的回馈，然而针对姿势来进行肢体情绪辨识的应用相对是比较少的，尤其在导览系统的应用当中，虽然有许多使用肢体动作来当作浏览3D虚拟环境的操作工具，但是将肢体语言进行情感的分析，并在互动中加入情绪回馈之应用并不多。

发明内容

本发明目的在于克服现有技术的不足，提出一种基于肢体动作进行情感运算的3D校园导览方法及系统，除了会根据动作指令做出在3D环境移动的操作，还能透过使用者在操作过程中的姿势信息，来辨识动作中所隐含的情感表达，并且会根据使用者的姿势做情绪的判断，将情感运算结合到3D体感导览应用中，并给予适当的回馈，有助于使用者融入3D校园导览系统，于3D的校园情境中进行互动。

本发明解决其技术问题所采用的技术方案是：

一种基于肢体动作进行情感运算的3D校园导览方法，包括：

通过Kinect体感摄影机捕捉使用者全身的骨架姿势，以进行肢体动作的侦测及辨识；

通过计算机接收并识别所述Kinect体感摄影机发送的肢体动作，与预设的动作行为进行匹配；如果识别出所述肢体动作为移动控制姿势，则进行动作类别判断，并在已建立的3D校园环境导览应用中进行虚拟角色的视角移动移动操作，当虚拟角色靠近指定的区域和对象时，根据事先在数据库中建立好的内容，在画面上显示相对应的信息介绍，所述信息介绍为简要的基本区域介绍；如果识别出所述肢体动作为肢体情绪动作，则进行情绪种类的判断，并在已建立的3D校园环境导览应用中显示回馈内容；所述情绪种类包括生气、焦虑及有趣；所述回馈内容包括操作指令说明、所在的环境地图及更详细的信息内容。

所述预设的动作行为包括向前伸出右手与肩膀距离大于30公分、向前伸出左手与肩膀距离大于30公分、身体向右倾大于15度、身体向左倾大于15度、双脚离地超过10公分、身体向前倾且双手大幅举起、身体向前倾且双手举起或交错及身体向后倾或挺直且双手大幅举起。

如果匹配到的动作行为为向前伸出右手与肩膀距离大于30公分、向前伸出左手与肩膀距离大于30公分、身体向右倾大于15度、身体向左倾大于15度或双脚离地超过10公分，则判断为移动控制姿势；如果匹配到的动作行为为身体向前倾且双手大幅举起、身体向前倾且双手举起或交错及身体向后倾或挺直且双手大幅举起中的一种，则判断为肢体情绪动作。