[发明专利]一种基于表情情感计算的三维教学课堂实现方法

说明书

本发明涉及在线教育领域，其公开了一种基于表情情感计算的三维教学课堂实现方法，将适用于教育场景的表情识别情感分析模型加入到无需任何插件支持的三维网页课程中，实现人机之间更加自然、更加智能化的互动。本发明基于WebGL构建教育教学场景，通过制作适用于教育场景的多样化人脸表情数据集，对卷积神经网络进行训练获得表情识别模型，将表情识别模型应用到服务端并与Web3D端通过WebSocket互连，实时通过前端摄像头截取人脸表情图片通过编码传递到后端，后端通过解码表情信息并利用表情识别模型进行快速特征提取并识别对应表情标签，再将最终识别结果传递给前端并匹配对应的情感交互事件，实现利用人脸表情识别算法来控制页端与用户进行交互的WebGL多媒体智能交互。

技术领域

本发明涉及在线教育领域，具体涉及一种基于表情情感计算的三维教学课堂实现方法。

背景技术

在互联网的各个领域中，发展和变化最快的就是Web应用的发展，已经成为当今网络技术的研究重点。随着人们对网页体验的要求不断提高，网页正在逐渐地从传统的二维平面网页向交互式三维网页发展。

但是，早期的三维技术并不成熟，比如Java Applet所实现的非常简单的Web交互三维图形程序，不仅需要下载一个巨大的支持环境，而且画面非常粗糙，性能也很差，其主要原因就在于Java Applet在进行图形渲染时，并没有直接利用到图形硬件本身的加速功能。后来，Adobe的Flash Player浏览器插件和微软Silverlight技术相继出现，逐渐成为了Web交互式三维图形的主流技术。与Java Applet技术不同，这两种技术直接利用操作系统提供的图形程序接口，来调用图形硬件的加速功能，从而实现了高性能的图形渲染。但是，这两种解决方案都存在一些问题：首先，它们是都是通过浏览器插件形式实现的，这就意味着对于不同的操作系统和浏览器需要下载不同版本的插件；其次，对于不同的操作系统，这两种技术需要调用不同图形程序接口。这两点不足在很大程度上限制了Web交互式三维图形程序的使用范围。

2014年10月，万维网联盟完成了HTMLS的标准制定，而作为HTMLS标准之一的WebGL(3D绘图协议)很好地解决了上述两个问题:首先，它通过Javascript脚本实现Web交互式三维图形制作程序的设计与实现，无需任何浏览器插件支持；其次，它利用底层图形硬件的加速功能进行的图形渲染，是通过统一的、标准的、跨平台的OpenGL ES2.0实现的。利用WebGL技术构建三维交互平台并加载三维模型，能使模型在网页端达到更加流畅的呈现效果。而由于WebGL的出现，也给日新月异的交互技术带来了新的挑战。

传统的人机交互，主要通过键盘、鼠标、屏幕等方式进行，只追求便利和准确，无法理解和适应人的情绪或心境。而如果缺乏这种情感理解和表达能力，就很难指望计算机具有类似人一样的智能，也很难期望人机交互做到真正的和谐与自然，这是由于人类之间的沟通与交流是自然而富有感情的。因此，在人机交互的过程中，人们也很自然地期望计算机具有情感能力。情感计算(Affective Computting)就是要赋予计算机类似于人一样的观察、理解和生成各种情感特征的能力，最终使计算机像人一样能进行自然、亲切和生动的交互。情感是一种内部的主观体验，但总是伴随着某种表情。表情包括面部表情(面部肌肉变化所组成的模式)，姿态表情(身体其他部分的表情动作)和语调表情(言语的声调、节奏和速度等方面的变化)，这三种表情也被称为体语，构成了人类的非言语交往方式。面部表情不仅是人们常用的较自然的表现情感的方式，也是人们鉴别情感的主要标志。心理学家A.Mehrabian经研究指出，在人类日常生活交际过程中，高达55％的社交意义是通过面部表情信息传达的，而言语信息所表达的全部社交意义的7％，其余的38％通过声音、音调、音色等信息传递。因此面部表情成为人类表达认知和情绪状态的一种重要方式，研究学者们也越来越重视如何利用计算机识别面部表情。