[发明专利]一种基于人工智能的在线教育人机交互方法与系统

权利要求书

1.一种基于人工智能的在线教育人机交互方法，其特征在于，所述基于人工智能的在线教育人机交互方法包括以下步骤：

步骤一，通过图像采集模块利用摄像设备获取用户的面部图像，并通过语音数据采集模块利用语音采集设备获取用户的语音信息；通过手势数据采集模块对用户的命令手势进行采集，同时通过动作数据采集模块对用户的学习动作进行采集；

步骤二，通过数据处理模块对采集的面部图像、语音信息以及命令手势数据分别进行处理；通过中央控制模块利用单片机或控制器协调控制所述基于人工智能的在线教育人机交互系统各个模块的正常工作；

步骤三，通过图像特征提取模块获取处理后的用户面部图像，对所述用户面部区域图像进行分割，分别得到每种预设面部子区域对应的图像；针对每种预设面部子区域，利用第一卷积神经网络提取该预设面部子区域对应的每张图像中的图像空间特征信息，并按照该预设面部子区域对应的每张图像的时间先后顺序；

步骤四，依次将所述预设面部子区域对应的每张图像的图像空间特征信息输入循环神经网络，利用所述循环神经网络提取输入的图像空间特征信息中时间特征信息，得到该预设面部子区域对应的第一图像时空特征信息；

步骤五，针对每种预设面部子区域，按照该预设面部子区域对应的每张图像的时间先后顺序，依次将相邻图像形成的光流图输入第二卷积神经网络，利用第二卷积神经网络提取每相邻两张图像对应的第二时空特征信息；

步骤六，针对每种预设面部子区域，利用全连接网络对该预设面部子区域对应的第一图像时空特征信息和所有的第二图像时空特征信息进行降维、加权和全连接处理，得到所述预设面部子区域对应的目标特征信息即面部图像特征集，并基于提取的图像特征进行情绪分类识别；

步骤七，取面部图像特征集包含的图像特征点并确定各个面部图像特征点的位置信息，同时对提取的图像特征进行归一化处理；计算面部图像特征点中任意两个特征点之间的距离信息、角度信息；基于多个特征点中任意两个特征点之间的距离信息、角度信息，确定该灰度图像对应各个预设情绪类别的第一概率分布；

步骤八，获取处理后的面部图像，提取面部图像中获取预设区域内的图像，并对预设区域内的图像中的皮肤颜色变化信号进行放大；获取皮肤颜色变化信号放大后的图像中的R通道图像信息、G通道图像信息、B通道图像信息，并确定有效色度信号；

步骤九，将提取的面部图像对应的有效色度信号变换为频域信号，并基于变换得到的频域信号的峰值处的频率值，确定目标个体的心率值；基于确定的心率值，确定该面部图像对应各个预设情绪类别的第二概率分布；基于所述第一概率分布、第二概率分布、心率特征权重信息、图像特征权重信息，确定目标情绪类别；

步骤十，通过命令识别模块基于采集的语音数据、手势数据进行命令识别；通过命令执行模块基于识别的命令执行相应的处理；通过用户学习状态判断模块基于用户的情绪分类识别结果以及学习动作数据判断用户的学习状态；通过知识点提取模块基于用户情绪分类识别结果对用户处于疑惑状态的知识点进行保存提取；

步骤十一，通过反馈模块判断的用户的学习状态反馈给老师，并输出对应的课程调整建议；通过评价模块基于参加课程的所有用户的学习状态对本次课程的老师的教学质量进行评价；

步骤十二，通过数据存储模块利用存储器存储获取的用户面部图像、语音信息、手势数据、动作数据、用户面部图像特征、情绪分类识别结果、学习状态、疑惑状态知识点、反馈信息以及教学质量评价结果；

步骤十三，通过更新显示模块利用显示器对获取的用户面部图像、语音信息、手势数据、动作数据、用户面部图像特征、情绪分类识别结果、学习状态、疑惑状态知识点、反馈信息以及教学质量评价结果的实时数据进行更新显示。

2.如权利要求1所述基于人工智能的在线教育人机交互方法，其特征在于，步骤三中，所述对用户面部区域图像进行分割，分别得到每种预设面部子区域对应的图像，包括：

利用AUU-NET卷积神经网络对用户面部区域图像进行分割，分别得到每种预设面部子区域对应的图像。

3.如权利要求2所述基于人工智能的在线教育人机交互方法，其特征在于，所述AUU-NET卷积神经网络包括收缩路径和扩张路径，所述收缩路径包括至少一个运动单元残差模块，所述扩张路径包括至少一个运动单元残差模块，所述运动单元残差模块包括卷积层、正则化层和激活层，用于对输入信息和输出信息进行加权融合，确定运动单元残差模块最终的输出信息。