[发明专利]一种孤独症患者心理状态识别方法与装置

权利要求书

1.一种孤独症患者心理状态识别装置，其特征在于，包括：

视频采集器：通过视觉传感器采集孤独症患者日常房间行为动作视频并检测出人体，获得视觉数据；

绘画采集器：所述绘画采集器采用纸和笔通过压力传感器来采集孤独症患者绘画过程中的压力情况，判断绘画是否完成，获得绘画图像数据；

声音传感器：用来采集环境声音，获得语音数据；

边缘设备：用于收集视觉数据和语音数据，并进行数据清洗、数据结构化、编码压缩，得到预处理后的数据，然后上传到服务器；

服务器：对边缘设备上传的预处理后的数据做数据的解压缩和数据的特征提取，并作特征分析，决策级融合，最终获得用户心理状态。

2.根据权利要求1所述的一种孤独症患者心理状态识别装置，其特征在于，视觉传感器1在8时至22时共14小时采集孤独症患者日常行为，当其检测到人体时，按照1帧/秒 的采集频率进行采集，暂存于边缘设备寄存器中，每隔10分钟进行图片压缩，同时对每帧图像记录时间标签，每隔1小时将压缩后的图像和对应的时间标签上传至服务器。

3.根据权利要求1所述的一种孤独症患者心理状态识别装置，其特征在于，在孤独症患者的活动空间内放置声音传感器，每天8时至22小时共14小时处于触发启动状态，基于设置的阈值，声音频率或分贝超过阈值则进行声音异常记录，并记录异常声音对应时刻，缓存到边缘设备的寄存器中，每隔1个小时将声音异常的阈值区间以及对应的时间标签压缩编码上传至服务器。

4.根据权利要求1所述的一种孤独症患者心理状态识别装置，其特征在于，当压力板第一次检测到压力时候，表示绘画开始，绘画记录步骤为：当压力板超过30分钟没有检测到压力，视觉传感器2则被触发启动，视觉传感器2伸出至位于压力板正上方的位置进行绘画作品拍照，完成绘画作品记录，如果此时压力板重新检测到压力，视觉传感器2缩回原始位置，直到压力板没有检测到压力30分钟后，视觉传感器2再伸出做绘画记录操作，当视觉传感器2每完成一次绘画作品记录，将绘画作品做编码压缩和时间标签并上传至服务器。

5.根据权利要求1所述的一种孤独症患者心理状态识别装置，其特征在于，服务器端对边缘设备上传的数据进行解压缩，对图像特征提取，后经过绘画心理智能分析模块和表现分析模块得到心理状态分类，并存储信息；

其中表现分析模块：在全连接残差神经网络的基础上进行编码，使用多视角身体姿势数据集MBGD，得到网络结构1，再输入使用开源库OpenCV提取出的光流特征对网络结构1进一步微调，得到多分类结果1；

绘画心理智能分析模块：在Sketch-a-Net基础上进行训练，颜色输入通道是RGB的3通道输入，输入的数据集是心理正常和6种心理问题的青少年分别画出确定内容的绘画，确定内容如“房-树-人”具有固定物体A、固定物体B、固定物体C，对分类模型进行训练，得到基于孤独症患者绘画的心理智能分析的网络结构2，将提取出的绘画特征输入网络结构2中微调得到多分类结果2；

其中6种心理问题包括：喜悦、焦虑、孤独、忧郁、恐惧、以自我为中心。

6.根据权利要求5所述的一种孤独症患者心理状态识别装置，其特征在于，服务器端对多分类结果1和多分类结果2进行决策级融合，得到最终心理识别结果，具体如下：

绘画心理智能分析输出有6个心理状态，表现分析模块中的身体姿态有7种输出，其中输入出包括6种基本情绪和1种自然状态，其中6种带情绪动作包括高兴地跳、悲伤地蹲下、愤怒地扔东西、站着惊讶、恐惧地向后退、厌恶地转身走开，如在动作“恐惧地向后退”提取出“恐惧”关键字，将其作为表现分析模块中的情绪输出，所以6种带情绪的动作对应着6种基本情绪——高兴、悲伤、愤怒、惊讶、恐惧、厌恶；将6种自然状态的身体动作都归为自然状态1种，所以它们之间的组合为42种，如果绘画心理智能分析输出的心理状态与表现分析模块输出的结果相反，如前者输出喜悦，后者输出愤怒，则此次结果作废，采用后续的数据进行分析；如果表现分析模块输出为自然状态，则采取绘画心理智能分析输出的状态；如果两者输出状态相近，如前者输出“孤独”，后者输出“恐惧”，则结果为两者叠加，如“孤独症患者感到孤独，出现恐惧地向后退的行为”。