[发明专利]基于多模态深度学习技术的儿童ADHD筛查评估系统

权利要求书

1.一种基于多模态深度学习技术的儿童ADHD筛查评估系统，其特征在于，所述系统包括：

量表测试模块，用于通过ADHD诊断心理学量表采集和评估就诊儿童各方面的行为表现和相关能力；

软硬件协同模块，用于开发测试软件让就诊儿童完成任务，硬件模组包括是多摄像头组及同步控制系统，用于记录任务测试过程中的眼动注意力、表情和身体姿态三方面信息；

智能分析模块，用于将对软硬件协同模块中采集到的多媒体信息进行智能处理，运用计算机视觉技术进行眼动注意力、表情、姿态的分析、跟踪和识别，并转化为同质化向量表示，同时，还对测试者的鼠标移动、点击和键盘输入动作也做了记录和跟踪，与同质化向量融合；

多模态信息融合模型，采用时序多模态信息融合模型BERT，对某个特定时间片段中获取的同质化向量结合测试结果进行预训练，最终生成的模型判断患者在本时间段是否存在异常行为的分类结果；

所述软硬件协同模块中，位于电脑显示屏后方的1号摄像头用于拍摄测试者的正面图像，采集测试者的眼动与表情变化信息；位于测试者座位侧面的2、3号双目深度摄像头模组用于拍摄测试者全身，采集测试者三维身体姿态信息；

所述软硬件协同模块中，在拍摄期间测试者需要完成ADHD临床诊断的三种心理学测试：Stroop测试、威斯康辛卡片分类测试和表情识别测试，这三种测试分别对患者注意力、抑制认知干扰、抽象思维和认知转移、情绪和社交等认知功能进行评估，Stroop测试通过字义与字体颜色冲突来评测测试者抑制认知干扰的能力；威斯康辛卡片分类测试通过变换颜色、形状、数量的测试规则来评测测试者的认知转移能力；表情测试通过对人脸图片的表情进行分类来评测测试者的社交认知能力；将以上三种执行功能测试整合到一套任务测试软件中；

三种测试的过程中，测试软件能够与摄像头模组进行交互，当测试者开始测试时，软件会启动摄像头模组开始录制，记录下测试者眼部、表情及姿态视频信息，用于智能分析模块分析提取关键特征；当测试完成时，测试软件会同步停止摄像头模组的录制工作；同时测试软件能够对测量指标进行整合与统计，并记录答题操作的关键时间节点及被测人员的鼠标键盘动作，这些形成了多模态融合机制的数据基础；

所述智能分析模块包括眼动注意力特征向量计算单元、表情特征向量计算单元和肢体动作特征向量计算单元；

所述肢体动作特征向量计算单元中，输入为采集到的侧面视频V_Side，输出为产生的3D骨架序列F_3D，包括以下步骤：

3.1置信图与PAF计算：对于图片输入，首先通过10层VGG-19提取图片特征F，再将F输入两个多阶段CNN，一个网络通过置信图的方式确定人体关节点位置，另一个网络通过PartAffinity Fields(PAF)确定肢体方向；最终得到置信图S＝(S₁,S₂,…S_J)与PAF L＝(L₁,L₂,…,L_C)，其中J，C分别表示关节点和肢体的种类数量；

3.2关节点匹配优化：根据置信图得到关节点的位置，表示第j类关节点中的第m个，通过L计算关节点组相连的置信度

其中p是两点之间的插值函数：

其中，u表示预测点到的距离占与距离的比值；

3.3最后再将有共同关节点的肢体相连接，形成完整的人体2D骨架特征f_2D，最终将2D骨架序列输入一个神经网络，得到3D骨架序列f_3D，对于整段视频，最终的3D骨架序列即为：F_3D＝[f_3D1,f_3D2,…,f_3DN]；

对于整个答题过程，有正面视频V_Front，侧面视频V_Side，以及答题操作序列A＝{a₁,a₂,…,a_K}，a_i代表第i题答题的时间戳，K为答题总数，按照答题时间戳将整个答题流程切分成K个时间段，对于每个时间段，V_Front和V_side所对应的视频帧构成一个图像序列，对应的，有从视频帧提取得到对应的眼动注意力向量F_g、微表情F_exp、动作特征向量F_3D；

对于时刻i，将智能分析模块所得到的三种不同向量f_gi(9-d)、f_expi(22-d)、f_3Di(75-d)以及该测试者当前的答题情况f_ansi拼接起来，得到表示该时刻测试者行为特征的向量；对于一个片段，得到表示当前时刻的行为特征x_i＝[f_gi,f_expi,f_3Di,f_ansi](1-d)，由此，对于整段测试，得到N维行为特征向量序列X＝{x₀,x₁,x₂,…,x_N}，其中x₀是一个固定的起始向量；

所述眼动注意力特征向量计算单元，输入为采集到的正面视频V_Front和相机标定矩阵C_r，输出为产生的眼动注意力特征向量F_g，包括以下步骤:

1.1瞳孔位置计算：首先通过基于HOG的算法确认脸部位置，对脸部关键点的检测通过连续条件神经场模型框架实现，由此计算出平面中的瞳孔位置e_h；接着，利用EPnP算法，将检测到的人脸与平均标准3D脸模F进行对齐，计算出相机坐标系下头部的旋转矩阵R_r以及平移向量t_r，此步骤的输出为眼部空间位置e_r＝t_r+e_h；

1.2视线方向计算，视线方向特征表示为一个包含偏航角和俯仰角的二维向量g，所述偏航角为视线方向与垂直平面的夹角，所述俯仰角为视线方向与水平面的夹角；

1.3屏幕位置换算：通过外部标定的方式，确定屏幕所在平面的空间位置，根据视线方向特征向量g以及眼部位置e_r计算视线与屏幕平面的交点，即为视线在屏幕上的落点p_s，再根据屏幕结构得到眼部注意力区域r；

1.4将瞳孔位置、视线方向及屏幕注意力三者进行结合，得到最终的眼动注意力特征向量，表示为F_g＝[e_r,g,r]；

所述步骤1.2中，先对眼部图像进行归一化处理：将原图像乘以相机投影矩阵的逆矩阵转化为三维空间中的头部位姿；再将此时的头部原姿态乘以变换矩阵M来固定眼部位置，最后再将归一化后的眼部姿态乘以一个标准相机投影矩阵C_n，得到归一化后的眼部二维图像e；为了计算视线向量，将归一化旋转矩阵R_n＝M R_r变换为二维旋转矢量h，将得到的2D头部姿态信息h和单通道灰度眼部图像e输入卷积神经网络模型，输出视线方向特征向量，所述特征向量为包含偏航角和俯仰角的二维向量g。