[发明专利]基于多模态深度学习技术的儿童ADHD筛查评估系统

说明书

一种基于多模态深度学习技术的儿童ADHD筛查评估系统，包括：量表测试模块，用于通过ADHD诊断心理学量表采集和评估就诊儿童；软硬件协同模块，用于开发测试软件让就诊儿童完成任务，硬件模组用于记录任务测试过程中的眼动注意力、表情和身体姿态三方面信息；智能分析模块，用于运用计算机视觉技术进行眼动注意力、表情、姿态的分析，还对测试者的鼠标移动、点击和键盘输入动作也做了记录和跟踪，与同质化向量融合；多模态信息融合模型，采用时序多模态信息融合模型BERT，对某个特定时间片段中获取的同质化向量结合测试结果进行预训练，最终生成的模型判断患者在本时间段是否存在异常行为的分类结果。本发明效率较高、准确性较好。

技术领域

本发明涉及一种儿童注意缺陷多动障碍(ADHD)筛查评估系统。

背景技术

注意缺陷多动障碍(ADHD)，俗称多动症，是儿童青少年期最常见的神经发育障碍，其临床表现是注意集中困难、活动过度、冲动，情绪不稳定、学习困难等。

目前的ADHD医学影像的智能识别技术主要是基于脑部功能性核磁共振和脑电图等病理方面的研究，或者单独基于眼动或面部表情等观察患者的行为特征。前者的技术操作过程十分复杂，对于很难控制自己行为的儿童而言更为困难，而且这些技术的价格非常昂贵，目前很难有大规模落地的可能。后者的信息维度单一，很难全面的对儿童的行为作出评估，而ADHD儿童的表现形式是多种多样的，单独观察眼动或肢体动作都可能遗漏其他重要的行为特征。

发明内容

为了克服已有儿童ADHD筛查评估方式的效率低下、准确性较差的不足，本发明提供了一种效率较高、准确性较好的基于多模态深度学习技术的儿童ADHD筛查评估系统。

本发明解决其技术问题所采用的技术方案是：

一种基于多模态深度学习技术的儿童ADHD筛查评估系统，包括：

量表测试模块，用于通过ADHD诊断心理学量表采集和评估就诊儿童各方面的行为表现和相关能力；

软硬件协同模块，用于开发测试软件让就诊儿童完成任务，硬件模组包括是多摄像头组及同步控制系统，用于记录任务测试过程中的眼动注意力、表情和身体姿态三方面信息；

智能分析模块，用于将对软硬件协同模块中采集到的多媒体信息进行智能处理，运用计算机视觉技术进行眼动注意力、表情、姿态的分析、跟踪和识别，并转化为下一步机器学习可兼容的同质化向量表示，同时，还对测试者的鼠标移动、点击和键盘输入动作也做了记录和跟踪，可与同质化向量融合；

多模态信息融合模型，采用时序多模态信息融合模型BERT(Devlin et al.,2018)，对某个特定时间片段中获取的同质化向量结合测试结果进行预训练，最终生成的模型判断患者在本时间段是否存在异常行为的分类结果。

进一步，所述软硬件协同模块中，位于电脑显示屏后方的1号摄像头用于拍摄测试者的正面图像，采集测试者的眼动与表情变化信息；位于测试者座位侧面的2、3号双目深度摄像头模组可用于拍摄测试者全身，采集测试者三维身体姿态信息。

再进一步，所述软硬件协同模块中，在拍摄期间测试者需要完成ADHD临床诊断的三种心理学测试：Stroop测试、威斯康辛卡片分类测试和表情识别测试，这三种测试分别对患者注意力、抑制认知干扰、抽象思维和认知转移、情绪和社交等认知功能进行评估，Stroop测试通过字义与字体颜色冲突来评测测试者抑制认知干扰的能力；威斯康辛卡片分类测试通过变换颜色、形状、数量的测试规则来评测测试者的认知转移能力；表情测试通过对人脸图片的表情进行分类来评测测试者的社交认知能力；将以上三种执行功能测试整合到一套任务测试软件中。