[发明专利]一种基于笔和语音的协同任务神经系统疾病辅助诊断系统

说明书

本发明属于数字医疗领域，涉及一种基于笔和语音的多通道多任务神经系统疾病辅助诊断系统。该系统包括数据采集单元、数据预处理单元、多通道交互特征获取单元和模型构建与反馈单元。该系统对用户的笔迹信号与声音信号进行同步任务采集，利用大脑神经状态的改变对运动认知、发音、多任务协同处理等方面的影响提取多通道特征，不仅考虑神经系统疾病在笔交互通道、语音交互通道单一通道内的生理表征，同时考虑多任务时笔通道和语音通道协作时不同生理通道表征的相关、互斥等通道间生理特性，最终训练决策模型分析判定用户是否患有神经系统疾病。本发明不需要任何侵入性治疗，可以实时、鲁棒、精确的进行疾病辅助诊断。

技术领域

本发明属于数字医疗领域，具体涉及一种基于笔和语音的协同任务神经系统疾病辅助诊断系统。

背景技术

随着环境的变化及人口的老龄化，越来越多的人患有神经系统疾病，极大的影响了用户及其家庭的工作与生活。在临床上，主要由医生综合既往病史、精神状态评估、体格检查等多项指标判定用户是否患有神经系统疾病，但是由于此类疾病发病机制复杂，检查步骤繁琐，因此难以获得有效的诊断方案。神经系统疾病的主要生理特性可反映在用户日常的人机交互行为中，因此随着人机交互技术的不断发展，以及人类对于生理信息与疾病表征之间关系认知的逐渐深入，通过获取并分析日常交互过程中产生的生理信息，有助于神经系统疾病的辅助诊断与早期预警。与人工诊断相比，通过分析生理信息对神经系统疾病进行计算机辅助诊断的方法，实现对用户进行简单、快速、非侵入性的病理检查，降低主观因素对判决结果的影响，具有很大的研究价值与发展空间。

在日常交流时，人们会同时接受语音、书写、视觉等多个通道的信息，也会同时通过多个通道进行信息的表达反馈，人在进行多通道信息处理时，不同通道的信息会在大脑不同的区域进行交叉处理，具有一定的灵活度，但同时处理多个任务的行为分散了大脑的注意力，导致信息处理成本与接受成本的增加，产生任务切换耗散(switching costs)与任务混淆耗散(mixing costs)，在一定程度上导致认知能力的降低。患有神经系统疾病的用户通常表现为言语能力下降、运动障碍以及认知障碍等多方面问题。利用语音通道、笔通道等单个通道的交互信息进行神经系统疾病诊断的方法不能全面的表现用户当前的生理状态，同时忽略了多通道多个任务同步信息整合、认知负荷对用户的影响。因此如何利用多通道人机交互技术同步获取用户在日常同时处理多个任务的交互过程中不同交互通道中产生的有效信息，根据通道间互补冗余、相互影响的关系分析用户是否患有神经系统疾病，可有效的提高计算机辅助诊断的准确程度。

语音通道可反映用户的发音状态，笔通道可反映用户在运动以及认知方面的异常。研究在分别提取笔通道与语音通道的单一通道交互信息的基础上，通过书写与发音协作的方式执行指定任务，利用笔通道与语音通道同步执行多任务时手和语言功能的协调能力，对用户进行多通道多任务神经系统疾病辅助诊断，考虑多任务操作对用户交互通道间信息特性的影响，实时的诊断是否患有神经系统疾病，对神经系统疾病的初步检测与预防，具有重要的意义。

发明内容

本发明针对上述问题，提出一种基于笔和语音的协同任务神经系统疾病辅助诊断系统。该系统让用户通过笔通道与语音通道协作的方式完成指定任务，使用普通的触摸屏和麦克风对用户的笔迹信号与声音信号进行同步任务采集，利用大脑神经状态的改变对运动认知、发音、多任务协同处理等方面的影响提取多通道特征，训练决策模型分析判定用户是否患有神经系统疾病。其特点在于，通过笔和语音结合的方式对指定任务进行协同处理，同步采集笔和语音通道的输入信号，不仅考虑神经系统疾病在笔交互通道、语音交互通道单一通道内的生理表征，同时考虑多任务时笔通道和语音通道协作时不同生理通道表征的相关、互斥等通道间生理特性，得到多通道交互特征构建模型，对用户做出实时、精确、客观的自动诊断。

本发明采用的技术方案如下：

一种基于笔和语音的协同任务神经系统疾病诊断系统，其包括：

数据采集单元，负责采集用户信息、既往病史、对用户进行量表评估、对用户进行数字笔交互与发音交互的同步任务测试，并保存用户的笔迹和音频文件；