[发明专利]一种基于脑机接口和动作识别的瘫痪患者监护系统

权利要求书

1.一种基于脑机接口和动作识别的瘫痪患者监护系统，其特征在于，包括脑机接口模块、视频采集模块、边缘计算模块、报警模块、运动模块和云端服务器模块，脑机接口模块、视频采集模块将数据传递到边缘计算模块进行处理，然后报警模块、运动模块根据处理结果进行对应操作，云端服务器模块与边缘计算模块进行数据交互；其中，

脑机接口模块用于采集患者的脑电波信息，并将脑电信号传送到边缘计算模块；

视频采集模块用于获取患者的眼球、表情和手势的视频图像，并将视频图像数据传送到边缘计算模块；

边缘计算模块用于对脑机接口模块和视频采集模块中的信息进行实时处理分析，根据分析结果做出相应的操作；

报警模块用于判断边缘计算模块是否产生报警信息，如果有则启动报警操作；

运动模块用于跟患者交互，进行康复训练；

云端服务器模块用于保存患者的脑电波和各种动作数据，为边缘计算模块提供数据支撑，以及定期向边缘计算模块发送自我训练后网络模型。

2.根据权利要求1所述基于脑机接口和动作识别的瘫痪患者监护系统，其特征在于，脑机接口模块采用头戴式的脑电帽，使用脑电帽上的电极从头皮上采集脑电信号。

3.根据权利要求1所述基于脑机接口和动作识别的瘫痪患者监护系统，其特征在于，视频采集模块通过患者前方的摄像头采集其眼球、表情和手势动作信息。

4.根据权利要求1所述基于脑机接口和动作识别的瘫痪患者监护系统，其特征在于，边缘计算模块对脑机接口模块采集的信息进行分析，得到患者的情绪变化和生理变化，该模块将情绪变化和生理变化信息保存在云端服务器模块，并判断当前的情绪变化和生理变化是否属于异常，当属于异常情况时发出报警信号，报警信号发送给报警模块。

5.根据权利要求1所述基于脑机接口和动作识别的瘫痪患者监护系统，其特征在于，边缘计算模块采用基于深度神经网络的图像分类模型对眼球、表情、手势动作信息进行分类，图像分类模型使用云端服务器模块训练好的ShuffleNet V2轻量级网络训练模型；ShuffleNet V2轻量级网络模型对视频采集模块的信息进行处理，对患者当前眼球动作、表情变化、手势动作发生异常的情况下进行报警；边缘计算模块还对患者当前的手势动作信息进行分析启动相应的运动模式。

6.根据权利要求1所述基于脑机接口和动作识别的瘫痪患者监护系统，其特征在于，边缘计算模块中，画质改善使用改进的ResNet-18网络，通过该网络对视频内容进行画质增强。

7.根据权利要求1所述基于脑机接口和动作识别的瘫痪患者监护系统，其特征在于，运动模块根据边缘计算模块计算的信息，通过手势动作或声音启动预先设定好的运动模式，帮助瘫痪患者进行康复训练；运动模块包含人机智能语音交互功能，在患者正常说话时直接通过语音控制，此处通过多线性回归方法对声音信息认证。

8.根据权利要求1所述基于脑机接口和动作识别的瘫痪患者监护系统，其特征在于，云端服务器模块的计算使用基于Spark搭建的准实时数据仓库，使用Yarn进行数据资源的管理调度；将边缘计算模块传递过来的信息进行实时的分析处理，并将处理结果返回到边缘计算模块；将脑电波数据以日志的方式存储到日志服务器中，图像数据存储到hdfs上。

9.根据权利要求1所述基于脑机接口和动作识别的瘫痪患者监护系统，其特征在于，该系统的具体工作流程如下：

步骤1、将当前患者正常状态下的情绪、生理、眼球、表情和手势信息数据录入到数据库；

步骤2、患者头戴脑电帽，脑电帽上的电极从患者头皮上实时采集脑电信号；

步骤3、患者前方设有摄像头，摄像头实时采集其眼球、表情和手势视频图像；当前光线不足时，基于改进的ResNet-18网络对视频图像进行改善；

步骤4、基于ShuffleNet V2轻量级网络识别视频图像中患者的眼球动作、表情变化和手势动作；同时，对采集的脑电信号进行分析，得到患者的情绪变化和生理变化；

步骤5、若判断当前患者眼球动作、表情变化、手势动作、情绪变化或生理变化不属于正常状态下的情形时断定当前患者发生异常，此时产生报警信息，发出报警信号；

步骤6、数据库内预先设定好运动模式内容，当患者需要进行康复运动时，可以通过手势动作或声音进行控制；运动模型的启动方式有两种：当做出手势动作时，ShuffleNet V2轻量级网络识别相应手势动作，将动作分析完成后启动匹配的康复运动；当患者发出声音时，通过多线性回归方法对声音信息进行认证，认证成功后进行匹配的康复运动；

步骤7、存储当前患者所有情绪、生理、眼球、表情和手势信息，为医疗人员后续提供合理解决方案提供数据支持。