[发明专利]一种基于非侵入式脑机接口的意念控制虚实融合反馈方法

权利要求书

1.一种基于非侵入式脑机接口的意念控制虚实融合反馈方法，其特征在于，包括如下步骤：

步骤1、使用非侵入、便携式干电极脑电采集设备收集、记录和传输使用者连续的脑电图信号；所述非侵入、便携式干电极脑电采集设备通过蓝牙与运行脑电信号处理计算软件的轻量级移动设备连接；所述轻量级移动设备与运行增强现实软件的平板电脑或手机连接在同一局域网环境下；通过脑电信号处理算法将脑电信号处理为0～100范围的意念控制数据值，虚实融合显示模块将意念控制数据可视化映射到真实捕获的场景中，并使用该数据关联和控制虚拟物体，通过轻量级移动设备屏幕或投影屏幕显示控制结果的虚实融合场景，实现实时的沉浸式虚实融合双向交互；

步骤2、轻量级移动设备上的脑电信号处理计算软件将便携式干电极脑电采集设备采集到的脑电信号通过脑电信号处理算法处理为意念控制数据值；所述便携式干电极脑电采集设备分别收集Alpha、Belta、Delta、Theta、Gamma五种类型的脑电波和眨眼、咬牙动作；

通过脑电信号处理算法将脑电信号处理为0～100范围的意念控制数据值，所述脑电信号处理算法具体是采用意念控制估算算法，使用截止频率为50Hz的低通滤波器处理量化级别为16位、频率为256Hz的脑电数据，采用快速傅里叶变换将一个256个样本点的样本数据片段转换到频域，片段以128个点与前一片段重叠的方式进行滑动；F(n)为片段分析结果，n＝1,2,…,256；功率谱密度计算为：

N为数据点数，为256个点；

根据脑电信号的波段分布分别对各波段脑电波功率谱密度值求和，产生特征E_Alpha、E_Belta、E_Delta、E_Theta、E_Gamma，计算方式为：

f_max为各波段的最高频率，f_min为各波段的最低频率；通过已训练的神经网络模型得到最终输出结果即意念控制数据值Att，范围在0～100之间；所述意念控制估算算法描述如下：

输入：五类脑电波信号Signals，为五类脑电波信号和眨眼咬牙动作信号；

输出：意念控制数据值Att，Att范围为0～100；

步骤1、使用低通滤波处理信号，Signals＝LowPassFilter(Signals)，LowPassFilter()函数为低通滤波函数，输入为原始信号，输出为经过滤波后的可用信号，低通滤波器所用截止频率值参考使用者设置头带对脑电波的采样频率；采用基于小波变换的多分辨率分析的方法进行眨眼或咬牙信号的分离，得到随时间变化的眨眼和特征向量；

步骤2、分割信号，Segments＝CutPointSignals(Signals)，Segments为切割得到的信号片段，CutPointSignals()函数为片段分割函数，输入为经过低通滤波的可用信号，输出为可用信号片段，获取片段的滑动窗口大小参考使用者设置的采样频率；

步骤3、采用快速傅里叶变换转换Segments，Segments＝FTT(Segments)，FFT()为快速傅里叶变换，将信号片段从空域转换到频域；

步骤4、定义功率谱密度为P(n)为功率谱密度计算函数，对每一个片段进行计算，单位为W/Hz；F(n)为一个片段的快速傅里叶变换结果，n为片段编号，F^*(n)为F(n)的共轭函数；

步骤5、分别计算每种类型脑电波的功率谱密度值和眨眼咬牙特征向量作为特征数据，

E为根据功率谱密度定义的信号特征，每一类信号有一个E特征；f_max为各波段的最高频率，f_min为各波段的最低频率；P_f为不同频率的功率谱密度；

步骤6、使用神经网络学习特征得到意念控制数据值Att，Att＝Net(E)，Net()为训练的网络模型，所用训练数据输入为每种类型脑电波的功率谱密度值和眨眼咬牙特征的融合特征向量，标签为人工标注的注意力值大小，函数将信号特征映射为注意力值Att；

步骤7、返回Att意念控制数据值；

步骤3、所述意念控制数据值通过UDP网络通信OSC协议传输到装有增强现实软件的平板电脑或手机上；所述增强现实软件实现将输入的意念控制数据进行可视化并关联虚拟物体，再通过轻量级移动设备屏幕或投影屏幕显示反馈信息进行多通道双向实时交互，所述反馈信息包括增强现实场景下的虚拟物体形态、呈现在轻量级移动设备屏幕的视觉信息，以及声音信息和触感信息，实现根据使用者的脑电信号打造实时变化的沉浸式虚实融合交互环境。