[发明专利]一种用于恒河猴眼动决策解码的多视图学习方法和系统

说明书

本发明公开了一种用于恒河猴眼动决策解码的多视图学习方法和系统，属于侵入式脑机接口中的多视图解码领域，所述方法包括：构建包括特征节点提取网络、增强节点提取网络和预测网络的眼动决策解码模型；将恒河猴侵入式脑机接口中侧额叶皮层辅助眼区局部场电位、动作电位与独热编码后的眼动决策方向数据，输入所述眼动决策解码模型进行训练，得到训练好的眼动决策解码模型；将待解码的局部场电位与动作电位输入训练好的解码模型中，得到眼动方向的解码结果。本发明的方法和系统使用限制少且计算复杂度低，适合用于侵入式脑机接口中动作电位与局部场电位信号的解码以及其他各种多视图学习场景。

技术领域

本发明属于侵入式脑机接口中的多视图解码领域，更具体地，涉及一种用于恒河猴眼动决策解码的多视图学习方法和系统。

背景技术

脑机接口是一种为大脑和外部设备提供直接交互通道的系统，侵入式脑机接口通常直接将电极阵列植入到大脑灰质中，以获取质量较高的信号进行解码。如文献[1]X.Chenand V.Stuphorn,“Sequential selection of economic good and action in medialfrontal cortex of macaques during value-based decisions,”Elife,vol.4,p.e09418,2015.将侵入式脑机接口应用于恒河猴上，其训练两只母性恒河猴通过眼动选择四个特定方向的视觉提示中的一个，并根据选择的视觉提示不同，获得相应不同单位的饮水奖励，整个训练过程中，通过侧额叶皮层辅助眼区植入的1至4通道的电极测量得到低频局部场电位与高频动作电位。综合利用局部场电位与动作电位，解码出眼动决策方向，有助于理解侧额叶皮层辅助眼区在大脑基于价值的视觉决策中起到的作用，也有益于高质量脑机接口系统的研究发展。

目前已经有一些基于局部场电位与动作电位进行解码的研究。如文献[2]H.S.Bokil,B.Pesaran,R.A.Andersen,and P.P.Mitra,“A method for detection andclassification of events in neural activity,”IEEE Trans.on BiomedicalEngineering,vol.53,no.8,pp.1678–1687,2006.使用两只恒河猴在记忆扫描任务中侧壁内区采集的局部场电位与动作电位，通过二维傅里叶变换提取局部场电位与动作电位的时-频谱特征，并基于对数似然进行解码分类；文献[3]A.K.Bansal,W.Truccolo,C.E.Vargas-Irwin,and J.P.Donoghue,“Decoding 3D reach and grasp from hybridsignals in motor and premotor cortices:spikes,multiunit activity,and localfield potentials,”Journal ofNeurophysiology,vol.107,no.5,pp.1337–1355,2011.训练两只雄性恒河猴截取、抓住和拿着各种物体，并同时通过猴子初级运动皮层与腹侧运动前皮质植入的96通道电极阵列记录局部场电位与动作电位信号，用于解码猴子的三维运动状态，并对局部场电位与动作电位信号各选择了最多50个通道进行拼接，以综合利用二者包含的信息；文献[4]H.-L.Hsieh,Y.T.Wong,B.Pesaran,and M.M.Shanechi,“Multiscalemodeling and decoding algorithms for spike-field activity,”Journal of NeuralEngineering,vol.16,no.1,2019.使用一只成年恒河猴在物体抓取任务中初级运动皮层、腹侧运动前皮质与背侧运动前皮质植入的共137通道电极采集局部场电位与动作电位，通过短时傅里叶变换提取局部场电位的功率谱特征，并基于运动状态分别对局部场电位与动作电位进行建模，最终使用递归贝叶斯滤波器基于贝叶斯自适应方法综合利用两种电位进行预测与更新。