[发明专利]基于多尺度卷积的眼动事件检测方法

权利要求书

1.基于多尺度卷积的眼动事件检测方法，其特征在于，包括以下步骤：

步骤1、眼动序列的预处理；

步骤2，利用UNet模型对差分眼动序列进行多尺度特征提取与特征融合；

步骤3，使用循环神经网络模拟眼动事件序列；

步骤4、使用线性全连接层和Softmax将眼动序列中每一时刻的样本点分类为注视、眼跳和眼跳后震荡，实现眼动事件检测；

步骤5、使用事件级Cohen’s Kappa来对分类后的三种眼动事件进行性能评估。

2.根据权利要求1所述的基于多尺度卷积的眼动事件检测方法，其特征在于，步骤1具体按照以下步骤实施：

步骤1.1，选用公开的Lund2013眼动事件检测数据集为原始眼动序列，对于原始眼动序列需要剔除平稳追踪、眨眼和未定义的眼动事件，使得眼动序列仅包含注视、眼跳和眼跳后震荡三个事件以进行训练和测试；

步骤1.2，将剔除多余事件后的原始眼动序列进行分段操作，使得每段眼动序列只包含100个样本点，分段过程中以overlap的方式进行裁剪，得到分段眼动序列，每段分段眼动序列的段尾与下一段分段眼动序列的段首重叠10个样本点；

步骤1.3，对分段眼动序列进行差分操作得到差分眼动序列，差分眼动序列作为UNet网络的输入，输入的分段眼动序列首先在序列最前端复制首位样本点，使得分段眼动序列包含101个样本点；其中，分段眼动序列表示为：[(x_s0，y_s0)，(x_s1，y_s1)，(x_s2，y_s2)，…，(x_s(m-1)，y_s(m-1))，(x_sm，y_sm)]，差分后的差分眼动序列表示为：共100个样本点，其中差分计算公式为：

其中x_sm和y_sm表示分段眼动序列第m时刻样本点的坐标值，x_s(m-1)和y_s(m-1)表示分段眼动序列第m-1时刻样本点的坐标值，和表示差分眼动序列第m时刻样本点的坐标值。

3.根据权利要求2所述的基于多尺度卷积的眼动事件检测方法，其特征在于，步骤2中，UNet模型由编码器和解码器组成，其中编码器模块负责特征提取，由4个下采样块组成，每个下采样块由两个3*5的卷积核进行卷积以及一个3*5的池化核进行最大池化构成；解码器模块负责恢复原始分辨率，由4个上采样块组成，每个上采样块由上采样产生的特征向量与同一层级下采样块产生的特征向量进行特征融合操作以及两个3*5的卷积核进行的卷积操作构成，其中每个上采样块经过上采样之后得到的特征向量与同一层级下采样块产生的相同维度的特征向量进行特征融合，从而实现多尺度卷积的特征融合，使得模型对大样本和小样本具有相同的关注度。

4.根据权利要求3所述的基于多尺度卷积的眼动事件检测方法，其特征在于，步骤2中，下采样块中的卷积层使用padding补零，使得卷积前后序列的尺寸不变；每个下采样块经过两层卷积之后，感受野分别达到9、13、17、21，每个下采样块输出的特征向量的尺寸分别是[2,100,32]、[2,96,64]、[2,92,128]、[2,88,256]。

5.根据权利要求4所述的基于多尺度卷积的眼动事件检测方法，其特征在于，步骤3中，使用的循环神经网络为3层，每层包含64个神经元。

6.根据权利要求3所述的基于多尺度卷积的眼动事件检测方法，其特征在于，步骤4中，使用的线性全连接层为1层，输出类别为3类，分别对应注视、眼跳和眼跳后震荡三个眼动事件，训练过程中使用的损失函数是加权交叉熵损失函数，训练集中注视、眼跳和眼跳后震荡的样本权重比为[0.8557，0.1045，0.0398]，加权交叉熵损失函数的权重根据训练集中的样本权重比计算为[0.1443，0.8955，0.9602]。

7.根据权利要求6所述的基于多尺度卷积的眼动事件检测方法，其特征在于，步骤5中，评估过程中使用事件级Cohen’s Kappa来对检测结果进行性能评估，Cohen’s Kappa分数是两个评级者对同一信号的评级之间的度量，用于比较算法与手动评估之间的一致程度，其公式如下：

其中p_o是评分者之间相对观察到的一致性，表示阳性的样本相对于样本总数的分数，p_e表示随机打乱提交结果得到的概率，其公式如下：

其中N是样本数量，k是类别数量，n_k1是评分者1预测类别k的次数，n_k2是评分者2预测类别k的次数。