[发明专利]应用于元宇宙的眼球跟踪方法、装置、设备

权利要求书

1.一种应用于元宇宙的眼球跟踪方法，其特征在于，包括：

通过元宇宙拍摄设备，获取使用者的眼睛图像；

通过mobileNetV2网络，逐帧提取所述眼睛图像中的特征，得到第一特征图；其中，所述mobileNetV2网络的第一个卷积为ECB卷积块；

若所述第一特征图为单帧图像的特征图，则单独进行自注意力计算，得到第二特征图；

若所述第一特征图为多帧图像的特征图，将当前帧以及当前帧之前的至少一帧的特征图，分别拉成预设大小的向量，得到每个特征图的向量，以及每一帧的嵌入矩阵；其中，每一帧的图像均包括n个特征图；所述n为正整数；按照时间顺序，对所述嵌入矩阵中的向量进行位置编码，将已进行位置编码的嵌入矩阵输入到预设的transformer编码器中，得到第二特征图；

对所述第二特征图进行关键点检测，得到眼球位置；基于所述眼球位置，绘制眼球的关键点轨迹，预测下一帧的眼球位置，完成眼球跟踪。

2.根据权利要求1所述的方法，其特征在于，所述通过mobileNetV2网络，逐帧提取所述眼睛图像中的特征，得到第一特征图包括：

通过mobileNetV2网络，逐帧提取所述眼睛图像中的特征，得到眼睛图像特征图；

对所述眼睛图像特征图进行检测，若当前帧为闭眼，则不进行跟踪；若为睁眼，则根据所述眼睛图像特征图，构建第一特征图。

3.根据权利要求2所述的方法，其特征在于，所述将已进行位置编码后的嵌入矩阵输入到预设的transformer编码器中，得到第二特征图包括：

其中，所述transformer编码器由投影矩阵、多头自注意力、残差块、归一化、卷积构成；

将已进行位置编码后的嵌入矩阵输入到预设的transformer编码器，通过投影矩阵分别计算出Q、K、V矩阵；

将当前帧的Q、K、V矩阵，以及其它帧的K、V矩阵输入到多头自注意力中，得到第一输出结果；

将所述第一输出结果和当前帧的嵌入矩阵，输入到残差块中进行相加；

对相加结果进行归一化处理，得到第二输出结果；

将所述第二输出结果输入到卷积块中，得到第二特征图。

4.根据权利要求3所述的方法，其特征在于，所述多头自注意力包括：

其中，z为多头自注意力计算结果；

Q_t、K_t、V_t分别表示第t帧的q、k、v；

(V_t,V_t-1)表示将V_t和V_t-1两个矩阵进行拼接；

(K_t,K_t-1)表示将K_t和K_t-1两个矩阵进行拼接；

和为预先定义的经验参数。

5.根据权利要求4所述的方法，其特征在于，所述对所述第二特征图进行关键点检测，得到眼球位置包括：

对所述第二特征图分别进行一次卷积、两次卷积和三次卷积，得到三个尺度的输出；

将所述三个尺度的输出拼接后进行全连接，得到眼球位置。