[发明专利]应用于元宇宙的眼球跟踪方法、装置、设备

说明书

本申请的实施例提供了应用于元宇宙的眼球跟踪方法、装置、设备和计算机可读存储设备。所述方法包括通过元宇宙拍摄设备，获取使用者的眼睛图像；逐帧提取所述眼睛图像中的特征，得到第一特征图；基于自注意力机制，对所述第一特征图进行处理，得到第二特征图；对所述第二特征图进行关键点检测，得到眼球位置；基于所述眼球位置，绘制眼球的关键点轨迹，预测下一帧的眼球位置，完成眼球跟踪。以此方式，对眼球的快速、精准追踪。

技术领域

本申请的实施例涉及虹膜图像处理领域，尤其涉及应用于元宇宙的眼球跟踪方法、装置、设备和计算机可读存储设备。

背景技术

随着虚拟现实不断的发展和元宇宙概念的提出，许多研究学者将虚拟现实技术作为热门的课题进行研究，其中眼球追踪成为实现元宇宙概念中重要突破的技术领域，在虚拟现实场景中应用眼球追踪能确保精确度不减少的情况下，提高场景中图像的处理速度和用户在场景中的浸透性，降低性能的消耗和用户的眩晕感，疲劳感。

transformer的结构在自然语言处理任务中取得了优异的成绩，之后视觉任务也在不断探索transformer结构在图像处理上的能力。transformer结构可以有效的获得多个关联向量之间的关联度，而眼球追踪任务在时间维度上各帧间是高度关联的。

因此，如何更好地使用transformer结构，进行眼球追踪获得眼球在时间维度的关联，并绘制运动轨迹和预测眼球位置，是目前亟需解决的。

发明内容

根据本申请的实施例，提供了一种应用于元宇宙的眼球跟踪方案。

在本申请的第一方面，提供了一种应用于元宇宙的眼球跟踪方法。该方法包括：

通过元宇宙拍摄设备，获取使用者的眼睛图像；

逐帧提取所述眼睛图像中的特征，得到第一特征图；

基于自注意力机制，对所述第一特征图进行处理，得到第二特征图；

对所述第二特征图进行关键点检测，得到眼球位置；基于所述眼球位置，绘制眼球的关键点轨迹，预测下一帧的眼球位置，完成眼球跟踪。

进一步地，所述逐帧提取所述眼睛图像中的特征，得到第一特征图包括：

通过mobileNetV2网络，逐帧提取所述眼睛图像中的特征，得到眼睛图像特征图；

对眼睛图像特征图进行检测，若当前帧为闭眼，则不进行跟踪；若为睁眼，则根据所述眼睛图像特征图，构建第一特征图；

其中，所述mobileNetV2网络的第一个卷积为ECB卷积块。

进一步地，所述基于自注意力机制，对所述第一特征图进行处理，得到第二特征图包括：

若所述第一特征图为单帧图像的特征图，则单独进行自注意力计算，得到第二特征图；

若所述第一特征图为多帧图像的特征图，则对当前帧进行自注意力计算，同时对当前帧与其它帧的帧间进行自注意力计算，将计算结果进行融合，得到第二特征图。

进一步地，所述若所述第一特征图为多帧图像的特征图，则对当前帧进行自注意力计算，同时对当前帧与其它帧的帧间进行自注意力计算，将计算结果进行融合，得到第二特征图包括：

将当前帧以及当前帧之前的至少一帧的特征图，分别拉成预设大小的向量，得到每个特征图的向量，以及每一帧的嵌入矩阵；其中，每一帧的图像均包括n个特征图；所述n为正整数；

按照时间顺序，对所述嵌入矩阵中的向量进行位置编码，将已进行位置编码后的嵌入矩阵输入到预设的transformer编码器中，得到第二特征图。

进一步地，所述将已进行位置编码后的嵌入矩阵输入到预设的transformer编码器中，得到第二特征图包括：