[发明专利]一种用于确定眼镜姿态的智能眼镜及其信号处理方法

权利要求书

1.一种智能眼镜，其特征在于，所述智能眼镜包括：

第一摄像单元，被配置为拍摄佩戴者的眼部的图像；

第二摄像单元，其配置为拍摄外部环境的图像；

姿态确定单元，其配置为：至少基于由所述第二摄像单元拍摄的一系列的外部环境的图像，来确定所述智能眼镜的姿态相关参数；

眼球跟踪单元，其配置为：基于由所述第一摄像单元拍摄的眼部的图像，确定佩戴者的注视点，基于所述佩戴者的注视点，确定所述第二摄像单元的成像焦点；

图像活动检测单元，其配置为对所述眼部的图像进行图像活动检测；在检测到图像活动的情况下，开启所述眼球跟踪单元，并指示所述第一摄像单元以第二分辨率和/或第二帧率工作，并且所述第二分辨率高于未检测到图像活动时的分辨率，所述第二帧率高于未检测到图像活动时的帧率。

2.根据权利要求1所述的智能眼镜，其特征在于，所述智能眼镜还包括：

音频处理单元，其配置为：基于姿态相关参数，对要播放的3D音频信号进行处理，以使得所述3D音频信号的感知音源保持稳定；以及

扬声器，其配置为播放处理后的3D音频信号。

3.根据权利要求2所述的智能眼镜，其特征还在于，所述智能眼镜还包括至少一个麦克风，其配置为采集音频信号；

所述音频处理单元进一步配置为：基于所述佩戴者的注视点相对于所述佩戴者的左右耳的方位，对所述至少一个麦克风采集的音频信号进行处理，以得到3D录音信号。

4.根据权利要求3所述的智能眼镜，其特征在于，所述至少一个麦克风进一步配置为：在所述佩戴者的注视点的方向上进行波束成形。

5.根据权利要求1所述的智能眼镜，其特征在于，所述图像活动检测单元由硬件电路实现。

6.根据权利要求1或2所述的智能眼镜，其特征在于，所述智能眼镜还包括惯性测量单元(IMU)，其配置为用于检测所述智能眼镜的姿态相关参数。

7.根据权利要求6所述的智能眼镜，其特征在于，还包括校准单元，其配置为：基于由所述第二摄像单元拍摄的一系列的外部环境的图像，对所述惯性测量单元(IMU)的零偏进行校准。

8.一种智能眼镜的信号处理方法，其特征在于，所述信号处理方法包括：

拍摄佩戴者的眼部的图像；

拍摄外部环境的图像；

至少基于拍摄的一系列的外部环境的图像，来确定所述智能眼镜的姿态相关参数；

基于由拍摄的佩戴者的眼部的图像，确定佩戴者的注视点，基于所述佩戴者的注视点，确定拍摄外部环境的图像的成像焦点；

对所述拍摄佩戴者的眼部的图像进行图像活动检测；在检测到图像活动的情况下，开启眼球跟踪，并以第二分辨率和/或第二帧率拍摄佩戴者的眼部的图像，并且所述第二分辨率高于未检测到图像活动时的分辨率，所述第二帧率高于未检测到图像活动时的帧率。

9.根据权利要求8所述的信号处理方法，其特征在于，所述方法还包括：

基于姿态相关参数，对要播放的3D音频信号进行处理，以使得所述3D音频信号的感知音源保持稳定；以及

播放处理后的3D音频信号。

10.根据权利要求8所述的信号处理方法，其特征在于，所述信号处理方法还包括：

利用至少一个麦克风采集音频信号；

基于所述佩戴者的注视点相对于所述佩戴者的左右耳的方位，对所述至少一个麦克风采集的音频信号进行处理，以得到3D录音信号。

11.根据权利要求10所述的信号处理方法，其特征在于，所述信号处理方法还包括：

对所述至少一个麦克风在所述佩戴者的注视点的方向上进行波束成形。

12.根据权利要求8或9所述的信号处理方法，其特征在于，所述信号处理方法还包括：

用惯性测量单元(IMU)检测所述智能眼镜的姿态相关参数。

13.根据权利要求12所述的信号处理方法，其特征在于，所述信号处理方法还包括：

基于一系列的外部环境的图像，对所述惯性测量单元(IMU)的零偏进行校准。