[发明专利]一种注意力分析方法、系统、电子设备以及存储介质

权利要求书

1.一种注意力分析方法，其特征在于，所述方法应用于机器人，所述方法包括：

基于设置在所述机器人上的摄像头，实时获取待分析用户的头部姿态信息与视线方向信息，并实时确定所述待分析用户的注意力估计方向；

判断标定时间段内所述待分析用户在所述注意力估计方向上的注意力集中程度；

若所述待分析用户在所述注意力估计方向上的注意力集中程度表征集中时，根据所述待分析用户的所述注意力估计方向，控制所述摄像头旋转并实时采集所述摄像头旋转过程中的环境图像；

分别构建所述摄像头在旋转过程中采集的所述环境图像中多个物体各自对应的点云，根据所述待分析用户的注意力估计方向以及所述多个物体各自对应的点云，确定所述待分析用户的注意力在所述多个物体的上的概率分布；

在所述待分析用户的注意力在所述多个物体中目标物体上的概率大于概率阈值时，确定所述待分析用户的注意力在所述目标物体上。

2.根据权利要求1所述的方法，其特征在于，基于设置在所述机器人上的摄像头，实时获取待分析用户的头部姿态信息与视线方向信息，并实时确定所述待分析用户的注意力估计方向，包括以下步骤：

基于设置在所述机器人上的摄像头，实时采集所述待分析用户的图像；

将当前获取的所述待分析用户的图像实时作为输入，输入头部姿态估计模型中确定所述待分析用户当前的头部姿态信息，以及输入视线方向估计模型中确定所述待分析用户当前的视线方向信息；

将所述待分析用户当前的头部姿态信息与当前的视线方向信息作为输入，输入注意力估计方向估计模型，以获得所述待分析用户当前的所述注意力估计方向；

其中，所述注意力估计方向估计模型是基于多个样本用户各自的头部姿态样本信息与视线方向样本信息训练而成的。

3.根据权利要求1或2所述的方法，其特征在于，判断标定时间段内所述待分析用户在所述注意力估计方向上的注意力集中程度，包括：

将所述标定时间段内连续的注意力估计方向的估计结果作为输入，输入注意力集中程度判断模型，以得到在所述注意力估计方向上的注意力集中程度，所述注意力集中程度判断模型的输出结果包括注意力集中与注意力不集中；

在所述注意力集中程度判断模型的输出结果为注意力集中时，输出注意力集中时的所述注意力估计方向，并停止获取所述注意力估计方向的估计结果；

在所述注意力集中程度判断模型的输出结果为注意力不集中时，不输出所述注意力估计方向，继续获取所述待分析用户的下一帧图像的注意力估计方向的估计结果；

其中，所述注意力集中程度判断模型是根据多个注意力样本方向训练而得到的。

4.根据权利要求1所述的方法，其特征在于，分别构建所述摄像头在旋转过程中采集的所述环境图像中多个物体各自对应的点云，根据所述待分析用户的注意力估计方向以及所述多个物体各自对应的点云，确定所述待分析用户的注意力在所述多个物体的上的概率分布，包括：

将所述摄像头在旋转过程中采集的当前所述环境图像输入预设的物体分割模型，通过所述预设的物体分割模型识别对所述环境图像进行物体识别，输出识别到的各个物体在图像中的位置以及各个物体各自对应的物体类型，其中所述预设的物体分割模型是以多个包括有不同物体的样本图像训练而成的；

对所述预设的物体分割模型识别到的物体分别设置各自的物体ID；

在所述摄像头旋转过程中，分别构建所述预设的物体分割模型确定的当前所述环境图像中多个不同类型的物体各自对应的点云，其中，所述点云中的每个点都携带有对应的物体类型和物体ID；

将携带有所述物体ID和对应物体类型的点云、所述待分析用户的头部姿态信息以及所述待分析用户的视线方向信息输入预设概率计算模型中，得到所述待分析用户的注意力在所述多个物体的上的概率分布；

其中，所述预设概率计算模型是由多组样本数据组训练而成的，所述样本数据组包括携带有样本物体ID和对应的物体类型的多组点云、样本用户的头部姿态样本信息与视线方向样本信息。