[发明专利]一种可靠的用户注意力监测估计表示模型

说明书

本发明提供了一种可靠的用户注意力监测估计表示模型，包括单模态注意力计算层、多模态融合层和用户注意力表示层。通过对采集到的用户注意力变化的原始数据进行综合计算，得到表示用户当前注意力的注意力数值。本发明利用多个注意力检测模态，通过减少这些模态之间的依赖关系和优化多个模态注意力值的融合计算，能够获得更加可靠的用户注意力值，解决模态缺失或单模态检测效果不佳的用户注意力可靠检测问题。

技术领域

本发明属人机交互处理技术领域，具体涉及一种可靠的用户注意力监测估计表示模型。

背景技术

注意力检测技术随着现在网络的急速发展，可应用的范围也越来越广，同时在检测驾驶员注意力、在线教育情况下远程检测学生注意力方面已经有广泛的研究，已经有很多的研究人员提出了诸如脸部检测注意力、头部姿态检测注意力、眼睛闭合状态检测注意力的这类检测方法。但是目前的注意力检测研究和产品都大大小小的存在一些可靠性问题，这些研究和产品在进行注意力的检测的时候，缺乏考虑到模态出现误差的场景，这会导致最后的检测结果太过于依赖于某一个模态的稳定性。例如使用检测人体脸部这个模态来做注意力检测的话，在光线效果不佳的情况下，那么脸部检测模态是很容易出现误差的。因此如果能在某个模态出现误差情况下，甚至某个模态的效果特别差或者不能正常使用的情况下，还能正常的得到一个可靠的注意力的数据指标，将更加有利于提高注意力检测产品的结果可靠性和稳定性。

发明内容

为了克服现有技术的不足，本发明提供一种可靠的用户注意力监测估计表示模型。可以在注意力检测情况下即使某些模态在出现误差，甚至效果特别差或者不能正常使用的情况下，仍然能计算出一个可靠的注意力数据值。

一种可靠的用户注意力监测估计表示模型，其特征在于：包括单模态注意力计算层、多模态融合层和用户注意力表示层，其中，单模态注意力计算层对每个单模态获取的用户注意力变化原始数据进行处理，得到各个单模态对应的注意力数值，和各个单模态的融合权值一起输出到多模态融合层；多模态融合层周期性地对在上一融合时间至当前融合时间的时间间隔内每个单模态的若干个注意力数值进行处理，对每个单模态得到一个融合前的注意力代表数值，并对所有单模态的融合前注意力代表数值进行融合计算，得到多模态融合注意力数值输出到用户注意力表示层；用户注意力表示层周期性地对该层内部存储的固定个数的多模态融合注意力数值进行融合计算，得到用户当前的注意力计算数值。

其中，单模态注意力计算层对每个单模态进行独立化处理，每个单模态进行数据采集和独立计算，得到单模态注意力数值；所述的单模态具有其独立的融合权值和计算周期，并依赖于该模态的原始配置情况；所述的融合权值为单模态的模型检测精度或准确度；所述的单模态注意力数值为0或1，分别对应表示用户当前注意力为不集中状态或注意力集中状态。

所述的多模态融合层周期性地按以下过程进行处理：

首先，对所接收的从上一融合时间至当前融合时间间隔内每个单模态的注意力数值进行处理，如果融合时间间隔内单模态只有一个注意力数值，则直接以该注意力数值作为其融合前的注意力代表数值，否则，以出现概率最大的注意力数值作为该单模态的融合前的注意力代表数值；所述的当前融合时间为多模态融合层进行计算的当前时间，所述的融合时间间隔大于等于每个单模态的计算周期；

然后，根据每个单模态的融合权值对各个单模态融合前的注意力代表数值进行归一化加权，计算公式为：

其中，y为多模态融合注意力数值，取值为[0，1]，z_i为融合时间间隔内第i个单模态的融合前的注意力代表数值，x′_i为第i个单模态的归一化融合权值，按照下式计算：

其中，x_i表示第i个单模态的融合权值，n表示单模态注意力计算层中包含的单模态个数，n≥2。