[发明专利]一种可靠的用户注意力监测估计表示模型

权利要求书

1.一种可靠的用户注意力监测估计表示模型，其特征在于：包括单模态注意力计算层、多模态融合层和用户注意力表示层，其中，单模态注意力计算层对每个单模态获取的用户注意力变化原始数据进行处理，得到各个单模态对应的注意力数值，和各个单模态的融合权值一起输出到多模态融合层；多模态融合层周期性地对在上一融合时间至当前融合时间的时间间隔内每个单模态的若干个注意力数值进行处理，对每个单模态得到一个融合前的注意力代表数值，并对所有单模态的融合前注意力代表数值进行融合计算，得到多模态融合注意力数值输出到用户注意力表示层；用户注意力表示层周期性地对该层内部存储的固定个数的多模态融合注意力数值进行融合计算，得到用户当前的注意力计算数值；

其中，单模态注意力计算层对每个单模态进行独立化处理，每个单模态进行数据采集和独立计算，得到单模态注意力数值；所述的单模态具有其独立的融合权值和计算周期，并依赖于该模态的原始配置情况；所述的融合权值为单模态的模型检测精度或准确度；所述的单模态注意力数值为0或1，分别对应表示用户当前注意力为不集中状态或注意力集中状态；

所述的多模态融合层周期性地按以下过程进行处理：

首先，对所接收的从上一融合时间至当前融合时间间隔内每个单模态的注意力数值进行处理，如果融合时间间隔内单模态只有一个注意力数值，则直接以该注意力数值作为其融合前的注意力代表数值，否则，以出现概率最大的注意力数值作为该单模态的融合前的注意力代表数值；所述的当前融合时间为多模态融合层进行计算的当前时间，所述的融合时间间隔大于等于每个单模态的计算周期；

然后，根据每个单模态的融合权值对各个单模态融合前的注意力代表数值进行归一化加权，计算公式为：

其中，y为多模态融合注意力数值，取值为[0,1]，z_i为融合时间间隔内第i个单模态的融合前的注意力代表数值，x′_i为第i个单模态的归一化融合权值，按照下式计算：

其中，x_i表示第i个单模态的融合权值，n表示单模态注意力计算层中包含的单模态个数，n≥2；

所述的用户注意力表示层中设置一个队列数据结构，用于存储固定个数的多模态融合层输出的多模态融合注意力数值，在队列中数据达到预设数量m之后，每接收一个新的多模态融合注意力数值即将其插入到队尾并且从队头删除一个多模态融合注意力数值，用户注意力表示层周期性对队列中存储的多模态融合注意力数值进行融合计算，公式如下：

其中，为该次计算得到的用户当前的注意力计算数值，取值为[0,1]，y_i为队列中存储的第i个多模态融合注意力数值，m为队列中存储的多模态融合注意力数值个数；为队列中存储的第i个多模态融合注意力数值的归一化权值，按照下式计算得到：

其中，v_i为队列中存储的第i个多模态融合注意力数值的初始权值，按照下式计算得到：

其中，i为队列中存储的多模态融合注意力数值的序号，i＝1,2,…,m，Gaussian为半正态分布函数，z_i≥0为函数变量，函数计算公式如下：

其中，参数σ取值为队列长度的一半大小，即σ＝m/2。