[发明专利]一种基于Transformer网络的多人行为识别方法

权利要求书

1.一种基于Transformer网络的多人行为识别方法，其特征在于，包括：

步骤1，采集环境传感器数据集，基于时间序列的传感器数据作为输入进入到模型中，通过固定大小的滑动窗口进行采样；

步骤2，采样得到的事件被嵌入到初始向量中，然后添加位置编码以表示该事件在序列中的顺序，之后，向量进入Transformer网络的Encoder编码器；

步骤3，应用顶部全连接层对用户和活动的标签进行分类。

2.根据权利要求1所述的一种基于Transformer网络的多人行为识别方法，其特征在于，所述步骤1的具体方法包括：

步骤1.1，在被测空间区域中布置环境传感器，收集用户行为数据；

步骤1.2，收集到的环境传感器数据以ON或OFF表示，ON代表传感器被触发，OFF代表传感器未被触发；

步骤1.3，筛选原始数据，去除属性为OFF的数据，保留属性为ON的数据，将每一个ON数据作为一个事件，将筛选后的ON数据按时间顺序排列形成时序数据；

步骤1.4，切分步骤1.3所得的时序数据，获得数据切片样本。

3.根据权利要求1所述的一种基于Transformer网络的多人行为识别方法，其特征在于，所述步骤1.4的具体方法包括：筛选后的各个属性为ON的数据按时间顺序排列，形成一组时序数据；在所述时序数据上使用一个预先设定的固定大小的滑动窗口获取原始信息，滑动窗口采集的结果作为数据切片样本。

4.根据权利要求1所述的一种基于Transformer网络的多人行为识别方法，其特征在于：所述预先设定的固定大小的滑动窗口尺寸k为经验参数。

5.根据权利要求1所述的一种基于Transformer网络的多人行为识别方法，其特征在于，所述步骤2的具体方法包括：

步骤2.1，通过Embedding嵌入算法将每一个切片数据样本对应的离散数据变量映射到连续的表征向量，嵌入算法对每一个样本数据独热处理，使其转化为一个向量；

步骤2.2，嵌入的结果集合即为嵌入矩阵R^T×C，其中，T表示时间序列维度，C表示通道维度；在此过程中，时间序列维度也就是数据切片时滑动窗口的长度k，每个通道都代表相应的传感器，数量是N；

步骤2.3，添加位置编码。构造一个和嵌入矩阵维度相同的矩阵PE，所述矩阵PE的行表示时间序列样本，列表示传感器，所述矩阵PE中的各个值由以下公式得出；

PE(pos，2i)＝sin(pos/10000^2i/dmodel)

PE(pos，2i+1)＝cos(pos/10000^2i/dmodel)

其中，PE表示位置编码矩阵，pos表示该传感器对应的序号，i表示行向量在矩阵中所处的位置，d_model表示行向量的维度；

将所述PE矩阵与嵌入矩阵相加，得到引入位置编码的新的特征向量矩阵；

步骤2.4，将新的特征向量矩阵中的m个行向量输入Encoder编码器，m的数值为Transformer网络所设置的批大小Batch size；

步骤2.5，进入编码器的向量首先传递到多头注意层，得到新的表征向量；采用Multi-attention注意力机制分别计算不同注意头下的注意力值，使网络更关注对行为识别贡献最大的关键帧，计算方法包括：

MultiHead(Q，K，V)＝Concat(head₁，…，head_h)

其中，Q，K，V分别表示注意力机制中的查询向量Query，表示与该样本相匹配的样本属性；值向量Key表示该样本本身的属性和值向量Value表示该样本包含的信息；

步骤2.6，通过层规范化Layer Normalization对步骤2.5中注意力层生成的新的表征向量进行归一化处理，将步骤2.4中的输入矩阵与步骤2.5所得的矩阵求和，并进行归一化，得到新的矩阵；

步骤2.7，将所述步骤2.6得到的矩阵传递到前馈神经网络Feed Forward进行处理，得到强化的表征向量矩阵；

步骤2.8，将步骤2.7所得的强化的表征向量矩阵接入一个归一化层，对矩阵中元素按行单位化，得到归一化矩阵；

步骤2.9，将输出的归一化矩阵继续发送到下一个编码器，得到最终的特征矩阵。