[发明专利]一种基于阵列式触觉传感器的情感识别装置及方法

权利要求书

1.一种情感识别方法，该方法采用一种基于阵列式触觉传感器的情感识别装置，该装置包括：电源、阵列式触觉传感器及其载体、微控制器和上位机；所述电源分别与阵列式触觉传感器、微控制器、上位机通过有线连接，所述阵列式触觉传感器放置在载体上，阵列式触觉传感器和微控制器通过有线连接，微控制器与上位机通过USB数据线连接；所述电源用于分别为阵列式触觉传感器、微控制器和上位机提供电力，所述载体用于支撑阵列式触觉传感器，所述阵列式触觉传感器用于采集参与者执行动作的压力值数据并发送给微控制器，所述微控制器用于控制阵列式触觉传感器工作，接收阵列式触觉传感器采集的压力值数据并保存，然后发送到上位机，所述上位机对从微控制器接收到的压力值数据进行保存，经过分析处理后实时显示情感识别的结果；其特征在于，该方法包括以下步骤：

1)将阵列式触觉传感器放置于载体上，拍摄以正确方式拍打阵列式触觉传感器的演示视频，并将视频播放给随机选定的M个参与者；

2)构建训练样本数据集并进行标签；具体步骤如下

2-1)令步骤1)选定的每个参与者分别以R种不同的情感按照步骤1)的视频中演示的方式来对传感器进行动作，R≥3，采集每个参与者每次拍打时阵列式触觉传感器的输出信号记为一个训练样本；

M个参与者每个人按每种情感分别进行N次动作并采集相应的输出信号，共得到P个训练样本组成训练样本数据集，P＝R×M×N，每个训练样本中的每一帧包含144个数据，分别对应阵列式触觉传感器生成的12×12的压力矩阵中的传感器压力值；

2-2)对训练样本数据集进行标签，将每个训练样本对应的参与者、情感和重复次数分别编号并进行标记，共生成P个标签；

3)对训练样本数据集进行预处理，得到训练样本特征集；具体步骤如下：

3-1)对训练样本数据集进行数据筛选，去掉每个训练样本中的错误的帧，得到数据筛选过后的训练样本数据集{R_p}；具体步骤如下：

3-1-1)任意选取一个训练样本，将该训练样本的每一帧的144个数据对应的压力值相加得到每一帧的压力值总和SP，然后绘制出该训练样本的时间t与每一帧压力值总和SP之间的关系图，利用关系图通过数据筛选方式排除该训练样本中未执行动作或者执行动作错误的帧，完成对该训练样本的数据筛选；

3-1-2)对所有训练样本重复步骤3-1-1)，得到数据筛选过后的训练样本数据集{R_p}；

将{R_p}记为矩阵的形式，则{R_p}的行数为训练样本数据集中对应动作的帧数总和，其中第P个动作对应的帧数记为A_p,p＝1,2,...,900；{R_p}的列数对应每一帧的传感器压力值数，列数为144；

3-2)对{R_p}进行特征提取，分别得到数据特征集{D_p}和边缘检测特征集{U_p}；具体步骤如下：

3-2-1)对{R_p}中的900个动作在行方向上分别进行特征提取；具体如下：

对{R_p}中每个动作对应的所有行的144列求取每一列的平均值，得到900×1维的行平均压力值矩阵；

对{R_p}中每个动作对应的所有行的144列求取每一列的最大值，得到900×1维的行压力最大值矩阵；

设定一个无信号率阈值T，对{R_p}中每个动作对应的所有行分别求取每行的平均压力值并进行判定：如果该行的平均压力值小于T，则该行为无信号行；否则，该行为有信号行；则每个动作的无信号率＝无信号行数/该动作对应的总行数，得到900×1维的无信号率矩阵；

将{R_p}的每一行的144列数据还原成该行对应的12×12的压力矩阵，求取{R_p}中每个动作的所有行对应的12×12的压力矩阵中行平均值和列平均值，则分别得到900×12维的行平均值矩阵和列平均值矩阵；

3-2-2)对{R_p}中的900个动作在列方向上分别进行特征提取；具体如下：

对{R_p}的每个动作对应的每一列求取压力平均值，得到900×144维的列平均压力值矩阵；

对{R_p}每个动作中所有相邻行求取差值的绝对值得到一个新的矩阵Q，然后对Q中每个动作对应的列求取列平均值，得到900×144维的通道平均压力变化矩阵；

对{R_p}中的每个动作的每一列设定一个对应的通道压力阈值M_pi，其中下标p＝1,2,...,900；i＝1,2,...,144，统计每个动作中每一列大于该列对应M_pi的数据个数记为B，将B除以{R_p}的总行数得到该列对应的的通道压力百分比，将所有动作每一列对应的通道压力百分比组合得到得到900×144维的通道压力百分比矩阵；

3-2-3)将所有行方向和列方向的特征组合，得到900×435维的数据特征集{D_p}；

3-2-4)对{R_p}每帧进行边缘检测来提取压力的变化量，得到每帧压力变化量组成的900×435维的边缘检测特征集{U_p}；

3-3)将步骤3-2)得到的{D_p}和{U_p}组合起来，得到900×870维的矩阵，使用随机森林模型来对该矩阵进行特征选择，选取最为重要的前30％-50％特征，得到特征选择后的训练样本特征集{X_p}，{X_p}中每一个动作带有步骤2-2)生成的对应标签；

4)对步骤3-3)得到的训练样本特征集{X_p}进行训练，得到训练完毕的支持向量机SVM模型；具体步骤如下：

4-1)对步骤3-3)得到的训练样本特征集{X_p}进行归一化；

4-2)对经过步骤4-1)归一化后的训练样本特征集选用RBF核函数；然后采用LIBSVM工具箱中的交叉验证功能，得到了最佳的参数C与g；

4-3)利用步骤4-2)得到的最佳参数C与g对900个动作对应的训练特征集D＝{(x_i,y_i)|i＝1,2,...,900}进行训练得到训练完毕的SVM模型，其中，x_i是训练样本特征集{X_p}的第i个动作对应的特征集合，y_i＝{+1,-1}，+1代表是，-1代表否；

5)情感识别；

5-1)随机选取一个形成训练样本的M个参与者之外的人员作为测试者，该测试者随机选取一种情感按步骤1)的视频中演示的方式对传感器进行动作并采集输出信号，得到一个测试样本；

5-2)按照步骤3)的方式，对步骤5-1)得到的测试样本进行预处理，得到测试样本特征集；

5-3)将步骤5-2)得到的测试样本特征集输入步骤4)训练完毕的SVM模型，模型输出该测试样本对应的情感标签，即为测试者该次动作的情感识别的结果。