[发明专利]一种飞行员听觉注意反应时测量及预测方法

权利要求书

1.一种飞行员听觉注意反应时测量方法，其特征在于：对于某一飞行语音指令，记录飞行语音指令结束时刻为飞行员完整接收到飞行语音指令的时刻T1；采用视觉注视点采集设备采集飞行员的注视点，得到飞行员在完整接收到飞行语音指令后发生视觉转移后下一个注视点的开始时刻T2，以T2-T1作为对于该条飞行语音指令的飞行员听觉注意反应时。

2.根据权利要求1所述一种飞行员听觉注意反应时测量方法，其特征在于：通过对相应飞行语音指令多次重复试验测量平均值得到飞行员的听觉注意反应时。

3.一种飞行员听觉注意反应时预测方法，其特征在于：包括以下步骤：

步骤1：利用飞行语音指令语音识别方法识别飞行语音指令的文本信息：

步骤1.1：将预设的飞行语音指令字词音频文件进行分帧处理得到帧矢量时间序列，再对其中出现的字、词进行特征提取，生成的特征矢量时间序列作为一个模板，所有在飞行语音指令字词音频文件中出现过的字、词生成的模板组成最终的飞行语音指令模板库；

步骤1.2：根据飞行语音指令中不同字、词包含的信息量，将模板库分成不同的词表，通过分析飞行语音指令的文法规则建立语义依存关系；

步骤1.3：基于飞行语音指令模板库和语义依存关系，通过动态时间伸缩匹配方法对输入的飞行语音指令进行识别，识别得到飞行语音指令的文本信息；

步骤2：建立并训练听觉注意反应时预测模型：

步骤2.1：从所有预设的飞行语音指令中提取出关键词，并将这些关键词划分为不同的主题，每一个主题作为指令模型向量的一个维度；

步骤2.2：对于某个飞行语音指令，通过步骤1识别得到文本信息后，选择能够表征这条飞行语音指令的关键词，将这些关键词在指令模型向量所对应主题的维度元素赋值为1，其余没有出现的主题维度元素赋值为0，得到了该飞行语音指令的指令模型向量；

步骤2.3：通过指令模型向量，将从飞行语音指令中识别的文本转化为听觉注意反应时预测模型的输入样本，利用输入样本以及样本对应的测量得到的听觉注意力反应时训练听觉注意反应时预测模型；

步骤3：对于新输入的待检测的飞行语音指令，先通过飞行语音指令语音识别和飞行语音指令模型向量化，生成对应的指令模型向量，再输入训练完成的听觉注意反应时预测模型，得到听觉注意反应时。

4.根据权利要求3所述一种飞行员听觉注意反应时预测方法，其特征在于：利用权利要求1所述测量方法得到样本对应的听觉注意力反应时。

5.根据权利要求3所述一种飞行员听觉注意反应时预测方法，其特征在于：在步骤1.3进行识别前，对输入的飞行语音指令进行滑窗分帧、特征提取处理，得到输入的飞行语音指令的特征矢量时间序列，然后基于输入的飞行语音指令的特征矢量时间序列，通过动态时间伸缩匹配方法进行识别。

6.根据权利要求3所述一种飞行员听觉注意反应时预测方法，其特征在于：步骤1中，飞行语音指令特征提取的特征参数采用标准的梅尔频率倒谱系数MFCC，并对MFCC参数进行一阶差分求得ΔMFCC，将ΔMFCC与MFCC组合作为特征矢量。

7.根据权利要求3所述一种飞行员听觉注意反应时预测方法，其特征在于：听觉注意反应时预测模型采用双隐层的神经网络，采用有监督的学习算法进行训练。