[发明专利]一种飞行员听觉注意反应时测量及预测方法

说明书

本发明公开了一种飞行员听觉注意反应时测量及预测方法，飞行员在完整接收到飞行语音指令的时间到下一个注视点开始形成的时间认为是飞行员对相应飞行语音指令的听觉注意反应时。飞行员听觉注意反应时预测方法包括利用飞行语音指令语音识别方法识别飞行语音指令的文本信息，建立并训练听觉注意反应时预测模型，对于新输入的待检测的飞行语音指令，先通过飞行语音指令语音识别和飞行语音指令模型向量化，生成对应的指令模型向量，再输入训练完成的听觉注意反应时预测模型，得到听觉注意反应时。本发明可以对飞行语音指令预测听觉注意反应时，揭示飞行员对飞行语音指令的听觉注意力分配的规律。

技术领域

本发明涉及听觉注意力分配领域，特别是用于飞行员听觉注意反应时测量及预测方法。

背景技术

听觉注意反应时为飞行员从接收飞行语音指令到做出反应的时间，对飞行员听觉注意反应时的测量及预测可以揭示飞行员对语音指令的听觉注意力分配规律。目前对飞行员听觉注意反应时的测量一般方法为给出相应的指令，被试根据指令进行相对应的操作，由给出指令到被试做出相应操作的时间被认为是听觉注意反应时。

发明内容

我们发现，对于飞行员而言，基于传统的时间间隔研究其听觉注意力分配规律是不合理的，实际上这样得出的反应时间会大于飞行员真实的反应时间，因为飞行员在接收到飞行语音指令后需要获取与操控、飞行状态、态势等相关的视觉信息，综合地做出判断，进而执行相应的操控。而实际上，在对飞行语音指令进行信息处理加工的过程中，飞行员在视觉通道信息的获取以及对信息的加工会形成视觉注视点，出现视觉转移，即视觉注意会转移到与飞行语音指令相关的操控或飞行信息上，通过视觉注视点采集设备可以采集到视觉注意转移和新的注视点形成的相关信息，因此通过捕获视觉注视点来测量飞行员的听觉注意反应时更加合理、准确。

语音识别相关的算法已经相当成熟，而且近年来随着互联网技术、智能硬件设备的快速发展，语音识别、声纹识别、声源检测等语音智能交互技术开始从实验室走向用户。由于语音识别技术是基于语音的人机交互系统最核心的技术，目前识别率已经达到可用的准确率，能够满足一些特定场景特定需求应用的要求。

对飞行员听觉注意反应时的预测是很重要的，这可以作为一种评价人机交互系统与飞行员的指标，进而对人机交互系统的效能增强提供依据，而且可以对系统进行人机工效的验证，然而目前对听觉注意反应时间预测的相关研究设计甚少。听觉注意反应时预测算法需要指令模型向量化，因为直接从文字信息难以判断出反应时间，因而需要对由飞行语音指令识别得到的文本信息进行再次处理，受自然语言处理的LDA 主题模型启发，我们从飞行语音指令中提取出一些关键词，并将这些词划分为不同的主题，每一个主题作为特征向量的一个维度，从而得到飞行语音指令对应的特征向量。那么就可以将听觉注意反应时的判别问题转化为一个预测问题，即给定每个飞行语音指令的指令向量，得到对应的听觉注意反应时，相应的可以采用有监督的学习算法如双隐层的神经网络来解决该问题。

本发明的技术方案为：

所述一种飞行员听觉注意反应时测量方法，其特征在于：对于某一飞行语音指令，记录飞行语音指令结束时刻为飞行员完整接收到飞行语音指令的时刻T1；采用视觉注视点采集设备采集飞行员的注视点，得到飞行员在完整接收到飞行语音指令后发生视觉转移后下一个注视点的开始时刻T2，以T2-T1作为对于该条飞行语音指令的飞行员听觉注意反应时。

进一步的，可以通过对相应飞行语音指令多次重复试验测量平均值得到飞行员的听觉注意反应时。

所述一种飞行员听觉注意反应时预测方法，其特征在于：包括以下步骤：

步骤1：利用飞行语音指令语音识别方法识别飞行语音指令的文本信息：

步骤1.1：将预设的飞行语音指令字词音频文件进行分帧处理得到帧矢量时间序列，再对其中出现的字、词进行特征提取，生成的特征矢量时间序列作为一个模板，所有在飞行语音指令字词音频文件中出现过的字、词生成的模板组成最终的飞行语音指令模板库；