[发明专利]基于模拟人的自助化BLS培训与考核系统

权利要求书

1.基于模拟人的自助化BLS培训与考核系统，其特征在于，包括：

自助化BLS培训与考核系统，用于培训并考核受训者的BLS理论及操作技能，并发放电子培训证书；

报名终端，用于受训者进行网络注册、报名以及预约模拟人及考核时间；

学生终端，用于受训者进行理论和技能的自助化学习与考核，包括BLS理论学习、基于模拟人的BLS技能练习、BLS理论考核、基于模拟人的自助化BLS技能考核；

教师终端，用于教师进行线上教学、管理教学资料；

师生交互终端，用于学生在学习过程中与教师进行交流沟通；

持证终端，用于考核通过后发放电子培训证书；

所述报名终端、学生终端、教师终端、师生交互终端、持证终端均连接自助化BLS培训与考核系统；

所述基于模拟人的自助化BLS技能考核包括：

数据采集模块，所述数据采集模块用于采集受考核者在BLS技能操作全过程中的操作视频；

智能判读模块，所述智能判读模块包括语音识别模块和动作识别模块，所述语音识别模块用于提取所述操作视频中的音频数据进行语音识别判读，所述动作识别模块用于提取所述操作视频中的图像数据进行动作识别判读；

自助化考核中央控制单元，所述自助化考核中央控制单元用于控制数据采集模块和智能判读模块；

所述语音识别模块对语音的识别采用以下步骤：

a.1、提取音频数据；

a.2、建立LSTM语言模型；

a.3、建立LSTM+CTC声学模型；

a.4、构建字典；具体包括以下子步骤：

a.4.1、构建语言模型字典：为每个词赋予唯一的索引，输入向量输出条件概率采用Softmax函数进行归一化分类，计算公式为：

其中，n_i＝(n-1)m，n-1代表前n-1个词，m表示特征向量的大小，k表示字典的大小，v_i表示字典v中的第i个字，表示前n-1个词的条件概率；

a.4.2、构建发音字典；

a.5、解码后输出文本信息；包括：将步骤a.2中语言模型输出的概率、步骤a.3中声学模型转换出的声素、步骤a.4中字典结合解码，进行文本输出，计算公式为：

其中，P(X|H)为声学模型，P(H│C)、P(C│L)和P(L│W)分别表示状态序列对上下文相关的音素序列、上下文相关的音素序列对音素序列，以及音素序列对字序列的后验概率；P(W)为语言模型；

对新采集的受训者的BLS操作语音信息数据，重复步骤a.2-a.5，得到BLS操作文本语句信息；

a.6、文本检查模块对文本信息数据进行文本识别判读；包括根据文本检测并抽取出关键时间点序列，并与字典进行相似度对比，

所述文本检查模块对文本信息数据进行文本识别判读的规则策略设定如下：

设置文本参数库里词语的关键字权重，权重向量W＝{w1,w2…wn}；

所述相似度对比为：计算已设定的关键字权重与新采集的文本之间的余弦相似度，计算公式为：

X_i代表句子A中每个词出现次数*权重，Y_i代表句子B每个词出现的次数*权重；当夹角的余弦值接近于1或等于1时，两个文本相近；

对新转化的受训者的BLS操作语音文本数据，重复步骤a.2-a.6，得到BLS操作语音识别判读结果；

所述动作识别模块对动作的识别包括以下步骤：

b.1、视频帧序列提取，根据音频识别结果，结合关键词匹配的时间点序列提取指定时间点的视频帧；

b.2、构建骨架序列拓朴图信息；

b.3、建立并训练ST-GCN模型；

b.4、动作分类。