[发明专利]一种基于语音及图像特征的异常行为识别方法、装置及设备

说明书

本申请属于人工智能领域，公开了一种基于语音及图像特征的异常行为识别方法、装置及设备，利用经过学习训练后得到的人体特征提取模型对用户的图像进行特征提取得到待识别的图像特征向量，然后对用户的语音进行特征提取得到待识别的语音特征向量，再将待识别的图像特征向量和待识别的语音特征向量进行交叉融合后得到待识别的融合特征向量，利用卷积神经网络经过学习训练得到的异常行为识别模型对待识别的融合特征向量进行处理判断用户的动作是否属于异常行为，如果是证明该用户属于危险人员，启动对应的拦截功能对该用户进行拦截。这样能够更加快捷准确的识别行为异常的用户，有效提高了企业的安全系数，对企业的用户的安全提供了有效的保障。

技术领域

本申请涉及人工智能技术领域，特别是涉及一种基于语音及图像特征的异常行为识别方法、装置及设备。

背景技术

服务业的安防系统关系到社会稳定和人民的财产安全，一直以来都是安全防范发展的重点。例如，银行网点现有的安防系统已无法可靠保障银行网点营业和网点内人员的安全。

一些服务业的安防系统，都是采用触发报警或者视频监控的方式，这种方式只能在危险人员进入后，通知相关人员及时进行处理。

现有的安防系统对于人员的行为识别都只是根据视频或者图片中的人体姿态进行识别的，对于危险的基于语音及图像特征的异常行为识别的准确率较低，这样就会出现将安全人员误认为危险人员，或者将危险人员安全放行危害公共安全的情况。

发明内容

有鉴于此，本申请提供了一种基于语音及图像特征的异常行为识别方法、装置及设备。主要目的在于解决目前的基于语音及图像特征的异常行为识别的准确率较低的技术问题。

依据本申请的第一方面，提供了一种基于语音及图像特征的异常行为识别方法，所述方法的步骤包括：

当检测到用户进入识别区域后，控制摄像头获取用户的待识别的动作图像，同时启动录音结构，录制预定时间的待识别的语音；

对所述待识别的动作图像进行特征提取，得到待识别的特征矩阵；

利用人体特征提取模型对所述待识别的特征矩阵进行处理，得到对应的待识别的图像特征向量；

对所述待识别的语音进行文本特征提取，得到待识别的语音特征向量；

将所述待识别的图像特征向量和所述待识别的语音特征向量进行交叉融合得到待识别的融合特征向量；

将待识别的融合特征向量输入至异常行为识别模型中进行处理，输出对应的人体动作类别，以及所述人体动作类别是否属于异常行为。

依据本申请的第二方面，提供了一种基于语音及图像特征的异常行为识别装置，所述装置包括：

获取模块，当检测到用户进入识别区域后，控制摄像头获取用户的待识别的动作图像，同时启动录音结构，录制预定时间的待识别的语音；

图像特征提取模块，用于对所述待识别的动作图像进行特征提取，得到待识别的特征矩阵；

特征处理模块，用于利用人体特征提取模型对所述待识别的特征矩阵进行处理，得到对应的待识别的图像特征向量；

语音特征提取模块，用于对所述待识别的语音进行文本特征提取，得到待识别的语音特征向量；

融合特征模块，用于将所述待识别的图像特征向量和所述待识别的语音特征向量进行交叉融合得到待识别的融合特征向量；

基于语音及图像特征的异常行为识别模块，用于将待识别的融合特征向量输入至异常行为识别模型中进行处理，输出对应的人体动作类别，以及所述人体动作类别是否属于异常行为。