[发明专利]一种用于智能面试的表达能力维度评价方法及装置

说明书

一种用于智能面试的表达能力维度评价方法及装置，采集面试视频，抽取视频帧和音频数据，首先将视频帧输入基于CNN的手部检测模型得到底层手部姿态特征，将音频数据输入基于自然语言处理的音频处理模块，得到底层语音表达特征；将两种底层特征分别输入两个LSTM编码为时序特征；再通过先验知识规则从两种底层特征中提取抽象的高层语义特征，包括手部表达、表达流畅度、感染力、条理性和简洁度信息；将时序特征和高层语义特征标准化后输入全连接神经网络，预测表达能力等级。系统使用分布式函数计算服务搭建，形成表达能力评价系统。本发明解决面试中表达能力打分的主观偏差和时间成本的效率问题，实现对大量面试视频快速并准确的表达能力评估。

技术领域

本发明属于人工智能技术领域，涉及对图像、音频信息的特征抽取和深层维度的机器学习，用于对面试者进行特征画像的建模分析，为一种用于智能面试的表达能力维度评价方法及装置。

背景技术

随着技术发展和经济发展需求，大部分企业都有降本增效需求，减少在招聘中的人力投入，提升效率是其中重要一环。对于标准明确、对面试者要求偏低的岗位，AI面试技术通过设定标准化问题就可以自动判断面试者是否满足要求，而对于高要求岗位，通过AI面试可以用于对面试者进行初筛，从而减轻面试官后续的面试量，大大降低人工成本。

在提高面试效率的同时，如何保障面试质量成为核心。面对海量面试者，面试需要花费大量时间进行评估，而且即便是经验丰富的面试官也难免会因为疲劳、情绪等主观因素造成评估偏差。而“招错人”一旦既成事实，可能对企业组织管理、业务发展和人力成本等各方面带来不小的负面影响。

一般的线上面试系统仅仅提供了最基础的判断能力，只能从地区、职位、学历等简单、浅层的维度用基于规则的方法呈现面试者的情况，智能性较差，难以替代面试官的工作,无法全面多维地呈现面试者的胜任能力，进而无法科学、精准地解决目前招聘流程所存在的问题和需求。而基于自然语言处理和计算机视觉技术的自动化、智能化的分析面试者在面试中的表现，进行面试者表达能力的评估，能够深度评估面试者的潜在能力，对人才审核和选拔具有积极的意义。将先进的AI技术引入科学的面试内容分析能够有效地助力于招聘工具的升级、招聘资源的节省和招聘效率及质量的提升。

发明内容

本发明要解决的问题是：解决现有线上面试系统在表达能力方面的评估缺口和分析不够精准合理的问题，目的是通过自动化流程和智能化工具对人才表达能力进行快速、精准的评估，提升面试效率和评估质量。

本发明的技术方案为：一种用于智能面试的表达能力维度评价方法，采集面试者面试视频，抽取视频帧图像序列和视频的音频数据，使用分布式函数计算服务搭建基于深度神经网络的多阶段特征提取模型，获得多模态、层次式特征表示，用于产生面试者表达能力维度的综合评价；首先将抽取到的视频帧输入基于CNN的手部检测模型进行特征提取，得到底层手部姿态特征，将音频数据输入基于自然语言处理的音频处理模块，获取底层回答文本特征，底层手部姿态特征和底层回答文本特征构成多模态特征；将两种底层特征分别输入两个LSTM编码为时序特征，得到视频时序特征和文本时序特征；再通过一组基于先验知识的规则从多模态特征中抽取抽象的高层语义特征，包括手势表达、流畅性、感染力、条理性、简洁性特征，视频时序特征、文本时序特征及高层语义特征构成层次式特征；最后，将层次式特征标准化后输入全连接神经网络，进行特征融合，得到表达能力等级分类器，用于预测表达能力等级。

本发明还提供一种用于智能面试的表达能力维度评价装置，配置有数据处理模块，数据处理模块的输入为候选者面试视频，输出为表达能力维度评价信息，数据处理模块中配置有表达能力评估模型，使用分布式函数计算服务搭建，表达能力评估模型由上述的方法训练得到，并执行所述评价方法。形成弹性高效的适用于智能面试的表达能力评价系统。