[发明专利]基于多模态感知的人力资源评测系统

说明书

本发明涉及人工智能领域，具体涉及一种基于多模态感知的人力资源评测系统。该系统包括：信息获取模块，用于获取面试者在面试过程中的音频信息和视频信息；能力评分获取模块，用于将从音频信息中获取能力评分；特征获取模块包括视听权重图获取单元和特征序列获取单元；视听权重图获取单元用于获取视听权重图；特征序列获取单元用于获取总词数量、平均说话率和平均流利度；面试状态获取模块用于将预设时间段内的声谱图、视听权重图、特征序列和关键点序列输入多模态神经网络中获取面试状态；能力评估模块，用于根据面试状态评分和能力评分评估面试者的岗位胜任能力。该系统解决了每个面试官对面试者的岗位胜任能力评估存在主观偏见的问题。

技术领域

本发明涉及人力资源、人工智能技术领域，具体涉及一种基于多模态感知的人力资源评测系统。

背景技术

求职面试在大多数公司中起着关键的作用，它能帮助面试者选择合适的就业机会。为了让公司更好地利用面试者的面试信息，在招聘有前途的面试者时做出更合理的决定，必须采用更稳健和可靠的方法对面试者的潜力进行评级。从面试者的角度出发，应该用一个能够估计他们真正潜力的统一标准来评估他们的潜力，这将使面试者不会错过可能的就业机会。

尽管求职面试对人力资源管理很重要，但在大多数商业领域，面试者的能力往往是基于面试官的经验判断的，由于每个面试官都有一个独特的评价标准，在这种情况下，反馈有关于面试者的面试信息可能存在主观偏见。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于多模态感知的人力资源评测系统，所采用的技术方案如下：

本发明实施例提供了一种基于多模态感知的人力资源评测系统，该系统包括：

信息获取模块，用于获取面试者在面试过程中的音频信息和视频信息；

能力评分获取模块，用于将从所述音频信息中获取的文本信息与面试题的关键词进行匹配得到能力评分；

特征获取模块，包括视听权重图获取单元和特征序列获取单元；

所述视听权重图获取单元，用于对预设时间段内的视频信息中的面部和手部进行关键点检测得到多张热力图，对所述多张热力图叠加后进行阈值分割得到分割图；获取每张所述热力图的ROI区域图像，ROI区域包括鼻子、嘴巴和手掌；分别将每个ROI区域内的全部关键点的平均移动速度序列和通过音频信息获取的短时能量序列进行哈希编码并计算汉明距离，根据所述汉明距离对多张所述ROI区域图像的并集图分配权重得到权重图；根据所述分割图、所述权重图和像素均为1的全一图得到视听权重图；

所述特征序列获取单元，用于对所述文本信息进行分析，获取所述预设时间段内的特征序列，所述特征序列包括总词数量、平均说话率和平均流利度；

面试状态获取模块，用于将所述预设时间段内的所述音频信息的声谱图、所述视听权重图、所述特征序列和关键点序列输入多模态神经网络中获取所述面试者的面试状态；

能力评估模块，用于根据所述面试过程中的面试状态序列获取面试状态评分，并结合所述能力评分评估所述面试者的岗位胜任能力。

进一步地，所述多模态感知神经网络包括第一分支网络、第二分支网络、第三分支网络和分类网络；

所述第一分支网络包括时序特征提取编码器、第一全连接网络和注意力分支网络；所述注意力分支网络包括特征拟合编码器和第二全连接网络；

所述时序特征提取编码器的输入为所述关键点序列，所述第一全连接网络的输入为以所述时序特征提取编码器的输出与注意力分支网络的输出相乘后的向量；所述特征拟合编码器的输入为所述视听权重图，第二全连接网络的输入为所述特征拟合编码器的输出的注意力图；