[发明专利]一种基于人工智能技术判断视频中行为的方法

说明书

本发明公开了一种基于人工智能技术判断视频中行为的方法，涉及行为识别技术领域，包括：利用监控摄像头实时采集服务区内部场景的视频数据；从视频流中分拣出特征视频，并实时分析检测特征视频中的行为动作，判断是否为异常行为，对视频流进行初步筛选，能够减少识别工作量，更精确更快的识别出员工的异常行为，提高识别效率；当识别到异常行为时，根据该异常行为的持续时长判断员工是否处于消极状态，若是，则通过语音专线提醒员工纠正异常行为，端正服务态度；根据员工的语音专线提醒记录和通报批评记录对员工的服务质量分进行评估，判断是否需要对员工重新进行服务素养和业务操作培训，从而提高服务质量。

技术领域

本发明涉及行为识别技术领域，具体是一种基于人工智能技术判断视频中行为的方法。

背景技术

一般，在银行网点中，都是由专职员工为来访的客户提供各种各样的服务，例如，开卡、修改密码、注销卡片、办理贷款等等；对待同样的服务，有的员工服务的认真细致，有的员工服务的马虎简单，这些员工对客户服务的好坏直接影响客户对银行业务和形象的认同感；

随着银行营业厅服务规范化的不断深入，客户对窗口服务工作的要求不断提高；因此，在监控营业厅窗口人员服务方面也存在更高、更准确的要求，为此，我们提出一种基于人工智能技术判断视频中行为的方法，对窗口服务人员的异常行为进行识别，并及时予以提示。

发明内容

为了解决上述方案存在的问题，本发明提供了一种基于人工智能技术判断视频中行为的方法。

本发明的目的可以通过以下技术方案实现：

一种基于人工智能技术判断视频中行为的方法，包括如下步骤：

步骤一：利用监控摄像头实时采集服务区内部场景的视频数据，使用智能盒子对接摄像头视频流，在本地进行计算和存储；

步骤二：从视频流中分拣出特征视频，并实时分析检测特征视频中的行为动作，判断是否为异常行为；

步骤三：当识别到异常行为时，根据该异常行为的持续时长判断员工是否处于消极状态；若处于消极状态，则通过语音专线提醒员工纠正异常行为，端正服务态度；

步骤四：根据员工的语音专线提醒记录和通报批评记录对员工的服务质量分进行评估，若服务质量分＜预设质量分阈值，则对该员工重新进行服务素养和业务操作培训。

进一步地，从视频流中分拣出特征视频，具体包括：

将视频流处理成为图像帧，对图像帧进行检测，使用主干网络提取人体的特征图，若检测到人体，则将对应的图像帧标记为待分析图像帧；

提取待分析图像帧中的人脸图像信息，将提取的人脸图像信息与员工库中存储的合法人脸图像信息相匹配；若匹配一致，则将对应的图像帧通过唯一id进行标识，形成特征图像帧，将同一id标识的特征图像帧进行融合，得到特征视频。

进一步地，所述步骤二中实时分析检测特征视频中的行为动作，判断是否为异常行为；具体包括：

根据特征视频自动对员工的躯干19个关节骨骼点进行识别追踪，对特征视频进行每帧实时分析，每帧照片大小由摄像头分辨率决定，分析时以1920数值为Y轴，1080数值为X轴建立二维坐标系；

对员工的躯干进行三维分析，得到视频分析结果，将视频分析结果作为输入数据，使用机器学习分类算法判断是否为异常行为。

进一步地，根据该异常行为的持续时长判断员工是否处于消极状态，具体包括：

若异常行为的持续时长≥对应的违规时长阈值，则判定员工处于消极状态；若异常行为的持续时长＜对应的违规时长阈值，则判定员工处于疑似消极状态；其中，数据库中存储有各种异常行为和对应的违规时长阈值；