[发明专利]一种基于人工智能技术判断视频中行为的方法

权利要求书

1.一种基于人工智能技术判断视频中行为的方法，其特征在于，包括如下步骤：

步骤一：利用监控摄像头实时采集服务区内部场景的视频数据，使用智能盒子对接摄像头视频流，在本地进行计算和存储；

步骤二：从视频流中分拣出特征视频，并实时分析检测特征视频中的行为动作，判断是否为异常行为；

步骤三：当识别到异常行为时，根据该异常行为的持续时长判断员工是否处于消极状态；若处于消极状态，则通过语音专线提醒员工纠正异常行为，端正服务态度；

步骤四：根据员工的语音专线提醒记录和通报批评记录对员工的服务质量分进行评估，若服务质量分＜预设质量分阈值，则对该员工重新进行服务素养和业务操作培训。

2.根据权利要求1所述的一种基于人工智能技术判断视频中行为的方法，其特征在于，从视频流中分拣出特征视频，具体包括：

将视频流处理成为图像帧，对图像帧进行检测，使用主干网络提取人体的特征图，若检测到人体，则将对应的图像帧标记为待分析图像帧；

提取待分析图像帧中的人脸图像信息，将提取的人脸图像信息与员工库中存储的合法人脸图像信息相匹配；若匹配一致，则将对应的图像帧通过唯一id进行标识，形成特征图像帧，将同一id标识的特征图像帧进行融合，得到特征视频。

3.根据权利要求2所述的一种基于人工智能技术判断视频中行为的方法，其特征在于，所述步骤二中实时分析检测特征视频中的行为动作，判断是否为异常行为；具体包括：

根据特征视频自动对员工的躯干19个关节骨骼点进行识别追踪，对特征视频进行每帧实时分析，每帧照片大小由摄像头分辨率决定，分析时以1920数值为Y轴，1080数值为X轴建立二维坐标系；

对员工的躯干进行三维分析，得到视频分析结果，将视频分析结果作为输入数据，使用机器学习分类算法判断是否为异常行为。

4.根据权利要求1所述的一种基于人工智能技术判断视频中行为的方法，其特征在于，根据该异常行为的持续时长判断员工是否处于消极状态，具体包括：

若异常行为的持续时长≥对应的违规时长阈值，则判定员工处于消极状态；若异常行为的持续时长＜对应的违规时长阈值，则判定员工处于疑似消极状态；其中，数据库中存储有各种异常行为和对应的违规时长阈值；

当员工处于疑似消极状态，统计第一预设时间T1内对应员工所有的疑似消极状态信息；其中T1为预设值；

将员工处于疑似消极状态的次数标记为疑似消极频次P1，将员工每次处于疑似消极状态的持续时长进行求和得到疑似消极总时长P2；

利用公式WX＝P1×b1+P2×b2计算得到员工的疑似消极系数WX，其中b1、b2为系数因子；若WX≥预设系数阈值，则判定员工处于消极状态。

5.根据权利要求1所述的一种基于人工智能技术判断视频中行为的方法，其特征在于，所述步骤三还包括：若员工在预设时间内未纠正异常行为，则执行超时处理措施；所述超时处理措施为对员工进行通报批评，并临时更换其他员工继续处理对应服务区窗口的业务。

6.根据权利要求5所述的一种基于人工智能技术判断视频中行为的方法，其特征在于，根据员工的语音专线提醒记录和通报批评记录对员工的服务质量分进行评估，具体评估方法为：

在最近一个月内，统计员工的评价数据，所述评价数据包括好评数和好评率；根据评价数据，计算得到员工的服务评分Qs；

统计员工接收到语音专线提醒的次数为提醒频次C1；统计员工接收到通报批评的次数为批评频次C2；利用公式FZ＝(Qs×a1)/(C1×a2+C2×a3)计算得到员工的服务质量分FZ，其中a1、a2、a3均为系数因子。

7.根据权利要求3所述的一种基于人工智能技术判断视频中行为的方法，其特征在于，其中，对无法确定的行为动作，将其保存到可疑行为库中；管理人员定期访问可疑行为库，对可疑行为库中存储的行为动作进行删选，将其添加至标准行为库或异常行为库；其中，所述标准行为库存储有各种标准行为；所述异常行为库中存储有各种异常行为。

8.根据权利要求2所述的一种基于人工智能技术判断视频中行为的方法，其特征在于，所述人脸图像信息包括正面脸部图像信息、左侧面脸部图像信息、右侧面脸部图像信息；每个员工都有一个对应的唯一id。