[发明专利]基于定位标注的客服视频交互方法和设备

权利要求书

1.一种基于定位标注的客服视频交互方法，其特征在于，所述方法包括：

客服系统设备接收终端侧设备传输的视频信息并转发到客服侧设备上显示，其中，所述客服系统设备包括实体清单、识别算法和标注信息库；

所述客服系统设备根据目标实体选择所述识别算法，根据所述识别算法从所述视频信息更新的抽帧图像中识别是否存在所述目标实体，若存在，对所述目标实体进行位置识别，得到定位信息，其中，所述目标实体基于所述实体清单，通过所述客服侧设备输入的指定指令选定；

所述客服系统设备接收交互信息，并将所述交互信息和所述定位信息同步到所述终端侧设备和所述客服侧设备，以在所述终端侧设备和所述客服侧设备实现标注信息的显示，其中，所述交互信息基于所述标注信息库，通过所述客服侧设备获取。

2.根据权利要求1所述的方法，其特征在于，所述在所述客服系统设备根据所述目标实体选择所述识别算法之前，还包括：

所述客服平台系统每隔一预设的时间间隔，根据所述视频信息进行图像抽帧，得到所述视频信息更新的抽帧图像，其中，所述预设的时间间隔为1/3秒。

3.一种基于定位标注的客服视频交互方法，其特征在于，所述方法包括：

客服侧设备接收客服系统设备转发的视频信息；

客服侧设备根据输入的指定指令，利用实体清单选定目标实体，其中，所述客服侧设备与客服系统设备处于通信连接，所述客服系统设备包括所述实体清单、识别算法和标注信息库；

基于所述标注信息库，所述客服侧设备获取客服人员编辑的交互信息；

所述客服侧设备将所述交互信息发送到所述客服系统设备；

所述客服侧设备接收所述客服系统设备同步发送的所述交互信息和定位信息，其中，所述定位信息为所述客服系统设备根据所述目标实体选择所述识别算法，并根据所述识别算法对所述视频信息更新的抽帧图像中识别的所述目标实体进行位置识别得到；

所述客服侧设备基于所述交互信息和所述定位信息实现标注信息的显示，其中，所述交互信息用于文字类型的所述标注信息的显示，所述定位信息用于图形类型的所述标注信息的显示。

4.根据权利要求3所述的方法，其特征在于，所述客服侧设备基于所述交互信息和所述定位信息实现标注信息的显示，包括：

所述客服侧设备采用所述定位信息和预设的标注公式对所述目标实体进行圈画，实现实体圈示的标注信息显示；

所述客服侧设备基于所述交互信息在对所述目标实体进行圈画的区域上生成点击区域，所述点击区域用于在接收点击指令后显示所述交互信息和信息回复区，其中，所述交互信息包括文本信息和资料信息，所述资料信息采用超链接的方式显示，所述信息回复区用于显示或回复终端侧设备发送的回复信息；

所述客服侧设备基于对不同的所述目标实体预先的序号编辑，根据所述定位信息实现不同的所述目标实体的序号显示。

5.根据权利要求4所述的方法，其特征在于，所述定位信息包括中心位置(x，y)和区域像素大小(a，b)，所述客服侧设备采用所述定位信息和预设的标注公式对所述目标实体进行圈画，实现实体圈示的标注信息显示，包括：

所述客服侧设备根据所述中心位置(x，y)和所述区域像素大小(a，b)，以像素点集为F(Xn,Yn)计算得到圈示图形，公式为其中，设定所述目标实体的序号显示的显示位置为(x+a/2，y+b/2)。

6.一种基于定位标注的客服视频交互方法，其特征在于，所述方法包括：

终端侧设备将视频信息传输到所述客服系统设备，其中，所述客服系统设备包括实体清单、识别算法和标注信息库；

所述终端侧设备接收所述客服系统设备同步发送的交互信息和定位信息，其中，所述交互信息基于所述标注信息库，通过所述客服侧设备获取，所述定位信息为所述客服系统设备根据目标实体选择所述识别算法，并根据所述识别算法对所述视频信息更新的抽帧图像中识别的所述目标实体进行位置识别得到，所述目标实体基于所述实体清单，通过所述客服侧设备输入的指定指令选定；

所述终端侧设备基于所述交互信息和所述定位信息实现标注信息的显示，其中，所述交互信息用于文字类型的所述标注信息的显示，所述定位信息用于图形类型的所述标注信息的显示。