[发明专利]一种基于多特征识别的交互方法、装置及计算机设备

说明书

本发明公开了一种基于多特征识别的交互方法、装置以及计算机设备，其中，该方法包括：获取目标设备的目标视频流数据；根据目标视频流数据调用目标设备的三维模型；将三维模型的数据发送至远端设备；接收远端设备反馈的三维模型的变化增量信息；根据变化增量信息显示三维模型的变化。通过实施本发明，解决了相关技术中存在的远程维修维护的作业无法准确、有效的问题，结合根据目标视频流数据生成的三维模型，以及接收到的远端设备反馈的变化增量信息，可以使现场设备获取到准确的指导信息，实现了增强现实方式和电力设备三维模型的远程虚实融合的交互。

技术领域

本发明涉及流媒体以及信息通信领域，具体涉及一种基于多特征识别的交互方法、装置及计算机设备。

背景技术

随着互联网、信息通信及5G通信技术的发展，音视频流通话技术主要经历了本地模拟信号音视频系统、基于PC的多媒体远程协助系统、基于Web服务器的远程音视频协作系统、基于移动端的音视频协作系统等四个发展阶段。目前音视频流通话技术发展正处于基于移动端的音视频协作系统(音视频通话)的阶段。

而随着科技发展，对协作方式也提出了更高的要求。相关技术中远程视频通话的协作方式仍存在较大局限性，具体来说，电力企业作为关系能源安全和国计民生的公共服务企业，具备电网输变配巡视、检修、应急抢修等作业现场，电力设备类型多且操作复杂、新问题不断涌现且识别处理难度大，处理时需要跨班组及跨工区协同作业以及需要技术专家或设备制造厂商远程支持，而相关技术中，提供远程支持的方式多为通过普通视频通话实现，由于远端使用视频通话设备所采集的视频的视角相对有限，很可能无法实现以相同视角对现场进行实时指导操作，从而导致远程维修维护的作业并不能十分准确、有效。

发明内容

有鉴于此，本发明实施例提供了一种基于多特征识别的交互方法、装置及计算机设备，以解决相关技术中远程维修维护的作业并不能十分准确、有效的问题。

根据第一方面，本发明实施例提供了一种基于多特征识别的交互方法，包括：获取目标设备的目标视频流数据；根据所述目标视频流数据调用所述目标设备的三维模型；将所述三维模型的数据发送至远端设备；接收所述远端设备反馈的所述三维模型的变化增量信息。

结合第一方面，在第一方面第一实施方式中，该方法还包括：根据所述变化增量信息显示所述三维模型的变化；根据所述三维模型的变化控制所述目标设备。

结合第一方面，在第一方面第二实施方式中，所述获取目标设备的目标视频流数据，包括：采集并发送目标区域内目标设备的初始视频流数据；接收所述远端设备发送的初始关键帧；根据所述初始关键帧，确定目标关键帧；根据所述目标关键帧，获取目标设备的目标视频流数据。

结合第一方面第二实施方式，在第一方面第三实施方式中，所述根据所述初始关键帧，确定目标关键帧，包括：提取所述初始视频关键帧中的颜色特征信息、纹理特征信息以及运动特征信息；将所述颜色特征信息、纹理特征信息以及运动特征信息融合，分别计算各初始视频关键帧的相似度；根据各初始视频关键帧的相似度，确定候选视频关键帧；根据预设自适应算法，确定目标关键帧。

结合第一方面第三实施方式，在第一方面第四实施方式中，所述根据所述目标关键帧，获取目标设备的目标视频流数据，包括：获取第一视频流数据；根据预设光流法识别所述第一视频流数据中的第一特征点，以及识别所述目标关键帧中的第二特征点；当所述第一特征点与所述第二特征点的相似度大于预设相似阈值时，确定所述第一视频流数据与所述目标关键帧匹配；当所述第一视频流数据与所述目标关键帧匹配时，将所述第一视频流确定为目标设备的目标视频流数据。

结合第一方面，在第一方面第五实施方式中，该方法还包括：根据所述第一特征点以及预设相对距离，确定所述目标关键帧的第一中心位置；根据所述第二特征点以及预设相对距离，确定所述第一视频流数据的第二中心位置；根据所述第一中心位置及第二中心位置跟踪获取目标设备的目标视频流数据。