[发明专利]一种基于自动跟随技术和VR技术的远程讲解互动机器人

说明书

本发明名称为一种基于自动跟随技术和VR技术的远程讲解互动机器人，其涉及到远程讲解互动和自动跟随技术领域，尤其涉及到一种基于自动跟随技术和VR技术的远程讲解互动机器人的技术背景。通过全景视频实时传输、视频拼接、视频压缩技术、语音处理算法、自主跟踪算法等关键技术，远程讲解互动机器人可以利用移动平台实现自主跟踪讲解员，机器人还可以实时采集讲解员所在场景的全景视频信息和讲解员的音频信息发送到客户端，在客户端，客户利用VR眼镜可以体验身临其境的服务，并可以实现与讲解员实时语音交互。

技术领域

本发明涉及到远程讲解互动和自动跟随技术领域，尤其涉及到一种基于自动跟随技术和VR技术的远程讲解互动机器人的技术背景。

背景技术

近年来，视频拼接技术的不断成熟带动VR行业快速发展，VR技术不仅仅带给人真实感，更重要是给人们带来很大便利，人们不需要到现场一样可以享受身临其境的服务。在机器人行业，自动跟随技术已经是一个很成熟的技术，结合该技术实现远程讲解互动功能，可以使本发明实施变得更加简单，节约成本。

VR技术的核心为视频拼接和推流平台，在视频拼接方面，很多学者在去抖动和特征匹配方面做了很多工作，使得视频拼接在速度和效果方面得到很大的提高；推流平台，国内很多公司都有提供该服务，传输速度快且效率高，使得视频发起端和视频观看端的同步效果得到很大的改善。自动跟随技术不管是基于雷达还是摄像头，跟随精度都可以满足本发明的要求，不过前者需要的成本比较高，所以本发明的优选实施例中采用摄像头来实现自动跟踪功能。

发明内容

本发明是实现远程讲解交互技术，客户不需要在现场就可以与讲解员互动，并具有身临其境的感觉。一种基于自动跟随技术和VR技术的远程讲解互动机器人，其特征在于：所述的基于自动跟随技术和VR技术的远程讲解互动系统至少包括三部分，即客户端、讲解员端和推流平台，其中讲解员端至少包括一台360全景摄像头、一台深度摄像头、讲解员端麦克风、讲解员端音响、讲解员端视频拼接单元、讲解员端主分量分析单元、讲解员端音频处理单元、自主跟随单元、讲解员端发送单元、讲解员端接收单元；客户端至少包括VR眼镜、客户端麦克风、客户端音响、客户端视频处理单元、客户端音频处理单元、客户端主分量分析单元、客户端接收单元、客户端发送单元；讲解员端和客户端通过无线方式连接推流平台。

所述的讲解员端，其其特征在于：远程讲解互动机器人可以自动跟踪讲解员，实时采集讲解员所在场景的全景视频信息和音频信息，并将视频和音频信息进行推流。

所述的自动跟踪算法，其特征在于：远程讲解互动机器人需要利用自主跟踪人算法实现自动跟踪讲解员的功能，自主跟踪算法优先选择基于粒子滤波算法。

所述的采集全景视频信息过程，其特征在于：采集到场景的全景视频信息需要经过拼接技术和压缩算法处理操作。

所述的采集讲解员的音频信息过程，其特征在于：采集到讲解员的音频信息，需要经过主分量分析进行降噪、压缩等处理操作。

所述的客户端，其特征在于：客户利用VR眼镜可以看到远程机器人采集的实时全景视频信息，可以体验身临其境的服务。客户还可以与远程的讲解员实时语音交互，客户看到全景视频和听到讲解员的音频信息要达到同步。

为了实现以上特征，在讲解员端，有一个移动平台，该移动平台上面架着一台360度全景摄像头，负责采集讲解员端的场景图片，移动平台具有自动跟随讲解员的功能。在客户端，客户使用VR眼镜可以观赏到讲解员所在场景全景视频信息。因此，本发明可以概述为三大部分，分别为讲解员端、客户端和推流平台。

讲解员端操作流程如下：

1.讲解员在讲解过程中，移动平台自动跟随讲解员；

2.移动平台上的360度全景摄像头采集讲解员所在场景的全景视频信息，同时，麦克风采集讲解员的音频信息；