[发明专利]一种机器人系统及控制方法

权利要求书

1.一种用于机器人的控制方法，包括：

计算设备经由所述计算设备的触摸屏显示用于机器人的控制界面；

所述计算设备接收用户在所述控制界面上输入的操作命令的序列，所述操作命令包括前进、后退、左转、右转中的任一项；

所述计算设备响应于确定接收到用户在所述控制界面输入的发送指令，将所述操作命令的所述序列发送给机器人；

所述计算设备将所述控制界面切换为第一人视角界面；以及

所述机器人基于所接收的所述操作命令的所述序列控制所述机器人的运动装置进行运动，所述运动装置包括4个马达和4个轮子；

所述机器人在运动过程中经由所述机器人的图像采集装置采集关于前方环境的视频；

所述机器人将关于所述前方环境的所述视频发送给所述计算设备；

所述计算设备在所述第一人视角界面上显示所接收的所述视频；

所述计算设备接收用户在所述视频的一帧中标记的追踪对象；

所述计算设备将所述追踪对象的图像发送给所述机器人；

所述机器人基于深度神经网络模型在采集的视频中跟踪所接收的追踪对象，以预测所述追踪对象的运动轨迹，深度神经网络模型包括预训练的特征提取网络和对象定位网络，特征提取网络是通过预先训练的，表示特征提取网络的结构搜索空间，W_b表示特征提取网络的权重，表示预训练过程的分类损失函数，特征提取网络和所述对象定位网络通过以下公式来训练：

其中，所生成的权重用于初始化特征提取网络的权重W_b，W_h表示对象定位网络的权重，α_b表示特征提取网络的候选结构，表示特征提取网络的最佳结构，α_h表示对象定位网络的候选结构，表示对象定位网络的最佳结构，表示候选网络在跟踪数据验证集上的准确度，表示特征提取网络的最佳权重，表示对象定位网络的最佳权重，表示训练过程的损失函数，表示对象定位网络的结构搜索空间，表示深度神经网络模型，表示深度神经网络模型的结构搜索空间；

以及基于所述运动轨迹，控制所述运动装置跟随所述追踪对象。

2.根据权利要求1所述的方法，其中所述机器人在采集的所述视频中跟踪所接收的所述追踪对象包括：

所述机器人从所述追踪对象的图像中获取127x127x3的目标图像；

所述机器人从所述采集的视频的视频帧中获取255x255x3的待搜索图像；

所述机器人将127x127x3的目标图像和255x255x3的待搜索图像输入到相同的神经网络模型中，得到15x15x256的目标图像的特征图和31x31x256的待搜索图像的特征图

所述机器人对目标图像的特征图和待搜索图像的特征图进行卷积，得到17x17x256的响应分值图，响应分值图的每个像素值就代表了待搜索图像中每个位置与目标图像的相似程度，像素值越高，证明两者越相似；以及

所述机器人将像素值最大的位置乘以预定步长即可得到追踪对象的当前位置。

3.根据权利要求2所述的方法，其中神经网络模型是通过以下过程训练的：

利用正负样本来训练所述神经网络模型，训练时采用所有候选位置的平均损失来表示，公式如下：

其中D表示最后得到的响应分值图，u表示响应分值图中的所有位置，其中l(y，v)＝log(1+exp(-yv))，其中y∈(+1，-1)表示真值，v表示样本–搜索图像的实际分值，正样本的概率为sigmoid函数，负样本的概率为1-sigmoid函数；

以及通过随机梯度下降最小化所述平均损失来确定所述神经网络模型中的参数。

4.根据权利要求1所述的方法，还包括：

所述机器人响应于确定在所述采集的视频中未跟踪到所述追踪对象，识别所述追踪对象；

确定识别出的所述追踪对象是否为狗；

如果确定识别出的所述追踪对象为狗，则获取周围环境中的声音；

在所获取的所述声音中识别狗的叫声；

如果在所述声音中识别出狗的叫声，则确定所述狗的所述叫声的方位；

以及控制所述机器人的所述运动装置转向所确定的所述方位，以便所述机器人的图像采集装置采集到包含狗的视频。