[发明专利]一种基于SVM与强化学习的室内场景识别方法

权利要求书

1.一种基于SVM与强化学习的室内场景识别方法，其特征在于，该方法包括以下步骤：

(1)室内场景采集数据，训练一个能够进行室内场景分类的SVM分类器N_s；

(2)进行多次室内场景主动识别实验，在实验过程中，训练一个拟合强化学习值函数的强化学习神经网络，将该网络命名为决策网络N_Q，决策网络N_Q通过N_s判别分类结果优劣；

(3)完成决策网络N_Q的训练后，采用决策网络N_Q根据激光测距传感器当前获取的房间激光测距信息，对机器人动作做出决策并执行动作，执行动作后再次采集激光测距传感器信息输入到N_Q中，如此重复三次，将三次所得结果进行融合得到最终分类结果。

2.根据权利要求1所述的一种基于SVM与强化学习的室内场景识别方法，其特征在于，所述步骤(1)具体步骤如下：

(1-1)室内场景采集激光雷达数据，命名为数据集D；

(1-2)数据集D中随机挑选N_train组样本，记为训练集样本D_train＝{d¹,d²,L,d^Ntrain},以及标签S中与其相对应的训练集标签S_train＝{s¹,s²,L s^train}；

(1-3)利用训练集{D_train,S_train}训练SVM分类器N_s并保存训练参数，核函数选为‘rbf’,核函数核宽设定为1。

3.根据权利要求2所述的一种基于SVM与强化学习的室内场景识别方法，其特征在于，所述步骤(1-1)具体步骤如下：

(1-1-1)每个室内场景设定多个采集点，采集数据，包括数据和标签，标签为房间类别；

(1-1-2)激光雷达测距信息角度为360°，采集方式为定点转向采集，每次转动1°并采集激光雷达信息，采集的信息为360个距离信息，每组数据包含一个含有360个距离信息的数据和一个该距离所对应的房间类型标签。

4.根据权利要求1所述的一种基于SVM与强化学习的室内场景识别方法，其特征在于，所述步骤(2)通过决策网络N_Q判断2种动作的优劣，具体步骤如下：

(2-1)场景标签设为S＝{S₁,S₂,L,S_k},每个室内场景中选择若干个训练点；

(2-2)设定每点最大训练步数e；

(2-3)在其中一个训练点开始训练决策网络N_Q，采集一次激光雷达数据H_t，输入到训练好的N_s中进行预测，预测分类向量记为T_t；

(2-4)将H_t输入到决策网络N_Q中，获得所有动作的动作价值Q(q₁,q₂,L,q_n)，择其中最大价值对应的动作a执行，动作a包括向左旋转15°，向右旋转15°；

(2-5)执行动作a后再次采集激光雷达数据H_t+1，输入到N_s中进行预测，预测结果记为T_t+1；

(2-6)判断分类结果好坏；

(2-7)更新该状态下该动作对应的动作价值：

其中α∈(0,1)为学习速率，表示新价值覆盖旧价值的程度；γ∈(0,1)为折损因子，代表下一步回报的重要程度；

(2-8)使用随机梯度下降方式反向更新N_Q网络参数；

(2-9)判断是否到达该点规定训练步数e，如果达到则至下一点继续训练，回到(2-2)，否则重复步骤(2-3)至(2-8)；

(2-10)若已处在最后一处训练点，终止训练。