[发明专利]一种基于深度强化学习的自动泊车方法

权利要求书

1.一种基于深度强化学习的自动泊车方法，其特征在于，包括以下步骤：

S1、随机初始化汽车的开始状态；

S2、对汽车的开始状态进行数据归一化处理，并利用深度确定性策略梯度模型计算得到汽车在当前状态下所需执行的动作；

S3、将所述汽车在当前状态下所需执行的动作输入至模拟环境模型，得到汽车的下一状态以及奖励函数值；

所述步骤S3中的模拟环境模型包括运动学模型以及奖励函数值，且所述奖励函数值包括无限制模拟环境的奖励函数值以及有限制模拟环境的奖励函数值；

建立所述运动学模型包括以下步骤：

A1、初始化汽车右后轮M点的坐标为(x₀,y₀)，设汽车方向为θ，并计算得到汽车右后轮M到汽车几何中心N的距离，并根据所述汽车右后轮M到汽车几何中心N的距离计算得到汽车几何中心N的坐标；

A2、根据汽车几何中心N的坐标以及汽车在当前状态下所需执行的动作，计算得到汽车右后轮M到汽车圆心Q的距离；

A3、根据所述汽车右后轮M到汽车圆心Q的距离，计算得到汽车圆心Q的坐标；

A4、根据汽车圆心Q的坐标计算得到汽车右后轮M执行动作之后到达的点M'的坐标，从而建立运动学模型；

S4、收集汽车的当前状态、奖励函数值、下一状态以及执行动作，并作为一条数据存储于深度确定性策略梯度模型的经验回放池中；

S5、判断经验回放池是否收集满10000条数据，若是，则执行步骤S6，若否，则返回步骤S1；

S6、随机从经验回放池中抽取140条数据对所述深度确定性策略梯度模型进行训练，并判断深度确定性策略梯度模型是否收敛，若是，则深度确定性策略梯度模型训练完毕，并进入步骤S7，否则，利用经验回放池中的数据再次训练深度确定性策略梯度模型，并重复步骤S6；

S7、将汽车当前状态输入至训练好的深度确定性策略梯度模型，得到汽车在当前状态下所需执行的动作；

S8、将当前所需执行的动作输入至汽车，并让汽车与环境进行交互转移至汽车下一状态；

S9、判断汽车的下一状态是否处于泊车到位的状态，若是，则完成自动泊车，否则，返回步骤S7。

2.根据权利要求1所述的基于深度强化学习的自动泊车方法，其特征在于，所述步骤S2中深度确定性策略梯度模型包括：Actor当前网络、Actor目标网络、Critic当前网络、Critic目标网络以及经验回放池，其中，

所述Actor当前网络，用于负责策略网络参数的迭代更新，以及根据汽车当前状态选择当前动作，以及用于和环境交互生成下一状态和奖励函数值；

所述Actor目标网络，用于根据经验回放池中的汽车下一状态选择最优的下一动作；

所述Critic当前网络，用于负责价值网络参数的迭代更新，以及用于计算汽车当前动作的价值函数值；

所述Critic目标网络，用于根据汽车当前动作的价值函数值计算得到下一状态的动作价值函数值；

所述经验回放池，用于存储汽车和环境交互得到的奖励函数值与状态更新情况，以及用于更新目标值。

3.根据权利要求1所述的基于深度强化学习的自动泊车方法，其特征在于，所述步骤A1中汽车几何中心N坐标的表达式如下：

x＝x₀+d*cos(μ)

y＝y₀+d*sin(μ)

μ＝α'+θ

其中，(x,y)表示汽车几何中心N的坐标，(x₀,y₀)表示初始化状态下汽车右后轮M点的坐标，μ表示d和X轴正方向的夹角，α'表示汽车几何中心N到汽车后轮距中点E与汽车几何中心N到汽车右后轮点M之间的夹角，d表示汽车右后轮M点到汽车中心点N的距离，L表示汽车轴距，B表示汽车前轮距。

4.根据权利要求1所述的基于深度强化学习的自动泊车方法，其特征在于，所述步骤A2中汽车右后轮M到汽车圆心Q的距离R的表达式如下：

其中，α≥0表示汽车往车头的左边转向，α0表示汽车往车头的右边转向，tan(·)表示正切函数，α表示汽车的转向角度，R表示汽车右后轮M做圆周运动的半径，L表示汽车轴距，B表示汽车前轮距。