[发明专利]一种基于元强化学习的端到端自动驾驶方法及系统

权利要求书

1.一种基于元强化学习的端到端自动驾驶方法，其特征在于，包括以下步骤：

S1、构建数据集，使用元学习算法Reptile训练VWG特征提取模型，得到MVWG特征提取模型；

S2、构建决策控制模型，并使用元学习算法Reptile训练所述决策控制模型，得到训练好的MPPO决策模型；

S3、使用训练得到的MVWG特征提取模型和MPPO决策模型初始化自动驾驶系统，当车辆智能体在新的驾驶场景中完成驾驶任务时，实时采集驾驶环境的RGB图片；

S4、将所述驾驶环境的RGB图片输入MVWG模型中的编码器中并对其进行编码，提取所述驾驶环境的RGB图片的特征信息；

S5、车辆智能体获取步骤S4中编码器输出的图片特征信息后，结合自身当前的运行信息，根据初始化后的MPPO策略输出相应的决策控制动作，并将所述决策控制动作反馈给驾驶环境，继续优化驾驶策略，以得到稳定的自动驾驶系统。

2.根据权利要求1所述的一种基于元强化学习的端到端自动驾驶方法，其特征在于，步骤S1中，所述构建数据集包括以下步骤：

通过键盘手动控制汽车在仿真平台中的模拟环境中驾驶；

随机设置天气值构建不同的驾驶场景；所述随机设置天气值包括随机设置不同的太阳高度、太阳角度、云层、雨量或风速；

采集不同驾驶场景下的环境图片构建多个数据集；其中，各个数据集中包括多张RGB图像。

3.根据权利要求1所述的一种基于元强化学习的端到端自动驾驶方法，其特征在于，步骤S1中，所述VWG特征提取模型包含编码器、解码器和判别器；

所述编码器用于对输入的真实图片进行编码，即特征降维，输出得到n维特征信息；

所述解码器用于对输入的特征信息进行解码，即重构图片；

所述判别器用于鉴别真实图片和重构图片的真伪，输出判别器将重构图片或真实图片判定为真实图片的概率。

4.根据权利要求1所述的一种基于元强化学习的端到端自动驾驶方法，其特征在于，步骤S1中，使用元学习算法Reptile训练VWG特征提取模型，所述元学习包括元训练阶段和元测试阶段，元训练阶段包括以下步骤：

随机从所有数据集中抽取多个数据集作为训练集；

将每个训练集中的RGB图片输入VWG特征提取模型中的编码器，由编码器对真实图片进行编码，即特征降维，得到n维特征信息；

将提取得到的n维特征信息输入到VWG特征提取模型的解码器中进行解码，即重构图片；

将真实图片和重构图片均输入到VWG特征提取模型的判别器中，由判别器鉴别真实图片和重构图片的真伪，输出判别器将重构图片或真实图片判定为真实图片的概率；

最小化编码器、解码器和判别器的损失函数值以优化特征提取模型，待各训练集训练完成后得到一组模型参数，并进入元测试阶段；

所述元测试阶段包括以下步骤：

随机从所有数据集中抽取一个或多个数据集作为测试集；

使用测试集继续训练元训练阶段结束后得到的模型，经过少量样本的微调得到基于元学习的MVWG特征提取模型。

5.根据权利要求4所述的一种基于元强化学习的端到端自动驾驶方法，其特征在于，所述VWG特征提取模型用Wasserstein距离来衡量真实数据分布和生成数据分布之间的距离，Wasserstein距离公式为：

式中，Π(P_r，P_g)表示P_r和P_g组合起来所形成的所有可能的联合分布的集合，||x-y||表示从E_(x，y)～γ中采样得到一个真实样本x和生成样本y之间的距离，E_(x，y)～γ[||x-y||]表示联合分布γ下样本对距离的期望值，表示在所有可能的联合分布中对期望值取到的下界值。