[发明专利]基于公共信息的强化学习实现方法、设备及存储介质

说明书

本发明公开了一种基于公共信息的强化学习实现方法、设备及存储介质，所述方法包括：智能体获取数据采集设备采集的自身采集数据，并向联邦服务端发送公共信息获取请求；接收联邦服务端返回的已处理公共信息，其中，联邦服务端根据公共信息获取请求对本地的原始公共信息进行安全处理得到已处理公共信息；根据自身采集数据和已处理公共信息进行强化学习推理和训练，以优化智能体的控制策略。本发明实现了在利用外部公共信息提高强化学习智能体控制性能的同时，不泄露公共信息中的隐私信息。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种基于公共信息的强化学习实现方法、设备及存储介质。

背景技术

强化学习(reinforcement learning)，又称再励学习、评价学习，是一种重要的机器学习方法，在智能控制机器人及分析预测等领域有许多应用。强化学习是智能体(Agent)以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是学习从环境状态到行为的映射，使得智能体选择的行为能够获得环境最大的奖赏，使得外部环境对学习系统在某种意义下的评价(或整个系统的运行性能)为最佳。

在当前的技术架构下，强化学习Agent利用自身收集的数据进行学习、优化和控制，但是在实际应用中，强化学习Agent由于自身收集数据的障碍，无法采集到周围环境的全局数据。如无人车的高速雷达无法穿越遮挡而无法获得周围更全面的数据，如周围车辆的分布、运动状态等。而站在人类驾驶经验来看，利用周围环境的全局数据能够更为健壮地对无人车进行控制，因此，为使得强化学习Agent训练出更优秀的控制性能，除了利用Agent自身采集的数据外，还需要利用外部的公共信息，如对于无人车来说，在路边安装的公共摄像头采集的图像数据能够准确地帮助无人车进行自身和周围车辆的定位。但是，在实际应用中，由于外部的公共信息涉及到隐私安全，往往不能够将公共信息直接发送给强化学习Agent进行学习，从而导致无法利用外部公共信息提高Agent的控制性能。

发明内容

本发明的主要目的在于提供一种基于公共信息的强化学习实现方法、设备及存储介质，旨在解决目前由于外部的公共信息涉及到隐私安全而导致无法利用外部公共信息提高Agent的控制性能的问题。

为实现上述目的，本发明提供一种基于公共信息的强化学习实现方法，所述基于公共信息的强化学习实现方法应用于强化学习的智能体，所述智能体与联邦服务端通信连接，所述基于公共信息的强化学习实现方法包括以下步骤：

获取所述智能体的数据采集设备采集的自身采集数据，并向所述联邦服务端发送公共信息获取请求；

接收所述联邦服务端返回的已处理公共信息，其中，所述联邦服务端根据所述公共信息获取请求对本地的原始公共信息进行安全处理得到所述已处理公共信息；

根据所述自身采集数据和所述已处理公共信息进行强化学习推理和训练，以优化所述智能体的控制策略。

可选地，所述根据所述自身采集数据和所述已处理公共信息进行强化学习推理和训练，以优化所述智能体的控制策略的步骤包括：

根据所述自身采集数据、所述已处理公共信息和预设的控制策略对所述智能体作出控制动作；

生成所述控制动作对应的经验数据，并将所述经验数据保存至预设经验池中；

按照预设时间间隔从所述预设经验池中获取预设数量的所述经验数据进行强化学习训练以优化所述控制策略。

为实现上述目的，本发明还提供一种基于公共信息的强化学习实现方法，所述基于公共信息的强化学习实现方法应用于联邦服务端，所述联邦服务端与强化学习的智能体通信连接，所述基于公共信息的强化学习实现方法包括以下步骤：

接收所述智能体发送的公共信息获取请求；

根据所述公共信息获取请求采用预设的联邦模型对本地的原始公共信息进行安全处理得到已处理公共信息；