[发明专利]数据处理方法和装置、模型训练系统

说明书

本公开提供一种数据处理方法和装置、模型训练系统。数据处理方法和装置依次采集智能体在执行任务过程中所生成的样本，以形成第一样本集合；对第一样本集合中的样本进行插值处理，以形成插值点集合；对插值点集合中的插值点进行随机采样，以形成第二样本集合；将第一样本集合和第二样本集合中的样本发送给模型训练模块以进行模型训练。本公开能有效增加样本数量，提升样本的使用效率。

技术领域

本公开涉及信息处理领域，特别涉及一种数据处理方法和装置、模型训练系统。

背景技术

在现有深度强化学习的采样方法中，采用诸如机械手、无人车的智能体与环境直接交互得到样本，并通过经验重放的方法加强对样本的利用效率。环境交互指的是智能体在环境中的某个状态做出动作，环境给出的反馈。经验重放指的是对之前采样过的样本池进行重新学习，提升每个样本的利用次数。

发明人通过研究发现，在现实环境中，由于智能体做出动作所需的时间和条件成本，存在样本数量不足的问题，这直接导致了深度强化学习算法效率的低下。

发明内容

本公开提供一种有效增加样本数量的方案。

根据本公开实施例的第一方面，提供一种数据处理方法，包括：依次采集智能体在执行任务过程中所生成的样本，以形成第一样本集合；对所述第一样本集合中的样本进行插值处理，以形成插值点集合；对所述插值点集合中的插值点进行随机采样，以形成第二样本集合；将所述第一样本集合和所述第二样本集合中的样本发送给模型训练模块以进行模型训练。

在一些实施例中，对所述第一样本集合中的样本进行插值处理包括：对所述第一样本集合中的样本进行三次插值处理，以生成插值点。

在一些实施例中，对所述第一样本集合中的样本进行三次插值处理包括：统计所述第一样本集合中的样本数量；若所述第一样本集合中的样本总数N大于2，则将从第一样本集合中选择第i个样本以作为当前样本S0，1≤i≤N；若i≠1、2、N-1或N，则在所述第一样本集合中查找出与所述当前样本S0距离最近的第一样本S1和第二样本S2；利用所述当前样本S0、所述第一样本S1和所述第二样本S2，确定出第一插值点。

在一些实施例中，在二维坐标中，所述第一插值点的横坐标在所述当前样本S0的横坐标、所述第一样本S1的横坐标和所述第二样本S2的横坐标所确定的区间内，且所述第一插值点的横坐标与所述当前样本S0的横坐标、所述第一样本S1的横坐标和所述第二样本S2的横坐标均不相同。

在一些实施例中，若i＝1或i＝2，则利用所述第一样本集合中的第1个样本、第2个样本和第3个样本，确定出第二插值点。

在一些实施例中，在二维坐标中，所述第二插值点的横坐标在所述第1个样本的横坐标、所述第2个样本的横坐标和所述第3个样本的横坐标所确定的区间内，且所述第二插值点的横坐标与所述第1个样本的横坐标、所述第2个样本的横坐标和所述第3个样本的横坐标均不相同。

在一些实施例中，若i＝N-1或i＝N，则利用所述第一样本集合中的第N-2个样本、第N-1个样本和第N个样本，确定出第三插值点。

在一些实施例中，在二维坐标中，所述第三插值点的横坐标在所述第N-2个样本的横坐标、所述第N-1个样本的横坐标和所述第N个样本的横坐标所确定的区间内，且所述第三插值点的横坐标与所述第N-2个样本的横坐标、所述第N-1个样本的横坐标和所述第N个样本的横坐标均不相同。

在一些实施例中，若所述第一样本集合中的样本总数N等于2，则利用所述第一样本集合中的第1个样本和第2个样本进行线性插值，确定出第四插值点。

在一些实施例中，在二维坐标中，所述第四插值点的横坐标在所述第1个样本的横坐标和所述第2个样本的横坐标所确定的区间内，且所述第四插值点的横坐标与所述第1个样本的横坐标和所述第2个样本的横坐标均不相同。