[发明专利]一种历史决策数据驱动的智能决策平台及其实现方法

说明书

本发明公开一种历史决策数据驱动的智能决策平台及其实现方法，智能决策平台从历史决策数据中使用机器学习方法获得决策策略，首先通过神经网络构建决策任务相关的虚拟环境，然后在得到的虚拟环境上训练决策模型，避免了和真实环境进行交互隐含的安全性和代价问题。整个平台可以自动调度计算资源完成模型训练，无需人工专家干预。和已有的技术相比，该决策平台实用性更大，安全性更高，可扩展性更强。

技术领域

本发明涉及一种历史决策数据驱动的智能决策平台及其实现方法，属于人工智能技术领域。

背景技术

随着人工智能技术的发展，强化学习在智能决策领域的应用越来越广泛，已经可以解决极其复杂的问题，如围棋，控制机器人进行工业生产，或控制自动驾驶汽车。不幸的是，在现实场景中落地强化学习进行智能决策仍是非常困难的。原因是大部分强化学习的工作都针对存在环境用于进行数据搜集，在该环境中，代理与环境互动并使用其当前策略和某些探索策略进行数据搜集，以探索决策空间并找到更高回报的决策模型。在环境中直接收集数据带来了几个困难：必须收集足够的数据来学习每个任务，这对于像机器人或自动驾驶汽车这样的系统来说收集数据是非常昂贵的；在医疗，安全等领域，与真实环境交互收集数据的代价是非常巨大的，会有很大的安全隐患。

为了解决这个问题，一部分研究人员提出了通过数字孪生的方法构建虚拟仿真环境训练决策模型，然后再把决策模型迁移到真实的场景中。但是这种方法有很大的局限性，在规则简单的环境上是可以通过专家抽取规则构建保真度比较高的模型。当为复杂，随机性比较大的场景构建虚拟环境往往是非常困难的，不同模块的误差累计会导致在仿真环境和真实环境存在非常大的区别，从而导致在虚拟环境上训练出来的模型在真实环境中表现非常差。而且数字孪生的方法需要消耗大量的人力物力，构建的模型也是固定的，如果真实环境发生了改变，这类方法是不能感知的，往往需要专家对其构建的模型进行调整，或重新构建环境。

而在真实场景中，往往有很多已经存在的历史决策数据，获得这些数据的代价是非常低且安全的。因此，如果能通过这些历史数据进行学习来获得较好的决策模型将是非常有使用价值的。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明实现了一种历史决策数据驱动的智能决策平台。该平台可以从历史决策数据中进行学习，首先通过神经网络构建决策任务相关的虚拟环境，然后在得到的虚拟环境上训练决策模型，避免了和真实环境进行交互带来的安全性和代价问题。整个平台可以自动调度计算资源完成模型训练，无需人工专家干预。和已有的技术相比，该决策平台实用性更大，安全性更高，可扩展性更强。

技术方案：一种历史决策数据驱动的智能决策平台，该平台的技术特征在于：（1）可以基于历史数据通过神经网络方法自动构建决策任务相关的虚拟环境，和使用数据孪生技术创建的环境相比，其构建的虚拟环境具有较强的任务相关性，且只需要使用历史数据即可完成构建，不需要费时费力的注入专家知识。（2）给定决策目标，决策平台可以利用产生的虚拟环境和历史数据训练出最优决策策略。该策略即可以辅助人类专家进行决策，也可以代替人类专家完成更好的决策。所述的决策平台在构建虚拟环境和提供了默认的通用学习方法，一般情况下无需修改。所述平台允许使用人员根据个人经验和知识构建不同的虚拟环境和决策任务，最终通过历史数据进行训练以获得最优环境模型和决策模型。

一种历史决策数据驱动的智能决策平台，包括数据输入模块，决策任务自动构建模块，虚拟环境训练模块，决策策略训练模块，分布式神经网络调度模块，以及超参选优模块。

将存放历史决策数据的文件上传到数据输入模块，数据输入模块对文件中的历史决策数据进行数据预处理，包括填补缺失值以及删除噪声数据和重复数据。