[发明专利]虚拟环境中调度策略的评估方法、装置及设备

说明书

本申请公开了一种虚拟环境中调度策略的评估方法、装置及设备，属于计算机技术领域。所述方法包括：获取虚拟环境的应用程序在运行时产生的帧数据，提取帧数据中与目标虚拟对象对应的目标帧数据；对目标帧数据进行特征提取，得到目标虚拟对象在当前局面状态下的状态特征；调用价值网络预测模型对状态特征进行处理，得到目标虚拟对象在当前局面状态中执行N种调度策略的预期回报收益。本申请通过获取目标虚拟对象对应的目标帧数据，提取得到目标帧数据的状态特征，调用价值网络预测模型对状态特征进行处理，得到目标虚拟对象执行每个调度策略的预期回报收益，实现了虚拟环境中价值网络模型的构建，进而提高了AI控制虚拟对象执行调度策略的准确度。

技术领域

本申请涉及计算机技术领域，特别涉及一种虚拟环境中调度策略的评估方法、装置及设备。

背景技术

人工智能(Artificial Intelligence，AI)是一种以人类思考方式做出反应，执行相应行为的计算机程序系统，其广泛应用于图像识别、语音识别、自然语言处理以及专家系统等领域。其中，专家系统是一种模拟人类专家解决领域问题的AI，例如，模拟围棋棋手下围棋的AI阿尔法围棋(Alphago)。

价值网络模型是Alphago中的一个核心运算模块，通过价值网络模型能够准确地对围棋的局面状态进行评估，从而准确地确定最优落子行为。由于围棋可以采用19×19的二维空间来进行表示，因此围棋的局面状态是一种离散有限状态，同时一局围棋平均约150个回合，不同局面状态之间的转化可以根据落子行为唯一确定，因此基于离散的状态空间和行为空间能够构建价值网络模型，利用价值网络模型来对落子策略进行评估。

在诸如智能手机、平板电脑之类的终端上，存在很多具有二维或三维虚拟环境的应用程序，如：多人在线战术竞技游戏(Multiplayer Online Battle Arena Games，MOBA)、模拟策略游戏(Simulation Game，SLG)等。在上述应用程序中，用户或服务器可通过控制虚拟对象(例如：虚拟人物)执行调度策略以期获得收益，当虚拟对象受服务器控制时，需要使用AI对虚拟对象的各种调度策略进行评估从而执行最优的调度策略。

虚拟环境中的局面状态空间远大于围棋，且虚拟对象的可执行行为具有连续性和多样性，比如MOBA游戏中地图大小约50000×50000像素，包括60多种不同类型的可操作单位，每个可操作单位具有连续性和多样性，因此难以构建价值网络模型来对虚拟环境中的虚拟对象进行策略预估。

发明内容

本申请实施例提供了一种虚拟环境中调度策略的评估方法、装置及设备用以解决相关技术中无法对虚拟环境中的AI构建价值网络模型从而导致难以对调度策略进行评估的问题。所述技术方案如下：

一方面，本申请实施例提供了一种虚拟环境中调度策略的评估方法，所述虚拟环境中包括至少两个虚拟对象以及供所述虚拟对象使用的虚拟资源，所述方法包括：

获取所述虚拟环境的应用程序在运行时产生的帧数据；

提取所述帧数据中与目标虚拟对象对应的目标帧数据，所述目标帧数据是用于生成所述目标虚拟对象对应的目标用户界面的数据；

对所述目标帧数据进行特征提取，得到所述目标虚拟对象在当前局面状态下的状态特征，所述状态特征包括关联虚拟对象的状态和所述虚拟资源的状态，所述关联虚拟对象包括所述目标虚拟对象以及与所述目标虚拟对象具有利益关系的虚拟对象；

调用价值网络预测模型对所述状态特征进行处理，得到所述目标虚拟对象在所述当前局面状态中执行N种调度策略的预期回报收益，所述预期回报收益用于表征所述调度策略对在所述虚拟环境中对战的胜利条件的贡献，N为正整数，N≥2。

一方面，本申请实施例提供了一种虚拟环境中调度策略的评估装置，所述虚拟环境中包括至少两个虚拟对象以及供所述虚拟对象使用的虚拟资源，所述装置包括：